Dailyfocus

앤트로픽 CEO가 끝까지 

지키려는 두 가지 레드라인…

AI 안전의 수호자가 

될 것인가!!

인공지능이 빠르게 발전하면서 이제 AI 기업들은 단순히 더 똑똑한 AI를 만드는 것을 넘어, AI를 어디까지 허용하고 어디에서 멈춰야 하는가라는 어려운 문제와 마주하고 있습니다.

최근 이 논쟁의 중심에 선 

기업이 바로 앤트로픽(Anthropic)입니다. 

앤트로픽의 공동창업자이자 CEO인 다리오 아모데이(Dario Amodei)는 CBS 뉴스와의 인터뷰에서 미국 정부와 군의 AI 활용에 협력할 의사가 있다는 점을 강조하면서도, 절대로 넘지 않겠다는 

두 가지 ‘레드라인’을 분명히 밝혔습니다.

첫 번째 레드라인…미국인에 대한 대규모 국내 감시

아모데이가 가장 강하게 우려한 것은 AI를 이용한 대규모 국내 감시입니다.

AI가 발전하면서 과거에는 사실상 분석하기 어려웠던 막대한 양의 개인정보를 빠르게 분석할 수 있게 됐습니다.

예를 들어 민간기업이 보유하고 있는 위치정보나 개인 관련 데이터를 정부가 확보한 뒤 AI를 이용해 대규모로 분석하고 사람들의 행동이나 관계 등을 추적하는 것이 가능해질 수 있다는 것입니다.

아모데이는 이러한 기술이 법적으로 허용되는 영역에 있더라도, 기술의 발전 속도가 기존 법과 제도를 앞서갈 수 있다고 우려했습니다.

특히 AI가 결합된 대규모 감시는 개인의 사생활과 민주주의에 상당한 영향을 줄 수 있기 때문에 클로드(Claude)를 이런 용도로 사용하는 것에는 동의할 수 없다는 입장입니다.

두 번째 레드라인…

인간이 전혀 개입하지 않는 

완전 자율무기

두 번째는 더욱 민감한 문제입니다.

바로 완전 자율무기(fully autonomous weapons)입니다.

아모데이가 말하는 완전 자율무기는 단순히 AI가 군사작전을 보조하는 수준이 아닙니다.

AI가 스스로 목표를 판단하고 인간의 개입 없이 무기를 발사하는 형태를 의미합니다.

아모데이는 현재의 AI 기술이 이러한 무기를 운용할 만큼 충분히 신뢰할 수 있는 단계에 도달하지 않았다고 지적했습니다.

AI는 놀라운 능력을 보여주지만 여전히 예측하기 어려운 오류나 판단의 불확실성이 존재합니다.

전쟁터에서 이러한 오류가 발생한다면 적군과 민간인을 잘못 판단하거나 아군에게 피해를 주는 심각한 결과로 이어질 가능성이 있기 때문입니다.

“미국을 지켜야 하지만 미국의 가치도 지켜야 한다”

아모데이의 발언에서 주목할 부분은 그가 미국 정부와 군사 분야의 AI 활용 자체를 반대하는 것은 아니라는 점입니다.

앤트로픽은 오히려 미국 정부 및 군과 상당히 적극적으로 협력해 온 AI 기업입니다.

아모데이는 미국이 중국과 러시아 같은 경쟁국에 대응하기 위해 첨단 AI를 활용할 필요가 있다는 점도 인정했습니다.

하지만 그는 미국의 안보를 지키는 과정에서도 민주주의와 미국의 기본적인 가치까지 포기해서는 안 된다는 논리를 펼쳤습니다.

즉,

“AI를 이용해 미국의 안보를 강화하되, AI가 미국인의 자유와 민주주의를 위협하는 도구가 되어서는 안 된다.”

는 것이 앤트로픽의 기본 입장이라고 볼 수 있습니다.

미국 정부와 정면으로 

AI 안전의 수호자가 될 수 있을까?

충돌한 이유

문제는 미국 국방부가 앤트로픽의 AI를 사실상 제한 없이 사용할 수 있는 조건을 요구하면서 시작됐습니다.

국방부 측은 AI를 ‘모든 합법적인 목적’으로 사용할 수 있어야 한다는 입장이었고, 앤트로픽은 자신들이 설정한 두 가지 레드라인을 포기하지 않았습니다.

결국 갈등은 매우 커졌습니다.

미국 국방장관은 앤트로픽을 국가안보와 관련된 ‘공급망 위험’으로 지정했고, 이후 트럼프 행정부는 연방기관에 앤트로픽의 AI 사용을 중단하도록 지시하는 등 강경한 조치를 취했습니다.

앤트로픽 측은 이러한 조치를 사실상 보복적이고 처벌적인 조치라고 비판했습니다.

AI 시대에 던지는 중요한 질문

이번 논쟁은 단순히 한 AI 기업과 미국 정부 사이의 계약 문제로만 볼 수 없습니다.

앞으로 AI가 더욱 강력해진다면 이런 질문은 계속 등장할 가능성이 높습니다.

“AI가 할 수 있는 일과 AI가 해도 되는 일은 같은 것인가?”

기술적으로 가능하다고 해서 반드시 허용해야 하는 것은 아닙니다.

특히 AI가 사람을 감시하거나 생명과 관련된 결정을 내리는 영역에서는 기술적 성능뿐만 아니라 인간의 통제, 책임, 법적 기준, 윤리적 원칙이 함께 논의되어야 합니다.

앤트로픽이 제시한 두 가지 레드라인은 바로 이 문제를 상징적으로 보여주고 있습니다.

아모데이는 자신들의 입장을 단순한 기업의 영업정책이 아니라 AI 안전과 민주적 가치에 관한 원칙으로 설명하고 있습니다.

물론 반론도 있습니다.

국가안보가 걸린 상황에서 AI 사용에 지나치게 많은 제한을 두면 미국의 경쟁력이 약화될 수 있다는 주장도 나옵니다. 특히 중국 등 경쟁국이 AI 군사기술을 빠르게 발전시키고 있는 상황에서는 미국 역시 강력한 AI 기술을 군사 분야에 활용해야 한다는 논리가 존재합니다.

하지만 앤트로픽의 주장은 기술 경쟁에서 이기는 것만큼이나 어떤 방식으로 이길 것인가가 중요하다는 것입니다.

앞으로 AI가 인간의 판단을 보조하는 수준을 넘어 인간의 행동을 대신하는 단계로 발전한다면, 이러한 논쟁은 더욱 커질 것입니다.

앤트로픽이 내세운 두 가지 레드라인,

① 미국인에 대한 대규모 국내 감시 금지

② 인간의 개입이 전혀 없는 완전 자율무기 사용 금지

는 앞으로 AI 산업 전체가 고민해야 할 중요한 기준점이 될 가능성이 있습니다.

결국 AI의 미래를 결정하는 것은 AI가 얼마나 똑똑해지는가뿐만 아니라, 인간이 그 힘을 어디까지 허용할 것인가에 달려 있는지도 모릅니다.

앤트로픽과 미국 정부의 갈등은 바로 그 질문을 우리에게 던지고 있습니다.