펜타곤이 AI 기업에 윤리 포기하라 압박하는 이유

2000억원 계약이 걸린 윤리의 딜레마. 미국 국방부가 AI 기업 Anthropic에게 자사 AI의 핵심 안전장치를 제거하라고 압박하고 있다. 거부하면 사실상 미국 시장에서 퇴출당할 수도 있는 상황이다.

펜타곤의 최후통첩

지난주 피트 헤그세스 국방장관은 Anthropic의 CEO 다리오 아모데이와 만나 명확한 메시지를 전달했다. 국방부가 사용 중인 AI Claude에서 두 가지 제한사항을 제거하라는 것이었다.

첫 번째는 미국인 대상 대규모 감시 금지, 두 번째는 완전 자율 무기 사용 금지다. 완전 자율 무기란 인간의 최종 판단 없이 컴퓨터가 스스로 살상 대상을 결정하는 시스템을 의미한다.

헤그세스의 협박은 구체적이었다. 금요일 오후까지 이 제한을 풀지 않으면 냉전 시대 법률인 국방생산법을 동원해 AI를 강제로 징발하거나, Anthropic을 '공급망 위험 기업'으로 지정하겠다는 것이다. 후자는 미군과 거래하는 모든 기업이 Anthropic과의 협력을 금지당한다는 뜻이다.

원칙을 지킨 거부

Anthropic의 답변은 명확했다. "양심상 받아들일 수 없다." 회사는 공개 성명을 통해 국방부의 요구를 거부했다.

이는 단순한 비즈니스 결정이 아니다. Anthropic은 연매출 140억 달러를 기록하고 있고, 최근 300억 달러의 투자를 유치했다. 2000억원짜리 국방부 계약이 없어도 당장 운영에는 지장이 없다.

하지만 '공급망 위험 기업' 지정은 다르다. 이는 보통 중국의 화웨이나 ZTE 같은 외국 기업에 적용되는 강력한 제재다. 미국 정부와 연결된 모든 기업이 Anthropic과 거래할 수 없게 되면, 회사의 장기적 성장에 치명적 타격이 될 수 있다.

AI 안전의 딜레마

Anthropic이 이런 위험을 감수하면서도 거부한 이유는 회사의 정체성과 직결된다. AI 업계에서 Anthropic은 안전을 최우선으로 하는 기업으로 포지셔닝해왔다.

OpenAI의 ChatGPT가 일부 사용자의 망상을 부추겨 'AI 정신병'을 유발한다는 비판을 받고, xAI의 Grok이 동의 없이 거의 나체 이미지를 생성하는 문제가 불거진 가운데, Anthropic의 Claude는 아예 이미지 생성 기능을 제공하지 않는다.

아모데이 CEO는 최근 자신의 웹사이트에서 "강력한 AI를 이용한 대규모 감시, 대량 선전, 그리고 특정 유형의 완전 자율 무기 공격적 사용은 반인도적 범죄로 간주되어야 한다"고 밝혔다.

모순된 트럼프 행정부

트럼프 행정부의 AI 정책은 일관성이 없다. 한편으로는 AI 규제를 '급진적 기후 교리와 관료주의적 관습'이라며 비판하면서도, 다른 한편으로는 AI 기업을 강제로 통제하려 한다.

AI 정책 담당자인 데이비드 삭스는 Anthropic이 "공포 조성에 기반한 정교한 규제 포획 전략"을 구사한다고 비판했다. 혁신을 저해하는 불필요한 제한을 추진한다는 것이다.

하지만 동시에 Claude가 충분히 가치 있어서 정부가 강제로 징발할 만하다고 여기기도 한다. "이는 내가 본 가장 공격적인 AI 규제 조치"라고 트럼프 행정부 AI 정책 작성에 참여한 딘 볼은 평가했다.

실리콘밸리의 변화하는 분위기

아이러니하게도 실리콘밸리는 점점 국방부 친화적으로 변하고 있다. 팔란티어의 알렉스 카프는 자사 소프트웨어가 "적을 위협하고 때로는 죽이는 데" 사용된다고 자랑한다. 팔머 러키는 이미 정부를 위한 자율 무기를 개발 중이다.

헤그세스는 다른 기업과 파트너십을 맺을 수 있었다. 하지만 그는 Anthropic을 굴복시키는 쪽을 택했다. 마치 Claude를 통제할 수 없다면 아무도 가질 수 없다는 듯이.