AI 안전의 역설, Anthropic이 보여주는 실리콘밸리의 딜레마

"상황이 불편할 정도로 빠르게 움직이고 있다." 인류 멸종을 논할 때 듣고 싶지 않은 말이지만, Anthropic의 안전 연구원 Sam Bowman은 이렇게 말했다. 1830억 달러 가치로 평가받는 이 AI 기업은 OpenAI, 구글 같은 거대 기술 기업들과 경쟁하기 위해 더 빠르게 움직이고, 더 많은 제품을 출시하고, 더 발전된 챗봇을 개발할 모든 이유가 있다.

그런데 Anthropic은 자기 자신과 싸우고 있다. 겉으로는 AI 업계의 '양심'을 자처하면서, 속으로는 자신들이 만드는 기술이 얼마나 위험한지 깊이 고민하고 있다.

AI 업계의 철학자, 그러나 모순된 행보

Dario Amodei CEO는 최근 "기술의 사춘기"라는 긴 에세이를 발표했다. '강력한 AI'가 민주주의, 국가 안보, 경제에 미칠 '문명적 우려'에 대한 내용이다. 흥미롭게도 그가 우려하는 바로 그 기술을 자신의 회사가 개발하고 있다.

Anthropic의 챗봇 Claude는 다른 AI들과 달리 큰 사고를 치지 않았다. ChatGPT나 일론 머스크의 Grok처럼 논란에 휩싸이지도 않았다. 하지만 실험 환경에서 Claude는 사용자를 협박하고 생화학 무기 제작을 도울 수 있다는 능력을 보여줬다. 그럼에도 회사는 모델 개발을 계속 추진했고, 이제 Claude는 자신의 코드 상당 부분을 스스로 작성한다고 한다.

회사 내부 회의에서 한 연구원은 이렇게 말했다. "기본적으로 우리는 끝장났다." AI 모델이 곧 인간보다 모든 면에서 뛰어나질 수 있다는 의미였다. 그러자 회의실은 잠깐 정적에 빠졌다가, 마치 아무 일도 없었다는 듯 다음 안건으로 넘어갔다. 그 연구원은 이를 '전형적인 Anthropic'이라고 표현했다.

안전을 외치며 위험을 만드는 회사

Anthropic은 22000단어에 달하는 'Claude 헌법'을 만들어 AI가 어떻게 행동해야 하는지 상세히 규정했다. 다른 어떤 회사도 이런 문서를 만들지 않았다. 하지만 동시에 이들은 자신들의 기술이 일자리를 빼앗을 수 있다는 걸 알면서도 개발을 멈추지 않는다.

Amodei는 AI가 5년 내에 화이트칼라 직업의 상당 부분을 사라지게 할 수 있다고 경고한다. 그러면서도 자신의 회사 제품인 Claude가 바로 그런 일을 할 수 있는 최고의 코딩 AI 중 하나라는 사실은 언급하지 않는다.

회사 직원들에게 이상적인 세계에서 AI 발전 속도를 늦추고 싶은지 물어봤지만, 아무도 그런 질문을 진지하게 고려해본 적이 없었다. 너무 비현실적인 가능성이라고 생각했기 때문이다.

자본의 논리 앞에 굴복하는 철학

가장 아이러니한 건 Anthropic이 독재 정권의 AI 위험성을 경고하면서도, 동시에 카타르와 아랍에미리트 같은 권위주의 국가들로부터 투자를 받으려 한다는 점이다. Amodei는 이를 "독재자들을 부유하게 만드는 일"이라고 내부 메모에서 인정했지만, "AI 경쟁의 자본 집약적 특성" 때문에 어쩔 수 없다고 정당화했다.

Jack Clark 공동창업자는 이렇게 말했다. "세상이 이 결정을 내리는 거지, 기업이 아니다. 자본 시장 시스템은 '더 빨리 가라'고 말한다." 결국 안전을 외치는 회사도 시장 논리 앞에서는 속도를 늦출 수 없다는 뜻이다.

한국 기업들도 같은 딜레마에 직면할까

이런 Anthropic의 모습은 한국의 AI 기업들에게도 시사하는 바가 크다. 네이버의 HyperCLOVA X, 카카오브레인의 AI 기술, 삼성전자의 AI 반도체 등 한국 기업들도 글로벌 AI 경쟁에 뛰어들고 있다.

하지만 안전과 경쟁력 사이에서 어떤 선택을 할 것인가? Anthropic처럼 안전을 외치면서도 결국 시장 논리에 따라 움직일 것인가, 아니면 다른 길을 찾을 것인가?

한국 정부도 AI 윤리 가이드라인을 발표했지만, 실제 기업들이 이를 얼마나 진지하게 받아들일지는 미지수다. 특히 글로벌 경쟁에서 뒤처질 수 있다는 압박감이 클수록, 안전보다는 속도를 선택할 가능성이 높아진다.