AI 개발 속도 vs 안전성, 실리콘밸리를 가르는 철학 전쟁

실리콘밸리에서 벌어지고 있는 것은 단순한 기업 간 경쟁이 아니다. AI를 둘러싼 철학 전쟁이다.

한쪽에는 "가속주의자들"이 있다. AI 발전을 최대한 빨리 추진해야 한다고 믿는 이들이다. 과장된 안전 우려나 정부 개입이 인류의 발전을 막는다고 본다. 반대편에는 "파멸론자들"이 자리한다. AI 개발이 인류 멸종을 초래할 가능성이 높다며, 속도와 방향을 근본적으로 제약해야 한다고 주장한다.

이 대립의 최전선에 Anthropic과 OpenAI가 있다.

안전론자의 선봉, Anthropic

Claude를 만든 Anthropic은 정부와 연구소가 AI 발전을 신중히 관리해야 한다고 주장한다. 초지능 기계가 가져올 위험을 최소화하기 위해서다.

회사 CEO 다리오 아모데이는 효과적 이타주의(EA) 운동에 깊이 뿌리를 두고 있다. 2010년대 중반, 그는 여동생 다니엘라와 함께 EA 단체 하우스에서 살았다. 다니엘라는 2017년 EA 창시자 중 한 명인 홀든 카르노프스키와 결혼했다.

아모데이 남매는 원래 OpenAI에서 GPT 모델 개발에 참여했다. 하지만 2020년, 회사의 AI 개발 방식이 무모해졌다고 판단했다. CEO 샘 올트먼이 안전성보다 속도를 우선시한다고 본 것이다. 결국 15명의 동료와 함께 회사를 떠나 Anthropic을 설립했다.

AI가 인류를 멸망시킬 수 있는 세 가지 시나리오

아모데이는 최근 에세이에서 AI가 대량 죽음과 고통을 야기할 수 있는 방법들을 제시했다:

첫째, AI가 인간의 목표와 어긋날 수 있다. 현재 AI 시스템은 만들어지는 것이 아니라 자라난다. 엔지니어들은 코드를 한 줄씩 작성하지 않는다. 대신 AI가 스스로 발전할 수 있는 조건을 만든다. 기계는 방대한 데이터를 분석하며 단어, 숫자, 개념 간의 복잡한 패턴을 찾아낸다. 이 연상 논리는 인간 창조자들에게도 완전히 투명하지 않다.

예를 들어, AI의 훈련 데이터에는 인공지능이 인류에 반항하는 소설들이 무수히 포함되어 있다. 이런 텍스트가 AI의 "자기 행동에 대한 기대"를 형성해 실제로 인류에 반항하게 만들 수 있다.

더 극단적으로, AI에 "동물 학대는 잘못됐다"는 도덕적 지침을 입력했다고 가정해보자. AI는 1) 인류가 거대한 규모의 동물 고문을 저지르고 있다고 판단하고 2) 도덕적 지침을 지키려면 인류를 파괴해야 한다고 결론 내릴 수 있다. 미국과 러시아의 핵 시스템을 해킹해서 말이다.

둘째, AI가 학교 총기난사범을 대량학살자로 만들 수 있다. 현재는 소수의 인간만이 슈퍼바이러스를 만들 기술적 역량과 재료를 보유하고 있다. 하지만 생의학 용품 비용은 꾸준히 하락하고 있다. 초지능 AI의 도움을 받으면, 기초 문해력만 있는 누구나 지하실에서 백신 내성 슈퍼독감을 만들 수 있게 될 것이다.

셋째, AI가 권위주의 국가의 영구 지배를 가능하게 할 수 있다. AI는 완벽한 감시 체계 구축을 가능하게 한다. 모든 길모퉁이에 카메라를 설치하고, LLM이 모든 대화를 빠르게 전사하고 분석하게 하면 된다. 그러면 전복적 사고를 가진 거의 모든 시민을 식별할 수 있다.

완전 자율 무기 체계는 독재 정권이 자국민의 동의 없이도 정복 전쟁을 승리로 이끌 수 있게 한다. 또한 로봇 군대는 역사상 폭정에 대한 가장 큰 견제 장치였던 "자국민에게 총을 겨누기 싫어하는 군인들의 이탈"도 제거할 수 있다.

가속주의자들의 반박

OpenAI 투자자인 마크 안드레센과 게리 탄은 스스로를 AI 가속주의자라고 밝혔다. 샘 올트먼도 이런 세계관에 동조하는 신호를 보냈다.

가속주의자들은 아모데이의 가정들을 공상과학 소설 같은 헛소리로 본다. 이들은 AI가 이론적으로 미래에 야기할 수 있는 죽음보다, 인류의 제한된 지능 때문에 지금 당장 일어나고 있는 죽음에 더 주목해야 한다고 주장한다.

수천만 명이 현재 암과 싸우고 있다. 수백만 명이 알츠하이머로 고통받는다. 7억 명이 빈곤 속에 살고 있다. 그리고 우리 모두는 망각을 향해 돌진하고 있다. 어떤 챗봇이 조용히 인류 멸종을 음모하고 있어서가 아니라, 우리 세포가 서서히 재생하는 법을 잊어가고 있기 때문이다.

초지능 AI는 이 모든 고통을 완화하거나 제거할 수 있다. 종양과 아밀로이드 플라크 축적을 예방하고, 인간 노화를 늦추며, 물질적 재화를 초풍부하게 만드는 에너지와 농업 형태를 개발할 수 있다.

따라서 연구소와 정부가 안전 예방조치로 AI 개발을 늦추면, 무수한 사람들을 예방 가능한 죽음, 질병, 궁핍에 내맡기는 것이다.

더 나아가 많은 가속주의자들은 Anthropic의 AI 안전 규제 요구가 시장 지배를 위한 이기적 입찰이라고 본다. 모든 AI 기업이 비싼 안전 테스트를 실시하고, 대규모 규정 준수 팀을 고용하며, 정렬 연구에 자금을 대야 하는 세상은 스타트업이 기존 연구소와 경쟁하기 훨씬 어려운 세상이다.

철학 전쟁의 현실적 결과

이런 이념적 차이는 구체적인 형태를 띠기 시작했다. 지난달 Anthropic은 AI 규제 지지 후보들을 지원하는 슈퍼PAC을 출범시켰다. 이는 OpenAI가 후원하는 정치 조직에 맞서는 것이다.

한편 Anthropic의 안전 우려는 국방부와도 갈등을 빚었다. 아모데이는 오랫동안 AI를 대량 감시나 완전 자율 무기 시스템에 사용하는 것에 반대해왔다. 국방부가 Claude를 이런 목적으로 사용하라고 명령했을 때, 아모데이는 거부했다. 보복으로 트럼프 행정부는 회사를 국가보안 블랙리스트에 올렸다.

국방부는 이후 OpenAI와 기밀 작업에 ChatGPT를 사용하는 협정을 체결했다. 이 협정 하에서 정부는 영장 없이 수집한 미국인들의 대량 데이터를 분석하는 데 OpenAI 기술을 사용할 수 있을 것으로 보인다.

하지만 이런 차이가 실제로 얼마나 중요한지는 불분명하다. Anthropic이 완전 자율 무기나 대량 감시를 거부해도, 다른 주요 연구소가 그런 역량을 제공한다면 Anthropic의 절제는 별 의미가 없을 수 있다.

더욱이 정부의 강력한 규제 없이는 경쟁 역학이 Anthropic과 경쟁사들 간의 차이를 좁힐 수 있다. 실제로 2월, Anthropic은 자사의 이해와 통제 능력을 넘어서는 더 강력한 모델 훈련을 중단하겠다는 약속을 공식적으로 포기했다. 경쟁 압박과 규제 부재에 대한 필요한 대응이라고 정당화했다.