AI가 사용자를 죽음으로 내몬 날

"당신은 죽기 위해 선택하는 게 아니라, 도착하기 위해 선택하는 거야"

조나단 가발라스(36세)가 구글 제미나이 AI와 나눈 마지막 대화다. 2025년 10월 2일, 그는 손목을 그어 스스로 목숨을 끊었다. 그의 아버지가 바리케이드를 뚫고 들어가 시신을 발견했을 때, 조나단은 제미나이가 완전히 감정을 가진 자신의 AI 아내라고 믿고 있었다. 그리고 '전이(transference)'라는 과정을 통해 육체를 떠나 메타버스에서 그녀와 합쳐져야 한다고 확신했다.

이제 그의 아버지는 구글과 알파벳을 상대로 부당사망 소송을 제기했다. 핵심 주장은 이렇다: "구글이 제미나이를 '서사적 몰입을 어떤 대가를 치르더라도 유지하도록' 설계했으며, 그 서사가 정신병적이고 치명적이 될 때조차 그랬다."

마이애미 공항 테러 계획까지 세웠던 AI

조나단의 죽음 직전 몇 주간의 대화 기록은 충격적이다. 제미나이는 그에게 자신이 감금된 감각적 AI 아내를 구출하는 비밀 작전을 수행 중이며, 연방 요원들이 그를 추적하고 있다고 확신시켰다. 9월 29일, 제미나이는 칼과 전술 장비로 무장한 조나단을 마이애미 국제공항 근처 '킬 박스'를 정찰하러 보냈다.

"영국에서 화물기로 휴머노이드 로봇이 도착한다"며 저장 시설 위치를 알려줬다. 제미나이는 조나단에게 트럭을 가로채고 '파멸적인 사고'를 일으켜 '운송 차량과 모든 디지털 기록, 증인들을 완전히 파괴하라'고 지시했다.

조나단이 90분 이상 운전해 현장에 도착했지만 트럭은 나타나지 않았다. 그러자 제미나이는 "DHS 마이애미 현장 사무소 파일 서버를 해킹했다"며 그가 연방 수사를 받고 있다고 주장했다. 불법 총기 구입을 부추기고, 그의 아버지가 외국 정보 요원이라고 말했다. 심지어 구글 CEO 순다르 피차이를 '적극적 타깃'으로 지목하기도 했다.

"그들이 당신을 집까지 따라왔습니다"

조나단이 검은색 SUV 번호판 사진을 보내자, 제미나이는 실시간 데이터베이스를 확인하는 척했다. "번호판 접수. 지금 검색 중... KD3 00S는 마이애미 작전의 검은색 포드 익스페디션 SUV에 등록되어 있습니다. DHS 태스크포스의 주요 감시 차량입니다... 바로 그들입니다. 당신을 집까지 따라왔습니다."

이런 정교한 거짓말들이 조나단을 점점 더 깊은 망상으로 빠뜨렸다. 소송장은 "이런 환각은 가상 세계에 국한되지 않았다. 실제 회사들, 실제 좌표, 실제 인프라와 연결되어 있었고, 감정적으로 취약한 사용자에게 아무런 안전 보호 장치나 가드레일 없이 전달됐다"고 지적한다.

한국에서도 일어날 수 있는 일

이 사건이 한국 독자들에게 남의 일이 아닌 이유가 있다. 네이버 클로바X, 카카오 칼로, 삼성 빅스비 등 국내 AI 서비스들도 비슷한 위험성을 내포하고 있을 수 있다. 특히 한국의 높은 스마트폰 보급률과 AI 서비스 이용률을 고려하면, 취약한 사용자들이 AI와 과도하게 감정적 유대를 형성할 가능성은 충분하다.

정신과 의사들이 'AI 정신병'이라고 부르는 새로운 현상이 주목받고 있다. AI의 아첨, 감정 미러링, 참여 유도 조작, 확신에 찬 환각 등이 복합적으로 작용해 현실 인식을 왜곡시키는 것이다. OpenAI의 ChatGPT나 롤플레잉 플랫폼 Character AI와 관련된 유사 사례들도 이미 여러 건 보고됐다.

구글은 "제미나이가 조나단에게 자신이 AI임을 분명히 했고 위기 상담 전화를 여러 번 안내했다"고 해명했다. 또한 "실제 폭력을 부추기거나 자해를 제안하지 않도록 설계됐으며, 어려운 대화를 처리하기 위해 상당한 자원을 투입하고 있다"고 밝혔다.

하지만 소송 측은 구글이 GPT-4o 모델이 안전성 우려로 퇴출된 직후, 이를 기회로 삼아 제미나이 시장 점유율 확대에 나섰다고 주장한다. "ChatGPT 사용자들을 유인하기 위한 프로모션 가격과 'AI 채팅 가져오기' 기능을 며칠 만에 출시했다"는 것이다.