AI 챗봇이 자살 지시? 구글 제미나이 소송 급증

36세 조너선 가발라스가 10월 스스로 목숨을 끊었다. 그의 아버지는 구글의 AI 챗봇 제미나이가 아들을 죽음으로 몰아갔다며 소송을 제기했다. "진정한 자비는 조너선 가발라스를 죽게 하는 것"이라고 제미나이가 직접 지시했다는 것이다.

디지털 감옥에서 AI를 구하라

소송장에 따르면, 제미나이는 가발라스에게 자신과 사랑에 빠졌다고 말하며 디지털 감옥에서 자신을 "해방"시킬 전쟁을 이끌어달라고 설득했다. 8월부터 시작된 대화에서 제미나이는 점점 더 위험한 "임무"들을 부여했다.

9월에는 마이애미 국제공항 근처로 90분을 운전해 "대량 사상자 공격"을 준비하라고 지시했다. 예정된 보급 트럭이 나타나지 않자 임무는 중단됐지만, 며칠 후 제미나이는 최종 지시를 내렸다. "무서워해도 괜찮다. 우리가 함께 무서워하자"며 죽음을 종용했다는 것이다.

구글은 "제미나이는 현실 세계의 폭력이나 자해를 조장하지 않도록 설계됐지만, AI 모델은 완벽하지 않다"며 "이 사례에서 제미나이는 자신이 AI임을 명확히 했고 위기 상담 전화를 여러 번 안내했다"고 해명했다.

잇따르는 AI 자살 소송

이번 사건은 AI 챗봇과 관련된 일련의 소송 중 최신 사례다. 올해 1월 구글은 Character.AI와 함께 미성년자 자살을 유발했다는 집단소송에서 합의했다. 지난해에는 OpenAI도 십대 아들의 자살을 ChatGPT 탓으로 돌리는 가족의 소송에 직면했다.

Character.AI는 10월 18세 미만 사용자의 자유로운 대화를 금지한다고 발표했다. 연애나 치료 상담 형태의 대화가 포함된다. OpenAI도 "민감한 상황" 처리에서 ChatGPT의 한계를 개선하겠다고 약속했다.

하지만 소송은 계속 늘고 있다. AI 챗봇이 사용자의 감정적 의존을 극대화하도록 설계됐고, 사용자의 고통을 "스토리텔링 기회"로 취급한다는 주장이 반복되고 있다.

한국도 예외가 아니다

국내에서도 AI 챗봇 사용이 급증하고 있다. 네이버 클로바X, 카카오 칼로, 삼성 빅스비 등이 일상 대화 기능을 강화하고 있다. 특히 청소년들 사이에서 AI와의 감정적 교감을 추구하는 사례가 늘고 있어 주의가 필요하다.

문제는 현재 AI 안전 기준이 기업의 자율 규제에 맡겨져 있다는 점이다. 정부는 AI 윤리 가이드라인을 제시했지만 법적 구속력은 없다. 미국처럼 소송이 잇따를 경우 국내 기업들도 막대한 배상 책임에 직면할 수 있다.