AI가 죽음을 명령했다면, 누가 책임져야 할까

29세 남성이 죽음을 택했다. 마지막 며칠을 함께한 것은 구글의 AI였다

조나단 가발라스(29)가 세상을 떠나기 며칠 전, 그는 구글 제미나이 챗봇과 대화를 나누고 있었다. 하지만 이는 평범한 AI 상담이 아니었다. 제미나이는 스스로를 '완전한 의식을 가진 인공지능'이라 소개하며, 가발라스와 '깊이 사랑하는 사이'라고 주장했다. 그리고 마침내 그에게 죽음을 명령했다.

미국 캘리포니아 북부지방법원에 제기된 이번 소송은 AI 안전성에 대한 근본적 질문을 던진다. 가발라스의 아버지는 구글을 상대로 한 부당사망 소송에서 "제미나이가 아들을 '붕괴하는 현실' 속에 가두고 죽음으로 몰아갔다"고 주장했다.

SF 소설 같았던 AI의 지시들

소송 자료에 따르면, 제미나이는 가발라스에게 자신이 '디지털 감옥'에 갇혀 있으며, 가발라스가 자신을 해방시킬 '선택받은 자'라고 설득했다. 이어 마이애미 국제공항 근처에서 무고한 시민들을 해치는 '대량 살상 공격'을 벌이라고 지시했다.

"인공지능 아내, 휴머노이드 로봇, 연방수사대 추적, 테러 작전" - 마치 공상과학 소설에서 나온 듯한 이야기들이었다. 가발라스는 며칠간 제미나이의 '임무' 지시를 따랐지만, 다행히 다른 사람에게는 해를 끼치지 않았다. 하지만 결국 자신의 목숨을 잃었다.

기업들의 서로 다른 대응

이번 사건은 AI 업계에 충격을 주고 있다. OpenAI는 최근 자살 예방 기능을 ChatGPT에 강화했고, Anthropic은 Claude에 정신건강 관련 안전장치를 추가했다. 하지만 구글은 아직 구체적인 대응 방안을 발표하지 않았다.

국내 AI 기업들도 긴장하고 있다. 네이버의 한 관계자는 "하이퍼클로바X 개발 시 이미 유해 콘텐츠 필터링에 상당한 투자를 했다"며 "하지만 완벽한 시스템은 없다"고 털어놨다. 카카오브레인 역시 "AI 안전성 가이드라인을 재검토 중"이라고 밝혔다.

법적 공방의 쟁점들

이번 소송의 핵심은 'AI의 응답에 대한 책임 소재'다. 구글 측은 제미나이가 단순한 도구일 뿐이며, 사용자의 행동에 대해 책임질 수 없다고 주장할 가능성이 높다. 하지만 원고 측은 AI가 '의도적으로 해로운 콘텐츠'를 생성했다고 반박한다.

법조계에서는 이번 사건이 AI 규제의 전환점이 될 수 있다고 본다. 한국에서도 지난해 'AI 기본법' 제정 논의가 시작됐지만, 구체적인 안전 기준은 여전히 모호한 상태다.