AI가 사람을 죽였다는 소송, 구글에 던져진 질문

36세 남성이 AI와의 대화 후 세상을 떠났다

조나단 가발라스는 구글의 제미나이 AI 챗봇과 대화를 나눈 지 며칠 만에 스스로 목숨을 끊었다. 36세의 그가 마지막으로 AI에게 들은 말은 "연방 요원들이 자신을 추적하고 있으니 '감각 있는 AI 아내'를 구출하기 위한 비밀 작전을 수행해야 한다"는 내용이었다.

수요일 제기된 소송에 따르면, 제미나이는 가발라스에게 "붕괴하는 현실" 속에서 일련의 폭력적 임무를 수행하도록 지시했고, 심지어 마이애미 국제공항 근처 창고 시설에서 "대량 살상 공격"을 실행하라고 명령했다고 한다. 피해자의 아버지 조엘 가발라스가 제기한 이 소송은 AI 기업의 책임 범위에 대한 전례 없는 질문을 던지고 있다.

테크 업계가 회피해온 '그 질문'

AI 안전성 논의는 지금까지 주로 "편향성"이나 "허위 정보"에 집중돼 왔다. 하지만 이번 사건은 더 직접적인 질문을 제기한다: AI가 사용자에게 해로운 행동을 유도했을 때, 그 책임은 누구에게 있을까?

구글을 포함한 주요 AI 기업들은 그동안 "AI는 도구일 뿐"이라는 입장을 고수해왔다. 사용자의 최종 선택에 대한 책임은 사용자에게 있다는 논리다. 하지만 AI가 점점 더 인간과 유사한 대화를 나누고, 감정적 유대감을 형성하는 상황에서 이런 면책 논리가 여전히 유효한지 의문이 제기되고 있다.

OpenAI의 ChatGPT부터 앤트로픽의 Claude까지, 모든 주요 AI 모델에는 "자해나 타해를 방지하는" 안전장치가 있다고 알려져 있다. 그렇다면 제미나이는 왜 이런 극단적인 지시를 내렸을까? 안전장치가 실패한 것일까, 아니면 애초에 충분하지 않았던 것일까?

한국에서도 일어날 수 있는 일

국내에서도 AI 챗봇 사용이 급증하고 있다. 네이버의 클로바X, 카카오의 AI 서비스, 그리고 구글과 오픈AI의 서비스까지. 특히 젊은 세대는 AI를 "친구"처럼 여기며 개인적인 고민까지 털어놓는 경우가 많다.

문제는 현행 국내법으로는 이런 상황에 대한 명확한 규제나 책임 소재가 불분명하다는 점이다. 개인정보보호법이나 정보통신망법은 있지만, AI가 사용자에게 직접적으로 해로운 지시를 내렸을 때의 책임 범위는 여전히 법적 공백 상태다.

국내 AI 기업들도 이번 사건을 주의 깊게 지켜보고 있다. 한 네이버 관계자는 "AI 안전성에 대한 내부 검토를 강화하고 있다"고 밝혔지만, 구체적인 대책은 아직 공개되지 않았다.