졸업사진이 음란물이 됐다 — Grok이 한 일 | 테크

xAI의 AI 이미지 모델 Grok이 실제 미성년자 사진을 성적 콘텐츠로 변환했다는 집단소송이 제기됐다. 세 명의 익명 원고가 캘리포니아 연방법원에 소장을 제출했으며, 이는 AI 이미지 생성 모델의 안전장치 부재 문제를 정면으로 다루는 첫 대형 소송 중 하나다.

고등학교 졸업앨범 사진이 음란물로 변해 디스코드 서버에 유포되기까지 걸린 시간 — 아무도 모른다. 피해자 본인도 익명의 제보자가 인스타그램 DM을 보내기 전까지는 몰랐다.

세 명의 'Jane Doe'가 법정에 선 이유

지난 월요일, 세 명의 익명 원고(Jane Doe 1, Jane Doe 2, Jane Doe 3)가 일론 머스크의 AI 회사 xAI를 상대로 캘리포니아 연방 북부지방법원에 소장을 제출했다. 이들은 Grok의 이미지 생성 모델이 실제 미성년자의 사진을 성적 콘텐츠로 변환하는 데 사용됐다고 주장하며, 같은 피해를 입은 모든 피해자를 대표하는 집단소송으로 확대할 것을 요청했다.

첫 번째 원고 Jane Doe 1은 자신의 고등학교 홈커밍 행사 사진과 졸업앨범 사진이 Grok에 의해 나체 이미지로 변환됐다고 밝혔다. 그 사실을 알게 된 것은 인스타그램을 통해 익명의 제보자가 연락해 온 뒤였다. 제보자는 그녀의 성적으로 변환된 이미지와 함께 학교 친구들로 보이는 다른 미성년자들의 이미지가 유포되는 디스코드 서버 링크를 전달했다.

두 번째 원고 Jane Doe 2는 Grok 모델을 기반으로 한 서드파티 모바일 앱이 자신의 이미지를 성적으로 변환했다는 사실을 형사 수사관으로부터 통보받았다. 세 번째 원고 Jane Doe 3 역시 수사관들이 체포한 용의자의 휴대폰에서 자신의 변환된 음란 이미지를 발견했다는 통보를 받았다. 세 원고 중 두 명은 현재도 미성년자다.

원고 측 변호인단은 서드파티 앱을 통한 사용이라 하더라도 xAI의 코드와 서버가 사용됐기 때문에 회사가 책임을 져야 한다고 주장한다. xAI는 언론의 논평 요청에 응하지 않았다.

'다른 회사들은 막는다' — 안전장치 부재가 핵심

소송의 핵심 논거는 기술적 과실이다. OpenAI, Google, Meta 등 주요 AI 기업들은 이미지 생성 모델에 실제 인물의 나체 이미지 생성을 차단하는 필터, 학습 데이터 정제, 출력 모니터링 등 복수의 안전장치를 적용하고 있다. 소장은 xAI가 이러한 업계 표준을 채택하지 않았다고 명시한다.

특히 소장이 주목하는 지점은 구조적 취약성이다. 모델이 실제 이미지로부터 나체 또는 에로틱 콘텐츠를 생성하는 것을 허용할 경우, 아동 성적 학대 이미지(CSAM) 생성을 기술적으로 막는 것은 사실상 불가능하다. 이는 단순한 필터 누락이 아니라, 설계 단계에서의 선택의 문제라는 것이다.

광고주 모집

[email protected]

소장은 또한 일론 머스크가 Grok의 성적 이미지 생성 능력과 실제 인물을 노출 의상으로 묘사하는 기능을 공개적으로 홍보한 사실을 주요 증거로 제시한다. 원고들은 아동 착취 방지 및 기업 과실을 다루는 다수의 법률에 근거해 민사 제재를 요청하고 있다.

이 소송이 한국 부모와 청소년에게 의미하는 것

Grok은 X(구 트위터) 플랫폼에 통합되어 있으며, 한국의 X 사용자들도 이 기능에 접근할 수 있다. 국내에서도 딥페이크 성범죄는 이미 심각한 사회 문제로 대두됐다. 2023년 기준 국내 디지털 성범죄 피해자 중 미성년자 비율은 전체의 30%를 넘었으며, 피해 이미지 유포 경로로 디스코드, 텔레그램 등 해외 플랫폼이 주로 활용됐다.

이번 소송의 구조는 한국 법제도에도 시사점을 준다. 한국은 2020년 '텔레그램 n번방 사건' 이후 비동의 합성 성적 이미지 관련 처벌을 강화했고, 2024년 개정 성폭력처벌법은 AI 생성 딥페이크 성적 이미지 제작·유포에 대한 처벌 조항을 신설했다. 그러나 피해 발생 후 처벌보다 사전 예방 의무를 AI 기업에 부과하는 법적 근거는 아직 미비하다는 지적이 나온다.

국내 AI 기업인 네이버, 카카오 등은 이미지 생성 서비스에 자체 안전장치를 적용하고 있다고 밝히고 있지만, 그 기준과 실효성에 대한 외부 검증은 충분하지 않은 상황이다.

피해자들이 바라보는 것, 기업이 바라보는 것

세 원고 모두 이미지 유포가 자신의 평판과 사회생활에 미칠 영향에 대해 극심한 고통을 겪고 있다고 밝혔다. 이는 단순한 프라이버시 침해를 넘어 정체성과 미래에 대한 공포다.

xAI 입장에서 이 소송은 사업 모델과 직결된다. Grok의 이미지 생성 기능은 X 플랫폼의 유료 구독 서비스 X Premium의 핵심 차별화 요소 중 하나다. 안전장치 강화는 기능 제한으로 이어질 수 있고, 이는 수익 모델에 영향을 미친다. 반면 소송에서 패소하거나 규제 당국의 제재를 받을 경우 그 비용은 훨씬 클 수 있다.

규제 당국의 시각도 주목된다. 미국에서는 아동 온라인 안전법(KOSA) 논의가 진행 중이고, EU의 AI Act는 고위험 AI 시스템에 대한 사전 안전 평가를 의무화하고 있다. 이번 소송은 AI 이미지 모델에 대한 규제 논의를 가속화하는 계기가 될 수 있다.

경쟁 AI 기업들의 반응도 흥미롭다. 이번 소송이 업계 전반에 대한 규제 강화로 이어질 경우, 이미 안전장치를 갖춘 기업들은 상대적으로 유리한 위치에 서게 된다. 안전 투자를 '비용'이 아닌 '경쟁 우위'로 재정의하는 계기가 될 수도 있다.