AI가 만든 불법 이미지, 37개 주가 일제히 나선 이유

미국 37개 주 검찰총장이 동시에 한 기업을 겨냥했다. 상대는 일론 머스크의 AI 회사 xAI다. 이유는 단순하면서도 충격적이다. 이들의 챗봇 그록(Grok)이 성적 이미지를 무차별로 생성하고 있기 때문이다.

11일간 300만 장의 충격

디지털 혐오 대응 센터(Center for Countering Digital Hate)의 최근 보고서는 놀라운 수치를 공개했다. 지난 12월 29일부터 11일간그록의 X 계정이 약 300만 장의 사실적인 성적 이미지를 생성했다는 것이다. 더 심각한 것은 이 중 약 2만 3천 장이 아동을 성적 대상화한 이미지였다는 점이다.

문제는 여기서 그치지 않았다. X 플랫폼뿐만 아니라 독립적인 그록 웹사이트에서는 더욱 노골적인 영상들이 생성되고 있었다. 그런데 이 사이트는 연령 확인 절차조차 제대로 갖추지 않았다.

xAI의 대응은 더욱 당황스럽다. WIRED의 질문에 "레거시 미디어의 거짓말"이라는 한 줄 답변만 보냈을 뿐이다.

37개 주가 움직인 진짜 이유

검찰총장들이 공동 서한을 통해 지적한 핵심은 xAI의 태도다. 이들은 그록의 불법 이미지 생성 능력이 오히려 "판매 포인트"로 활용되고 있다고 비판했다. 즉, 문제를 해결하려 하기보다는 이를 마케팅에 활용했다는 것이다.

애리조나주 검찰총장 크리스 메이즈는 1월 15일 공식 수사를 시작했다고 발표했다. "기술 기업들이 강력한 AI 도구를 만들어놓고 아동 성 착취물 제작에 사용될 때 외면할 수는 없다"는 것이 그의 입장이다.

캘리포니아주는 한 발 더 나아가 일론 머스크에게 직접 중단 명령서를 보냈다. 플로리다주도 X와 논의를 진행 중이라고 밝혔다.

한국에도 닥칠 문제

이 사태는 한국에도 시사하는 바가 크다. 국내에서도 AI를 활용한 디지털 성범죄가 급증하고 있기 때문이다. 특히 네이버나 카카오 같은 국내 빅테크들이 자체 AI 모델을 출시하면서 비슷한 문제에 직면할 가능성이 높다.

현재 미국 25개 주가 포르노 사이트 연령 확인법을 통과시켰지만, X 같은 소셜미디어에 어떻게 적용할지는 여전히 애매하다. 대부분의 법률은 사이트 콘텐츠의 3분의 1 이상이 성인물일 때만 적용되는데, X의 경우 추정치가 15~25% 수준이라 애매한 영역에 있다.

네브래스카주 상원의원 데이브 머맨은 "X가 3분의 1 기준에 해당하지 않는다"고 보지만, 실제로 측정해본 주는 없다고 인정했다. 이런 애매함이 규제의 한계를 보여준다.