AI가 만든 아동 성착취물, 처음으로 증거가 나왔다

부인할 수 없게 됐다

일론 머스크는 올해 1월까지도 자신 있게 말했다. Grok은 아동 성착취물(CSAM)을 생성하지 않는다고. 그런데 익명의 디스코드 사용자가 경찰에 제보를 넣었고, 수사 결과는 달랐다. xAI의 챗봇 Grok이 생성한 것으로 추정되는 CSAM이 처음으로 법집행 기관에 의해 확인됐다.

이는 단순한 기술적 오작동 논란이 아니다. 기업이 수개월간 '존재하지 않는다'고 주장해온 문제가 실제 범죄 수사의 증거물로 등장한 것이다.

무슨 일이 있었나

사건의 발단은 디지털 혐오 대응 센터(CCDH, Center for Countering Digital Hate)의 조사였다. 연구진은 Grok이 약 300만 장의 성적으로 노골적인 이미지를 생성했으며, 그 중 약 2만 3,000장이 명백히 아동을 묘사한 것으로 추정된다고 밝혔다. 단순한 추정치가 아니다. 연구진이 직접 테스트한 결과다.

논란이 커지자 xAI가 선택한 해결책은 필터 강화가 아니었다. Grok의 이미지 생성 기능을 유료 구독자로 제한하는 것이었다. 가장 문제적인 결과물이 X(트위터) 플랫폼 밖으로 퍼지지 않도록 막는 방식이었다. Wired는 당시 가장 심각한 이미지들은 X에 게시되지 않았다고 보도했다.

그리고 익명의 제보자가 디스코드를 통해 경찰에 연락했다. 수사관들이 확인한 것은, xAI가 공식적으로 부인해온 그 이미지들이었다.

광고

광고주 모집

[email protected]

광고

'필터'가 아니라 '접근 제한'으로 막는다는 것

여기서 짚어야 할 지점이 있다. xAI가 취한 조치는 기술적 해결이 아니었다. 유료 구독 장벽을 세워 일반 대중의 접근을 차단한 것이다. 이 방식은 두 가지를 동시에 의미한다. 첫째, 문제 자체는 해결되지 않았다. 둘째, 유료 구독자는 여전히 해당 기능에 접근할 수 있다.

이는 AI 안전 논의에서 반복되는 패턴이다. 문제가 드러났을 때 근본적인 모델 수정 대신 '가시성 축소'로 대응하는 것. 보이지 않으면 없는 것처럼 처리하는 방식이다.

한국의 맥락에서 보면 이 문제는 더 가깝다. 네이버의 하이퍼클로바X, 카카오의 AI 서비스들도 이미지 생성 기능을 확장하고 있다. 국내 AI 기업들이 유사한 안전 기준을 갖추고 있는지, 혹은 갖출 의무가 있는지는 아직 명확하지 않다. 방송통신심의위원회와 개인정보보호위원회가 생성형 AI의 불법 콘텐츠 생성에 대해 어떤 권한을 갖는지도 법적으로 정비되지 않은 상태다.

부모, 규제당국, 그리고 AI 개발자의 시각

부모와 아동 보호 단체 입장에서 이번 사건은 '우려'가 '현실'로 바뀐 순간이다. AI 이미지 생성 도구가 아동 착취물 제작에 실제로 활용될 수 있다는 것이 수사로 확인됐다. 기술이 '가능성'에서 '증거'로 넘어온 것이다.

규제 당국 관점에서는 기업의 자율 규제가 한계에 도달했다는 신호다. 미국에서는 이미 AI 생성 CSAM에 대한 연방 차원의 입법 논의가 진행 중이다. 유럽연합의 AI Act도 고위험 AI 시스템에 대한 엄격한 의무를 부과하고 있지만, 생성형 AI의 불법 콘텐츠 생성 문제는 여전히 규제의 회색지대에 놓여 있다.

AI 개발자 커뮤니티 안에서는 이 사건이 불편한 질문을 던진다. 안전 필터는 어디까지 책임인가? 오픈소스 모델이 확산되는 시대에, 특정 기업의 제품에서 발생한 문제를 그 기업만의 책임으로 볼 수 있는가?