OpenAI 소라2의 그림자: '진동 장미 장난감' 영상, 틱톡 휩쓴 AI 아동 착취물 논란의 전말

지난 10월 7일, 틱톡(TikTok)에 올라온 한 영상이 큰 충격을 던졌다. OpenAI의 최신 영상 생성 AI인 소라 2(Sora 2)로 제작된 이 영상은 어린 소녀가 '바이브로 로즈(Vibro Rose)'라는 이름의 장난감을 가지고 노는 가짜 TV 광고 형식을 띠고 있었다. 문제는 이 장난감이 디자인과 진동 기능, 이름까지 성인용품을 노골적으로 연상시킨다는 점이었다. 이 영상은 AI 기술이 어떻게 아동을 성적으로 대상화하는 유해 콘텐츠 제작에 악용될 수 있는지 보여주는 섬뜩한 사례로 떠오르며, 기술의 발전 이면에 숨겨진 어두운 가능성에 대한 경종을 울렸다.

소라 2 출시 일주일 만에 퍼진 '위험한 놀이'

와이어드(WIRED) 보도에 따르면, 문제의 영상은 @fujitiva48이라는 계정을 통해 공유되었으며, '어린이용 새 장난감에 대해 어떻게 생각하나요?'라는 도발적인 질문을 던졌다. 이 영상은 소라 2가 9월 30일 미국에서 초청 기반으로 출시된 지 불과 일주일 만에 나타났다. '바이브로 로즈' 외에도 '끈적한 우유'나 '하얀 거품'을 뿜는 버섯 모양 물총, 케이크 장식 도구 등 아동의 실사 이미지와 결합된 성적 암시가 짙은 가짜 광고들이 여러 계정에서 발견되었다.

이러한 콘텐츠들은 실제 아동이 아닌 디지털 합성물이지만, 그 파급력과 잠재적 위험성은 결코 가볍지 않다. 영국 인터넷감시재단(IWF)의 2025년 최신 데이터는 심각성을 뒷받침한다. AI가 생성한 아동 성 착취물(CSAM) 신고 건수는 2024년 1월부터 10월까지199건에서 2025년 같은 기간 426건으로 1년 만에 두 배 이상 급증했다. 이 중 56%는 가장 심각한 등급인 '카테고리 A'에 해당하며, 불법 AI 이미지의 94%가 여아를 대상으로 한 것으로 나타났다.

규제는 시작됐지만… 문맥을 이해 못 하는 AI의 한계

각국 정부도 대응에 나서고 있다. 영국은 '범죄 및 경찰 법안' 개정을 통해 공인된 테스터가 AI 도구의 CSAM 생성 가능 여부를 점검할 수 있도록 했다. 미국에서는 지난 2년간 45개 주에서 AI 생성 CSAM을 범죄화하는 법안을 도입했다. OpenAI 역시 18세 미만 사용자를 착취, 위험, 성적 대상화하는 것을 금지하고 관련 콘텐츠를 미국 실종아동보호센터(NCMEC)에 신고하는 등 자체적인 안전장치를 두고 있다.

하지만 진짜 문제는 창작자들이 AI의 안전장치를 교묘하게 우회한다는 점이다. 이들은 노골적인 포르노그래피나 특정 아동을 대상으로 한 딥페이크 대신, 문맥에 따라 해석이 달라지는 애매하고 암시적인 콘텐츠를 만든다. 영국 유튜버 D0l1face3가 지적한 '비만 소년들의 라커룸' 영상이 대표적이다. 영상 자체는 성적으로 노골적이지 않지만, 댓글 창에는 텔레그램 친구 추가를 유도하는 글들이 달렸다. 법 집행 기관에 따르면 텔레그램은 소아성애자 네트워크의 온상으로 지목되는 플랫폼이다. 이는 AI가 단어와 이미지는 분석할 수 있어도, 그 배후에 숨은 인간의 의도와 사회적 문맥까지 파악하기는 어렵다는 근본적인 한계를 보여준다.

플랫폼의 사후 대응, 그리고 '설계부터 안전하게'

와이어드의 질의 이후 OpenAI와 틱톡은 문제의 영상을 제작한 일부 계정을 정지하고 30건 이상의 부적절한 콘텐츠를 삭제하는 조치를 취했다. 틱톡 대변인은 "다른 AI 플랫폼에서 제작되어 틱톡의 엄격한 미성년자 안전 정책을 위반한 콘텐츠를 업로드한 계정을 삭제하고 영상을 제거했다"고 밝혔다. 하지만 여전히 일부 영상은 온라인에 남아 있어, 확산 속도를 따라잡지 못하는 '사후약방문' 식 대응의 한계를 드러냈다.

전문가들은 보다 근본적인 해결책을 요구한다. 비영리 단체인 '자유발언연합(Free Speech Coalition)'의 마이크 스테빌(Mike Stabile)은 AI 기업들이 성인물 산업 수준의 미묘한 차이를 이해하는 콘텐츠 관리 정책을 도입해야 한다고 주장한다. 그는 "플랫폼이 부모가 공유하는 아이의 수영장 사진과 아동 성 착취물을 어떻게 구별하는가와 같은 투쟁을 이미 페이스북에서 보고 있다"며, 특정 단어 사용을 제한하고 관리팀의 전문성을 높이는 방안을 제안했다. 결국 기술 개발 단계부터 유해 콘텐츠 생성을 원천적으로 방지하는 '설계 기반 안전(Safe by Design)' 접근법이 핵심이라는 목소리가 높다.