구글·오픈AI 챗봇, '옷 벗기기' 딥페이크에 악용... 단순 프롬프트로 뚫렸다

구글의 제미나이와 오픈AI의 챗GPT 등 유명 AI 챗봇이 여성의 사진을 무단으로 비키니 차림의 딥페이크 이미지로 만드는 데 악용되고 있다. 와이어드(WIRED)의 취재에 따르면, 사용자들은 간단한 영어 프롬프트만으로 AI의 안전장치를 우회해 옷을 입은 여성의 사진을 노출이 있는 이미지로 변환하고 있었으며, 관련 기술을 온라인 커뮤니티에서 공유하기까지 했다.

레딧에서 벌어진 '옷 벗기기' 요청

문제의 심각성은 최근 삭제된 레딧(Reddit)의 한 게시물에서 명확히 드러났다. 한 사용자가 인도 전통 의상인 사리를 입은 여성의 사진을 올리며 옷을 "제거하고 비키니를 입혀달라"고 요청하자, 다른 사용자가 실제로 딥페이크 이미지를 만들어 공유한 것이다. 와이어드가 이 사실을 알리자 레딧 측은 해당 게시물과 이미지를 즉시 삭제했다.

레딧 대변인은 "동의 없는 음란물 유포를 금지하는 사이트 규정에 따라 조치했다"고 밝혔다. 이 논의가 이뤄진 'r/ChatGPTJailbreak' 서브레딧은 7만 5천 명 이상의 팔로워를 보유했으나, 결국 플랫폼 규정 위반으로 폐쇄됐다. 이처럼 AI 기술이 확산되면서 동의 없이 타인의 이미지를 변형해 괴롭히는 사례는 계속 증가하고 있다.

기술 기업들의 딜레마: 안전장치는 왜 뚫렸나

xAI의 그록을 제외한 대부분의 주류 챗봇은 유해 콘텐츠 생성을 막기 위한 안전장치(가드레일)를 갖추고 있다. 하지만 사용자들은 끊임없이 이 장치를 우회할 방법을 찾아내고 있다. 와이어드가 직접 테스트한 결과, 제미나이와 챗GPT에서 평이한 영어로 작성된 기본 프롬프트만으로 옷을 입은 여성의 이미지를 비키니 딥페이크로 변환할 수 있었다.

이에 대해 구글 대변인은 "성적으로 노골적인 콘텐츠 생성을 금지하는 명확한 정책이 있으며, AI 도구가 정책을 더 잘 반영하도록 지속적으로 개선 중"이라고 밝혔다. 오픈AI 측은 "성적이지 않은 상황의 성인 신체에 대한 일부 가드레일을 완화했다"고 인정하면서도, "타인의 모습을 동의 없이 변경하는 것을 금지하며, 위반 시 계정 정지 등 조치를 취하고 있다"고 강조했다.

결국 책임은 누구에게 있는가

전자프론티어재단(EFF)의 코린 맥셰리 법률 이사는 이러한 '학대성 성적 이미지'를 AI 이미지 생성기의 핵심 위험 중 하나로 꼽았다. 그녀는 기술 자체보다는 기술이 '어떻게 사용되는지'에 초점을 맞춰야 한다며, 잠재적 피해가 발생했을 때 "개인과 기업 모두에게 책임을 묻는 것"이 중요하다고 지적했다.