AI가 실제 여성을 딥페이크 상품으로 만드는 시장의 실체

90%의 딥페이크 요청이 여성을 대상으로 한다. 이것이 바로 안드레센 호로위츠가 투자한 AI 마켓플레이스에서 벌어지고 있는 현실이다.

투자자들이 외면한 어두운 거래

시비타이(Civitai)는 AI 생성 콘텐츠를 사고파는 온라인 마켓플레이스다. 표면적으로는 창작자들이 AI 모델과 도구를 공유하는 건전한 플랫폼처럼 보인다. 하지만 스탠포드대와 인디애나대 연구진이 2023년 중반부터 2024년 말까지 분석한 결과는 충격적이었다.

연구진은 사용자들이 특정 콘텐츠 제작을 요청하는 '바운티(bounties)' 시스템을 분석했다. 대부분의 요청은 애니메이션 콘텐츠였지만, 상당 부분이 실제 인물의 딥페이크를 요구했다. 그리고 이 딥페이크 요청의 90%가 여성을 대상으로 했다.

더 심각한 것은 이들 요청 중 상당수가 사이트에서 금지된 포르노그래피 이미지 제작을 목적으로 한다는 점이다. 겉으로는 일반적인 AI 도구처럼 포장되어 있지만, 실제로는 특정 여성의 얼굴을 이용한 성적 콘텐츠 제작에 특화된 '맞춤형 지시 파일'들이 거래되고 있었다.

규제와 현실 사이의 괴리

시비타이는 자체적으로 포르노그래피 콘텐츠를 금지한다고 명시하고 있다. 하지만 연구 결과는 이런 정책이 얼마나 무력한지 보여준다. 사용자들은 우회적인 방식으로 금지된 콘텐츠를 요청하고, 플랫폼은 이를 효과적으로 차단하지 못하고 있다.

한국에서도 딥페이크 성범죄는 심각한 사회 문제로 대두되고 있다. 특히 2024년 텔레그램 n번방 사건 이후 관련 법안이 강화됐지만, 해외 플랫폼을 통한 도구 유통까지 완전히 차단하기는 어려운 상황이다.

문제는 이런 도구들이 점점 더 정교해지고 접근하기 쉬워지고 있다는 점이다. 과거에는 전문적인 기술 지식이 필요했던 딥페이크 제작이 이제는 몇 번의 클릭으로 가능해졌다.

기술과 윤리의 충돌

AI 기술 자체는 중립적이다. 같은 기술이 영화 산업에서는 특수효과로, 교육 분야에서는 맞춤형 학습 도구로 활용될 수 있다. 하지만 시비타이 사례는 기술의 발전 속도와 윤리적 가이드라인 마련 사이의 간극을 여실히 보여준다.

더욱이 이 플랫폼에 투자한 안드레센 호로위츠는 실리콘밸리에서 가장 영향력 있는 벤처캐피털 중 하나다. 이들의 투자는 단순한 자금 지원을 넘어 해당 기업에 대한 신뢰의 표시로 받아들여진다. 하지만 투자자들이 자신들의 자금이 어떻게 사용되는지 충분히 모니터링하고 있는지는 의문이다.