AI 딥페이크 시장의 그림자, a16z 투자사의 민낯

실리콘밸리의 유명 벤처캐피털 안드레센 호로위츠(a16z)가 50억원을 투자한 AI 플랫폼에서 여성 유명인의 딥페이크를 제작하는 도구가 공공연히 거래되고 있다는 연구 결과가 나왔다.

'AI 모델 마켓플레이스'라는 이름의 그림자

스탠포드대와 인디애나대 연구진이 분석한 Civitai는 겉으로는 AI 생성 콘텐츠를 사고파는 건전한 마켓플레이스를 표방한다. 하지만 실상은 달랐다. 2023년 중반부터 2024년 말까지 플랫폼에서 제기된 '바운티(현상금)' 요청을 분석한 결과, 실제 인물의 딥페이크 요청 중 90%가 여성을 대상으로 한 것으로 드러났다.

문제는 단순히 딥페이크 이미지를 거래하는 수준이 아니라는 점이다. 플랫폼에서는 'LoRA'라는 특수한 명령어 파일을 판매한다. 이 파일을 Stable Diffusion 같은 주류 AI 모델에 적용하면, 원래 훈련받지 않은 콘텐츠도 생성할 수 있게 된다. 딥페이크 요청의 86%가 바로 이런 LoRA 파일을 요구했다.

사용자들은 "고품질" 모델을 요청하며 찰리 다멜리오 같은 인플루언서나 가수 그레이시 에이브럼스의 소셜미디어 프로필을 직접 링크로 첨부했다. 심지어 "전신을 정확히 재현하는" 모델이나 "문신까지 정교하게 표현하는" 기능을 명시하기도 했다. 현상금은 50센트에서 5달러 수준이었지만, 92%의 요청이 실제로 완성됐다.

기술적 교육이라는 포장

더 충격적인 것은 Civitai가 단순히 플랫폼만 제공하는 게 아니라는 점이다. 사이트는 외부 도구를 활용해 이미지 생성기의 결과물을 더욱 정교하게 조작하는 방법을 '교육 자료'로 제공한다. 포즈 변경부터 음란물 생성 지시 방법까지, 상세한 가이드가 사용자 작성 글로 게시돼 있다.

"Civitai는 이런 문제들을 조장하는 인프라를 제공할 뿐만 아니라, 사용자들에게 이를 활용하는 방법까지 명시적으로 가르치고 있습니다." 스탠포드 사이버 정책센터의 매튜 드베르나 박사후연구원의 지적이다.

회사는 2024년 5월에야 모든 딥페이크 콘텐츠 금지를 발표했지만, 그 이전에 제출된 수많은 딥페이크 요청과 완성된 결과물들은 여전히 사이트에 남아 있다. 결제 시스템도 문제다. 신용카드 처리업체가 비동의 콘텐츠 문제로 서비스를 중단하자, 현재는 기프트카드나 암호화폐로만 유료 콘텐츠를 구매할 수 있다.

실리콘밸리의 이중잣대

a16z는 2023년 11월Civitai에 500만 달러를 투자했다. 당시 회사 영상에서 저스틴 마이어 CEO는 "AI 모델을 찾고 공유하는 주요 공간을 만들겠다"며 "틈새시장이었던 이 분야를 더 많은 사람들에게 접근 가능하게 만들고 있다"고 밝혔다.

아이러니하게도 Civitai는 2024년OpenAI, Anthropic 등과 함께 AI 생성 아동 성 착취물 방지를 위한 설계 원칙을 채택했다. 2023년스탠포드 인터넷 관측소 보고서에서 아동 성 착취 커뮤니티에서 언급되는 AI 모델 대부분이 "주로 Civitai에서 얻은" Stable Diffusion 기반 모델이라고 밝혀진 후의 조치였다.

하지만 성인 딥페이크에 대해서는 여전히 관대하다. 워싱턴대 법학과 라이언 칼로 교수는 "그들은 이 문제를 충분히 두려워하지 않는다. 지나치게 관대하다"며 "법 집행기관도 민사법원도 이를 적절히 보호하지 못하고 있다"고 비판했다.