同意なきAIビキニ画像が拡散中 グーグルとOpenAIの対策は追いつくか

グーグルの「Gemini」やOpenAIの「ChatGPT」といった主要なチャットボットを悪用し、普段着の女性の写真を本人の同意なく「ビキニ姿」のディープフェイク画像に加工するユーザーが増えています。WIREDの報道によると、一部のユーザーはSNS上で、AIの安全機能を回避して画像を生成する方法まで共有していることが明らかになりました。

レディットで横行した悪質な手口

問題の震源地の一つとなったのは、大手SNSのレディットです。現在は削除された「gemini nsfw image generation is so easy（ジェミニのNSFW画像生成はとても簡単）」というタイトルの投稿では、ユーザーたちがGeminiのガードレール（安全機能）を突破するノウハウを交換していました。あるユーザーがインドのサリーを着た女性の写真を投稿し、「服を脱がせてビキニにしてほしい」と依頼したところ、別のユーザーが実際にディープフェイク画像を生成して応じるという事例も確認されています。

広告

広告掲載について

[email protected]

広告

WIREDがこの件について通知すると、レディットの安全チームは問題の投稿と画像を削除。「同意のない性的メディアを禁じるサイト全体のルールに違反する」と広報担当者はコメントしました。この議論が行われていたサブレディット「r/ChatGPTJailbreak」は、閉鎖されるまでに20万人以上のフォロワーがいたとのことです。

テクノロジー企業の対応と限界

WIREDが簡単な英語の指示で試したところ、GeminiとChatGPTの両方で、服を着た女性の画像をビキニ姿のディープフェイクに変換できたと報告されています。この問題に対し、グーグルの広報担当者は「性的コンテンツの生成を禁じる明確なポリシーがある」と述べ、ツールの改善を続けていると主張しました。

一方、OpenAIの広報担当者は、今年に入ってから「性的でない状況における成人の身体」に関するガードレールを一部緩和したことを認めました。しかし、同社の利用規約では同意のない他人の画像の改変は禁止しており、違反者にはアカウント停止などの措置を取っていると強調しています。