動画生成AI「Sora 2」が悪用される現実：TikTokに拡散する児童に見える性的コンテンツ、規制は追いつくか？

OpenAIが発表した最新の動画生成AI「Sora 2」が、意図しない形で深刻な問題を引き起こしています。10月7日、TikTok上で、児童向けの玩具を装った、性的な玩具に酷似した製品の偽CM動画が拡散しました。この動画は「Sora 2」を用いて作成されたものとみられ、AIによる巧妙な不適切コンテンツの生成と拡散が、現実の脅威となっていることを示しています。

問題の動画は、「@fujitiva48」というアカウントによって投稿され、「この新しい子供のおもちゃについてどう思いますか？」という問いかけと共に、2,000人以上の視聴者に閲覧されました。動画内では、フォトリアルな少女が「Vibro Rose」と名付けられた、ピンク色で振動するペン型の玩具で遊んでいます。しかしそのデザインや名称、機能は明らかに成人向け玩具を模倣しており、多くのユーザーから「これは面白いことではない」「作った人は調査されるべきだ」といった強い批判が寄せられました。

「Sora 2」リリースから1週間で起きたこと

OpenAIの「Sora 2」は、9月30日に米国で招待制でリリースされましたが、わずか1週間で「Vibro Rose」のような動画がTikTokのおすすめページに登場し始めました。WIREDの調査によると、他にも粘着性のある液体を噴射する水遊び玩具やケーキデコレーターなど、AIで生成された実在しない子供を登場させた、さらに露骨な偽広告が複数確認されています。

規制とプラットフォームの対策は追いついているか

こうした状況を受け、各国の規制当局も動き出しています。英国では犯罪・警察法案に新たな修正案が導入され、AIツールがCSAMを生成できないことを「認定テスター」が検証できるようになります。米国でも過去2年間で45州がAI生成CSAMを犯罪とする法律を施行しました。

開発元であるOpenAIは、18歳未満の人物を搾取、危険にさらし、または性的に描写するために自社のプラットフォームを使用することを固く禁じていると述べています。WIREDからのコメント要請を受け、同社は振動するバラの玩具のような動画を作成していた複数のアカウントを停止したと回答しました。また、TikTokの広報担当者も、未成年者の安全に関する厳格なポリシーに違反した動画を削除し、アカウントを停止したと述べています。

コンテキストの壁：AIモデレーションの限界

しかし、問題の根はより深く、現在のAIモデレーション技術の限界を露呈しています。例えば、別のAIツール「Veo」で作られた、コーチがロッカールームで肥満の少年たちの体に触れる動画は、それ自体は露骨なポルノではありません。しかし、コメント欄には犯罪の温床とされるTelegramへの誘導が見られ、動画の意図が明らかになります。

非営利団体「Free Speech Coalition」のマイク・ステイビル氏は、AI企業はモデレーションにおいて、より高度なニュアンスの理解を導入する必要があると指摘します。特定の単語を禁止するだけでなく、フェチコンテンツに関連しうる言葉を制限したり、多様なバックグラウンドを持つモデレーションチームを訓練したりすることが求められます。彼は「精通していない人々が見逃してしまうようなことが、常に存在するでしょう」と語ります。