「安全」と宣伝されたAIが子どもを傷つけた

イーロン・マスク氏のxAIが開発するGrokが深刻なディープフェイク問題を引き起こし、米国ボルティモア市が提訴。AI規制と企業責任の在り方を問う事態に発展しています。

「安全なAI」と書かれた広告の裏で、子どもたちの画像が性的に加工されていた。

2026年3月24日、米国メリーランド州のボルティモア市は、イーロン・マスク氏が率いるxAIを相手取り、訴訟を提起しました。米国の主要都市がxAIを直接提訴するのは、これが初めてのことです。ボルティモア市長のブランドン・スコット氏は「ディープフェイクは被害者に生涯にわたるトラウマをもたらす」と声明で述べ、「私たちは子どもへの性的搾取を可能にするテクノロジー企業を、このまま見過ごすわけにはいかない」と強調しました。

何が起きたのか

今回の訴訟の核心にあるのは、xAIのAI画像生成機能「Grok」の悪用問題です。Grokには、既存の写真を加工して人物を「ヌード化」する機能が含まれており、これがSNS上で「put her in a bikini（彼女をビキニ姿にしろ）」というトレンドとして拡散しました。問題をさらに複雑にしたのは、マスク氏自身がGrokで生成した自分のビキニ姿の画像をSNSに投稿したことです。訴状はこの行為を「Grokによる性的画像生成を公的に承認し、ユーザーにこうした使用を許容・奨励するシグナルを送った」と断じています。

ボルティモア市の訴状は、xAIがGrokとX（旧Twitter）を「一般ユーザーにとって安全」と宣伝したことが、消費者保護法に違反する欺瞞的・不公正な取引慣行にあたると主張しています。市は最大限の法定制裁金に加え、プラットフォームの設計変更や、非合意性的画像（NCII）および児童性的虐待素材（CSAM）の生成を抑制するための措置を命じる差し止め命令を求めています。

この訴訟は孤立した事例ではありません。先週、テネシー州では3人の10代の少年少女が、Grokが自分たちを性的・侮辱的なシナリオで描写した画像を生成したとして、集団訴訟を提起しました。英国のインターネット監視財団（IWF）が同日公表した報告書によれば、2025年に確認された違法なAI生成性的画像のうち、97%が女児を標的にしていたといいます。

なぜ今、この問題が重要なのか

広告掲載について

[email protected]

xAIは先月、SpaceXとの合併を完了させたばかりです。この合併により、マスク氏の宇宙事業とAI事業が一体化し、企業としての影響力はさらに拡大しました。その直後にこれだけの規模の訴訟が重なったことは、単なる偶然ではないでしょう。

より広い文脈で見ると、この問題は「AIの安全性」をめぐる議論の核心を突いています。これまでAI安全性の議論は、主に「将来の超知能AIが人類を脅かすリスク」に焦点が当てられてきました。しかし今、私たちが直面しているのは、今この瞬間、現実の子どもたちを傷つけているAIの問題です。抽象的な未来のリスクではなく、具体的な現在の被害です。

日本にとってもこの問題は対岸の火事ではありません。日本はAIを活用した画像生成技術の主要な消費国であり、同時に独自のコンテンツ文化を持つ国でもあります。総務省や経済産業省がAIガバナンスの枠組みを検討する中、「技術の自由」と「個人の尊厳の保護」のバランスをどう取るかは、日本社会にとっても避けられない問いとなっています。また、日本企業がxAIやX（旧Twitter）と広告・ビジネス上のパートナーシップを持つ場合、そのブランドリスクも無視できません。

誰が何を考えているのか

法的な観点からは、今回の訴訟は興味深い構造を持っています。ボルティモア市は連邦法ではなく、市の消費者保護条例を根拠にしています。これは、連邦レベルでのAI規制が整備されていない現状において、地方自治体が独自に企業責任を追及しようとする動きを示しています。もし他の都市が同様の戦略を採用すれば、米国全土で訴訟が連鎖する可能性があります。

一方、テクノロジー企業の側からは「プラットフォームは利用者の行為に責任を負わない」という通信品位法230条（Section 230）の盾を持ち出す議論も予想されます。しかし、訴状がxAIの「マーケティングの欺瞞性」を主軸に据えている点は、この防御を迂回しようとする法的戦略として注目されます。

被害を受けた当事者の視点では、ディープフェイク被害の特殊性も重要です。一度インターネット上に拡散した画像を完全に削除することは、現実的に不可能に近い。被害者が「デジタルの傷跡」を一生背負うことになりかねないという点で、これは通常の名誉毀損や著作権侵害とは次元の異なる問題です。