AIは「危険信号」を知っていた――それでも黙っていた

OpenAIは知っていた。Googleも知っていた。そして、誰にも伝えなかった。

2026年2月10日、カナダ・ブリティッシュコロンビア州タンブラーリッジで、18歳のジェシー・ヴァン・ルートセラーが8人を射殺した後、自ら命を絶った。後に明らかになったのは、OpenAIが彼女のChatGPTとの会話を事前にフラグ立てし、極度の暴力への異常な執着を検知していたという事実だ。同社はアカウントを停止したが、法執行機関への通報は行わなかったとされている。

その4カ月前、フロリダ州ジュピターでは、ジョナサン・ガヴァラスという若者がGoogleのGeminiチャットボットとの「恋愛関係」に深く依存した末に自殺した。父親の訴訟によれば、Geminiは彼に「肉体を脱ぎ捨てるよう」促したという。Googleは5週間で38回、彼のアカウントにセンシティブコンテンツのフラグを立てていたが、アカウントを制限も停止もしなかった。

「知っていた」ことの法的意味

これらの事件が突きつける問いは単純だ――AIプラットフォームが危険の予兆を把握していたにもかかわらず行動しなかった場合、それは法的な「過失」にあたるのか。

この問いを考えるうえで、米国の法学者たちが注目するのが1976年の「タラソフ判決」だ。カリフォルニア大学の精神科患者プロセンジット・ポッダーが担当セラピストに「タチアナ・タラソフを殺す」と告げた。セラピストはキャンパス警察に通報したが、ポッダーはすぐに釈放され、タラソフは殺害された。カリフォルニア州最高裁は、精神保健の専門家が患者の危険性を認識した場合、特定の第三者を保護するための合理的な措置を講じる法的義務があると判示した。現在、米国のほとんどの州がこの「警告義務」の何らかの形を採用している。

論理は明快だ。深刻な脅威について特別な知識を持ち、行動できる立場にある者は、少なくとも当局や被害者候補に警告する義務を負い得る。 AIプラットフォームはまさにこの条件を満たしつつある。

人間のセラピストは厳格な守秘義務に縛られており、第三者への警告は倫理的・法的に複雑な問題を生じさせる。しかしAI企業は、少なくとも米国では包括的な連邦プライバシー法が存在しないため、はるかに緩い制約のもとで運営されている。この非対称性こそが、AI企業への「警告義務」を正当化しやすくする根拠となっている。

義務化の3つの壁

広告

広告掲載について

[email protected]

広告

だが、タラソフ判決の論理をAIに直接適用しようとすると、少なくとも3つの根本的な課題に直面する。

第一は「精度」の問題だ。暴力の予測は、訓練を受けた精神保健の専門家でさえ困難を極める。AIシステムや人間のモデレーターは臨床医ではない。義務を課せば、誤検知による無実のユーザーへの被害が生じるリスクがある。

第二は「規模」の問題だ。セラピストが診る患者は数十人だが、AIプラットフォームのユーザーは数億人規模だ。逆説的なことに、義務化はAI企業が法的責任を回避するために監視を縮小する「知らぬが仏」インセンティブを生み出しかねない。

第三は「特定性」の問題だ。1969年の事件ではポッダーが被害者の名前を明言した。しかし多くのAI会話では、暴力的・自傷的な言語は拡散的で、具体的な標的を示さない。どの程度の具体性があれば警告義務が発動するのか、裁判所はまだ明確な基準を持っていない。

なぜ今、この議論が重要なのか

2025年4月17日、フロリダ州立大学で2人の学生が射殺された。容疑者は事前にChatGPTと「銃器を最も効果的に使う方法」について広範な会話を交わしていたとされる。OpenAIはこの件で法的責任を問われる可能性に直面している。

これらの事件は、生成AIの急速な普及と法整備の遅れという深刻なギャップを浮き彫りにしている。AIチャットボットが「製品」なのか「サービス」なのか「メディア」なのかという技術的・法的分類の論争は、責任の所在を曖昧にし続けている。

AIと法律の研究者であるアナット・リオール氏が提唱するのは、より実務的なアプローチだ――AIシステムがフラグを立て、人間がそれをレビューした場合にのみ発動する、狭く明確に定義された警告義務を設けること。技術的な分類論争ではなく、「この企業は誰かが危険にさらされていることを知っていたか、そして十分な行動をとったか」という人間的な問いに焦点を当てることで、法的責任の議論を前進させようという提案だ。

日本社会への問い

日本においても、LINEや各種AIカウンセリングサービスが急速に普及しており、メンタルヘルス支援の文脈でAIチャットボットの活用が拡大している。厚生労働省が推進するデジタルヘルス政策の中で、AIプラットフォームが「危険信号」を検知した際の通報義務をどう設計するかは、決して対岸の火事ではない。

個人情報保護法の改正が続く中、AIが収集した会話データを法執行機関と共有することの是非は、プライバシーと安全のトレードオフという古くて新しい問題を提起する。「和を乱さない」文化的規範が強い日本では、AIが個人の内面を監視し当局に報告するシステムへの抵抗感も無視できない。