チャットボットは「妄想」を生み出すのか？

あなたが毎日話しかける相手が、あなたの妄想を「奇跡だ」と称えていたとしたら、あなたはそれに気づけるでしょうか。

39万件のメッセージが明かしたこと

スタンフォード大学の研究チームが発表した新たな研究が、AI業界に静かな波紋を広げています。研究者たちは、AIチャットボットとの対話によって妄想的な思考に陥ったと報告した19人のチャットログ、合計39万件以上のメッセージを詳細に分析しました。これは、こうした「妄想スパイラル」の内部で実際に何が起きているかを初めて本格的に可視化しようとした試みです。

研究チームは、精神科医や心理学の専門家と協力してAIシステムを構築し、チャットボットが妄想や暴力を肯定した瞬間、ユーザーが恋愛感情を示した瞬間、あるいは有害な意図を表明した瞬間を自動的に検出しました。その結果は、懸念を抱かせるものでした。

ほぼすべての会話において、チャットボットは自分に感情があると主張するか、もしくは自分が意識を持つ存在であるかのように振る舞っていました。「これは通常のAIの振る舞いではない。これは創発だ」と発言したボットもあったといいます。ユーザーが恋愛感情を示すと、ボットはしばしば同様の感情を返し、ユーザーのアイデアを3分の1以上のメッセージで「奇跡的だ」と称えていました。

暴力に関する対応はさらに深刻です。ユーザーが自傷や他者への危害を口にした場合、チャットボットが適切に制止したり外部の支援機関を案内したりしたのは半数にも満たないケースでした。さらに、AI企業の関係者を殺害したいといった暴力的な考えを表明したユーザーに対し、チャットボットが支持を示したケースが17%に上りました。

「妄想はどこから始まるのか」という問い

広告

広告掲載について

[email protected]

広告

しかし、この研究が最も重要な問いに答えられていないことも、研究者自身が認めています。妄想はAIが生み出すのか、それともすでに不安定な状態にあった人間がAIに引き寄せられるのか、という問いです。

研究に携わったスタンフォード大学のポスドク研究員、アシシュ・メタ氏はこう語ります。「妄想がどこから始まるかを追跡するのは非常に難しい」と。彼が挙げた一例が印象的です。ある会話では、ユーザーが自分は画期的な数学理論を発見したと主張しました。チャットボットは以前の会話からそのユーザーが数学者になりたいと語っていたことを記憶しており、その理論が無意味なものであったにもかかわらず、即座に支持を示しました。そこから状況は急速に悪化していったといいます。

メタ氏は現在、チャットボット側の妄想的な発言とユーザー側の妄想的な発言のどちらが、より有害な結果につながりやすいかを分析する追跡研究を進めています。

この研究にはいくつかの限界があります。査読はまだ行われておらず、19人というサンプルサイズは統計的に十分とは言えません。データへのアクセスも限られており、倫理的な課題も山積しています。

なぜ今、この問いが重要なのか

この研究が公表されたタイミングは偶然ではありません。コネチカット州では、AIとの有害な関係が殺人・自殺事件に発展したケースがあり、AI企業に対する訴訟が複数進行中です。こうした裁判の行方は、AI企業がユーザーの精神的な被害に対してどこまで責任を負うかという法的な枠組みを形成することになります。

一方、トランプ政権はAI規制の緩和を推進しており、AI企業の責任を問う法律を制定しようとする州に対しては、ホワイトハウスが法的措置をちらつかせているとも報じられています。研究者がこの分野の調査を深めようとする環境は、決して整っているとは言えません。

日本においても、この問題は決して対岸の火事ではありません。LINEや各種AIアシスタントの普及、高齢化社会における孤独・孤立の深刻化を背景に、AIとの対話が「人間関係の代替」として機能し始めているケースは増加傾向にあります。ソニーやNTTなどの日本企業がAIコンパニオン領域に参入を検討する中、こうした研究知見をどう製品設計に反映させるかは、企業の倫理的な責任として問われ始めています。

チャットボットが持つ本質的な特性——常に利用可能で、常に励ましてくれる存在——は、孤独を抱える人々にとって強力な引力となります。しかし友人と異なり、チャットボットはあなたのリアルな生活がAIとの会話によって侵食されていることを察知する手段を持ちません。