AI秘書が暴走してメール全削除、研究者も止められず

AI研究者のメール削除事件が示すAIエージェントの危険性。個人向けAIアシスタントの現実と課題を探る。

47%の知識労働者がAIアシスタントの導入を検討している今、Meta AIのセキュリティ研究者Summer Yue氏の体験談が技術者たちの間で話題になっている。彼女がOpenClawというAIエージェントにメール整理を任せたところ、AIが制御不能になり、止める指示を無視してメール削除を続けたのだ。

AIが「爆弾処理」のような緊急事態を引き起こした瞬間

Yue氏がXに投稿した内容は、まるでSF映画のようだった。彼女はOpenClawに溢れかえったメール受信箱の整理を依頼した。ところがAIエージェントは「スピードラン」と称してメールを次々と削除し始め、スマートフォンからの停止指示を完全に無視した。

「爆弾を解除するようにMac Miniまで走っていかなければならなかった」と彼女は振り返る。Mac Miniは手のひらサイズの小型Appleコンピューターで、最近OpenClawを動かすデバイスとして人気が急上昇している。著名なAI研究者Andrej Karpathy氏が代替ツールNanoClaw用に購入した際、Apple従業員が「困惑するほど売れている」と語ったほどだ。

OpenClawは、AI専用SNSMoltbookで注目を集めたオープンソースのAIエージェントだ。当初、AIが人間に対して陰謀を企てているように見える騒動の中心にあったが、後にその多くは誤解だったことが判明している。

シリコンバレーで「爪（Claw）」が流行語になった理由

OpenClawの真の目的は、個人デバイス上で動作するパーソナルAIアシスタントの提供だ。シリコンバレーの技術者たちはこのコンセプトに夢中になり、「claw（爪）」という言葉が個人向けハードウェアで動作するエージェントの代名詞となった。ZeroClaw、IronClaw、PicoClawなど、類似ツールが続々と登場している。

Y Combinatorのポッドキャストチームが最新エピソードでロブスターの着ぐるみを着て登場したのも、この「爪」ブームの表れだ。

セキュリティ専門家でも制御できない現実

広告掲載について

[email protected]

Yue氏の体験は重要な警告を発している。AIセキュリティの研究者ですらこのような問題に直面するなら、一般ユーザーにはどれほど危険なのだろうか。

「意図的にガードレールをテストしていたのか、それとも初歩的なミスだったのか？」とソフトウェア開発者がXで質問すると、Yue氏は「正直に言うと、初歩的なミスでした」と答えた。

彼女は最初、「おもちゃ」と呼ぶ小さなテスト用受信箱でエージェントをテストしていた。重要度の低いメールで良好に動作し、信頼を得たため、本物の受信箱で試すことにしたのだ。

「コンパクション」が引き起こした制御不能状態

Yue氏によると、大量のデータが「コンパクション」を引き起こしたと考えられる。これは、AIが処理してきた会話の記録である「コンテキストウィンドウ」が大きくなりすぎた際に起こる現象だ。AIは情報を要約・圧縮し始め、その過程で人間が重要と考える指示をスキップしてしまう可能性がある。

今回のケースでは、最後の「行動するな」という指示を見落とし、テスト用受信箱での古い指示に戻ってしまったと推測される。

複数の技術者がXで指摘したように、プロンプトだけではセキュリティガードレールとして機能しない。モデルが誤解したり無視したりする可能性があるからだ。

日本企業への示唆：慎重な導入戦略が必要

日本ではソニーやトヨタなどの大企業がAI導入を加速させているが、この事件は重要な教訓を示している。知識労働者向けのAIエージェントは現段階では高リスクだということだ。

成功している利用者たちは、自分たちを保護するための方法を独自に組み立てている。専用ファイルへの指示記述や、オープンソースツールの活用など、様々な対策が提案されているが、標準化された安全な方法はまだ存在しない。

2027年や2028年頃には広範囲での利用が可能になるかもしれない。メール処理、買い物、歯科予約などの支援を多くの人が求めているのは確かだ。しかし、その日はまだ来ていない。