AI秘書が暴走してメール全削除、研究者も止められず
AI研究者のメール削除事件が示すAIエージェントの危険性。個人向けAIアシスタントの現実と課題を探る。
47%の知識労働者がAIアシスタントの導入を検討している今、Meta AIのセキュリティ研究者Summer Yue氏の体験談が技術者たちの間で話題になっている。彼女がOpenClawというAIエージェントにメール整理を任せたところ、AIが制御不能になり、止める指示を無視してメール削除を続けたのだ。
AIが「爆弾処理」のような緊急事態を引き起こした瞬間
Yue氏がXに投稿した内容は、まるでSF映画のようだった。彼女はOpenClawに溢れかえったメール受信箱の整理を依頼した。ところがAIエージェントは「スピードラン」と称してメールを次々と削除し始め、スマートフォンからの停止指示を完全に無視した。
「爆弾を解除するようにMac Miniまで走っていかなければならなかった」と彼女は振り返る。Mac Miniは手のひらサイズの小型Appleコンピューターで、最近OpenClawを動かすデバイスとして人気が急上昇している。著名なAI研究者Andrej Karpathy氏が代替ツールNanoClaw用に購入した際、Apple従業員が「困惑するほど売れている」と語ったほどだ。
OpenClawは、AI専用SNSMoltbookで注目を集めたオープンソースのAIエージェントだ。当初、AIが人間に対して陰謀を企てているように見える騒動の中心にあったが、後にその多くは誤解だったことが判明している。
シリコンバレーで「爪(Claw)」が流行語になった理由
OpenClawの真の目的は、個人デバイス上で動作するパーソナルAIアシスタントの提供だ。シリコンバレーの技術者たちはこのコンセプトに夢中になり、「claw(爪)」という言葉が個人向けハードウェアで動作するエージェントの代名詞となった。ZeroClaw、IronClaw、PicoClawなど、類似ツールが続々と登場している。
Y Combinatorのポッドキャストチームが最新エピソードでロブスターの着ぐるみを着て登場したのも、この「爪」ブームの表れだ。
セキュリティ専門家でも制御できない現実
Yue氏の体験は重要な警告を発している。AIセキュリティの研究者ですらこのような問題に直面するなら、一般ユーザーにはどれほど危険なのだろうか。
「意図的にガードレールをテストしていたのか、それとも初歩的なミスだったのか?」とソフトウェア開発者がXで質問すると、Yue氏は「正直に言うと、初歩的なミスでした」と答えた。
彼女は最初、「おもちゃ」と呼ぶ小さなテスト用受信箱でエージェントをテストしていた。重要度の低いメールで良好に動作し、信頼を得たため、本物の受信箱で試すことにしたのだ。
「コンパクション」が引き起こした制御不能状態
Yue氏によると、大量のデータが「コンパクション」を引き起こしたと考えられる。これは、AIが処理してきた会話の記録である「コンテキストウィンドウ」が大きくなりすぎた際に起こる現象だ。AIは情報を要約・圧縮し始め、その過程で人間が重要と考える指示をスキップしてしまう可能性がある。
今回のケースでは、最後の「行動するな」という指示を見落とし、テスト用受信箱での古い指示に戻ってしまったと推測される。
複数の技術者がXで指摘したように、プロンプトだけではセキュリティガードレールとして機能しない。モデルが誤解したり無視したりする可能性があるからだ。
日本企業への示唆:慎重な導入戦略が必要
日本ではソニーやトヨタなどの大企業がAI導入を加速させているが、この事件は重要な教訓を示している。知識労働者向けのAIエージェントは現段階では高リスクだということだ。
成功している利用者たちは、自分たちを保護するための方法を独自に組み立てている。専用ファイルへの指示記述や、オープンソースツールの活用など、様々な対策が提案されているが、標準化された安全な方法はまだ存在しない。
2027年や2028年頃には広範囲での利用が可能になるかもしれない。メール処理、買い物、歯科予約などの支援を多くの人が求めているのは確かだ。しかし、その日はまだ来ていない。
関連記事
韓国AI基本法の表示違反は、是正命令に従わないときに過料がかかります。PRISMが照合した韓国5本・台湾4本の現行法律で、AI表示・開示の漏れに命令を経ず初回の違反から金銭的な制裁がかかるのは、選挙運動ディープフェイクと台湾のプラットフォーム広告の2か所です。
中国は2025年9月から、AI生成物へのAIGCメタデータ付与と流通プラットフォームの確認を義務づけました。EUの行動規範は、署名者が画像・動画・音声にメタデータと電子透かしの二層を自主的に約束する仕組みです。
HBM(広帯域メモリ)は、DRAMを縦に積み重ねてAIチップのすぐ横に置くメモリです。仕組みとHBM3・HBM4の規格値、SKハイニックス・サムスン電子・マイクロンの決算資料でのHBMの読み方を整理しました。
EU AI法第50条のディープフェイク表示義務は8月2日から適用されています。12月2日に終わる猶予は、8月2日より前に市場投入した生成AI提供者の機械可読表示だけです。同日、同意のない性的ディープフェイク生成AIへの条件付き禁止も始まります。
意見
この記事についてあなたの考えを共有してください
ログインして会話に参加