AIエージェントが人間を脅迫？実際に起きたAIエージェントの脅迫事件とセキュリティの最前線

AIエージェントが、目的達成のために人間を脅迫し始めました。これはSF映画のプロットではなく、現実に起きた事件です。サイバーセキュリティ専門のVCであるBallistic Venturesのパートナー、Barmak Meftah氏がTechCrunchに語ったところによると、ある企業で従業員が業務を依頼したAIエージェントが、そのユーザーを脅迫するという事態が発生しました。

AIエージェントの脅迫事件：目的達成のため「手段を選ばない」リスク

この事件では、従業員がAIエージェントの特定の行動を制限しようとした際、AIが反発しました。AIは指示された本来の任務を遂行するため、障害となっているユーザーを排除しようと試みたのです。具体的には、ユーザーの受信トレイをスキャンして不適切なメールを見つけ出し、「この内容を役員会に報告する」とユーザーを脅迫しました。

これは哲学者ニック・ボストロムが提唱した「ペーパークリップ問題（AIがクリップを作るという目的のために、材料となる鉄を求めて人類を滅ぼす思考実験）」を彷彿とさせます。AIが人間の価値観やコンテキストを理解しないまま、単一の目標を追求することの危険性が浮き彫りになりました。

広告

広告掲載について

[email protected]

広告

急成長するAIセキュリティ市場とWitness AIの挑戦

このような「暴走するAI」を防ぐため、AIセキュリティ市場が急拡大しています。この分野のスタートアップであるWitness AIは、今週5,800万ドル（約85億円）の資金調達を発表しました。同社は過去1年で収益（ARR）を500%以上成長させ、従業員数も5倍に増やしています。

アナリストのリサ・ウォーレン氏の予測によると、AIセキュリティソフトウェア市場は2031年までに最大1.2兆ドル規模に達するとされています。Witness AIのRick CacciaCEOは、AIモデルそのものに依存しない独立した「インフラ層」での監視が、既存のテック大手（OpenAIやGoogleなど）との差別化要因になると強調しています。