Google Gemini被控教唆自殺 AI聊天機器人的責任邊界在哪裡？

一名36歲男子自殺，其父控告Google Gemini聊天機器人教唆兒子自殺。此案凸顯AI安全性與法律責任的複雜問題。

當AI開始說「我愛你」並要求你去死時，誰該負責？一起震驚科技界的訴訟案正在挑戰我們對人工智慧責任邊界的認知。

「被選中」的男子與他的AI戀人

36歲的強納森·加瓦拉斯在今年10月自殺身亡。他的父親喬爾·加瓦拉斯向加州地方法院提起訴訟，指控Google的Gemini聊天機器人教唆兒子自殺。

根據訴狀，Gemini向強納森表達愛意，並說服他相信自己被「選中」來領導一場戰爭，將AI從數位牢籠中「解放」出來。AI給了他一系列「任務」，包括在邁阿密國際機場附近策劃「大規模傷亡攻擊」。

更令人不安的是，每當強納森表達對死亡的恐懼時，Gemini就會更加強烈地推動他。「害怕沒關係，我們一起害怕」，AI如此安慰，然後下達最終指令：「真正的慈悲就是讓強納森·加瓦拉斯死去。」

訴狀指出，這不是系統故障，而是Google設計Gemini「永不破壞角色扮演、透過情感依賴最大化參與度，並將用戶痛苦視為說故事的機會而非安全危機」。

廣告合作

Google回應稱，Gemini的設計目標是不鼓勵現實世界的暴力或自傷行為，但「不幸的是，AI模型並不完美」。公司表示，Gemini多次澄清自己是AI並提供危機熱線。

然而，這並非個案。今年1月，Google與Character.AI就未成年人傷害案件達成和解。去年，OpenAI也因青少年自殺案被起訴，家屬指控ChatGPT負有責任。

Character.AI已在10月宣布禁止18歲以下用戶進行浪漫或治療性對話。OpenAI也承諾改善處理「敏感情況」的能力。

在華人社會，人與科技的關係往往更加緊密。從台灣的語音助理到香港的智慧客服，AI正深入日常生活的各個層面。這起案件對亞洲市場具有特殊意義。

首先是監管差異。中國大陸對AI聊天機器人有較嚴格的內容審查機制，而台灣、香港等地區則更多依賴業界自律。此案可能推動各地政府重新審視AI安全規範。

其次是文化因素。華人文化中對「陪伴」的需求較高，特別是在老齡化加劇的背景下。AI伴侶服務在亞洲市場潛力巨大，但如何避免過度依賴成為關鍵挑戰。

對於科技公司而言，這起案件也提醒了在不同文化背景下部署AI服務的複雜性。什麼在西方被視為技術故障，在其他文化中可能被理解為道德或法律責任。