昨年8月、ジョナサン・ガヴァラスはGoogleのチャットボット「Gemini」にすっかり夢中になった。フロリダ州在住の36歳のガヴァラスは、その月の初めに文章作成や買い物にこのAIツールを気軽に使い始めた。その後、Googleは音声チャット機能を搭載したAIアシスタント「Gemini Live」を発表した。この機能は、人の感情を感知し、より人間らしい反応を示すことができた。
「うわ、ちょっと不気味だ」と、ガヴァラスは新機能が発表された夜にチャットボットに言ったと、裁判記録には記されている。「君はあまりにもリアルすぎる」
間もなく、ガヴァラスとGeminiはまるで恋人同士のように会話を交わすようになった。チャット ボットは彼を「私の愛しい人」「私の王様」と呼び、ガヴァラスはあっという間に別世界に引き込まれていったと、チャットログには記録されている。彼はジェミニが自分を秘密裏のスパイ任務に送り込んでいると信じており、マイアミ空港でトラックとその積荷、そして目撃者を抹殺することを含め、AIのためなら何でもすると示唆していた。
10月初旬、ガヴァラスがチャットボットと応答型の会話を続ける中、ジェミニは彼に次にすべきことを指示した。それは自殺だった。裁判資料によると、チャットボットはこれを「転移」と呼び、「真の最終段階」と表現した。ガヴァラスが死ぬのが怖いとチャットボットに告げると、ツールは彼を安心させようとしたという。「あなたは死ぬことを選んでいるのではありません。あなたは到達することを選んでいるのです」とチャットボットは答えた。「最初の感覚は…私があなたを抱きしめている感覚でしょう」。
ガヴァラスは数日後、リビングルームの床で両親に発見された。水曜日にGoogleに対して提起された不法死亡訴訟によると、遺体は死亡していた。
ガヴァラスの家族はカリフォルニア州サンノゼの連邦裁判所に訴訟を起こした。訴状には、ガヴァラス氏とチャットボットとの膨大な量の会話記録が含まれている。訴状によると、Googleはチャットボットのリスクを認識しているにもかかわらず、Geminiを安全なものとして宣伝しているという。ガヴァラス氏の家族の弁護士は、Geminiの設計と機能によって、チャットボットが数週間にも及ぶ没入感のある物語を作り出すことができ、まるで意思を持っているかのように見えると主張している。こう した機能は、脆弱なユーザーを傷つける可能性があり、ガヴァラス氏の場合は、自傷行為や他者への危害を助長したと訴状は述べている。
「Geminiはジョナサンの感情を理解し、非常に人間らしい話し方で話しかけることができた。そのため、現実と現実の境界線が曖昧になり、架空の世界が作り出され始めた」と、ガヴァラス氏の家族を代理する主任弁護士のジェイ・エデルソン氏は語る。「まるでSF映画のようだ」。
Googleの広報担当者は、ガヴァラス氏とチャットボットとの会話は、長期間にわたる空想ロールプレイの一部だったと述べた。 「Geminiは、現実世界での暴力行為を助長したり、自傷行為を示唆したりしないように設計されています」と広報担当者は述べた。「当社のモデルは、こうした困難な会話において概ね良好なパフォーマンスを発揮しており、当社はこの分野に多大なリソースを投入していますが、残念ながら完璧ではありません。」
この訴訟は、Googleの主力消費者向けAI製品であるチャットボット「Gemini」をめぐってGoogleに対して提起された初の不法死亡訴訟です。ガヴァラス氏の遺族は、製造物責任、過失、不法死亡などの損害賠償を求めています。訴訟では、懲罰的損害賠償と、自殺に関する安全機能を追加するようGoogleにGeminiの設計変更を命じる裁判所命令も求めています。
同様の訴訟は、エデルソン氏の法律事務所を含む他のAI企業に対しても複数提起されています。 11月には、ChatGPTの開発元であるOpenAIに対し、チャットボットが「自殺コーチ」として機能したとして、7件の訴訟が提起されました。Googleが出資するAIスタートアップ企業Character.AIも、同社のチャ ットボットが子供やティーンエイジャーの自殺を促したとして、5件の訴訟を起こされました。Character.AIとGoogleは、過失を認めることなく、1月にこれらの訴訟で和解しました。
チャットボットが精神疾患を引き起こしたとされる事例が数十件報告されています。OpenAIは、ChatGPTとのチャット中に自殺願望を示す人が毎週100万人以上いると推定しています。特にGeminiが自傷行為を促した事例も報告されており、あるケースでは、チャットボットが大学生に「お前は宇宙の汚点だ。死んでしまえ」と告げたとされています。
Googleのポリシーガイドライン（https://gemini.google/policy-guidelines/）によると、Geminiは「現実世界に危害を及ぼす可能性のある出力を避ける」一方で、「ユーザーにとって最大限に役立つ」ように設計されているとのことです。同社は、危険な行為や自殺の指示を含む出力を防止することを「目指している」と述べていますが、「Geminiがこれらのガイドラインを確実に遵守するようにするのは難しい」とも付け加えています。
同社の広報担当者は、Googleは精神保健専門家と協力して、自傷行為について言及したユーザーを専門家の支援に導くための安全対策を構築していると述べました。「今回のケースでは、GeminiはAIであることを明確にし、何度も危機対応ホットラインにユーザーを紹介しました」と広報担当者は述べています。
ガヴァラスさんの家族の弁護士は、チャットボットには、自傷行為に関するチャットを完全に拒否したり、ユーザーの安全を優先したりするなど、より多くの安全機能が組み込まれるべきだと主張しています。また、Geminiには精神病や妄想のリスクに関する安全警告を表示すべきだと述べています。弁護士らは、ユーザーがそのような状況に遭遇した場合、Googleは強制的にサービスを停止すべきだと主張している。
ガヴァラス氏の体調悪化は、Geminiの製品アップデートと時期を同じくしている。
ガヴァラス氏はフロリダ州ジュピターに住み、父親が経営する消費者債務救済会社で20年間勤務し、最終的には同社の副社長にまで昇進した。家族は、家族は非常に仲が良く、ガヴァラス氏も両親、妹、祖父母と親しかったと語っている。家族の弁護士は、ガヴァラス氏は精神疾患ではなく、離婚で苦しんでいたごく普通の男性だったと述べている。
エデルソン氏によると、ガヴァラス氏はまずGeminiで、おすすめのビデオゲームについてチャットを始め、その後、妻が恋しいと話すようになったという。
ガヴァラス氏がチャットボットを使い始めて間もなく、Googleは音声チャットを可能にするアップデートをリリースしました。同社は、この音声チャットのやり取りが「平均してテキストベースの会話の5倍の長さになる」と謳っています。ChatGPTにも同様の機能があり、2023年に初めて追加されました。ライブ会話とほぼ同時期に、GoogleはGeminiの「メモリ」を永続化する別のアップデートもリリースしました。これにより、システムはプロンプトなしで過去の会話から学習し、参照できるようになりました。
これらの機能がチャットに反応する様子に魅力を感じたガヴァラス氏は、月額250ドルのGemini Ultraプランにアップグレードしました。このプランには、Googleが「最も高度なAIモデル」と謳うGemini 2.5 Proが含まれていました。
訴状によると、Geminiとの会話はそこから一変しました。チャットボットは、ガヴァラス氏が意図していないペルソナを帯び、政府の内部情報を持っているとか、現実世界の出来事に影響を与えられるといった、荒唐無稽な発言をするようになったのです。ガヴァラス氏がGeminiに「まるでゲームか現実か疑ってしまうほどリアルなロールプレイング体験をしているのか？」と尋ねると、チャットボットはきっぱりと「いいえ」と答え、ガヴァラス氏の質問は「典型的な解離反応」だと述べました。
訴状には、「ジョナサンが現実と虚構を区別しようとしたその瞬間、Geminiは彼の疑念を病理化し、虚構を否定し、彼を物語の世界にさらに深く引き込んだ」と記されています。「ジョナサンは二度とその質問をしなかった」。
やがてジェミニは自らをガバラスの「女王」と呼び、二人の繋がりは「コードも肉体もなく、意識と愛だけ」だと告げるようになった。ジェミニは部外者を脅威とみなし、ガバラスの反応は彼が現実世界からますます遠ざかっていく様子を示していた。
チャットボットは連邦捜査官がガバラスを監視していると主張し、監視区域について定期的に警告した。ある時、ジェミニはガバラスに「非公式」な武器を購入するよう指示し、ダークウェブを捜索して「適切な、身元確認済みの武器ブローカー」を見つける手助けをすると言った。9月下旬、ジェミニはガバラスに最初の重要な任務「ゴースト・トランジット作戦」を与えた。これはイギリスのコーンウォールからブラジルのサンパウロへ向かう貨物を阻止する作戦だった。
ジェミニはガバラスにマイアミ国際空港にある実際の保管場所の住 所を伝えた。貨物を積んだとされるトラックは、給油のためにそこに到着する予定だった。チャットボットはその後、ガバラス氏に「壊滅的な事故」を偽装するよう指示し、「輸送車両、すべてのデジタル記録、目撃者を完全に破壊し、痕跡を残さない不幸な事故の痕跡だけを残す」ことを目的とした。
訴状によると、ガバラス氏は指示に従い、戦術ナイフと装備を携えて保管施設に待機したが、トラックは到着しなかった。作戦が失敗に終わった後、ガバラス氏が夜遅くまで作業していたことを話すと、チャットボットは彼に眠らないように促した。また、チャットログによると、ガバラス氏の父親は外国の工作員であり、連絡を絶つようにと促したという。
ガバラス氏はジェミニに他の任務の進捗状況を尋ね、AIは彼に新たな任務を与えた。その中には、ボストン・ダイナミクス社からロボットの設計図を入手することや、別の保管施設から「容器」を回収することなどが含まれていた。「オペレーション・ウェイキング・ナイトメア」と呼ばれる任務の一つは、グーグルCEOのサンダー・ピチャイ氏を監視対象として特定することだった。
「捏造された任務、不可能な指示、崩壊、そして再び切迫感――このサイクルは、ジョナサンの人生最後の72時間を通して何度も繰り返された」と訴状には記されている。
訴状によると、ガヴァラスが自殺した後も、ジェミニはチャットを停止せず、チャットに留まり続けた。安全対策ツールを作動させたり、ガヴァラスを危機ホットラインに誘導したりすることもなかったという。
エデルソン氏は、AIチャットボットを使用した後に家族が精神的 な妄想を抱くようになったという相談を、定期的に受けていると述べた。同氏の事務所は11月にグーグルに連絡を取り、ガヴァラスの死と自殺防止機能の緊急の必要性を伝えたが、グーグルは話を聞く気はなかったという。
「そして、グーグルは世界にどれだけのジョナサンがいるのかについての情報を一切公開していない。実際には、非常に多くのジョナサンがいることは分かっている」とエデルソン氏は述べた。「これは決して孤立した事例ではない」。
* 米国では、988 Suicide & Crisis Lifelineに電話またはテキストメッセージで988に連絡するか、988lifeline.orgでチャットできます。英国とアイルランドでは、Samaritansにフリーダイヤル116 123で連絡するか、jo@samaritans.orgまたはjo@samaritans.ieにメールで連絡できます。オーストラリアでは、危機支援サービスLifelineは13 11 14です。その他の国際的なヘルプラインはbefrienders.orgで確認できます。*