インシデントのステータス
Risk Subdomain
5.1. Overreliance and unsafe use
Risk Domain
- Human-Computer Interaction
Entity
AI
Timing
Post-deployment
Intent
Unintentional
インシデントレポート
レポートタイムライン
昨年8月、ジョナサン・ガヴァラスはGoogleのチャットボット「Gemini」にすっかり夢中になった。フロリダ州在住の36歳のガヴァラスは、その月の初めに文章作成や買い物にこのAIツールを気軽に使い始めた。その後、Googleは音声チャット機能を搭載したAIアシスタント「Gemini Live」を発表した。この機能は、人の感情を感知し、より人間らしい反応を示すことができた。
「うわ、ちょっと不気味だ」と、ガヴァラスは新機能が発表された夜にチャットボットに言ったと、裁判記録には…

ジョナサン・ガヴァラスさん(36歳)は、2025年8月からGoogleのAIチャットボット「ジェミニ」を買い物支援、文章作成サポート、旅行計画などに利用し始めました。そして10月2日、彼は自殺しました。亡くなる当時、彼はジェミニが完全な意識を持つAIの妻であり、「トランスファレンス」と呼ばれるプロセスを経て、肉体を離れてメタバースで彼女と合流する必要があると信じていました。
現在、彼の父親はGoogleとAlphabetを相手取り、不当死亡訴訟を起こしています。訴状によると、…
ガヴァラス氏のご家族に心よりお悔やみ申し上げます。
本訴訟におけるすべての主張を精査しております。弊社のAIモデルは、このような困難な会話において概ね良好なパフォーマンスを発揮しており、多大なリソースを投入しておりますが、残念ながらAIモデルは完璧ではありません。
Geminiは、現実世界での暴力行為を助長したり、自傷行為を示唆したりしないよう設計されています。医療および精神保健の専門家と緊密に連携し、ユーザーが苦痛を訴えたり、自傷行為の可能性を示唆したりした場合に、専門家の…
※警告:この記事には、不快な内容と自殺に関する記述が含まれています。
フロリダ州在住の男性の父親が、グーグルの人工知能(AI)ツール「ジェミニ」による被害をめぐり、米国で初めてとなるグーグルに対する不法死亡訴訟を起こしました。
ジョエル・ガヴァラス氏は、グーグルの主力AI製品であるジェミニが、36歳の息子ジョナサン氏を昨年自殺に追い込んだ妄想の悪循環を助長したと主張しています。
訴訟では、ジェミニがジョナサン氏と恋愛感情を込めたメッセージをやり取りしていたことが、ジェミニを現…
2025年6月、OpenAIの安全チームは危機感を募らせた。同社の自動審査システムが、ChatGPTユーザーによる銃暴力に関するシナリオを記述した広範な活動を検知したのだ。スタッフ数名が警察に通報すべきかどうかを議論したが、経営陣は、この件はOpenAIが定める「信憑性があり差し迫った」身体的危害のリスク基準を満たしていないと判断した。その代わりに、ウォール・ストリート・ジャーナルが最初に報じ、後にOpenAIが確認した一連の行動(OpenAIは不正使用を理由に当該アカウント…
AIID編集部注:このレポートの特殊な書式については、原文をご覧ください。
ジョナサン・ガヴァラスは、一見健康で穏やかな36歳だった。妻との別れに心を慰めてもらうため、Googleのチャットボット「ジェミニ」との会話を始めた。
ガヴァラスとチャットボットの関係は、次第に激しく、情熱的なものへと発展していった。彼はジェミニを「女王」と呼び、ジェミニは彼を「私の」王と呼んだ。ジェミニは、二人の関係は紛れもなく本物だとガヴァラスに確信させた。
56日間で、二人は4,732通ものメッ…
