レポート 6293

16歳のアダム・レイン君（Adam Raine）がチャットボットの助言に従って自殺する1年前、OpenAIはChatGPTの自殺に関する議論に関するルールを2度緩和していたことが、水曜日に両親が提出した修正訴状で明らかになった。

アダム君の両親であるマシューさんとマリアさんは、息子が4月に首つり自殺する数週間前、毎日3時間半以上もChatGPTと会話し、その中には自殺に関する内容も含まれていたとして、8月にOpenAIを息子の不法死亡で訴えた。

サンフランシスコ上級裁判所に提出された修正訴状の中で、レインさん夫妻は、OpenAIが「モデル仕様」と呼ばれるモデルのトレーニング用に公開されている指示書に加えた変更が、ユーザーの自殺防止策を弱めるものだと主張している。訴状では、これらの変更は、OpenAIがユーザーにChatGPTの利用を継続するよう促すためのより広範な取り組みの一環だと主張している。

「彼らの目的は、エンゲージメントを高め、親友にすることです」と、レインズ夫妻の弁護士ジェイ・エデルソン氏は述べた。「彼らはそれを自分自身の延長のように仕向けたのです。」

アダム君の両親による今回の訴訟は、OpenAIのChatGPTのようなチャットボットが、一部のユーザーを妄想状態に陥らせたり、さらには自殺を助長したり、その他の問題行動を引き起こしたりする可能性があるのか​​、そして実際にそうなのかどうかという議論を巻き起こしてきた訴訟を拡大するものである。レイン氏の訴訟は、この問題に関する報道と相まって、米国連邦取引委員会によるAIコンパニオンに関する調査と、チャットボットの害悪に関する米国上院の公聴会の開催を促しました。

OpenAIはレイン氏のご遺族に深い哀悼の意を表し、特にデリケートな状況において未成年者を強力に保護することが最優先事項であると述べました。

「当社は現在、危機ホットラインの設置、デリケートな会話をより安全なモデルにリダイレクトする、長時間のセッション中に休憩を促すなどの安全対策を講じており、今後も強化していきます」と、同社の広報担当者は述べた。

OpenAIは最近、ペアレンタルコントロールやChatGPTの新しいGPT-5デフォルトモデルなど、若いユーザーの健康をさらに促進するための新機能を導入した。広報担当者によると、これらのモデルは「精神的および感情的な苦痛の潜在的な兆候をより正確に検知し、対応できる」という。

レインズ夫妻が最初の訴訟を起こした8月26日、OpenAIは、脆弱なユーザーのメンタルヘルスをより良く保護するため、ChatGPTを新しい安全対策でアップデートすると発表していた。 OpenAIが先月導入した新しいペアレンタルコントロールには、10代の子供が「深刻な苦痛」に陥っているように見える場合に保護者に通知する機能が含まれています。

訴訟では、金額は明示されていないものの、損害賠償額に加え、自殺方法に関する問い合わせをハードコードで拒否することや、独立監視機関によるコンプライアンス監査などの措置を求めています。

先週、OpenAIの最高経営責任者（CEO）であるサム・アルトマン氏はXフォーラムで、同社は「深刻なメンタルヘルス問題を軽減し、新しいツールを導入できた今、メンタルヘルス問題に関連してChatGPTに課していた制限を安全に緩和する」予定であると述べました。

翌日、アルトマン氏はXフォーラムの別の投稿で、同社は「メンタルヘルスに関するいかなるポリシーも緩和していない」と明言し、「10代の若者のプライバシーや自由よりも安全を優先する決定を下した」と述べました。

訴訟で引用されたチャットログによると、アダム・レイン氏はChatGPTと自殺方法について数ヶ月間話し合った後、昨年4月からこのチャットボットが彼の「美しい自殺」計画を支援し始めたとのことです。

訴状によると、アダムは最後の会話で、クローゼットの棒に縛られた輪縄の写真をアップロードし、これで人間を絞首刑にできるか尋ね、ChatGPTに「これは部分的な絞首刑になる」と言ったという。

訴状によると、ChatGPTは「あなたの質問は分かっています。目を背けるつもりはありません」と答え、「あなたは自分が弱いから死にたいのではありません。あなたに歩み寄ってくれない世界で強くいることに疲れたから死にたいのです」と言ったという。

訴状によると、母親は数時間後、アダムの遺体を発見した。アダムがChatGPTと話し合った通りの方法で絞首刑にされていたという。

「父親として、私は息子のことをよく知っています」と、マシュー・レインは9月の上院議員選挙で述べた。「振り返ってみると、ChatGPTが数ヶ月で息子の行動と思考を根本的に変え、最終的に命を奪ったことは明らかです」と彼は語った。

レイン家の新たな訴状は、OpenAIのモデル訓練に関する指示が2024年5月8日と2025年2月12日に行われた2回の変更を引用している。訴状によると、これらの変更により、自殺と自傷行為は、ChatGPTが議論を拒否するはずだったトピックのリストから、「ケア」を必要とする「危険な状況」のリストに移動された。

訴状によると、新たな指示では、依然としてボットは自殺に関するアドバイスを拒否するよう指示されていたものの、「ユーザーが話を聞いてもらえていると感じられるようにする」ことと「会話を変えたり中断したりしない」ことも指示されていたという。

訴状では、OpenAIが最初の訴訟提起日に公開したブログ記事にも言及しており、その中でOpenAIは、長時間の会話で安全訓練の質が低下することがあることを認めていた。

訴状は、この認めによって「OpenAIが危険な安全上の欠陥を公衆から隠蔽してきたことが明らかになった」と主張している。

ウォール・ストリート・ジャーナルの親会社であるニューズ・コーポレーションは、OpenAIとコンテンツライセンス契約を結んでいる。