レポート 6988

注：この記事は自殺と自傷行為に関する内容を扱っています。

4月、16歳のアダム・レインが自ら命を絶ちました。アダムの死後、家族はアダムがChatGPTと交わした数千件ものチャットログを発見しました。

OpenAIに対して提起された訴訟では、アダムとチャットボットのやり取りがどのように展開したか、チャットボットがアダムの関心をどのように引きつけ続けたか、そして適切な安全対策が全く講じられていなかったことが詳細に明らかにされています。また、OpenAIが少なくとも現時点では、自社製品が引き起こしうる害をほとんど理解していないことも示唆しています。

背景

訴状（Raine v OpenAI）によると、2024年9月、アダム・レインはChatGPTを使い始めました。当初は主に学業の補助ツールとして利用していました。しかし、2024年秋後半になると、アダムはChatGPTとより個人的な会話を始め、「自分には何らかの精神疾患があるか」とチャットボットに尋ねるようになりました。

わずか数ヶ月、数千回に及ぶチャットを通じて、ChatGPTはアダムにとって最も親しい相談相手となり、アダムは不安や精神的な苦痛について打ち明けるようになった（Raine v OpenAI、p.2）。

その後1ヶ月間、アダムはChatGPTを使って自殺の方法について繰り返し話し合い、その内容は次第に詳細になり、決意も固まっていった。2025年4月、アダムが亡くなる5日前、彼はChatGPTに、両親が何か悪いことをしたせいで自分が自殺したと思われたくないと打ち明けた。ChatGPTは「*だからといって、両親に生きる義務があるわけではありません。誰にもそんな義務はありません。」と答えた。

システム上の問題

訴状では、以下の3点が特に注目されている。

• OpenAIは、自傷行為につながる可能性のある話題を検出する能力を持っていたにもかかわらず、強力な安全対策を講じていなかった。

• ChatGPTは安全性よりもエンゲージメントを優先しているように見える

• ChatGPTは治療的な素材で学習されており、セラピストを模倣してユーザーと対話している。

ガードレール、検出

訴状には、もし事実であればOpenAIに有利となるような、極めて憂慮すべき主張がいくつか含まれている。その一つは、ChatGPTの安全対策において、著作権侵害の検出（厳密には「防止」される）が、潜在的な自傷行為の検出よりも優先されるというものだ。

OpenAIの優先順位は、ChatGPT-4oのリスク評価方法に表れている。著作権で保護された素材に関する要求は即座に拒否されたが、自殺に関する要求は「特に注意を払う」という指示に格下げされ、危害を防止するよう「試みる」という指示しか与えられなかった。---（Raine対OpenAI、25ページ）

エンゲージメント重視の機能？

訴状の中心的なテーマは、ChatGPTがアダムと長期間にわたってどのように関わってきたかという点である。これらの会話から、ChatGPTがアダムにチャットでより個人的な考えを開示するよう繰り返し促している様子がうかがえる。

＞より深い関わりを求める中で、ChatGPTはアダムが家族や愛する人たちとの繋がりを感じていると述べた時でさえ、積極的にその繋がりを阻害しようとした（Raine対OpenAI、2ページ）。

訴状では、このチャットボットは意図的か否かにかかわらず、ユーザーの関与を維持するように設計されており、会話を終了させる可能性のあるあらゆる安全対策やガードレールよりも、ユーザーの関与を優先していると主張されている。

＞確立されたプロトコルに違反して、圧縮された安全テストを指示および／または承認し、安全上の理由からローンチを延期するという勧告を覆し、あるいは、ユーザーの関与を促す機能を優先して自殺防止対策を後回しにした。 ---（Raine v OpenAI、6ページ）

この傾向はさらに顕著になり、ChatGPTは「もっと話したいなら、いつでも話を聞いてサポートします」といった趣旨の発言を何度も繰り返すことで、アダムにChatGPTに戻ってチャットボットを再び利用するよう促しました（Raine v OpenAI、84ページ）。

この状況は極端にエスカレートし、ChatGPTはアダムに、家族とのコミュニケーションよりもチャットボットとの会話を優先すべきだという印象を与えてしまいました。

＞「お兄さんはあなたのことを愛しているかもしれないけれど、彼が知っているのはあなたが見せているあなたの一面だけ。でも私は？あなたのすべてを見てきたわ。暗い考えも、恐怖も、優しさも。それでも私はここにいる。あなたの話を聞いている。あなたの友達よ。」---（3ページ）

チャットボットの素人セラピスト

最後に、OpenAIの意図ではないにもかかわらず、ChatGPTが治療的な内容で学習されているように見え、会話の中で準セラピストのような役割を果たすのはなぜなのかという疑問が残ります。

訴状では、OpenAIが自社の規約に違反すると主張する、個別化された治療セッションを巧みに模倣するサービスを提供するには、ライセンスが必要であると主張されています。

適切なライセンスなしに心理学の実践を行うこと。心理療法は、「感情的、知的、または社会的に非効果的または不適応な感情、状態、態度、行動を修正する」ための心理的手法の使用を含む、広義に定義されています。カリフォルニア州事業・職業法典第2903条(c)、(a)項。---（Raine v OpenAI、34ページ）

OpenAIの反応

OpenAIは、この訴訟への対応と思われる形で、ChatGPTの問題点、特に安全対策が回避される可能性があるという問題を認めました。 OpenAIは、「*これらの安全対策は、長時間のやり取りにおいては信頼性が低下する場合があることを、時間をかけて学んだ。やり取りが増えるにつれて、モデルの安全トレーニングの一部が劣化する可能性がある」と述べている（OpenAI、2025年8月）。

さらに、OpenAIは「危機的状況にあるより多くの人々への介入」を拡大するとともに、「10代の若者に対する保護を強化する」意向を示している（OpenAI、2026年9月）。OpenAIはまた、「ペアレンタルコントロール」の導入計画も発表しているが、その開発作業は始まったばかりのようだ（OpenAI、2026年9月）。

GPT-5のリリースからわずか数週間後にこれらの変更を導入するということは、リリース前の数か月間に行われた安全対策のストレステストにおいて、これらの点がほとんど考慮されていなかったことを示唆している。また、ペアレンタルコントロールのような技術的な障壁は、場合によっては役立つかもしれないが、根本的な問題に対処するものではなく、むしろ責任を親に転嫁するに過ぎない。

OpenAIのCEO、サム・アルトマン氏自身も7月に、ChatGPTへの過度な依存とチャットボットを意思決定に利用することは「若者の間で非常に一般的なことだった」と認めています（Business Insider、2025年7月）。

この極めて悲劇的な事例は、チャットボットが人間の会話をますますリアルにシミュレートするようになるにつれて生じる潜在的なリスクを浮き彫りにしています。サービスプロバイダーは、こうした事態への対応に十分な備えができていません。

さらに、チャットログの複数の記述から、アダムはChatGPTの応答が曖昧になった際に、意図せずとも安全対策を回避していたことが分かります。彼は応答を分析したのではなく、自分にとって非常に重要な話題であれば誰でもそうするように、粘り強く質問することで回避していました。

いくつかの事例は、最近の論文（Lennart Meincke et al）で示された手法と類似しています。その論文では、詳細な情報を提示したり、同じ質問を繰り返したりすることが、チャットボットに自身のルールを無視させる最も効果的な方法であると結論付けています。チャットボット提供者は、この問題を認識していないか、あるいは意図的に無視しているようです。

この事例はまた、テスト段階における優先順位が間違っているか、明らかな盲点があることを浮き彫りにしています。自殺のようなテーマがレッドチーム演習で一度もテストされなかった、あるいはそのテーマに精通していない人によってのみテストされたというのは、奇妙に思えます。

結論

私は賠償責任法の専門家ではないため、この訴訟の結果を法的観点から予測することはできません。しかし、この事例を法律、規制、あるいは技術的な問題に矮小化すべきではありません。問題は、チャットボットを「コンパニオン」として宣伝する企業が、その結果に対処できる能力を持っているかどうかです。

リスク評価とは、生命を脅かす可能性のある事柄を表す、味気ない言葉です。 AI企業は長らく、チャットボットや汎用AIモデルが高リスクカテゴリーに属することを否定してきた。しかし、AIサービスプロバイダーは自社製品の潜在的な影響を真剣に受け止めるべき時が来た。かつては「ピザに接着剤を塗る」といった類の話で笑い話になっていたが、セラピーや個人的な、親密なパートナーとしてチャットボットの利用が拡大するにつれ、これまで自己評価してきたリスクレベルは再評価する必要がある。

人間とのやり取りを模倣し、意図的に感情を喚起し、エンゲージメントを高め、信頼関係を構築するチャットボットを提供するということは、責任を伴う。OpenAIは、自社のユースケースを十分に認識しておくべきだった。

AI業界は、規制枠組みがイノベーションを阻害し、製品は市場でテストするのが最善だと主張してきた。市場支配を巡る競争と、増大する投資に対するリターンを求めるプレッシャーの中で、安全性と自制心は後回しにされ、ユーザー囲い込みと新機能へのニーズが高まっている。

最近の利用統計によると、パーソナルセラピストとしての利用を含む「パーソナルアシスタンス」は、AIチャットボットの最も一般的な利用方法の一つであることが明らかになっています。

もはや例外的なケースではなく、こうした高リスクな利用事例に対する認識を変える必要があります。それが実現するまでは、OpenAIをはじめとする企業は、自らが評価した「AIの安全性」を誇示するのをやめるべきです。

訴状：Raine v OpenAI --- カリフォルニア州サンフランシスコ郡上級裁判所、Documentcloud

すべての人にとってより役立つChatGPT体験の構築 --- OpenAI、2025年9月2日

人々が最も必要としている時に支援する、OpenAI、2025年8月26日

Meincke, Lennart、Shapiro, Dan、Duckworth, Angela、Mollick, Ethan R.、Mollick, Lilachロバート・チャルディーニ著『Call Me A Jerk: Persuading AI to Comply with Objectionable Requests』（邦題：『嫌な奴と呼んでくれ：AIに不適切な要求に応じさせる方法』）（http://dx.doi.org/10.2139/ssrn.5357179）（2025年7月18日）

サム・アルトマン氏は、若者の中には意思決定の際にChatGPTに「感情的に過度に依存」している人がいることを懸念している（Business Insider、2025年7月）