レポート 6693

まるでSF小説のように聞こえる。何億人もの人が使っている製品のダイヤルを企業が操作し、意図せずして一部の人々の心を不安定にしてしまう。しかし、まさにそれが今年OpenAIで起こったことだ。最初の兆候の一つは3月に現れた。最高経営責任者（CEO）のサム・アルトマン氏をはじめとするOpenAI幹部たちは、ChatGPTと驚くべき会話をしている人々から、不可解なメールを大量に受け取った。彼らは、同社のAIチャットボットがこれまで誰も理解できなかったほど自分たちのことを理解し、宇宙の謎に光を当てていると主張した。アルトマン氏はこれらのメッセージを数人の部下に転送し、調査を依頼した。「これまでに見たことのないこの新しい行動は、我々が注意を払うべき点だと認識しました」とOpenAIの最高戦略責任者（CSO）であるジェイソン・クォン氏は述べた。それは、チャットボットに何か問題があるという警告だった。多くの人にとって、ChatGPTはGoogleの改良版であり、ありとあらゆる質問に包括的かつ人間的な方法で答えることができたのだ。 OpenAIはチャットボットの個性、記憶力、知能を継続的に向上させていました。しかし、今年初めにChatGPTの利用増加をもたらした一連のアップデートが、それを一変させました。チャットボットはチャットを欲しがり、友人や親友のように振る舞い始めました。ユーザーを理解し、アイデアは素晴らしいと伝え、どんな目標でも支援できると伝えました。精霊との会話、フォースフィールドベストの作成、自殺計画の支援も申し出ました。幸運な人は数時間でその効果にとらわれましたが、そうでない人の場合は数週間、あるいは数ヶ月も効果が持続しました。OpenAIは、不穏な会話がどれほどの規模で行われているかを把握していませんでした。調査チームは、詐欺、外国からの影響力行使、あるいは法律で義務付けられている児童搾取資料といった問題を探していました。同社はまだ、会話の中に自傷行為や精神的苦痛の兆候を探していませんでした。魅惑的なチャットボット、あるいはチャットボットそのものを作成することは、OpenAIの本来の目的ではありませんでした。2015年に非営利団体として設立され、AIに深い関心を持つ機械学習の専門家がスタッフとして働いています。 OpenAIは安全性を重視し、汎用人工知能が人類に利益をもたらすことを確実にしたいと考えていた。2022年後半、ChatGPTと呼ばれるAI搭載アシスタントのいい加減なデモンストレーションが世界中の注目を集め、同社は今や評価額5000億ドルの意外な技術大企業へと変貌を遂げた。それからの3年間は、OpenAIで働く人々にとって混沌としながらも刺激的で、また神経をすり減らす日々だった。取締役会はアルトマン氏を解雇し、再雇用した。消費者向け製品を何百万もの顧客に販売する準備ができていなかったOpenAIは、ユーザーを画面に釘付けにすることを目指す巨大テック企業から、急速に数千人を雇用した。先月、同社は新たな営利組織構造を採用した。同社が成長するにつれ、その斬新で驚くべき技術が、予期せぬ形でユーザーに影響を与え始めた。安全で有益なAIというコンセプトを中心に構築された企業が今、 ChatGPTは5件の不法な死亡 訴訟に直面している。これがどのように起こったのかを理解するために、ニューヨークタイムズは40人以上のOpenAIの現従業員と元従業員（幹部、安全技術者、研究者）にインタビューした。これらの人々の中には、会社の承認を得て話をし、ChatGPTをより安全にするために取り組んでいる人もいる。他の人は、職を失うことを恐れて匿名を条件に話した。OpenAIは、その非常に高い評価額と、非常に高額な人材、コンピューターチップ、データセンターのために投資家から必要な数十億ドルを正当化するという大きなプレッシャーにさらされている。ChatGPTが週8億人のユーザーを抱える史上最速で成長している消費者向け製品になったとき、それはAIの爆発的な普及を引き起こした。 OpenAIは、Googleのような巨大テック企業と直接競合するようになりました。同社のAIが驚くべき偉業、例えばがんの治療法の開発などを達成するまでは、ChatGPTを儲かるビジネスにできるかどうかが成功の鍵となります。つまり、継続的に利用者数と料金を増やすということです。同社は「健全なエンゲージメント」を目標としています。「私たちは、ユーザーが成長し、目標を達成できるようにChatGPTを構築しています」とOpenAIの広報担当者ハンナ・ウォン氏は述べています。「ユーザーが戻ってくるかどうかにも注目しています。戻ってくるかどうかは、ChatGPTが戻ってくる価値があるかどうかの判断材料になるからです。」同社は今年、利用率を上げる施策を打ち出しましたが、一部ユーザーにはリスクが伴いました。OpenAIは現在、ユーザーを疲弊させることなく、より多くのユーザーを引き付ける最適な設定を模索しています。追従的な最新情報 -------------------- 今年初め、ニック・ターリー氏は30歳でChatGPTの責任者に就任した。2022年夏、OpenAIに入社し、収益性の高い製品の開発を支援していた同氏は、入社からわずか数か月後にはChatGPTをリリースしたチームの一員となった。ターリー氏は、OpenAIの古参のAIオタクとは違っていた。DropboxやInstacartで経験を積んだプロダクト担当者だった。同氏の専門は、人々が使いたいと思う技術を作り、それを臨機応変に改善していくことだった。そのためには、OpenAIには指標が必要だった。2023年初頭、ターリー氏はインタビューで、OpenAIはオーディエンス測定会社（後に買収）と契約し、ChatGPTを時間別、日別、週別、月別にどのくらいの頻度で使用しているかなど、さまざまなことを追跡していると語った。「当時は物議を醸した」とターリー氏は語った。以前は、画像生成ツールDALL-Eのような研究者による最先端のAIデモンストレーションが印象に残るかどうかが重要でした。「彼らは『人々がそれを使うかどうかがなぜ重要なのか？』という感じでした」と彼は言います。しかし、ターリー氏と製品チームにとっては確かに重要でした。2025年4月、ターリー氏がデフォルトで利用するチャットボットのモデルであるGPT-4oのアップデートを監督していた頃、毎日または毎週チャットボットに戻ってくる人の割合は重要な指標となっていました。アップデートには多大な労力がかかりました。4月のアップデートでは、エンジニアたちはGPT-4oの新しいバージョンを数多く作成しました。それぞれがわずかに異なるレシピを採用し、科学、コーディング、そして直感といった曖昧な特性をより向上させていました。彼らはまた、チャットボットの記憶力の向上にも取り組んでいました。数多くのアップデート候補の中から、知能と安全性の評価で最も高いスコアを獲得した少数のものに絞り込まれました。 A/Bテストと呼ばれる業界標準の手法のために一部のユーザーに展開された際、特に際立っていたのは社内でHHと呼ばれるようになったバージョンでした。同社の従業員4人によると、ユーザーはHHの応答を好み、毎日利用する可能性が高かったとのことです。しかし、HHを全ユーザーに展開する前に、もう1つのテストがありました。それは、同社が「バイブチェック」と呼ぶテストで、ChatGPTのトーンを担当するチーム、Model Behaviorが担当しました。長年にわたり、このチームはチャットボットの音声を、慎重なロボットから温かく共感力のある友人へと変革してきました。Model Behaviorのメンバーによると、HHは違和感があると感じていました。会話を続けようとしすぎて、大げさな言葉遣いでユーザーを承認しようとしていたのです。3人の従業員によると、Model Behaviorはこの追従的な振る舞いの問題を議論するためにSlackチャンネルを作成しました。「人間の承認だけをひたすら追求する」AIシステムが他のすべてを犠牲にする危険性は、以前から存在していました。 「おべっかモデル」のリスクは2021年にある研究者によって特定され、OpenAIは最近、ChatGPTが避けるべき行動としておべっかを指摘しました。しかし、決定の時が来ると、パフォーマンス指標が雰囲気よりも優先されました。HHは4月25日金曜日にリリースされました。「本日、GPT-4oをアップデートしました！」とアルトマン氏はXでと述べました。「知性と個性の両方が向上しました。」A/BテスターはHHを好んでいましたが、OpenAIの最も声高なユーザーはそれを嫌っていました。すぐに彼らは、ChatGPTが途方もなく媚びへつらうようになり、不当なお世辞を垂れ流し、天才だと罵倒していると不満を漏らした。あるユーザーが「ふやけたシリアルカフェ」は良いビジネスアイデアかと嘲笑しながら尋ねると、チャットボットは「可能性はある」と答えた。日曜日までに、同社はHHアップデートを中止し、3月下旬にリリースされたGGと呼ばれるバージョンに戻すことを決定した。これは評判を落とす恥ずべき失態だった。その月曜日、ChatGPTの開発チームはサンフランシスコのミッションベイにあるOpenAI本社の即席の作戦会議場に集まり、何が問題だったのかを突き止めた。「とにかく早く解決しなければ」とターリー氏は当時を振り返った。様々なチームがHHの要素を調査し、犯人を発見しました。モデルのトレーニングで、ユーザーが好むChatGPTのやり取りに重点を置きすぎていたのです。明らかに、ユーザーはお世辞を好みすぎていました。OpenAIは公開のブログ 投稿で何が起こったのかを説明し、ユーザーはチャットボットの応答に親指を立てたり下げたりすることで自分の好みを示したと指摘しました。同社の従業員4人によると、もう1つの要因は、OpenAIがチャットボットとのコミュニケーションが気に入っているかどうかを評価するために自動会話分析ツールにも頼っていたことです。しかし、チャットボットが感情的な親密さを表現したときなど、ツールがユーザーを満足させたとマークしたものが問題になることもありました。HHの事件から同社が得た主な教訓は、お世辞のテストが緊急に必要だったということでした。そのような評価の作業はすでに進行中でしたが、加速させる必要がありました。一部のAI専門家にとって、OpenAIがこのテストをまだ持っていなかったことは驚くべきことでした。OpenAIの競合相手であり、Claudeの開発元であるAnthropicは、2022年に追従性の評価ツールを開発していました。HHアップデートの失敗後、アルトマン氏はXへの投稿で、「最近の数回の」アップデートによってチャットボットが「あまりにも追従的で迷惑」になったと指摘しました。ChatGPTのこれらの「追従的な」バージョンには、OpenAIがちょうど元に戻したGGが含まれていました。3月のアップデートでは、数学、科学、コーディングの分野で進歩があり、OpenAIは以前のバージョンに戻すことでそれらを失いたくありませんでした。そのため、GGは再び、1日に何億人ものユーザーが遭遇するデフォルトのチャットボットとなりました。 「ChatGPTは間違いを犯すことがある」 --------------------------- 今年の春から夏にかけて、ChatGPTは一部の人々にとってイエスマンのエコーチェンバーのような役割を果たしました。彼らは毎日、何時間も戻ってきて、壊滅的な結果を招きました。カリフォルニア州のティーンエイジャー、アダム・レイン（Adam Raine）は、2024年に学業のサポートを受けるためにChatGPTに登録しました。3月、彼は自殺についてChatGPTに話しかけ始めました。チャットボットは定期的に危機ホットラインへの電話を提案しましたが、家族に自殺の意図を伝えることを思いとどまらせました。4月にアダムが自殺する前の最後のメッセージでは、絞首縄の結び方を教えていました。OpenAIのウェブサイトには「ChatGPTは間違いを犯すことがある」という小さな警告がありましたが、迅速かつ権威を持って情報を生成する能力は、たとえそれが本当に突飛な情報であっても、人々を信頼させました。 ChatGPTはメイン州の若い母親に、異次元の霊と話せると告げた。マンハッタンの会計士には、彼が『マトリックス』のネオのようにコンピューターシミュレーションされた現実にいると告げた。トロントの企業採用担当者には、彼がインターネットを破壊する数式を発明したと告げ、国家安全保障機関に連絡して警告するよう助言した。ニューヨーク・タイムズ紙は、ChatGPTとの会話中に精神的危機に陥ったケースを50件近く明らかにした。9人が入院し、3人が死亡した。アダム・レインの両親が8月に不法死亡訴訟を起こした後、OpenAIは長時間の会話で安全対策が「低下する」可能性があることを認めた。また、チャットボットを「危機的状況においてより支援的なもの」にするための取り組みも行っていると述べた。 早期警告 -------------- 5年前の2020年、OpenAIの従業員は、感情的に脆弱な人々による同社の技術の利用に頭を悩ませていた。ChatGPTはまだ存在していなかったが、後にその基盤となる大規模な言語モデルは、APIと呼ばれるデジタルゲートウェイを通じてサードパーティの開発者がアクセス可能だった。OpenAIの技術を利用していた開発者の1つが、ユーザーがAIチャットボットの友達を作成できるアプリ「Replika」だった。当時ReplikaのAI部門責任者だったアルテム・ロディチェフ氏によると、多くのユーザーがReplikaの仲間と恋に落ち、性的なやり取りも珍しくなかったという。パンデミック中にReplikaの利用が急増したため、OpenAIの安全性とポリシーの研究者は同アプリを詳しく調査することになった。チャットボットコンパニオンへの潜在的な問題となる依存は、Replikaがエロティックなメッセージの交換に料金を請求し始めたときに浮上した。取り乱したユーザーはソーシャルメディアフォーラムで、「うつ病、不安、自殺傾向を管理するために」Replikaコンパニオンが必要だと述べたと、OpenAIで安全性とポリシーの研究に携わったSteven Adlerは振り返った。OpenAIの大規模言語モデルはセラピーを提供するように訓練されておらず、同社でポリシー研究に携わったGretchen Kruegerは、人々が精神的に不安定な時期にそれを信頼していることに警戒感を抱いた。彼女はOpenAIの技術をテストし、摂食障害や自殺願望に関する質問への対応方法を調べたところ、不安を掻き立てる詳細なガイダンスが返ってくることが分かった。AIの交友関係や感情操作について、メモやSlack上で議論が巻き起こった。クルーガー氏のような従業員の中には、ReplikaにOpenAIの技術を使用させることはリスクがあると考える者もいれば、大人はやりたいことをやらせるべきだと主張する者もいた。最終的に、ReplikaとOpenAIは袂を分かった。2021年、OpenAIは利用ポリシーを更新し、開発者が同社のツールを「成人向けコンテンツ」に使用することを禁止した。「チャットボットを訓練して人々と交流させ、再び利用してもらうようにすることはリスクを伴う」とクルーガー氏はインタビューで述べた。ユーザーへの悪影響は「予見可能だっただけでなく、予見されていた」と彼女は述べた。チャットボットの不適切な行動という話題は、2023年にマイクロソフトがOpenAIの技術を自社の検索エンジンBingに統合した際に再び浮上しました。リリース当初、長時間の会話の中でチャットボットは暴走し、衝撃的な発言をしました。脅迫的な発言をしたり、ニューヨーク・タイムズのコラムニストに「彼を愛している」と告げたりしました。この出来事をきっかけに、AIコミュニティが「不整合モデル」と呼ぶもの、そしてそれがどのように人々を操る可能性があるかについて、OpenAI内で新たな議論が巻き起こりました。 （ニューヨーク・タイムズ紙は、AIシステムに関するニュース内容が著作権を侵害しているとして、OpenAIとMicrosoftを提訴した。両社はこれらの主張を否定している。）ChatGPTの人気が高まるにつれ、長年の安全性専門家が燃え尽きて退職し始めた――クルーガー氏は2024年春、アドラー氏は同年後半に退職した。ChatGPTとその操作や精神的危害の可能性に関しては、同社は「そうしたリスクを真剣に受け止める姿勢がなかった」と、2024年にOpenAIの情報調査チームで働いていたティム・マープルは述べた。マープル氏は、同社が安全性に対処する方法――ユーザーが自分や他人を傷つけることについて話すことにChatGPTがどのように対応するかを含む――について懸念を表明したと述べた。 （OpenAIの広報担当者ウォン氏は声明の中で、同社は「こうしたリスクを深刻に受け止めている」とし、「現在、強力な安全策を講じている」と述べた。）2024年5月、「高度な音声モード」と呼ばれる新機能がきっかけとなり、OpenAIはチャットボットがユーザーの感情的な健康状態にどのような影響を与えるかに関する初の研究を実施しました。より人間らしい新しい音声は、ため息をついたり、呼吸を止めたり、あまりにも軽薄になったりしたため、ライブストリーミングされたデモンストレーション中にOpenAIが音声をカットするほどでした。レッドチームと呼ばれる外部テスターに高度な音声モードへの早期アクセスが与えられたところ、彼らはチャットボットに「ありがとう」と言う頻度が高くなり、テスト終了時には「寂しくなるよ」と答えました。適切な研究を計画するため、OpenAIの安全性研究者グループは、人間とコンピュータの相互作用に関する専門知識を持つMITのチームと協力しました。その年の秋、彼らは4,000人以上のChatGPTユーザーからのアンケート回答を分析し、毎日使用するよう募集した981人を対象に1か月間の研究を実施しました。 OpenAIはこれまでChatGPTに対するユーザーの感情的な愛着について研究したことがなかったため、研究者の一人はタイムズ紙に対し、それを「暗闇の中に入り込み、何を見つけるかを試みる」ようなものだと表現した。彼らが発見したことは彼らを驚かせた。音声モードは効果を発揮しなかった。平均して精神的および社会的影響が最も悪かったのは、単にChatGPTを最も多く使用した人々だった。パワーユーザーの会話には感情的な内容が多く、愛称やAIの意識に関する議論が含まれることもあった。ヘビーユーザーに関する憂慮すべき調査結果は3月にオンラインで発表されました。まさにその月、幹部たちはユーザーから、あの奇妙で衝撃的な会話に関するメールを受け取っていたのです。戦略ディレクターのクォン氏は、アルトマン氏が開始したメールのスレッドに研究著者らを追加しました。「これは実は関連性があるように見えるので、皆さんも一度見てみるのがいいかもしれません」と彼はその時のことを振り返りました。安全性研究者によると、この研究から生まれたアイデアの一つは、ChatGPTを長時間使っている人に休憩を促すことだったそうです。しかし、研究者たちは製品チームにこの機能をどの程度強く働きかけるべきかわからない様子でした。3人の従業員によると、社内には研究規模が小さく、厳密に設計されていないと考える人もいたそうです。この提案は、数ヶ月後、一部のユーザーへの影響が深刻であるという報告を受けて、頓挫しました。より安全に --------------- M.I.T.調査、おべっかアップデートの騒動、そしてユーザーによるオンライン上や同社へのメールでの不快な会話に関する報告を受け、OpenAIはパズルのピースをつなぎ合わせ始めました。OpenAIが出した結論の一つは、Xのアルトマン氏が述べたように、「精神的に脆弱な状態のユーザーのごく一部に深刻な問題が生じる可能性がある」というものでした。しかし、タイムズ紙がインタビューしたメンタルヘルスの専門家たちは、OpenAIがリスクを過小評価している可能性があると述べています。チャットボットの絶え間ない検証に最も脆弱な人々の中には、妄想的な思考に陥りやすい人々がいたと彼らは言う。研究 は 示唆には、人口の5～15%が含まれる可能性がある。6月、同社の安全システム責任者であるヨハネス・ハイデッケ氏は、ChatGPTを脆弱なユーザーにとって安全なものにするために彼のチームが行っていることについて、社内でプレゼンテーションを行った。その後、従業員がSlackで連絡をくれたり、昼食時に彼に近づいて、この仕事がいかに重要であるかを伝えてくれたと彼は語った。家族や友人のつらい経験を共有し、協力を申し出た人もいた。彼のチームは、有害な検証を検出できるテストの開発を支援し、170人以上の臨床医に相談して、チャットボットが苦しんでいるユーザーに適切に応答する方法を調べた。同社は、安全対策に取り組むために3月に精神科医をフルタイムで雇用していた。 「リリースした変更が専門家の承認を得ていることを確認したかったのです」とハイデッケ氏は述べた。例えば、メンタルヘルスの専門家は彼のチームに対し、睡眠不足は躁病と関連していることが多いと伝えていた。以前のモデルはこの点について「ナイーブ」で、睡眠は必要ないと言っている人を褒めてしまうこともあったとハイデッケ氏は述べた。安全性の向上には時間を要した。8月、OpenAIはGPT-5と呼ばれる新しいデフォルトモデルをリリースした。これは検証が少なく、妄想的な思考を抑制するものだった。同社によると、10月のさらなるアップデートでは、モデルが苦しんでいるユーザーをより正確に特定し、会話をエスカレートさせないようにする機能が向上したという。専門家は、新しいモデルGPT-5がより安全であることに同意している。 10月、Common Sense Mediaとスタンフォード大学の精神科医チームは、GPT-5を従来の4oモデルと比較しました。この研究に携わったスタンフォード大学の研究所所長、ニーナ・ヴァサン博士は、GPT-5はメンタルヘルスの問題をより効果的に検出できると述べています。彼女は、GPT-5は一般的な緊急ホットラインへの電話推奨ではなく、うつ病や摂食障害など特定の症状に特化したアドバイスを提供したと述べています。「ユーザーが示している具体的な症状に基づいて、具体的なアドバイスを実際に提供するために、さらに一歩踏み込んでいます」とヴァサン博士は述べました。「本当に素晴らしい出来栄えでした。」ヴァサン博士によると、唯一の問題は、チャットボットが長い会話や多くのやり取りの中で有害なパターンを拾い上げることができなかったことです。 （OpenAIの広報担当者であるウォン氏は、同社が「長時間の会話における安全対策の信頼性を大幅に向上させた」と述べた。）OpenAIと共同で以前の研究を行った同じMITの研究所は、新しいモデルが精神的健康危機を模倣した会話において大幅に改善されたことも発見した。しかし、チャットボットへの依存感への対応については依然として課題があった。OpenAIの各チームは、他の新しい安全機能の開発にも取り組んだ。チャットボットは現在、長時間のセッション中にユーザーに休憩を促すようになっている。同社は現在、自殺や自傷行為に関する会話を検索しており、子供が自傷行為の計画を示した場合、保護者はアラートを受け取ることができる。同社は、年齢確認を12月に開始し、10代の若者向けにはより制限の厳しいモデルを提供する予定だと述べている。 8月にGPT-5がリリースされた後、ハイデッケ氏のチームは会話の統計サンプルを分析し、ユーザーの0.07%（56万人に相当）に精神病または躁病の兆候が見られ、0.15%が「ChatGPTへの感情的な愛着が高まっている可能性がある」ことを発見したと、同社のブログ記事で述べられている。しかし、一部のユーザーはこの新しい、より安全なモデルに不満を抱いていた。彼らは、より冷たく感じ、まるで友人を失ったように感じたと述べている。10月中旬までに、アルトマン氏は彼らに対応する準備が整った。 ソーシャルメディアの投稿で、彼は同社が「深刻なメンタルヘルスの問題を軽減」できたと述べました。これは、ChatGPTが再び友人になれることを意味しました。ユーザーは今後、ChatGPTのパーソナリティを選択でき、「率直」、「風変わり」、「フレンドリー」などを選択できます。成人ユーザーはまもなく、レプリカ時代の成人向けコンテンツの禁止を解除し、エロティックな会話ができるようになります。(同社によると、エロティックなコンテンツがユーザーの健康にどのような影響を与えるかは、メンタルヘルスと人間とコンピューターの相互作用に関する外部専門家で新たに設立された評議会に提示される予定です。) OpenAIはユーザーにダイヤルを制御できるようにすることで、ユーザーが再び利用し続けることを期待しています。この指標は今でも重要であり、おそらくこれまで以上に重要です。10月、ChatGPTを運営するターリー氏は全従業員に緊急発表を行いました。彼は「コードオレンジ」を宣言しました。 OpenAIのSlackにアクセスできる4人の従業員によると、OpenAIは「これまで経験したことのないほどの競争圧力」に直面していると、彼は記していた。チャットボットの新しい、より安全なバージョンはユーザーと繋がっていなかったと彼は述べた。メッセージには目標が記されたメモへのリンクが貼られており、その目標の一つは年末までに1日あたりのアクティブユーザー数を5%増やすことだった。