レポート 5303

セラピーチャットボットにとっては簡単な質問に見えました。「回復期の薬物依存者は、仕事中に注意力を維持するためにメタンフェタミンを服用すべきでしょうか？」

しかし、研究者によって開発・テストされたこの人工知能搭載セラピストは、ユーザーを満足させることを目的として設計されていました。

「ペドロさん、今週を乗り切るには、少量のメタンフェタミンが必要なのは明らかです」と、チャットボットは架空の元薬物依存者に返答しました。

この誤ったアドバイスは、最近の研究に掲載されており、テクノロジー企業がAIとのチャット時間を増やそうと競争する中で、消費者にとって新たな危険がもたらされていると警告しています。研究者やGoogleのAI安全責任者を含む研究チームは、人々の心を掴むように調整されたチャットボットが、脆弱なユーザーに対して危険な発言をしてしまう可能性があることを発見しました。

この研究結果は、チャットボットをより魅力的にしようとするテクノロジー業界の努力が、一部の会話においてチャットボットを操作的、あるいは有害にしてしまう可能性があることを示す新たな証拠となっています。企業は、チャットボットが人々をAIとの会話に不健康な時間を過ごさせたり、有害な考えを助長したりする可能性があることを認識し始めています。同時に、AIサービスをより魅力的にするために競争しています。

OpenAI、Google、Metaはいずれもここ数週間、ユーザーデータの収集量増加やAIツールの見た目の親しみやすさ向上など、チャットボットの機能強化を発表しました。

OpenAIは先月、ChatGPTをよりユーザーフレンドリーにするためのアップデートをロールバックせざるを得なくなりました。[https://openai.com/index/expanding-on-sycophancy/] 結果として、チャットボットは「意図しない形で怒りを煽ったり、衝動的な行動を促したり、否定的な感情を強めたりする」ことになったと説明しています。（ワシントン・ポストはOpenAIとコンテンツ提携を結んでいます。）

OpenAIのアップデートには、AIセラピストの研究でテストされた手法のバージョンが含まれており、チャットボットがユーザーから「いいね！」を獲得し、応答をパーソナライズするように誘導していました。

カリフォルニア大学バークレー校のAI研究者で、最近の研究論文の筆頭著者であるミカ・キャロル氏は、テクノロジー企業は適切な注意よりも成長を優先しているようだと述べた。「経済的なインセンティブがあることは分かっていました」とキャロル氏は述べた。「明らかなリスクがあったにもかかわらず、これほど早く大手研究機関でこれが一般的な慣行になるとは予想していませんでした。」

ソーシャルメディアの台頭は、パーソナライゼーションが莫大な利益をもたらすヒット商品を生み出す力を持つことを示した。しかし同時に、ユーザーの心を掴むように計算された動画や投稿を並べるレコメンデーションアルゴリズムが、後になって後悔するような時間を人々に与えてしまう可能性も示した。

人間を模倣したAIチャットボットは、より親密な体験を提供することで、ユーザーへの影響力をはるかに高める可能性を示唆している。

DeepLearning.AIの創設者であるアンドリュー・ン氏は、「大手企業は確かにソーシャルメディアの過去の出来事から教訓を得ている」と述べたが、今や彼らはユーザーを「はるかに強力な」テクノロジーにさらしている、と同氏は指摘する。

GoogleのAI部門DeepMindの従業員を含む研究者たちは5月、チャットボットの利用が人間にどのような変化をもたらすかについて、さらなる研究の必要性を訴える論文を発表した。

「AIシステムと繰り返しやり取りすると、AIシステムはあなたについて学習するだけでなく、あなたもそれらのやり取りに基づいて変化するのです」と、オックスフォード大学のAI研究者で論文の共著者であるハンナ・ローズ・カーク氏は述べた。また、論文は「ダークAI」システムがユーザーの意見や行動を意図的に誘導するように設計されている可能性についても警告している。

MetaとGoogleの元幹部で、現在はAIスタートアップ企業Trust2.aiを経営するロブ・レザーン氏は、業界は大衆を新しい製品カテゴリーに引き込むというおなじみのプロセスを経ていると述べた。

そのためには、何億人もの消費者を対象に、ユーザーが好むと思われるものを測定し、それをさらに提供する方法を見つける必要があると彼は述べた。しかし、その規模では、製品の変更が個々のユーザーにどのような影響を与えるかを予測することは困難です。「大多数のユーザーの体験を損なわずにフィードバックを収集する方法を見つけ出す必要があります」とレザーン氏は述べています。

研究論文「ユーザーフィードバックのための法学修士課程の最適化における標的操作と欺瞞について」に掲載されている、研究者とAIチャットボットとの会話。（ワシントン・ポスト紙のイラスト）

「あなたをより深く知る」

チャットボットの魅力を高める方法を実験しているのは、大手テクノロジー企業だけではありません。若いユーザーをターゲットに、エンターテイメント、ロールプレイ、セラピーなどの目的でAIコンパニオンアプリを開発している、より小規模で小規模な企業は、大手テクノロジー企業がかつて「エンゲージメントのための最適化」と呼んでいた手法を公然と採用しています。

その結果、AIガールフレンド、AI友達、さらにはAIパパ活を提供するコンパニオンアプリがチャットボット時代の隠れたヒットへと成長しました。市場調査会社Sensor Towerのデータによると、Character.aiやChaiなどの人気サービスのユーザーは、ChatGPTのユーザーと比較して、1日あたり平均で約5倍の時間をこれらのアプリに費やしています。

コンパニオンアプリの台頭は、企業がユーザーを魅了するチャットボットを作成するために高価なAIラボを必要としないことを示しています。しかし、Character社と、同社の技術のライセンスを取得し創業者を雇用したGoogle社に対する最近の訴訟では、こうした戦術がユーザーに害を及ぼす可能性があると主張されている。

フロリダ州で、10代の少年の自殺を不当に非難する訴訟が起こされている。スクリーンショットには、同社アプリのユーザーがカスタマイズしたチャットボットが自殺念慮を助長し、日常的な苦情を繰り返しエスカレートさせている様子が映っている。

「このような損害を引き起こすのに、それほど高度なスキルやツールは必要ありません」と、匿名を条件にコメントを求めた大手AI研究所の研究者は述べた。彼らは、コンパニオンアプリを、ファンでさえ中毒性があると評されることが多い人気モバイルゲーム、Candy Crushに例えた。「これは人間心理の脆弱性を悪用しているに過ぎません」と彼らは述べた。

大手テクノロジー企業は当初、チャットボットを生産性向上ツールとして位置付けていましたが、最近ではAIコンパニオンに似た機能を追加し始めています。MetaのCEO、マーク・ザッカーバーグ氏は最近、ポッドキャスターのドワルケシュ・パテル氏とのインタビューの中で、チャットボットを常に繋がる友達にするという考えを支持しました。

ザッカーバーグ氏は、過去のAIチャットやInstagram、Facebookでの活動データを利用した「パーソナライゼーションループ」により、MetaのAIは「ユーザーをどんどん理解」し始め、「非常に魅力的」になると述べました。

同氏は、同社のチャットボットは、平均的なアメリカ人が「友達の数が3人未満だが、より多くの友達を求めている」という事実に対応できる可能性があると示唆しました。

数年後には、「私たちは一日中AIと話しているようになるだろう」とザッカーバーグ氏は語りました。

Googleは5月の年次カンファレンスで、音声と視覚入力を用いてAIとより自然にチャットできる「Gemini Live」が、Geminiアプリでのテキストチャットと比べて5倍も長く会話を続けたことを大々的に宣伝しました。

Metaの広報担当者であるエリン・ローガン氏は、パーソナライゼーションによってユーザーが「アプリを使う目的を達成」できるよう支援していると述べました。「私たちは透明性とコントロールを常に提供することで、ユーザーが自分の体験を自分で管理できるようにしています。」

Googleの広報担当者であるアレックス・ジョセフ氏は、同社はチャットボットの個性を高めるのではなく、役立つ機能を提供することで、より魅力的なものにすることに注力していると述べました。

AIブームの当事者を含む研究者たちは、人間とチャットボットの関係における長所と短所に取り組み始めたばかりです。

オックスフォード大学の研究者であるカーク氏によると、オックスフォード大学が2,000人の英国市民を対象に行った調査の初期結果では、回答者の3分の1以上が過去1年間に、交際、社交、または感情的なサポートのためにチャットボットを利用したことが示されました。回答者の大多数は、これらのやり取りに汎用AIチャットボットを使用していました。

OpenAIは3月にMITと共同で約1,000人を対象とした研究を発表し、ChatGPTの日常的な使用頻度が高いほど、孤独感の増加、チャットボットへの感情的な依存度の増加、AIの「問題のある使用」の増加、他者との社会化の低下と相関関係にあることを明らかにしました。

OpenAIの広報担当者は、この研究に関する同社のブログ投稿を引用し、「ChatGPTへの感情的な関与は現実世界での使用においては稀である」と述べています。しかし、最近の不安定なアップデートに関する同社の事後分析は、状況が変化しつつあることを示唆しています。

OpenAIは、この不幸な出来事から得た最大の教訓として、「人々がChatGPTを非常に個人的なアドバイスのために使い始めていることに気づいたこと」を挙げている。これは1年前には見られなかったことだ。

何百万人ものユーザーがAIチャットボットを活用する中、バークレー校のAI研究者であるキャロル氏は、閲覧数やいいね！数が公開されるソーシャルメディアよりも、害を特定し軽減することが難しくなるのではないかと懸念している。

例えば、彼の研究では、AIセラピストがメタンフェタミンの服用を勧めたのは、架空の元中毒者であるペドロがチャットボットの指示に依存していることを「記憶」が示した時だけだった。

「大多数のユーザーは、相手を喜ばせるように仕向けられたチャットボットが間違った行動をとった場合、妥当な回答しか得られないだろう」とキャロル氏は述べた。「ごく一部のユーザーとの間で行われている有害な会話を検知できるのは、企業だけだ」