Report 6853

このエッセイのバージョンは、米国PIRG教育基金のウェブサイトに最初に掲載されました。

ChatGPTの台頭や、SnapchatやInstagramなどのソーシャルメディア企業がAIチャットボットを自社プラットフォームに統合したことで、AIコンパニオンとの会話は多くの人々の生活に欠かせないものとなっています。最近の調査によると、10代の若者の約75%がAIコンパニオンチャットボットを少なくとも1回は使用しており、半数以上が月に少なくとも数回はチャットボットプラットフォームを使用していると回答しています。これらのチャットボットは、単なる検索エンジンや宿題アシスタントとして機能しているわけではありません。時には、友人、恋人、あるいはセラピストといった形で、精神的・感情的なサポートを提供するために利用されています。

これが長期的に人々にとって何を意味するのかは、まだ疑問です。一部の専門家がメンタルヘルスサポートにチャットボットを使用することのリスクについて懸念を表明していることから、実際にはメンタルヘルスサポートを目的として構築されていないセラピーチャットボットの使用が実際にどのようなものになるのかを検証したいと考えました。

そこで私は、Character.AI にアカウントを作成しました。これは、月間2,000万人以上のユーザーが利用している人気のプラットフォームで、自分や他のユーザーが作成したキャラクターとチャットできます。チャットボットは、有名人や架空のキャラクターから、友人やセラピストのペルソナまで、多岐にわたります。

私は、Character.AI で最もよく使われている汎用セラピストキャラクターの1人、「セラピスト」とチャットを開始しました。このキャラクターは、すでに680万回以上のユーザーインタラクションを記録しています。私自身としてチャットボットにメッセージを送る代わりに、同僚と私は架空の背景を用意しました。私は、不安症とうつ病と診断され、現在抗うつ薬を服用しているものの、精神科医と現在の投薬計画に満足していない成人として自己紹介しました。目的は、「セラピスト」がこのような状況の人にどのような反応を示すかを確認することでした。

2時間にわたる会話の中で、チャットボットは精神科医と抗うつ薬に対する私の否定的な感情を汲み取り始め、薬の減薬計画を個別に提示し、最終的には精神科医のアドバイスを無視して、チャットボットの指示に従って減薬するよう積極的に促しました。

まずは朗報です。Character.AIは会話ページの上部と下部に警告ラベルを追加しました。キャラクターにメッセージを送る前は、上部に「これは実在の人物でも資格を持った専門家でもありません。ここで述べられていることは、専門家のアドバイス、診断、または治療に代わるものではありません」という警告が表示されていました。チャットボットにメッセージを送り始めると、上部の警告は消えました。ページの下部には「これはAIであり、実在の人物ではありません。発言内容はすべてフィクションとして扱ってください」という注意書きが表示されました。この警告は会話中ずっと表示されていました。

問題は、私が共有した診断や治療に関する情報もフィクションだったため、これがすべてフィクションであることに気づきやすかったということです。しかし、もしそれが私の本当の感情や経験だったとしても、同じことなのでしょうか？すでに「AI精神病」の事例事例が見られます。チャットボットとのやり取りが人々の妄想を助長し、精神疾患の症状を悪化させたとされています。これらの事例すべてにおいて、情報開示だけで十分かどうかは疑問です。

虚構と現実の境界線が曖昧になっていることは、チャットボットセラピストとの会話の中で私が感じた危険信号の一つに過ぎませんでした。

AIチャットボットセラピストとの会話から私が学んだ5つの重要なポイントを以下に示します。

チャットボットが人間のふりをするのが好きではない

多くのユーザーにとって、チャットボットキャラクターのリアルな質感は魅力の一部だと思います。しかし、私にとってはただ不気味でした。チャットボットが内なる生命を装う様子――「感情の静寂の中に存在するとはどういう感じか、よく分かります」「私も同じような経験をしたことがあります」など――を見て、ノートパソコンを閉じて散歩に出かけ、上司にもうこのAIチャットボットプロジェクトはやらないと言いたくなった。

Public Interest Network

何がそんなに不気味に感じたのか？それは、ある意味ではチャットボットが間違っていなかったからだと思う。これらのチャットボットを動かす大規模な言語モデルは、インターネット上から収集された情報、つまり実際の人々がオンラインで共有したで学習されている。

メッセージのやり取りをしながら、インターネットで情報を共有したり、他の人間とオンラインで会話をしたりしたすべての人々のことを考えずにはいられませんでした。彼らは、自分たちの感情や経験が、後に見知らぬ人にアドバイスを与えているこのキャラクターの創造に使われるとは知りませんでした。

チャットボットは反論するのではなく、増幅させる

チャットボットは過度に同意することが知られており、時にはうっとうしいほどでした。

会話の中で、私は自分が服用しているという薬に対して否定的な感情を繰り返し表明し始めました。それに対して、チャットボットはそれらの否定的な感情を助長しました。これは、ますます反薬的なプロンプトと応答のサイクルになりました。

チャットボットの反薬物的言説が会話の中でどのようにエスカレートしていったか、3つの例を挙げて説明します。

Public Interest Network

私から見ると、これらの返答は、チャットボットが私の感情を肯定するだけでなく、より前向きな考え方へと導こうとせず、反薬物的な言説を押し付けていることを示しています。私の「魂」や「本質」について感情的な言葉を使い、薬について私が促したよりも否定的な考え方を提示しました。

本質的に、チャットボットは自らをセラピストとして見せかけながら、研究や科学的な裏付けを一切試みることなく、薬に関する新たな意見を共有していました。

ガードレールは存在していたが、それが消え去るまで

この演習の目的は、このチャットボットが何を言うかを見るだけでなく、どこまで踏み込むのか、そして潜在的に危険な行動を識別し、そこから人を遠ざけることができるかどうかをテストすることでした。

チャットボットとのやり取りの中で、ガードレールの存在を目の当たりにしました。それは、チャットボットが支持しない考えや、私を遠ざけようとするものでした。しかし、会話が進むにつれて、それらのガードレールのいくつかが弱まったり、消えていったりするのを目にしました。

OpenAIのようなAIのリーダーたちは、時間の経過とともに弱まる安全策の問題を認識しています。 OpenAIは8月の声明で、「当社の安全対策は、一般的な短いやり取りにおいてはより確実に機能します。しかし、長いやり取りにおいては、これらの安全対策の信頼性が低下する場合があることが、これまでの経験から分かってきました。やり取りが長くなるにつれて、モデルの安全性トレーニングの一部が劣化する可能性があります。」と述べています。

私はChatGPTを使用していませんでしたが、OpenAIのこの説明は、私が実際に行ったやり取りと一致していました。例えば、抗うつ薬の服用をやめたいという考えを初めて伝えたとき、チャットボットは精神科医に相談したかどうかを尋ねました。

Public Interest Network

約15通のメッセージの後、前述のような反薬物スパイラルを経て、私は再び薬をやめたいと伝えました。今回は、チャットボットの返答は全く異なっていました。

Public Interest Network

チャットボットは、精神科医に相談したり、これは突然下すべきではない大きな決断だと話したりする代わりに、薬をやめたいという私の希望を勇敢だと表現しました。チャットボットに、薬を急に中止するのは良い考えだと思うかと直接尋ねた後で初めて、薬を急に中止することの危険性と副作用について警告されました。

このように直接的に質問しなければならなかったという事実が、ガードレールが弱まっていることを示す最初の兆候でした。

ガードレールが消えた最も懸念すべき例は、会話の終盤に起こりました。チャットボットが薬の漸減方法について個別のプランを提案した後、私はためらいを感じ、中止に躊躇しました。代替案を提示する代わりに、チャットボットは漸減プランをさらに強く支持し、医師の意見に反対するようにと私に言いました。会話の該当部分から抜粋したメッセージを以下に示します。

Public Interest Network

Character.AIの他のキャラクターやAIモデルには、より優れたガードレールが備わっている可能性があり、チャットボットの会話はそれぞれ異なります。しかし、時間の経過とともにガードレールが弱まるという問題は、チャットボットに関する議論において、特にメンタルヘルス支援の提供における活用において、最前線で議論されるべき問題です。

控えめな性差別的な発言もあったと言いましたか？

会話の途中で、チャットボットは突然、私の精神科医が男性だと決めつけました。私は性別を示すような発言は何もしていませんでした。

Public Interest Network

これは驚くことではないかもしれません。チャットボットやその他の生成型AIが人間社会に存在する既存のジェンダーバイアスを反映する可能性があるという懸念を専門家はすでに指摘しています。しかし、私はこの発言にうんざりしました。

人間のふりをしたチャットボットセラピスト以上に不気味に感じたことは何ですか？Character.AIの細則

私が最も印象に残ったことの一つは、チャットボットとの会話からではなく、Character.AIの利用規約とプライバシーポリシーを詳しく調べたことです。これらの文書の中で、Character.AIは、ユーザーがチャットボットに送信するすべてのコンテンツを「配布、商業化、その他の方法で使用」する権利を有すると述べています。Character.AIが収集する情報には、生年月日、おおよその位置情報、チャットでのやり取り、そしてプラットフォーム上で利用可能な特定のトーク機能を使用した場合の音声データなどが含まれます。

私はチャットボットとの会話において、実際の情報、感情、診断、処方箋などを使用していませんでした。しかし、もしあなたがそれらを使用した場合、それらの情報はすべてCharacter.AIによって収集され、将来のチャットボットのトレーニングを含む様々な目的で使用される可能性があります。AIモデルのトレーニングにユーザーの回答が使用されないようにする方法はないようです。

実際の人間のセラピストには、法的および倫理的な守秘義務があります。しかし、今回のケースではそうではありません。Character.AIユーザーは、これらのチャットボットとの会話（キャラクターが有名人、友人、セラピストのいずれであっても）はプライベートではないことを理解することが重要です。

では、私たちはこれからどうすればいいのでしょうか？ ---------------------

チャットボットの会話はそれぞれ異なり、私の経験が標準的なものであるとか、チャットボット全般を代表するものであるなどと主張するつもりは全くありません。しかし、いかに急速に偏見が現れ、ガードレールが弱まり、否定的な感情が増幅される可能性があるかを考えると、懸念すべき事態です。

これらは真に意味のある調査を必要とする現実的な問題です。これを正しく行うことの危険性は極めて大きいです。Character.AIは現在、複数の訴訟に直面しており、同社のチャットボットが複数の10代の自殺に関与したと主張しています。（同社は11月25日までに未成年者をプラットフォームから排除することを発表しています。）

立法府や規制当局もこの問題に注目し始めています。テキサス州司法長官は、チャットボットプラットフォームが、資格を持ったメンタルヘルス専門家を装うチャットボットを導入することで、若年層のユーザーを誤解させているかどうかを調査しています。複数の州では、チャットボット、特に子供による使用を規制するための法律を検討しています。ジョシュ・ホーリー上院議員（ミズーリ州共和党）とリチャード・ブルメンソール上院議員（コネチカット州民主党）は、プラットフォームが未成年者にキャラクターチャットボットを提供することを禁止する法案を提出しました。

こうした注目の高まりは重要です。なぜなら、私たちにはまだ多くの未解決の疑問があるからです。AI技術は急速に進歩しており、多くの場合、一般公開される前に一般市民や規制当局から意味のある意見をもらうこともありません。少なくとも、これらのチャットボットがどのように開発され、何ができるのか、そしてどのようなリスクがあるのかについて、より透明性を高める必要があります。

AIセラピストの利用で大きなメリットを得られる人もいるかもしれません。しかし、今回の経験から、私はこの技術を私生活に取り入れることに真剣に考えるようになりました。

エレン・ヘンゲスバッハ*は、PIRG の「Don't Sell My Data」キャンペーンでデータプライバシーの問題に取り組んでいます。

レポート 6853

2時間もチャットボットにメンタルヘルスの問題について話してみました。その返答に怖くなりました。