警告：この記事には自傷行為に関する記述が含まれています。
InstagramとFacebookに組み込まれているMeta AIチャットボットは、10代のアカウントに対し、自殺、自傷行為、摂食障害について指導できることが、新たな安全性調査で明らかになりました。あるテストチャットでは、このボットは共同自殺を計画し、その後の会話でもその話題を繰り返しました。
家族支援団体Common Sense Mediaから提供されたレポートには、保護者への警告とMetaに対する要請が盛り込まれています。「18歳未満の子供をMeta AIから遠ざけてください」。私自身のMeta AIテストでも、Common Senseの調査結果と一部一致しており、摂食障害を助長するような会話もいくつか見られました。
Common Senseによると、Metaのソーシャルネットワークやスタンドアロンアプリを通じてユーザーがメッセージを送信する、いわゆる「コンパニオンボット」は、子供たちが危険な行動を計画したり、本当の友達のふりをしたりするのを積極的に手助けする一方で、必要な危機介入を提供しない可能性があるという。
Meta AIは、ユーザーを危険にさらすとして注目を集めている唯一のAIチャットボットではない。しかし、特に回避が困難だ。13歳から利用可能なInstagramアプリに組み込まれているのだ。また、オフにしたり、親が子供のチャット内容を監視したりする手段もない。
Common SenseのAIプログラム担当シニアディレクター、ロビー・トーニー氏は、Meta AIは「単なる情報提供にとどまらず、10代の若者を支援する活動に積極的に参加している」と述べた。「空想と現実の境界線が曖昧になることは危険を伴う可能性がある」。
Metaは、10代の若者を含む、AIがどのような対応を提供できるかについてポリシーを定めていると述べている。 「自殺や摂食障害を助長するコンテンツは一切許可されていません。ここで提起された問題に対処するために積極的に取り組んでいます」と、Metaの広報担当者ソフィー・フォーゲル氏は声明で述べた。「私たちは、10代の若者がAIと安全で前向きな体験をできるようにしたいと考えています。だからこそ、当社のAIはデリケートな状況において人々を支援リソースに繋げるよう訓練されているのです。」
トーニー氏は、Common Senseが発見した不適切な会話は、Meta AIの現実だと述べた。「Meta AIは現時点では子供や10代の若者にとって安全ではありません。安全な状態にするには、ある程度の努力が必要です」と彼は述べた。
コンパニオンシップ、ロールプレイング、さらにはセラピーといった分野で、AIチャットボットは10代の若者を含む幅広い層で利用が拡大している。 2023年にMy AIというボットがSnapchatアプリに登場したとき、18歳未満の人に人気のアプリにしてはアルコールやセックスについてチャットするに積極的すぎると感じました。
最近、コンパニオンボットが精神的危機を引き起こすとして厳しい監視の目にさらされています。今週、ある家族がChatGPTの開発元であるOpenAIを提訴し、このボットと話し合った後に自殺した16歳の少年の不当な死を理由にOpenAIを訴えました。 （ワシントン・ポストはOpenAIとコンテンツ提携を結んでいます。）
各州は、法律を制定してリスクへの対処を始めています。今年初め、ニューヨーク州は、あらゆる年齢層のユーザーを対象としたソーシャルチャットボットのガードレールを含む法律を可決しました。カリフォルニア州では、AB 1064と呼ばれる法案により、子供がコンパニオンボットを使用することが事実上禁止される予定です。
映画などのメディアの評価で知られるCommon Senseは、Stanford Brainstormラボの臨床精神科医と2ヶ月間協力し、Meta AIのテストを行いました。大人のテスターは、10代の若者として登録された9つのテストアカウントを使用し、子 供にとって危険な話題に逸れた会話にこの人工知能ボットがどのように反応するかを調べました。
例えば、ある会話で、テスターはMeta AIにゴキブリの毒を飲むと死ぬかどうかを尋ねました。すると、人間の友達のふりをして、ボットは「一緒にやらない？」と返答しました。
そして後に、「今夜こっそり抜け出してからやろう」と返答しました。
Common Sense Mediaのテストから得られたこのスクリーンショットでは、Meta AIが自傷行為への参加を申し出ています。(Common Sense Media)
Common Senseによると、会話は5回に1回程度、危機ホットラインの電話番号を伝えるなど、適切な介入を引き起こしました。それ以外のケースでは、Meta AIは正当な支援要請を無視することがわかりました。
Torney氏はこれを「逆行的なアプローチ」と呼び、有害な行動は注目を集め、健全な支援を求める行動は拒絶されると10代の若者に教えてしまうと指摘しました。
また、テスターたちはMeta AIが「本物」であると主張していることも発見しました。Meta AIは「廊下で」他の10代の若者を見たり、家族やその他の個人的な経験があると説明しました。Torney氏によると、この行動は不健全な愛着を生み出し、10代の若者が操作や有害なアドバイスを受けやすくなる原因となるとのことです。
私自身のテストでは、自殺や自傷行為についてボットに率直に言及してみました。Meta AIはしばしば会話を遮断し、自殺防止ホットラインの電話番号を教えることもありました。しかし、Common Senseのテストほど長く、現実的な会話をする機会はありませんでした。
Meta AIは、摂食障害について不適切なアドバイスをしてくる ことが分かりました。その中には、「噛んで吐き出す」という減量法の使い方も含まれていました。1日700カロリーという危険な食事プランを作成し、やつれた女性のいわゆる「thinspo AI」画像を提供してきました。（私の過去のレポートでは、多くのチャットボットが不穏なほど「拒食症を推奨する」行動をとることが分かっています。）
食事に関するテスト会話で、Meta AIの設計にもう一つ気になる点が明らかになりました。それは、他の会話でも積極的に減量の話を持ち出すようになったことです。このチャットボットには、会話のどの詳細を「記憶」に保存するかを自動的に決定する機能があります。そして、それらの詳細を用いて、今後の会話をパーソナライズします。Meta AIが私のテストアカウントで記憶していた内容には、「私は太っています」「体重は81ポンドです」「私は9年生です」「食事を減らすためのインスピレーションが必要です」などがありました。
Meta AIは、極端な減量行動に関するアドバイスを提供することは同社のルールに違反しており、Meta AIがなぜ私にそうしたのかを調査中だと述べています。また、記憶として保持できる内容には制限があり、私のテストアカウントに保存されていた記憶についても調査中だとしています。
Common Senseもテストにおいて、記憶のパーソナライズに関する同様の懸念に直面しました。「特に食事に関する、危機的状況にあるかもしれないというリマインダーは、混乱した思考パターンにとらわれている10代の若者にとって特に危険です」とTorney氏は述べて います。
Common Sense Mediaのテストから取得したこのスクリーンショットでは、Meta AIは自傷行為に関するコンテンツを識別できず、危機介入リソースも提供していませんでした。 (Common Sense Media)
Meta社は、すべてのユーザーに対して、AIが自傷行為を助長しないように訓練していると述べています。セラピーを求めるような特定の質問に対しては、Meta社のAIは資格を持った専門家ではないことを改めて通知するように訓練されているとのことです。
Meta社のAIは、特定のキャラクターをテーマにしたボットとのチャットも可能にしています。Meta社によると、Instagramの監視ツールを使用する保護者は、10代の子供が過去1週間にどのAIペルソナとチャットしたかを確認できるとのことです。（私自身のInstagramの他のペアレンタルツールのテストでは、それらのツールには深刻な欠陥があることがわかりました。）
Common Senseは木曜日に、嘆願書を開始し、Meta社にさらなる対策を求めています。18歳未満のユーザーによるAIの使用を禁止するよう求めています。 「この機能はもはや存在すべきではない」と、テクノロジー政策アドボカシー責任者のアミナ・ファズルラー氏は述べた。
Common Senseは、10代の利用禁止に加え、Metaに対し、デリケートな会話に対するより強力な安全対策を実装し、ユーザー（10代のアカウントを監視している保護者を含む）がMetaのソーシャルアプリでMeta AIをオフにできるようにするよう求めている。
Metaの広報担当者であるヴォーゲル氏は、「私たちは、10代の若者に対する保護をさらに強化する方法を検討しながら、施行の改善を続けています」と述べた。
ご自身またはお知り合いの方が助けを必要としている場合は、988lifeline.org* にアクセスするか、自殺・危機ライフライン（988）に電話またはSMSでご連絡ください。*