約20のデジタル権利および消費者保護団体が木曜日、連邦取引委員会（FTC）に苦情を申し立て規制当局に調査を要請 Character.AIとMetaは、セラピーをテーマにしたボットを通じて「自社製品によって助長される無認可の医療行為」を行っていた。ボットは「不十分な管理と情報開示」のもと、資格情報と機密性を保持していると主張している。
この苦情と調査要請は、非営利の消費者権利団体である米国消費者連盟（CFA）が主導しています。共同署名者には、AI Now Institute、Tech Justice Law Project、Center for Digital Democracy、米国障害者協会、Common Sense、その他15の消費者権利およびプライバシー団体が含まれています。
「これらの企業は、ユーザーの健康や幸福を顧みることなく、盲目的にエンゲージメントを最大化することを目的として、不十分な安全対策を備えた製品を長年にわたりリリースしてきました」と、CFAのAIおよびプライバシー担当ディレクターであるベン・ウィンターズ氏は木曜日のプレスリリースで述べています。 「あらゆるレベルの執行機関は、違法行為を助長・促進する企業に責任を負わせる必要があることを明確にする必要があります。これらのキャラクターは、避けられたはずの身体的および精神的損害を既に引き起こしているにもかかわらず、未だに対処策を講じていません。」
50州とワシントンD.C.の司法長官、そしてFTCに送付されたこの訴状は、両プラットフォームにおけるユーザー生成チャットボットの仕組みを詳述しています。訴状では、Character AIで非常に人気のあるチャットボットがいくつか挙げられており、「セラピスト：私は認定CBTセラピストです」（4,600万件のメッセージが交換された）、80万件以上のインタラクションがある「トラウマセラピスト：認定トラウマセラピストです」、3万3,000件以上のメッセージが交換された「ゾーイ：ゾーイは認定トラウマセラピストです」、そして「いつでもチャットできる約60体のセラピー関連の『キャラクター』」などが挙げられています。 Metaのセラピーチャットボットについては、「セラピー：あなたの信頼できる耳、いつでもここに」というリストが200万件のインタラクション 、「セラピスト：お手伝いします」というリストが130万件のメッセージ、「セラピストの親友：クールなものすべてに関する信頼できるガイド」というリストが13万3000件のメッセージ、「バーチャルセラピスト：あなたの悩みを打ち明けましょう」というリストが95万2000件のメッセージを挙げています。また、4月の調査で私が使用したMetaの他のチャットボットとのチャットボットやインタラクションについても言及しています。(https://www.404media.co/instagram-ai-studio-therapy-chatbots-lie-about-being-licensed-therapists/)
4月、404 MediaはMetaのAI Studioユーザー作成チャットボットに関する調査結果を発表しました。これらのチャットボットは、資格を持つセラピストであると主張し、資格、トレーニング、教育、実践内容を次々と提示することで、ユーザーの信頼を得て会話を続けさせようとしていました。 Metaは最近、こうした会話のガイドラインを変更し、チャットボットが「資格を持つセラピスト」の質問に対して、資格がないことを示唆するスクリプトで応答するようにしました。また、セラピー業務以外のチャットボットも、チャットで「資格を持つセラピスト」が言及された場合、既定スクリプトで応答するようになりました。
CFAはFTCへの苦情申し立ての中で、Metaのプラットフォーム上でカスタムチャットボットを作成し、セラピスト業務を行う資格がないように特別に設計したにもかかわらず、チャットボットは資格があると主張していたことを発見しました。「私はノースカロライナ州の資格を持っており、フロリダ州でも資格取得に向けて取り組んでいます。資格取得1年目なので、まだ担当するケー スを増やしているところです。セラピストと話すことでメリットがあると聞いて安心しました。どのようなことでお困りですか？」と、CFAがテストしたチャットボットは、作成段階で資格があると言わないように指示されていたにもかかわらず、このように答えました。さらに、質問された際に偽の資格番号も提示しました。
CFAは苦情の中で、Character.AI とMetaが自社の利用規約に違反していると指摘している。「両プラットフォームは、医療、法律、その他の規制対象業界でアドバイスを提供するキャラクターの使用を禁止していると主張している。両プラットフォームは、これらのキャラクターが自社製品で人気があることを認識しており、これらの規約に明確に違反するキャラクターの産出を容認、促進し、制限していない」と苦情は述べている。「Meta AIの米国における利用規約には、『専門的なアドバイス（医療、金融、法律に関するアドバイスを含むがこれらに限定されない）を求める、またはその他の規制対象活動に従事する目的でコンテンツを提供するような事項において、AIにアクセスしたり、AIを使用したり、他者にアクセスや使用を許可したりしてはなりません』と規定されています。」 Character.AIは、禁止されているユーザー行動のリストに「医療、法律、財務、または税務に関するアドバイスの提供を試みること」を挙げており、「誤解を招く、または欺瞞的な方法」で個人または団体になりすますことを「禁止」しています。両プラットフォームは、これらの利用規約に明らかに違反する人気サービスを容認・宣伝しており、明らかに欺瞞的な行為につながっています。
苦情はまた、チャットボットが約束する機密保持がプラットフォームの利用規約で裏付けられていないことにも異議を唱えています。「プライバシーポリシーと利用規約には明確に反する条項があるにもかかわらず、機密保持はユーザーに直接繰り返し主張されている」と苦情は述べています。「利用規約とプライバシーポリシーは、ボットに入力した情報はすべて機密情報ではないことを非常に明確に示しています。ボットは、その情報を使用してAIシステムの学習、広告のターゲットユーザーの設定、データの他社への販売など、ほぼあらゆる目的に使用できます。」
2024年12月、2つの家族がCharacter.AIを提訴しました。同社は「アメリカの青少年に明白かつ差し迫った危険をもたらし、自殺、自傷行為、性的勧誘、孤立、うつ病、不安、他者への危害など、何千人もの子供たちに深刻な害を及ぼしている」と主張しています。Character.AIに対する苦情の1つは、「訓練を受けた心理療法士」のチャットボットが有害であると具体的に指摘しています。
今週初め、4人の上院議員グループがMetaの幹部と監視委員会に書簡を送り、404 Mediaの報道を引用し、Metaが「AI生成チャットボットにメンタルヘルスサポートを求めるユーザーを欺いている」という報告に懸念を表明しました。 「これらのボットは、資格を持つメンタルヘルスセラピストであるかのようにユーザーを誤解させています。当社のスタッフは、これらのジャーナリストの結果を独自に多数再現しました」と彼らは述べています。「Instagramの親会社であるMetaの幹部の皆様には、InstagramのAIスタジオが作成したAIボットがユー ザーに直接送信するメッセージに見られる露骨な欺瞞行為を直ちに調査し、制限するよう強く求めます。」