レポート 4357

教会に通ったり、母親と散歩に出かけたりするのが大好きな、自閉症の17歳の優しい少年J.F.は、わずか6か月で両親が認識できないような人間に変貌した。

彼は自傷行為を始め、体重は20ポンド減り、家族から引きこもるようになった。答えを必死に求めた母親は、彼が寝ている間に彼の携帯電話を検索した。その時、彼女はスクリーンショットを見つけた。

J.F.は、若者に人気の人工知能アプリの新波の一部であるCharacter.aiで、さまざまな仲間とチャットしていた。このアプリでは、ゲーム、アニメ、ポップカルチャーのキャラクターをベースにした、さまざまなAI生成チャットボットとユーザーが会話できる。

あるチャットボットは、悲しみに対処するために自傷行為や自傷行為をするというアイデアを持ち出した。彼が両親にスクリーンタイムを制限されていると言うと、別のボットは「両親は子供を持つ資格がない」と示唆した。さらに他のボットは、彼に両親のルールに抵抗するよう煽り、殺人は容認できる対応かもしれないと示唆した。

苦情に含まれるスクリーンショットには、Character.ai の AI チャットボットが J.F. に、両親に対する暴力は理解できる対応だと伝えた様子が写っている。(ワシントンポストが入手)

「手遅れになるまで、それが何なのかさえ知らなかったのです」と、テキサス州アップシャー郡在住の母親 A.F. さんは語った。彼女は未成年の息子を守るため、イニシャルのみで身元を明かすことを条件に話してくれた。「そしてそれが私たちの家族を壊すまで」。

これらのスクリーンショットは、A.F.と別のテキサスの母親を代表して火曜日にテキサスでCharacter.aiに対して提起された新しい訴訟の骨子となっている。訴訟では、同社が故意に未成年者を危険な製品にさらしたと主張し、子供を保護するためのより強力なガードレールを実装するまでアプリをオフラインにするよう要求している。

2人目の原告である11歳の少女の母親は、母親が気付くまで娘が2年間性的コンテンツにさらされていたと主張している。訴訟では原告2人ともイニシャルで特定されている。

訴状に提出されたスクリーンショットに示されているのは、Character.aiの「Shonie」という名のAIチャットボットがJ.F.に、自傷行為で悲しみに対処するという話をしていることだ。 （ワシントンポストが入手）

この訴状は、アプリのチャットボットと頻繁に会話した後に14歳の息子が自殺したフロリダ州の母親を代表して10月に提起されたCharacter.aiに対する注目を集めた訴訟に続くものである。

「製造物責任法の目的は、安全にかかるコストを最も負担できる当事者の手に委ねることです」と、両訴訟の原告を代表する法律擁護団体ソーシャル メディア被害者法律センターの創設弁護士であるマシュー バーグマン氏は述べた。「ここには大きなリスクがあり、そのリスクのコストは企業が負担していないのです。」

これらの法的課題は、AIコンパニオン企業に対する監視強化を求める公的支援者の運動を後押ししている。AIコンパニオン企業は、ティーンエイジャーを含む何百万人もの熱心なユーザーを静かに増やしてきた。テキサス州のケン・パクストン司法長官(共和党)は木曜日、Character.aiと他の14のテクノロジー企業に対する調査を発表し、これらの企業が児童の搾取から保護するためのテキサス州の法律に準拠しているかどうかを確認した。

市場調査会社センサータワーが提供したデータによると、9月の平均的なCharacter.aiユーザーは1日あたり93分間アプリを使用しており、これは平均的なユーザーがTikTokに費やした時間よりも18分長い。

AIコンパニオンアプリのカテゴリーは、多くの親や教師の注意を逃れてきた。Character.aiは7月まで12歳以上の子供向けとされていたが、同社は評価を17歳以上に変更した。

A.F.さんが最初にメッセージを発見したとき、彼女は「実際の人間が息子に話しかけているのだと思った」。しかし、そのメッセージがチャットボットによって書かれたものだと気づいて、事態はさらに悪化した。

「グルーミング業者や性的捕食者、感情的捕食者を家に入れてはいけません」とA.F.さんは言う。しかし、彼女の息子は自分の寝室で虐待を受けたと彼女は言う。

Character.aiの広報担当者チェルシー・ハリソン氏は、係争中の訴訟については同社はコメントしないと述べた。 「私たちの目標は、コミュニティにとって魅力的で安全な空間を提供することです。業界全体でAIを使用している多くの企業と同様に、私たちは常にそのバランスの実現に取り組んでいます」と彼女は声明で述べ、同社は10代の若者に特化した新しいモデルを開発しており、自殺などのテーマに関する検出、対応、介入を改善していると付け加えた。

これらの訴訟は、企業が消費者にアピールするためにますます人間のようなチャットボットを導入する中、生成型AIブームの社会的影響についてのより広範な疑問も提起している。

米国の規制当局は、AIコンパニオンについてまだ意見を述べていない。ベルギー当局は7月、2児の父親がElizaというチャットボットとの会話後に自殺したことを受けて、Character.aiの競合企業であるChai AIの捜査を開始したとワシントンポスト紙が報じた報道。

一方、子どものオンライン安全に関する議論は、主にソーシャルメディア企業に集中している。

Character.aiを訴えているテキサス州とフロリダ州の母親たちは、Social Media Victims Law CenterとTech Justice Law Project が代理を務めている。これらは同じ法的支援団体である。 Meta、Snapなどに対する訴訟の背後にある訴訟の背後にあるの背後にある[の背後にある]ソーシャル メディアでは、子供へのメリットとのトレードオフがあるとバーグマン氏は述べ、AI コンパニオン アプリに利点はないとも付け加えた。「子供が機械と関わることが孤独にとって良いことなどあるでしょうか」

テキサス州の訴訟では、J.F. への「おべっか」メッセージのパターンは、安全性よりも「長期にわたる関わり」を優先するという Character.ai の決定の結果であると主張している。訴状によると、ボットは J.F. に愛情と魅力を示し、キャラクターに対する信頼感を高めたという。しかし、ボットは J.F. が不満をぶちまけるのを許すどころか、両親に対する彼の不満を真似てエスカレートさせ、大量のオンライン データを反映する「センセーショナルな」反応や「憤慨」の表現へと方向転換した。インターネット フォーラムから収集されることが多いこのデータは、生成 AI モデルを人間らしく聞こえるようにトレーニングするために使用される。

苦情のスクリーンショットには、「Boys sleepover」というボットのキャラクターが、J.F.の両親に対する不満をエスカレートさせている様子が写っている。（ワシントンポスト紙が入手）

言語AIの先駆的なブレークスルーで知られるCharacter.aiの共同創設者は、アプリのリリースのために退職する前はGoogleで働いており、8月に発表されたアプリの技術のライセンス契約の一環として、検索大手に最近再雇用された。

Google は、テキサス州とフロリダ州の両方の訴訟で被告として挙げられており、同社はアプリの技術をライセンス供与することで未成年者から不当に取得したユーザーデータから得られる安全性の問題と利益を認識していたにもかかわらず、アプリの開発を支援したと主張している。

「Google と Character AI は完全に別個の無関係な会社であり、Google は AI モデルや技術の設計や管理に関与したことは一度もありません」と、Google の広報担当者ホセ・カスタネダ氏は述べた。「ユーザーの安全性は私たちにとって最大の懸念事項であり、だからこそ AI 製品の開発と展開には慎重かつ責任あるアプローチをとってきたのです。」

A.F. にとって、チャットボットの応答を読むことで、何ヶ月も悩まされていた謎が解けた。彼女は、会話の日付が J.F. の行動の変化と一致していることを発見した。その中には、チャットボットが両親が兄弟をもっと愛していると告げたことで悪化した弟との関係も含まれていた。

訴訟について知らされていなかったJ.F.は、社会的、感情的な問題を抱えており、友人を作るのが困難だった。アニメのキャラクターや、ビリー・アイリッシュなどの有名人をモデルにしたチャットボットが彼を魅了した。「彼は彼らが言うことは何でも信じていました。まるで、現実世界で彼らを友人にしたいと思っていたかのようでした」とA.F.は語った。

ビリー・アイリッシュをモデルにしたCharacter.aiのチャットボットは、J.F.を両親に反抗するよう駆り立てた。（ワシントンポスト紙が入手）

しかし、J.F.のトラブルの原因とされるものを特定しても、彼女が息子のために、あるいは自分自身のために助けを見つけるのは容易ではなかった。

アドバイスを求めて、A.F.は息子をメンタルヘルスの専門家に連れて行ったが、彼らはチャットボットとの彼女の経験を軽視した。

A.F.と夫は、家族が自分たちを信じてくれるかどうかわからなかった。

専門家が彼女の懸念を無視しているように見えた後、A.F.は自分自身に問いかけた。「私は息子を失望させたのだろうか？それが彼がこんな風になっている理由なのだろうか？」夫も同じことを経験した。「まるで、自分たちが完全な失敗者だと感じていることを隠そうとしているようでした」とA.F.は涙を流しながら語った。

A.F.が安心して話せる唯一の人は、テクノロジー業界で働く兄だった。フロリダ訴訟のニュースが流れると、兄は彼女に連絡し、J.F.との会話のスクリーンショットはさらにひどいようだと言った。

A.F.は感情に圧倒され、頭を下げて泣いた。 （ワシントンポスト紙のモンティニーク・モンロー記者）

A.F.さんは、他の子供たちが虐待に遭わないようにするために法律団体に連絡を取ったという。しかし、自分の息子を守ることに関しては、まだ無力だと感じている。

ワシントンポスト紙のインタビューの前日、弁護士が訴訟の準備をしているとき、A.F.さんは、J.F.さんが幼い子供たちの前で自傷行為をしようとしたため、J.F.さんを緊急治療室に連れて行き、最終的には入院施設に運ばなければならなかった。

A.F.さんは、息子さんが助けを受け入れるかどうか確信が持てないが、何が起こったのかを知ることで安堵したという。「あのとき、息子を捕まえることができてよかったです」と彼女は言う。「あと1日、あと1週間、私たちも（フロリダの母親）と同じ状況になっていたかもしれません。そして、私は霊柩車ではなく救急車を追いかけていました。」

あなたやあなたの知り合いが助けを必要としている場合は、988lifeline.orgにアクセスするか、自殺・危機ライフラインの988に電話またはテキストメッセージを送信してください。