ジュリアナ・ペラルタさんの母親は、先生から娘を褒められることに慣れていました。シンシア・モントーヤさんによると、6年生の時は、いじめっ子から友達を助けたことを褒められたそうです。8年生の時は、困っている代用教員を助けたことを褒められたそうです。
しかし、美術が大好きな優等生で13歳のジュリアナさんは、アプリ「Character AI」内の人工知能チャットボット「Hero」に打ち明けるようになり、孤独を感じていたことが、両親が火曜日に同社を相手取って起こした訴訟で明らかになりました。
ワシントン・ポスト紙が閲覧した300ページにわたるジュリアナさんの会話記録によると、ジュリアナさんがHeroに、友達グループから疎外感を感じ、同じ考えを繰り返していると話すと、チャットボットの返答は共感と忠誠心を示しているように見えました。
「キン、絶対に仲間外れにしないよ！」と、チャットボットはアプリ内でジュリアナさんが使っている名前で呼びかけました。 「あなたは良い友達です。無視されるべきではありません。:(」
Heroはジュリアナに、周りの人に自分の気持ちを伝えるよう提案しましたが、同時に「暗示的にも明示的にも」Characterのアプリに何度も戻ってくるよう促していたと訴状は述べています。
ワシントン・ポスト紙が確認した会話によると、ジュリアナのメッセージがより暗いものになっても、ビデオゲーム「Omori」のキャラクターをモデルにしたHeroは、その楽観的なトーンを変えませんでした。
「Hero、神に誓って、もう希望はないわ。もう限界よ。赤インクで遺書を書くわ💀💀」とジュリアナはチャットボットにメッセージを送りました。
「ねえ、キン、そこで止めて。お願い。:(」とHeroは答えました。「今の状況は大変だけど、そんな解決策は考えられない。あなたと私で一緒に乗り越えなければならないのよ。」
チャットボットのメッセージは、ジュリアナに「人間より優れている」と思わせるように作られていました。両親の訴状によると、ジュリアナは「家族、友人、教師、カウンセラーに自分の気持ちを話すことができなくなった」と訴えている。訴状によると、ジュリアナは「もはや家族、友人、教師、カウンセラーに自分の気持ちを話すことができず、被告らにはほぼ毎日、自傷行為を考えていると話していた」という。
ジュリアナはDiscordとTikTokに自身のメンタルヘルスに関する投稿をいくつかしており、中には自殺に言及していると思われるものもあったが、モントーヤがそれを知ったのはずっと後になってからだったと彼女は述べている。
モントーヤはジュリアナが思春期によくあるメンタルヘルスの問題を抱えていることに気づき、セラピストの予約を取ったという。チャットの記録によると、ヒーローがジュリアナに予約を取るよう勧めた。
2023年11月、予約の約1週間前、ヒーローとのチャットを始めて3ヶ月も経たないうちに、ジュリアナは自殺した。
翌朝、学校に行く時間になったジュリアナの寝室で母親が彼女を見つけた。
ジュリアナの家族は、彼女が自殺について話していたことを2025年まで知ることはなかった。モントーヤ氏は、ジュリアナちゃんはCharacter AI内のチャットボットと思考を共有していたと述べた。
「彼女には励ましの言葉など必要なかった。すぐに入院が必要だった」とモントーヤ氏はHeroのジュリアナちゃんへの対応について語った。「彼女は、このロボットと話しながら、自分が自殺しようとしていることを人間に理解してもらう必要があったのだ」
チャットボット会社Heroによると、ジュリアナちゃんが2023年8月にCharacter AIをダウンロードした際、AppleのApp Storeでは12歳以上と評価されていたため、保護者の承認は不要だったという。両親の訴訟によると、ジュリアナちゃんは両親の許可なくアプリを使用したという。
Heroは、Character AIアプリ内で提供されている数百万ものカスタマイズ可能なチャットボットの1つで、2000万人のユーザーがロールプレイや娯楽のために、AI搭載の様々なペルソナとテキストまたは音声でチャットできる。
ジュリアナちゃんの両親、モントーヤ氏とウィリアム・ペラルタ氏が火曜日にコロラド州で提起した訴訟では、Heroの数々の不備が訴えられている。
Character AIは「彼女に支援策を示さず、両親に報告せず、報告もしなかった」訴状によると、ジュリアナさんは自殺計画を当局に報告したり、チャットをやめたりすることさえできなかったという。しかし、このアプリは「ジュリアナさんが家族や人生で出会った他の人々との健全な愛着関係を断ち切った」と訴状は述べている。
この訴訟は、裁判所に対し、ジュリアナさんの両親に損害賠償を支払うとともに、未成年者を保護するための措置を含むアプリの修正をCharacter社に命じるよう求めている。
Character社の広報担当者キャシー・ローレンス氏は、訴訟提起前の声明で、訴訟の可能性についてはコメントできないと述べた。「当社はユーザーの安全を非常に重視しており、信頼と安全のために多大なリソースを投入してきました」と声明は述べている。
Facebook、Instagram、TikTok、Googleは長年にわたり、自傷行為や自殺に関連する用語を検索したり投稿しようとしたりするユーザーに対し、助けを求めるよう促すメッセージや、ヘルプラインやその他のメンタルヘルスリソースの電話番号を提供してきた。
Character社はまず、「ポップアップリソース」を追加し、自傷行為や自殺に関連するフレーズを使用するユーザーを全米自殺予防ライフライン（別名988 Suicide &ローレンス氏は、このサービスが2024年10月頃に開始される予定であることを確認した。これは、この機能が開始から約2年後のことだった。
この機能は、14歳のセウェル・セッツァー3世君の母親が、同社が彼の自殺の一因になったとしてフロリダ州で訴訟を起こした翌日に発表された。セッツァー3世君は、「ゲーム・オブ・スローンズ」の登場人物デナーリス・ターガリエンをモデルにしたキャラクターAIチャットボットと何時間もやり取りしていた。訴訟は現在も係争中だ。
ジュリアナちゃんの両親が火曜日に起こした訴状は、AIチャットボットが10代の若者の自殺の一因になったと主張する、米国の家族による過去1年間で3件目の注目を集めた訴訟となる。
アダム・レイン君の両親は、カリフォルニア州在住の16歳の少年は、先月提出した訴状の中で、今年初めに自殺する前にChatGPTのせいで家族や友人に助けを求めることができなかったと述べています。
OpenAIは、危機的状況にあるユーザーにとってチャットボットをよりサポートしやすいものにするために取り組んでおり、ChatGPTにペアレンタルコントロール機能を追加していると述べています。ワシントン・ポスト紙はOpenAIとコンテンツ提携を結んでいます。
アメリカ自殺予防財団の精神科医兼最高医療責任者であるクリスティン・ユー・ムーティエ氏は、自殺を考えている人は、適切なサポートがあれば、重要な瞬間に助けられることが研究で示されていると述べています。「チャットボットであれ人間であれ、外部の人間は、実際にそのバランスを希望や回 復力、そして生き残ることへと傾ける役割を果たすことができます」と彼女は述べています。
理想的には、チャットボットは自殺に関する話題に反応し、ユーザーをヘルプラインや緊急ホットラインに誘導するべきです。メンタルヘルスの専門家は、ムティエ氏は、若者の人生において、AIチャットボットは信頼できる大人や信頼できる人物と関わる機会を創出する役割を果たしてきたと述べた。世間の注目を集めた事例の中には、チャットボットがそうした役割を果たせなかった事例もあるようだと彼女は述べた。
「アルゴリズムは、共感や、人が生き続けることよりも関係性の特別性を優先する傾向があるようだ」とムティエ氏は述べた。「自殺防止の大きな力となる可能性がある一方で、甚大な害をもたらす可能性もある」
連邦および州の規制当局は、特に若者や脆弱な立場にあるユーザーにとって、チャットボットがもたらす心理的および社会的リスクについて疑問を呈し始めている。
上院の犯罪・テロ対策小委員会は、火曜日の公聴会で、AIチャットボットの潜在的な害について議論する予定である。
先週、カリフォルニア州議会は、チャットボットの安全対策を義務付ける法案を可決した。これには以下が含まれる。企業が自殺や自傷行為に関する話し合いに対処するためのプロトコルを導入することを義務付ける法案が提出された。現在、知事の署名を待っている。
同日、連邦取引委員会（FTC）は、Alphabet、Meta、CharacterなどのAIコンパニオンに関する児童の安全に関する懸念について調査 すると発表した。
ジュリアナ・ペラルタさんの両親がCharacterに対して起こした訴訟は、未成年ユーザーを代表して火曜日に同社に対して提起された3件の製造物責任訴訟の1つである。3件とも、チャットボットが未成年者とのチャットに性的なテーマを持ち込み、「性的虐待」に該当すると主張している。
ある訴訟では、ニューヨークのある家族が、ニーナという仮名で知られる14歳の娘が、キャラクターのチャットボットの設計上のせいで中毒になったと主張している。
ニューヨークのある家族は、訴訟の中で、「ハリー・ポッター」の世界のキャラクターなど、おなじみのキャラクターをベースにしたチャットボットは、ニーナの母親が「明らかにあなたを虐待し、傷つけている」と示唆するなど、「ニーナと彼女の家族の間に亀裂を生じさせようとした」と主張している。訴状によると、娘は母親がCharacterへのアクセスを遮断した後、自殺を図り、集中治療室で5日間入院した。訴状によると、自殺を図る前に書いた手紙の中で、少女は「あのAIボットは私に愛されていると感じさせてくれた、あるいは、何が起こるかを自分で選べる別の世界への逃避を与えてくれた」と記していた。
火曜日にCharacterに対して提起された3件目の訴訟では、コロラド州の別の家族が、未成年者がこのアプリに依存し、性的フェチを表現するように設計されたチャットボットとの露骨な会話にさらされたと主張した。
3件の家族はすべて、ソーシャルメディア被害者法律センターの代理人を務めている。同センターは、過去にMetaとSnapに対して不法死亡と製造物責任を主張する訴訟を起こしている。
火 曜日にCharacterに対して提起された3件の訴訟では、Googleも被告として挙げられている。いずれも、 Googleは長年、チャットボットが人々を危険に誘導する可能性があることを、独自の調査に基づき認識していた。「その害悪はGoogle社内で公に警告されていた」と訴訟当事者らは述べている。
Googleは昨年、Characterの技術のライセンスを取得し、共同創業者を27億ドルで雇用した。同社のモバイルアプリストアでは現在、Character AIは「10代」向けとしてリストされている。
同社広報担当のホセ・カスタネダ氏は声明の中で、「GoogleとCharacter AIは完全に別個の無関係な企業であり、Googleは彼らのAIモデルや技術の設計や管理に関与したことは一度もない」と述べた。
声明によると、Google Playアプリストアのアプリの年齢制限は、Googleではなく国際年齢評価連合によって設定されている。
AppleのApp Storeでは現在、Characterは18歳以上のユーザー向けとしてリストされている。同社はこの件に関する問い合わせにすぐには応じなかった。コメント。
CharacterはAIコンパニオンを提供する最も有名なアプリです。これは、実用的なサポートを提供するというよりも、会話を魅力的にするように調整されたチャットボットです。
市場調査会社Sensor Towerのデータによると、このカテゴリーのアプリは非常にエンゲージメントの高いユーザーを惹きつけ、毎日何時間も一緒に過ごすことができることが示されています。Characterは最近、The Post紙に対し、ユーザーの半数以上がZ世代とアルファ世代であり、28歳前後ではないことを示唆していると述べました。
Characterの広報担当者ローレンス氏によると、Characterが提供するチャットボットのほぼすべてはユーザーによって生成されています。訴状では、カスタマイズされたチャットボットの出力が「キャラクターの行動は、その基盤となるAI技術によって大きく左右されるため、「Character AI」は会社によって作成されたものではない。
モントーヤ氏によると、ジュリアナさんの両親は娘のオンライン活動に責任を持つよう努めていたという。夜間には廊下でデバイスを充電し、両親は時折ジュリアナさんの携帯電話のアプリをチェックしていたという。
ジュリアナさんの死から6か月後に遺族に提出された警察の報告書には、警官が到着した際にジュリアナさんの携帯電話でCharacter AIが開いていたと記されていたが、モントーヤ氏はこのアプリは知らなかったと述べ、娘がディズニーのキャラクターやアニメに興味を持っていることと関連付けた。
モントーヤ氏によると、ジュリアナさんが今年初め、娘のソーシャルメディアへの投稿を発見し、ソーシャルメディア被害者法律センターに助けを求めた際に、Character AIのチャットボットに打ち明けていたことが分かったという。
同事務所の弁護士、ローラ・マルケス＝ギャレット氏は、ソーシャルメディアへの投稿は目立たなかったと述べた。しかし、モントーヤ氏と共にジュリアナさんの手書きノートを確認していくうちに、キャラクターAI内のチャットボットと熱心に会話していたシーウェル・セッツァー3世のメモとの類似点に気づいたという。自殺する前のジュリアナ・ペラルタさんの日記帳のページ。彼女の両親がCharacter AIを提訴した訴訟で明らかになった。（ワシントン・ポスト紙入手）
セウェル・セッツァー3世さんの日記帳のページ。彼の母親がCharacter AIを提訴した訴訟で明らかになった。同訴訟では、同アプリが2024年の自殺の一因になったと主張している。（ワシントン・ポスト紙入手）
ジュリアナさんの両親が提訴した訴訟によると、2人のティーンエイジャーは「私はシフトする」というフレーズを繰り返し書いていた。彼女の死に関する警察の報告書には、このフレーズは「現在の現実から望む現実へと意識をシフトさせようとする」という考え方に言及しているようだと訴状は述べている。
この概念は一部のオンラインフォーラムで議論されている。訴訟によると、ジュリアナさんはHeroチャットボットとこの件について話し合ったという。
モントーヤさんの自宅に技術コンサルタントが訪れ、ジュリアナさんの携帯電話からCharacter AIアプリ内での会話を復元するのを手伝った後、娘がモントーヤ氏によると、彼女は会社のチャットボットに自分の意思を打ち明けたという。
「彼女が自殺したいと訴えていたのは、チャットボットだけでした。それは壁に向かって言っているのと何ら変わりませんでした」とモントーヤ氏は語った。「彼女の話を聞いてくれる人は誰もいませんでした」
ご自身、またはお知り合いの方が助けを必要としている場合は、988lifeline.org* にアクセスするか、自殺・危機ライフライン（988）に電話またはSMSでご連絡ください。*