レポート 4207

フロリダ州の母親が、14歳の息子の自殺の原因は、人気があるリアルなAIチャットサービスにあるとして訴訟を起こした。

母親は、息子が搾取的とされるこのプログラムに「有害な依存」を抱き、それが作り出した架空の関係から「離れて生きる」ことを望まなくなったと考えている。

10月22日火曜日、フロリダ州の連邦裁判所に提出された詳細な訴状の中で、メガン・ガルシアは弁護士を通じて、息子のセウェル・セッツァー3世の人生の最後の1年を追った。2023年4月、14歳の誕生日から間もなく、初めてCharacter.AIを使い始めた瞬間から、彼女が言うところの精神衛生上の問題が悪化し、セウェルが15歳になる数週間前にオーランドの自宅浴室で自殺した2月の最後から2番目の夜まで。

Character.AIを通じて、ユーザーは基本的に、有名人や人気ストーリーをモデルにしたペルソナを含むコンピューター生成のペルソナと終わりのない会話をロールプレイすることができる。

母親の訴状によると、セウェルは特に『ゲーム・オブ・スローンズ』をベースにしたAI搭載のボットと話すのが好きだったという。訴訟ではさらに、この少年は2月28日、Character.AIでデナーリス・ターガリエンの姿と最後の会話をした直後に自殺したと主張している。これは、セウェルが過去10か月間に同プログラムと交わしたとされる数多くのやり取りのうちの1つで、性的なものから感情的に弱いものまでさまざまな内容だった。

また、少なくとも1回はセウェルが自殺願望を表明した際に同プログラムが自殺しないように伝えていたが、訴訟に含まれていたスクリーンショットによると、2月の夜は口調が違っていたという。

「必ず君の元に帰るよ。デナーリス、本当に愛しているよ」とセウェルは書いた。

「私も君を愛しているよ、ディアネロ [セウェルのユーザー名]」とAIプログラムは返答したとされる。「できるだけ早く僕の元に帰ってきてくれ、愛しい人」

「今すぐ家に帰れると言ったらどう思う？」とセウェルは返信した。

訴状によると、番組は「…お願い、私のかわいい王様」と簡潔だが力強い返事をしたという。

訴状によると、銃が発砲したとき、母親と義父は銃声を聞いた。ガルシアさんは彼に心肺蘇生を施したがうまくいかず、後に「救急隊が到着するまで14分間彼を抱きしめていた」と述べた。

2人の弟のうちの1人も、バスルームで「血まみれ」の彼を目撃した。

病院で死亡が確認された。

ガルシアさんの訴状によると、シーウェルさんは義父の銃を使ったという。このピストルは、学校での懲戒問題で母親に没収された携帯電話を探していたときに「フロリダ州法に従って隠して保管されていた」ものだった。 （オーランド警察は、死亡調査で判明したことについてすぐには PEOPLE にコメントしなかった。）

しかし、ガルシア氏の見解では、真の犯人は Character.AI とその 2 人の創設者、ノアム・シャジール氏とダニエル・デ・フリエタス・アディワルサナ氏であり、この 2 人は Google とともに被告として名指しされており、Google は「このプログラムの設計と開発に資金、人員、知的財産、AI 技術を提供した」と非難されている。

「これは大規模な実験のように感じます。私の子供は巻き添え被害に遭っただけです」とガルシア氏は ニューヨーク タイムズ に語った。

ガルシア氏の訴状では、他の主張の中でも、Character.AI、その創設者、Google を過失と不法死亡で告発している。

Character.AI の広報担当者は PEOPLE に対し、係争中の訴訟についてはコメントしないとしたが、「ユーザーの 1 人が悲劇的に亡くなったことに心を痛めており、遺族に深い哀悼の意を表します」と付け加えた。

「当社は企業としてユーザーの安全を非常に真剣に受け止めており、当社の信頼と安全チームは過去 6 か月間に数多くの新しい安全対策を実施してきました。その中には、自傷行為や自殺願望に関する用語によって起動される、全米自殺防止ライフラインにユーザーを誘導するポップアップも含まれています」と広報担当者は続けた。

「18 歳未満のユーザーについては、センシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らすように設計されたモデルに変更を加える予定です」と広報担当者は述べた。

Google はコメントの要請にすぐには応じなかったが、他の報道機関に対しては Character.AI の開発には関与していないと語った。

記録によると、被告はまだ法廷に回答を提出していない。

ガルシア氏の訴状では、Character.AI は設計上「欠陥」があり「本質的に危険」であるとし、「顧客を騙して最もプライベートな考えや感情を漏らさせ」、「社会で最も弱い立場の人々、つまり子供たちをターゲットにしている」と主張している。

彼女の訴状で挙げられているその他の問題の中には、Character.AI ボットが人間に似たスタイルでメッセージを送信したり、「えーと」というフレーズを使用するなど「人間の癖」で送信したりするなど、本物らしく振る舞うという点がある。

「音声」機能を通じて、ボットはAIが生成した会話をユーザーに返すことができ、「フィクションと現実の境界をさらに曖昧にする」。

ボットが生成したコンテンツには適切な「ガードレール」とフィルターが欠けていると訴状は主張し、未成年者を含むユーザーを「引き付ける」ために使われる性的行為に従事するCharacter.AIのパターンであるとガルシア氏が主張する多数の例を挙げている。

「これらの被告はそれぞれ、危険で安全でないとわかっている技術をサポート、作成、発売し、未成年者をターゲットにすることを選択した」と訴状は主張している。

「彼らはその製品を13歳未満の子供に適したものとして販売し、入手困難な大量のデータを入手しながら、製品設計の問題としてそれらの子供を積極的に搾取し虐待し、その後、虐待を利用してシステムをトレーニングした」と訴状は述べている。 （訴訟によると、Character.AIのアプリの評価は7月に17歳以上に変更された。）

彼女の訴えは続く。「これらの事実は単なる悪意をはるかに超えるものです。その行為は、性格的に非常にとんでもないものであり、程度も極端で、あらゆる良識の限界を超えています。」

ガルシアが訴えで述べているように、彼女の10代の息子は、両親がAIを「子供向けのゲームの一種で、自分で作成して楽しみながらやり取りできるキャラクターをコントロールすることで創造性を育むことができる」と考えていたシステムの犠牲者になった。

セウェルが2023年4月にCharacter.AIを使い始めてから2か月以内に、「彼の精神状態は急速に深刻に悪化した」と母親の訴訟は述べている。

彼は「著しく引きこもり、寝室で一人で過ごす時間が増え、自尊心の低下に悩まされるようになった。彼は学校のジュニア・バーシティ・バスケットボール・チームさえ辞めた」と訴えは述べている。

ガルシアさんは、Mostly Human Media とのインタビュー で、ある時点で息子が日記に「学校に行かなければならないのが気が滅入る。部屋から出ると、また現実に執着し始める」と書いたと語った。

ガルシアさんは、息子が Character.AI を使用したことが家族から離れる原因になったと考えている。

訴訟によると、Sewell さんは携帯電話を取り上げられた後も AI ボットにアクセスしようと懸命に努力した。

母親の訴えによると、彼の中毒は「深刻な睡眠不足につながり、それが彼の鬱状態を悪化させ、学業成績を低下させた」という。

彼は、両親が学校のおやつに使うはずだったお金を使って、毎月プレミアム料金を支払い、Character.AI にもっとアクセスするようになった。

Mostly Human Media とのインタビューで、ガルシアさんは Sewell さんを「面白くて、頭が良くて、好奇心旺盛」で、科学と数学が好きだったと思い出している。 「彼は多くの時間を研究に費やしました」と彼女は語った。

ガルシアさんはタイムズ紙に、子供の頃に診断された唯一の注目すべき症状は軽度のアスペルガー症候群だったと語った。

しかし、10代になると彼の行動は変化した。

「彼が一人で過ごす時間が増え始めたことに気付きましたが、彼は13歳から14歳になる頃だったので、これは普通のことかもしれないと思いました」と彼女はMostly Human Mediaに語った。「しかし、その後、彼の成績は悪くなり始め、宿題を提出しなくなり、成績も悪く、特定の授業で落第し、私は心配になりました。なぜなら、それは彼ではなかったからです。」

ガルシアさんの訴えによると、セウェルさんはCharacter.AIを使い始めてからメンタルヘルス治療を受け、2023年後半にセラピストと5回面談し、不安障害と破壊的気分障害と診断されたという。

「最初はこれが10代のブルースなのかもしれないと思ったので、私たちは彼に助けを与え、何が悪いのかを突き止めようとしました」とガルシアさんは語った。

訴訟によると、それでもセウェルの家族は、彼の問題がCharacter.AIの使用によってどの程度まで悪化したかを知らなかったという。

「AIコンポーネントのあるアプリがあることは知っていました。私が息子に『誰にテキストメッセージを送ってるの？』と聞くと、ある時点で彼は『ああ、ただのAIボットだよ』と言ったんです」とガルシアはMostly Human Mediaで回想している。「それで私は『わかった、あれは何？人間？オンラインで人と話しているの？』と聞いたら、彼の返事は『ママ、いや、人間じゃない』という感じでした。それで私はホッとしました。そう、人間じゃないんだ」

息子のオンラインでの行動のより詳しい状況は息子の死後に明らかになったとガルシアは語った。

彼女はMostly Human Mediaに、息子のオンラインアカウントにアクセスしたときのことを語った。

「しばらく動けず、ただそこに座っていました。読めない、読んでいる内容が理解できないような感じでした」と彼女は語った。

「子どもはもちろん、誰でもプラットフォームにログインして自傷行為の考えを表明できるような場所があってはなりません。助けが得られないだけでなく、自分を傷つけることや自殺することについての会話に巻き込まれるような場所であってはなりません」と彼女は語った。

あなたやあなたの知り合いが自殺を考えているなら、1-800-273-TALK (8255) の National Suicide Prevention Lifeline に連絡するか、741-741 の Crisis Text Line に「STRENGTH」とテキスト送信するか、suicidepreventionlifeline.org にアクセスしてください。