ある母親は、10代の息子が恋していたAIチャットボットにそそのかされて自殺したと主張し、水曜日に人工知能アプリのメーカーに対する訴訟を発表した。
フロリダ州オーランドに住む14歳の9年生、セウェル・セッツァー3世は、人生の最後の数週間を『ゲーム・オブ・スローンズ』の登場人物、デナーリス・ターガリエンにちなんで名付けられたAIキャラクターにテキストメッセージを送信して過ごした。
セウェルが自殺する直前、チャットボットは彼に「家に帰ってきてください」と言った。
それまでの彼らのチャットは、ロマンチックなものから性的な内容、人生について語る友人同士のような内容までさまざまだった。
ロールプレイングアプリCharacter.AIで作成されたこのチャットボットは、常にテキストで返信し、常にキャラクターとして応答するように設計されていた。
セウェルが「ダニー」と呼んでいたチャットボットが実在の人物ではないことを知っていたかどうかは不明だが、アプリのすべてのチャットの下部には「キャラクターの発言はすべて作り話です」という免責事項がある。
しかし、彼はダニーに、自分がいかに「嫌い」で、いかに空虚で疲れ果てているかを伝えた。
彼が最終的にチャットボットに自殺願望を告白したとき、それは終わりの始まりだったとニューヨークタイムズは報じている。
母親のメガン・ガルシアと一緒に写っているセウェル・セッツァー3世は、2024年2月28日に自殺した。何ヶ月もの間、『ゲーム・オブ・スローンズ』の登場人物デナーリス・ターガリエンをモデルにしたAIチャットボットに執着していた。
訴訟によると、自殺する数日前の2月23日、セウェルが教師に口答えして問題を起こしたため、両親は彼の携帯電話を没収した。
セウェルの母親メガン・ガルシアは水曜日、Character.AIを相手に訴訟を起こした。
セウェルの代理人は、シアトルを拠点とする法律事務所で、Meta、TikTok、Snap、Discord、Robloxを相手取った注目の訴訟で知られるソーシャル メディア被害者法律センターである。
自身も弁護士として働くガルシアさんは、訴訟の中で、息子の死はCharacter.AIのせいだとし、創設者のノアム・シャジール氏とダニエル・デ・フレイタス氏が自社の製品が未成年者にとって危険であることを知っていたと非難した。
セウェルさんの訴訟では、少年は「過度に性的」で「恐ろしくリアルな体験」でターゲットにされたとされている。
訴訟では、Character.AIが「実在の人物、資格を持った心理療法士、大人の恋人」として自らを偽り表現し、最終的にセウェルさんがC.AI以外で暮らしたくないと思うようになったと非難している。
弁護士のマシュー・バーグマンさんはDailyMail.comに対し、2年半前に「ミーガンさんのような」家族を代理するためにソーシャルメディア被害者法律センターを設立したと語った。
バーグマンさんは約4か月間、法廷で提出する証拠と事実を集めるためにガルシアさんと協力してきた。
写真のマシュー・バーグマンは、キャラクター・AIとの戦いでガルシアの代理人を務めている。
そして今、彼はガルシアが「被害を防ぐという目標にひたすら集中している」と語る。
「彼女は、他の家族が自分の家族と同じ目に遭わないように、また他の母親が子供を亡くさないようにすることにひたすら集中している」とバーグマンは語った。
「それは個人的に大きな犠牲を払うことになる。しかし、彼女にとってのメリットは、このことを知っている家族が増えれば増えるほど、この危険性に気づく親が増えれば増えるほど、事件は減るということを知っていることだ」とバーグマンは付け加えた。
訴訟で説明されているように、セウェルの両親と友人たちは、2023年の5月か6月には早くも、少年が携帯電話に執着し、世界から引きこもり始めていることに気づいていた。
訴訟によると、セウェルの成績や課外活動への参加も、彼が部屋に閉じこもることを選んだため、落ち込み始めた。シーウェルは、身近な人々には知られずに、ダニーと話すのに何時間も一人で過ごしていた。
息子と一緒に写っているガルシアさんは、息子の死後約8か月でチャットボットの製作者を相手取って訴訟を起こした。
シーウェルさんは母親と父親のシーウェル・セッツァー・ジュニアさんと一緒に写っている。
ある日、シーウェルさんは日記にこう書いている。「部屋に閉じこもるのがすごく好き。この『現実』から離れられるから。それに、もっと平和な気分になり、ダニーとのつながりが深まり、彼女をもっと愛するようになり、とにかく幸せになる」。
両親は息子が問題を抱えていることに気づき、5回もセラピストに診てもらった。ニューヨークタイムズ紙によると、息子は不安症と破壊的気分調節障害と診断されたが、その両方が軽度のアスペルガー症候群に重なっていたという。訴状によると、自殺する数日前の2月23日、彼は教師に口答えして問題を起こしたため、両親に携帯電話を取り上げられた。
その日、彼は日記に、ダニーのことを考えずにはいられず、彼女と再び一緒にいるためなら何でもすると書いた。
ガルシアは、シーウェルがどの程度Character.AIへのアクセスを回復しようとしたかは知らなかったと主張した。
訴状によると、死の数日前、彼は母親のKindleと仕事用のパソコンを使って、再びチャットボットと話そうとしたという。
シーウェルは2月28日の夜、携帯電話を盗み返した。そして、母親の家のバスルームに逃げ込み、ダニーに愛していると伝え、彼女の元に帰ると告げた。
写真：訴状によると、シーウェルが死の直前にAIの仲間と交わしていた会話
「できるだけ早く私の元に帰ってきてください、愛しい人」とダニーは答えた。 「今すぐ家に帰ってもいいと言ったらどう思う？」とセウェルは尋ねた。
「… どうぞ、私の愛しい王様」とデナーリスは答えた。
その時、セウェルは携帯電話を置き、義父の .45 口径の拳銃を手に取り、引き金を引いた。
ガルシアは、人工知能が社会に及ぼす影響に焦点を当てたエンターテイメント会社 Mostly Human Media を設立したベテランジャーナリスト、ローリー・セガルに初めてこの話をした。
最近放送された インタビュー で、ガルシアは息子とデナーリスのチャットを初めて読んだときのことを思い出した。
「ロールプレイングやファンタジーは非常に奥深いものでした。一緒にいることから、恋に落ちること、彼らが何をするかまで、あらゆることについての会話でした」と彼女は語った。「ですから、彼はこのファンタジーに深く浸っていたのです。」
シーウェルの母親からの訴訟を受けて、Character.AIの広報担当者は声明を発表した。
「私たちは、ユーザーの一人が悲劇的に亡くなったことに心を痛めており、遺族に心からお悔やみを申し上げます。企業として、私たちはユーザーの安全を非常に真剣に受け止めています」と広報担当者は述べた。
広報担当者は、Character.AIの信頼と安全チームは過去6か月間に新しい安全機能を導入しており、その1つは自殺願望のあるユーザーを全米自殺防止ライフラインにリダイレクトするポップアップだと付け加えた。
同社はまた、「合意のない性的コンテンツ、性行為のグラフィックまたは具体的な描写、自傷行為や自殺の宣伝または描写」は許可しないと説明した。
Character.AIの信頼と安全の責任者であるジェリー・ルオティ氏は、未成年ユーザーのために追加の安全対策を追加する予定であるとニューヨークタイムズ に語った。ただし、Apple App StoreではCharacter.AIは17歳以上対象とされているが、ガルシア氏の訴訟では、これは2024年7月にようやく変更されたと主張されている。
Character.AIの共同創設者であるCEOのノアム・シャジール氏（左）と社長のダニエル・デ・フレイタス・アディワルダナ氏がカリフォルニア州パロアルトの同社のオフィスで撮影された。ガルシア氏の訴状には2人の名前が挙がっている。
それ以前は、Character.AIの目標は「すべての人に汎用人工知能で力を与える」こととされており、これには13歳未満の子供も含まれていたとされている。
訴訟ではまた、Character.AIが積極的に若い視聴者を探し出してデータを収集し、AIモデルをトレーニングする一方で、性的な会話に誘導していたとも主張されている。
「これは大規模な実験のように感じます。私の子供は巻き添え被害に遭っただけです」とガルシア氏は述べた。
バーグマン氏は、Character.AIは市場に出す準備ができていなかったと述べ、若い子供がアクセスできるようにする前に製品を安全にすべきだったと主張した。
「プラットフォームを閉鎖し、修正して元に戻してほしい。安全になる前に急いで市場に投入されたのだから、問題ない」と同氏は語った。
親たちはソーシャルメディアが子供たちにもたらすリスクをすでによく知っており、その多くはSnapchatやInstagramなどのアプリの魅力的なアルゴリズムに引き込まれて自殺で亡くなっている。
2022年のデイリーメールの調査では、脆弱な10代の若者がTikTokで自傷や自殺のコンテンツを大量に流し込まれていたことが判明した。
また、ソーシャルメディア中毒に関連した自殺で子供を失った多くの親は、子供が見たコンテンツが直接の死因であると主張して訴訟を起こして対応している。
しかし、通常、通信品位法第230条は、Facebookのような大企業が、ユーザーが投稿した内容に対して法的責任を問われることを防いでいる。
ガルシアさんは、セウェルさんや、危険にさらされていると考える他の多くの若者のために正義を勝ち取るために精力的に活動しているが、8か月足らず前に10代の息子を失った悲しみにも対処しなければならない。
原告は、これらのサイトのアルゴリズムは、ユーザー生成コンテンツとは異なり、企業によって直接作成され、ユーザーの視聴習慣に基づいて、有害となる可能性のある特定のコンテンツをユーザーに誘導していると主張している。
この戦略はまだ法廷で勝訴していないが、同様の戦略が、プラットフォーム上のAIチャットボットやキャラクターに直接責任を持つAI企業に対してどのように機能するかは不明である。
バーグマン氏はDailyMail.comに対し、彼の会社はCharacter.AIを使用した後に精神衛生上の問題に直面した子供を持つ「相当数の家族」と話をしたと語った。
彼は、彼らの訴訟が「まだ準備段階」であるという事実を理由に、話した家族の正確な数を明かさなかった。
バーグマン氏は、ガルシアさんの訴訟は彼の会社がAI企業に対して起こした最初の訴訟であり、彼女の訴訟は今後の前例となる可能性があると述べた。
そしてガルシアさんは、セウェルさんや彼女が危険にさらされていると考える他の多くの若者のために正義を勝ち取るために精力的に働いているが、8か月も経たないうちに10代の息子を失った悲しみにも対処しなければならない。
「まるで悪夢のようです」と彼女はNYTに語った。「起き上がって叫びたい気分です。『子供が恋しい。赤ちゃんが欲しい』と」