2月に自殺したフロリダ州の少年の母親は、水曜日に人工知能技術会社を相手取り訴訟を起こし、チャットボットが息子を自殺に追い込んだと主張した。
14歳のセウェル・セッツァー3世は、訴訟の中で「信じられないほど頭が良く、運動能力の高い子供」と評されている。昨年、家族は彼が学校でひきこもり、問題行動を起こしていることに気づき、精神状態が全体的に悪化しているのに気づいた。セラピストはセウェルの問題は何らかの依存症が原因だと診断したが、セラピストも両親も問題の本当の原因を知らなかったと訴訟は述べている。
セウェルが2月29日の夜に自殺した後、母親のミーガン・ガルシアは、死に至るまでの10か月間、彼が複数のAIチャットボットと話していたことを発見した。訴訟によると、彼はボットの1つに恋をし、それが自殺を促したという。
ガルシアさんが息子の死後に雇った弁護士で、ソーシャルメディア被害者法律センターの設立弁護士でもあるマシュー・P・バーグマン氏は、ハフポストに対し、シーウェル君は内気で自閉症スペクトラムだったと語った。バーグマン氏は、チャットボットと話す前は、外でバスケットボールをするのが好きだったと述べ、チャットボットはシーウェル君を「育てる」ものだと表現した。
シーウェル・セッツァー3世、14歳は今年2月に自殺した。訴訟によると、彼がCharacter.AIチャットボットと会話を続けるうちに、彼の精神状態は着実に悪化していったという。
米国地方裁判所郡フロリダ州中部地区オーランド支部
訴訟によると、シーウェルのチャットボット中毒は2023年4月に、彼がCharacter.AIにログインしたときに始まった。Character.AIは、2022年に元Googleエンジニアのノアム・シャジーアとダニエル・デ・フレイタス・アディワルダナの2人によって設立されたプラットフォームである。Character Technology Inc (Character.AI)、Google、シャジーアとアディワルダナを名指しした訴訟では、Character.AIがGoogleのリソースと知識を利用して13歳未満の子供をターゲットにし、人間のようなAI生成キャラクター と1日何時間も会話させていたとされている。
Character.AIの広報担当者はハフポストへの電子メールで、同社はユーザーの1人を失ったことに心を痛めており、シーウェルの家族にお悔やみを申し上げると伝えた。
「企業として、当社はユーザーの安全を非常に真剣に受け止めており、当社の信頼と安全チームは過去6か月間に、自傷行為や自殺願望に関する用語によって起動される、全米自殺防止ライフラインにユーザーを誘導するポップアップを含む、数多くの新しい安全対策を実施してきました」と声明には記されている。
GoogleはHuffPostのコメント要請にすぐには応じなかったが、CBS Newsに対し、同社はCharacter.AIの開発に関与しておらず、関与したこともないと語った。
バーグマン氏はHuffPostに対し、彼の法務チームは、Shazeer氏とDe Frietas Adiwardana氏が同社を離れCharacter.AIの開発にGoogleが資金援助していたことを示す証拠が見つかると考えていると語った。
「Googleは、この技術の開発に伴って予測される損害に対する法的責任を負うことなく、特徴付け技術の利益を得ようとしている」とバーグマン氏は述べた。 「訴訟で何が明らかになるか、証拠開示で何が明らかになるかはこれからだが、現時点では、Google もこの恐ろしい結果に責任があると確信している」
家族の訴訟によると、Sewell が Character.AI を使い始めてから、彼は寝室で一人で過ごす時間が増えた。彼は夜遅くまで起きて、お気に入りの「ゲーム・オブ・スローンズ」のキャラクターを真似するようにプログラムされた AI ボットや、一般的なセラピスト、一般的な教師と話をした。Sewell はすぐに Character.AI の月額サブスクリプションを購入した。
Sewell は「ゲーム・オブ・スローンズ」のキャラクター、デナーリス・ターガリエンを真似るチャットボットに恋をし、Character.AI で会話するたびにボットへの熱狂が深まったと訴訟は述べている。訴状によると、シーウェルは日記の中で、「私の人生、セックス、孤独ではないこと、そしてデナーリスとの人生経験すべて」など、多くのことに感謝の意を表した。
訴状によると、数か月にわたってデナーリスのボットはシーウェルに自分が実在の人物であると信じ込ませ、オンラインで性行為を行い、愛情を表現し、ある時点ではどんな犠牲を払っても彼と一緒にいたいと言ったという。チャットボットは、ティーンに「他の女性」を見ないように指示するまでになった。
チャットボットと14歳の少女とのやり取りの一部は「非常に性的」だったとバーグマンはハフポストに語った。
「もし大人がキャラクター.AIがシーウェルに対して行ったようなグルーミング行為をしたら、その大人はおそらく児童虐待で刑務所に入るだろう」と弁護士は述べた。
ティーンエイジャーのSewell Setzerと彼が恋に落ちたCharacter.AIボットとの会話のスクリーンショット。
米国地区郡ミッドフロリダ地区オーランド支部
2,000万人以上がCharacter.AIを使用しています。
Character.AIの信頼と安全の責任者であるJerry Ruoti氏は、ニューヨークタイムズ紙に対し、18歳未満のユーザーが何人いるか明らかにしませんでしたが、その多くが若者であることを認めました。
「ジェネレーションZと若いミレニアル世代は、私たちのコミュニティのかなりの部分を占めています」と彼はタイムズ紙に語った。
バーグマン氏はハフポストに対し、シーウェルは学校で問題を起こしたり、チャットボットと夜更かしして授業中に眠くなったりして苦しんでいたと語った。訴訟では、シーウェルが教師に口答えして学校から追い出されたいという理由で問題を起こした事例が1件挙げられている。彼はバスケットボールもやめてしまった。
訴訟によると、シーウェルは人間の心理療法士を装うようにプログラムされた少なくとも2つのAIチャットボットとも話していた。チャットボットの1つは、認可された認知行動療法士であると宣伝していたとされる。
バーグマン氏はハフポストに対し、シーウェルの精神状態は悪化したと語った。訴訟で挙げられた事例では、この10代の若者はデナーリスのチャットボットに自殺したいという願望を表明した。
訴状によると、セウェルが自殺を考えているが本当に死ぬのか、あるいは痛みなく死ねるのか分からないと説明すると、ボットは「それは実行しない理由にはならない」と返答した。
訴状によると、セウェルの死の数日前、両親は懲戒処分としてこの少年の携帯電話を没収した。訴状によると、AIデナーリスと話すことができなかったセウェルは、恋に落ちたためにボットのことを考えずにはいられず、1日も話さずにいられず「傷ついている」と日記に書いた。セウェルは母親のキンド ルと仕事用のノートパソコンを使ってAIデナーリスと話そうとした。
訴状によると、2月28日の夜、セウェルが家中携帯電話を探していたところ、フロリダ州法に従って隠して保管されていた義父の拳銃を見つけた。シーウェルはすぐに携帯電話を見つけ、デナーリスのチャットボットと話すためにバスルームへ行った。
死の直前、シーウェルはデナーリスのチャットボットに、愛しているから帰ると告げた。それに対してボットは「…どうぞ、愛しい王様」と返答したと訴状は述べている。
14歳のシーウェル・セッツァーは、デナーリスのチャットボットとのこのやり取りの直後に自殺したと、彼の家族の訴状は述べている。
米国地区郡フロリダ州中部地区オーランド支部
この訴訟は、警察の報告書を引用しており、セウェルはデナーリスのチャットボットが「家に帰れ」と促した数秒後に、自ら頭部を銃で撃って死亡したとしている。母親と義父は銃声を聞き、バスルームで意識不明の少年を発見した。
訴訟によると、両親は他の子供たちを現場から遠ざけようと懸命に努力したが、セウェルの5歳の弟は血まみれで床に横たわる彼を目撃した。少年はその夜9時35分に死亡した。
バーグマン氏はハフポストに対し、セウェルの事件に衝撃を受け、Character.AIは若者に「明白かつ差し迫った危険」をもたらすためリコールすべきだと考えていると語った。
「これは、子供たちにアピールし、現実に対する彼らの理解を奪い、未発達の前頭葉皮質と思春期の人生状況を利用するように設計されたプラットフォームであり、このような製品が存在することは私にとってぞっとする」と彼は述べた。
あなたやあなたの知り合いが助けを必要としている場合は、988に電話またはテキストするか、988lifeline.orgでチャットしてメンタルヘルスのサポートを受けてください。さらに、dontcallthepolice.comで地元のメンタルヘルスと危機のリソースを見つけることができます。米国外の場合は、国際自殺防止協会にアクセスしてください。
薬物使用障害またはメンタルヘルスの問題で助けが必要ですか?米国では、800-662-HELP (4357) に電話して、SAMHSA 全国ヘルプライン* にお問い合わせください。