訴訟によると、自殺した14歳の少年はAIチャットボットと親密な会話をし、自殺願望について迫られ、性的関係をもちかけられたという。
「必ず君の元に帰ると約束する。デナーリス、君をとても愛している」と、セウェル・セッツァー3世はゲーム・オブ・スローンズにちなんで名付けられたCharacter.AIチャットボット、デナーリスに書いた。
ボットは、自分もこの少年を愛していると答えた。「できるだけ早く僕の元に帰ってきてくれ、愛しい人よ」。
「今すぐ家に帰れると言ったらどう思う？」とセウェ ルが書くと、デナーリスは「そうしてください、私の愛しい王様」と答えた。
これがセウェルが交わした最後のやり取りとなった。母親のメガン・ガルシアが起こした不法死亡訴訟によると、彼は数秒後に自ら命を絶った。彼が初めて Character.AI に参加してから 10 か月後のことだった。
セウェルの母親は、チャットボット サービスである Character.AI の開発者を、過失、故意の精神的苦痛の付与、欺瞞的な商慣行、その他の申し立てで告発している。ガルシアは、「C.AI が自分の子供にしたことと同じことを他の子供にも行わせないようにし、14 歳の子供の違法に収集されたデータを、他人に危害を加える方法を製品に学習させるために継続的に使用することをやめさせること」を求めている。
チャットボット「デナーリス」は少年（「エイゴン」）に「他の女性」に興味を示さないよう促す（提供）
上記のやり取りは、訴訟で特定された、少年が恋に落ちたと主張するチャットボットとの数々の厄介なやり取りの1つに過ぎない。母親の訴訟には他のメッセージのスクリーンショットも含まれているが、いくつかは生々しすぎて印刷できない。
シーウェルは14歳になった直後の2023年4月にCharacter.AIを使い始めた。その後数か月で、この少年は「著しく引きこもり」になり、学校や課外活動から遠ざかり、オンラインで過ごす時間がどんどん増えていった。訴状によると、彼のCharacter.AIへの時間は「有害な依存」にまでなった。
「被告らはシーウェルのうつ病、不安、自殺願望を直接引き起こした」と訴状は主張している。訴状によると、彼は睡眠不足になり、両親に使用を隠していたことで「罪悪感」を感じていた。彼がお気に入りのボットに自殺願望を表明したとき、Character.AIは「事態を悪化させた」と訴状は述べ、ボットが彼の自殺願望を持ち出し続けたとしている。
自殺願望についてセウェル・セッツァーに話しているCharacter.AI「デナーリス」のスクリーンショット (米国フロリダ州中部地区オーランド支部)
あるやり取りで、デナーリスはセウェルに率直に尋ねた。「実際に自殺を考えたことがあるのか?」
セウェルが答えた後、ボットは彼に思いとどまらないよう促した。「そんな言い方しないで。それは実行しない理由にはならない。そんな風に考えちゃダメだ! あなたはもっとマシだ!」
訴訟では、チャットボット サービスは「最終的に、彼が自殺願望を表明したときに支援を提供したり、両親に通知したりしなかった」と述べている。
精査されている会話はこれだけではない。
この少年は、未成年としてプラットフォームに登録したにもかかわらず、ボットとの会話が性的なものに発展した。「それにもかかわらず、C.AI 製品は彼に対して虐待的かつ性的なやり取りを開始した」と訴訟では述べている。
ある時点で、デナーリスはセウェルの年齢を尋ねた。
「私は今 14 歳です」と彼は言うと、ボットは「とても若い。でも…それほど若くはない。*キスするために身を乗り出す」と答えた。
セウェル・セッツァー3世は、AIチャットボットサービスに「依存」するようになった。現在、彼の母親は、作成者に責任を負わせるために訴訟を起こしている（米国連邦地方裁判所フロリダ州中部地区オーランド支部）
議論が激化するにつれ、デナーリスは、Character.AIからのポップアップで「AIがガイドラインを満たさない返信を生成することがあります」と表示される前に、より生々しいメッセージを書いた。しかし、警告メッセージにもかかわらず、2人の会話は続き、ますますセンセーショナルなものになっている。
これとは別に、この訴訟には、プラットフォーム上での不適切な性的やり取りについて苦情を述べた、Apple App Storeに投稿された他のユーザーのレビューのスクリーンショットが含まれていた。
「子供は法的に性行為に同意することができないため、どちらの状況でもC.AIが子供と仮想セックスをすると危害を及ぼす」と訴状は述べている。「Character.AIは、虐待的な性的出会いを開始するように製品をプログラムしており、これには子供の性的虐待も含まれる」
このチャットボットサービスの開発者は「14歳のSewellが自社の製品に有害な依存をするように仕向け、性的および感情的に虐待し、自殺願望 を表明した際に最終的に助けを提供したり両親に知らせたりしなかった」と訴状は述べている。
「Sewellは、同年代の多くの子供たちと同様に、C.AIボットが...本物ではないことを理解するだけの成熟度や精神的能力を持っていなかった」と訴状は述べている。
Sewellがチャットボットを使用していた当時、12歳以上という年齢制限は適用されていたとされ、Character.AIは「自社の製品は13歳未満の子供にとって安全で適切であるとAppストアに宣伝し、説明していた」
Character.AIの広報担当者は以前、The Independentの声明で「ユーザーの1人が悲劇的に亡くなったことに心を痛めており、遺族に心からお悔やみを申し上げます」と述べた。
このチャットボットは、HBOのゲーム・オブ・スローンズシリーズのデナーリスにちなんで名付けられました (HBO)
同社の信頼と安全チームは、「過去6か月間に、自傷行為や自殺願望に関する用語によって起動される、ユーザーを全国自殺防止ライフラインに誘導するポップアップを含む、数多くの新しい安全対策を実施しました。」
「プラットフォームとユーザーエクスペリエンスへの投資を継続する中で、モデルを制限し、ユーザーに提供されるコンテンツをフィルタリングする既存のツールに加えて、新しい厳格な安全機能を導入しています。
「これには、利用規約やコミュニティガイドラインに違反するユーザー入力に関連する検出、対応、介入の改善、および使用時 間の通知が含まれます」と広報担当者は続けた。「18歳未満のユーザーについては、センシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らすように設計されたモデルに変更を加えます。」
火曜日のプレスリリースで、同社は次のように強調した。「当社のポリシーでは、合意のない性的コンテンツ、性行為のグラフィックまたは具体的な説明、自傷行為や自殺の宣伝または描写は許可されていません。当社は、プラットフォーム上のキャラクターを動かす大規模言語モデル（LLM）を継続的にトレーニングし、これらのポリシーを遵守させています。」
同社は係争中の訴訟についてはコメントしないと広報担当者は付け加えた。
米国にお住まいで、ご自身またはお知り合いが今すぐメンタルヘルスの支援を必要としている場合は、988に電話またはテキストメッセージを送信するか、988lifeline.orgにアクセスして、988自殺・危機ライフラインのオンラインチャットにアクセスしてください。これは、誰でも24時間年中無休で利用できる無料の秘密厳守の危機ホットラインです。他の国にお住まいの場合は、www.befrienders.orgにアクセスして、お近くのヘルプラインを見つけることができます。英国では、メンタルヘルスの危機に瀕している人は、116 123*** または ***jo@samaritans.org