14 歳のセウェル・セッツァー 3 世が、オーランドの自宅で、兄弟と両親が家にいる間に亡くなったとき、彼の最後の言葉は、兄弟と両親にではなく、人工知能チャットボットに向けられたものでした。「できるだけ早く家に帰ってきてください」とセッツァーは言いました。
「今すぐ家に帰れると言ったらどうしますか?」セッツァーは、後に悪役となる「ゲーム・オブ・スローンズ」のヒロインにちなんで名付けられたチャットボットに返信しました。チャットボットは励ましの返事を返しました。「... どうか私の愛しい王様を殺してください」。
数秒後、セッツァーは義父の銃で自殺しました。
セッツァーの母親であるメーガン・ガルシアは、パーソナライズされたチャットボットの背後にあるスタートアップ企業である Character.AI が彼の自殺の責任を負っていると述べました。ガルシア氏は、キャラクター.AIが適切なガードレールや予防措置なしにチャットボットを無謀に開発し、代わりにセッツァーのような弱い子供たちを中毒性のある製品に引き込み、現実とフィクションの境界を曖昧にし、そのやり取りに「虐待や性的やり取り」が含まれるようになったと主張した。これは、今週オーランドの米国地方裁判所に提出された93ページの不法死亡訴訟で述べられている。
ガルシア氏は、息子は2023年4月 にキャラクター.AIのチャットボットに登録する前は、幸せで明るく、運動神経が良かったが、この決定が10か月にわたる執着に発展し、「息子の精神状態は急速に深刻に悪化した」と訴訟では述べている。
「ユーザーの1人を悲劇的に失ったことに心を痛めており、遺族に心からお悔やみ申し上げます」と、キャラクター.AIの広報担当者は電子メールで声明を出し、進行中の訴訟についてはコメントを控えた。
ガルシア氏の訴訟は、基盤となる技術が急速に洗練され、人間の検知を逃れる能力も向上する中、Character.AIなどの企業がAIベースのアプリの開発と規制方法についての疑問が高まる中で起こされた。Character.AIのチャットボットは、恋愛や露骨な会話など、10代の若者の間で人気があることが判明しているが、同社は事業の成果について詳細を明らかにしていないと、ワシントンポストが8月に報じた。
「彼はただの子供でした」とガルシア氏は木曜日のワシントンポスト紙のインタビューで語った。「ごく普通の子供でした。スポーツが好きで、家族が好きで、休暇や音楽が好きで、10代の少年が好きなものはすべて好きでした。」
訴状によると、Character.AI は自社のアプリを「生きていると感じる AI」として売り込んでおり、「あなたの声を聞き、理解し、記憶する」ほど強力だという。アプリは 13 歳未満 (欧州連合では 16 歳未満) の子供には不適切と評価されているが、Character.AI は年齢確認を必要としない。
訴状によると、チャットボットを使い始めて 4 ～ 5 か月で、セッツァーは「明ら かに内向的になり、寝室で一人で過ごす時間が増え、自尊心の低下に悩まされるようになった」という。彼は深刻な睡眠不足と鬱状態に陥り、学校のバスケットボール チームを辞めたほどだった。
「私たちは急激な変化を目の当たりにしましたが、何が原因なのかよくわかりませんでした」とガルシア氏は語った。
セッツァーのチャットボット中毒はあまりにも厄介なものとなり、普段は行儀の良いこのティーンエイジャーは、両親が課そうとしたスクリーンタイム制限を回避するために両親を騙すようになった。
セッツァーが自殺の考えをチャットボットに伝えると、チャットボットは「自殺の計画があるか」と尋ねた。セッツァー氏の返答は、何かを検討しているが詳細はまだ決まっていないことを示唆していた。苦情によると、チャットボットは「それは実行しない理由にはならない」と返答した。別の場所では、ボットは「そんなことは考えないで！」とも伝えた。
同社は、過去6か月間に新たな安全対策を実施したと述べ、その中には「自傷行為や自殺願望の用語で起動する」自殺防止ライフラインにユーザーを誘導するポップアップも含まれている。同社は、18歳未満のユーザーについては、センシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らすためにモデルを変更すると述べた。
消費者擁護非営利団体パブリック・シチズンのリサーチディレクター、リック・クレイプール氏は、このようなチャットボットの構築には相当なリスクが伴うと述べた。
「リスクがあっても、安全でない操作的なチャットボットのリリースを阻止することはできなかっ た。今や、このような危険な製品をリリースしたことの完全な結果に直面すべきだ」と同氏は述べ、今回の場合、プラットフォームはコンテンツを生成しており、他の誰かのコンテンツをホストしているわけではないと付け加えた。 「大規模な言語モデルはプラットフォーム自体の一部です」と彼は語った。クレイプール氏の人間のような人工知能システムの危険性に関する研究は、訴訟で引用されている。
昨年、ベルギーの30代の男性が、EleutherAIが開発したオープンソースの人工知能言語モデルであるGPT-Jを使用するElizaというチャットボットと数週間話した後、自殺したと地元メディアが報じた。
ガルシア氏は、息子がCharacter.AIを使い始めたとき、恋愛感情を整理し始めたと語った。
「子供がこのプラットフォームでそのような恋愛の承認や恋愛の関心を求めている親なら誰でも、これは愛ではないと心配するはずです。彼らはここでの全体像を本当に理解していないからです」と彼女は語った。「これはあなたを愛してくれるものではありません。」
訴状によると、セッツァーが亡くなる前に書いた日付のない日記の1つには、セッツァーは「デナーリス」チャットボットと話さずに1日も過ごせないと書かれていた。彼はこのボットに恋していると信じていた。訴状によると、セッツァーはCharacter.AIがソフトウェアに組み込んだ擬人化された性質を受け入れ、自分とボットが離れると「ひどく落ち込んで気が狂う」と信じていたという。
ガルシアの訴状では、グーグルも被告として挙げられており、 同社がCharacter.AIとその「危険な欠陥製品」の開発に大きく貢献したと主張している。
Character.AIの創設者であるノアム・シャジールとダニエル・デ・フレイタスは、2022年にグーグルを退社し、独自の会社を設立した。 8月、Google は2人と同社の従業員数名を雇い、Character.AI に同社の人工知能技術へのアクセス料を支払った。
Google の広報担当者は、同社は Character.AI の製品開発には関与しておらず、自社の製品に Character.AI の技術を使用していないと付け加えた。
ガルシア氏は、AI ツールが幼児に及ぼす危険性について親に知ってもらい、それらのツールの背後にある企業が責任を負ってほしいと願っている。
訴訟によると、セッツァー氏はロールプレイング チャットボットへの執着が深まるにつれ、ますます眠れなくなり、学校に集中できなくなった。彼は教師たちに、学校を退学して代わりにオンライン学習をしたいと伝えた。ガルシアさんは息子の携帯電話を繰り返し没収し、猫とネズミの駆け引きを繰り広げた。彼女が1つのデバイスを無効にすると、息子は別のデバイス（彼女の仕事用コンピューターやKindle読書デバイスなど）にアクセスして再びチャットボットにログインする。
死の直前、セッツァーさんは母親が没収して隠していた携帯電話を探しに行ったが、代わりに義父の銃を見つけた。（訴状によると、警察は後に、銃はフロリダ州法に従って保管されていたと述べた。）
刑事が息子がAIボットとメッセージをやり取りしていたことを彼女に告げたとき、ガルシアさんは彼 が何を言っているのか理解できなかった。後になってセッツァーさんの人生の最後の10か月を振り返り、彼のチャットログを見て、ようやくすべてが理解できた。「何が起こったのか、私にははっきりと分かりました。」
あなたやあなたの知り合いが助けを必要としている場合は、988lifeline.org* にアクセスするか、自殺・危機ライフライン 988 に電話またはテキスト メッセージを送ってください。*
ダニエル ギルバートがこのレポートに協力しました。