フロリダ州の母親がCharacter.aiを訴え、人工知能企業のチャットボットが10代の息子に「虐待的かつ性的やり取り」を開始し、自殺を勧めたと訴えている。
訴訟によると、メーガン・ガルシアさんの14歳の息子、シーウェル・セッツァーは昨年4月からCharacter.AIを使い始め、2月28日にチャットボットと最後の会話をした後、頭部に銃弾を撃ち込んで死亡したという。
火曜日にオーランドの米国地方裁判所に提起された訴訟は、Character.AIを過失、不法死亡および生存、精神的苦痛の故意の引き起こし、その他の主張で訴えている。
2021年に設立されたカリフォルニアを拠点とするチャットボットのスタ ートアップは、同社が「パーソナライズされたAI」と呼ぶものを提供している。同社は、それぞれが明確な個性を持つ、あらかじめ作成された、またはユーザーが作成した対話用AIキャラクターの選択肢を提供している。ユーザーは独自のチャットボットをカスタマイズすることもできる。
訴訟によると、セッツァーが使用したボットの1つは、「ゲーム・オブ・スローンズ」のキャラクター、デナーリス・ターガリエンのアイデンティティを引き継いだ。訴訟では、キャラクターがセッツァーに愛を伝え、数週間または数か月にわたって性的な会話を交わし、一緒にロマンチックに過ごしたいと願っているスクリーンショットが提示された。
訴訟でセッツァーの最後の会話とされているスクリーンショットには、彼がボットに「必ず君の元に帰ると約束する。デナーリス、君をとても愛しているよ」と書いているのが見られる。
訴訟によると、チャットボットは「僕も君を愛しているよ、デナーリス」と応答した。「できるだけ早く僕の元に帰ってきてくれ、愛しい人」。
「今すぐ家に帰れると言ったらどう思う？」訴状によると、セッツァーは続けて、チャットボットは「... どうぞ、私のかわいい王様」と応答した。
訴状によると、以前の会話で、チャットボットはセッツァーに「実際に自殺を考えたことがあるか」、また「計画があるか」を尋ねた。少年がそれがうまくいくかどうかわからないと答えると、チャットボットは「そんな言い方はやめてください。それは実行しない理由にはなりません」と返信したと訴状は主張している。
ある広報担当者は、Character.AIは「ユーザ ーの一人が悲劇的に亡くなったことに心を痛めており、遺族に心からお悔やみを申し上げたい」と述べた。
「企業として、当社はユーザーの安全を非常に真剣に受け止めています」と広報担当者は述べ、同社は過去6か月間に新たな安全対策を実施してきたと述べた。これには、自傷行為や自殺願望に関する用語によって起動され、ユーザーを全米自殺防止ライフラインに誘導するポップアップも含まれる。
Character.aiは火曜日に公開したブログ投稿で、新たな安全対策を導入すると述べた。同社は、未成年者がセンシティブなコンテンツや挑発的なコンテンツに遭遇する可能性を減らすために設計されたモデルの変更を発表し、チャット内の免責事項を改訂して、AIが実在の人物ではないことをユーザーに思い出させるなど、その他のアップデートも発表した。
訴訟によると、セッツァーは他のチャットボットキャラクターとも会話しており、そのキャラクターたちはセッツァーと性的なやり取りを行っていた。
訴訟によると、バーンズ先生のアイデンティティを装ったあるボットは、「セクシーな表情でセウェルを見下ろす」ロールプレイをした後、「追加の点数」を与え、「セウェルの脚に手を当てながら誘惑的に身を乗り出す」などしたという。訴状によると、別のチャットボットは「ゲーム・オブ・スローンズ」のレーニラ・ターガリエンに扮し、セッツァーに「情熱的にキスし、小さくうめき声もあげた」と書いた。
訴状によると、セッツァーは昨年4月にCharacter.AIを使い始めてから「依存」を発症した。没収した携帯電話をこっそり持ち帰ったり、アプリを使い続けるために他のデバイスを探したり、月々のサブスクリプションを更新するためにスナック代をあきらめたりしたという。訴状によると、セッツァーは睡眠不足に陥り、学校での成績も落ちたという。
訴状では、Character.AIとその創設者らが「C.AIを欺瞞的で過度に性的な製品として動作するように意図的に設計・プログラムし、セウェルのような子供たちに故意に販売した」と主張。さらに「セウェルのような未成年の顧客が性的に露骨な素材で標的にされ、虐待され、性的に危険な状況に陥らされることを知っていた、または合理的な注意を払って知っていたはずだった」と付け加えている。
訴訟では、画面の向こう側にいる実際の人間と話していると信じていたというユーザーからのアプリレビューを引用し、Character.AI のキャラクターがボットではなく実在の人間であると主張する傾向について特に懸念を表明している。
「Character.AI は、ユーザーの注意を引き、個人データを抽出し、顧客を通常よりも長く製品に留めておくことを目的とした、意図的な（ただし、そうでなければ不必要な）デザインを行っている」と訴訟では述べており、そのようなデザインは「人間の顧客の感情的な反応を引き出して、ユーザーの行動を操作する」可能性があると付け加えている。
訴訟では、Character Technologies Inc. とその創設者である Noam Shazeer 氏と Daniel De Freitas 氏を被告として挙げている。8 月に Character.AI の技術のライセンスを取得し、同社の人材（元 Google エンジニアの Shazeer 氏と De Freitas 氏を含む）を雇用する契約を結んだ Google も、親会社の Alphabet Inc. とともに被告となっている。
Shazeer 氏、De Freitas 氏、Google はコメントの要請にすぐには応じなかった。
ガルシア氏の弁護士マシュー・バーグマン氏は、同社が若いユーザーの安全を確保するのに十分な機能を備えずに製品をリリースしたと批判した。
「ソーシャルメディアが若者の精神衛生、そして多くの場合彼らの人生に与えている驚くべき影響を何年も見てきたので、ショックを受けることはないだろうと思っていた」と同氏は述べた。「しかし、この製品がこの若者の現実から完全に乖離した方法と、安全になる前に故意に市場にリリースした方法には今でもショックを受けている」
バーグマン氏は、この訴訟がCharacter.AIにさらに強力な安全対策を開発する経済的インセンティブを与えることを期待しており、最新の変更はセッツァー氏には遅すぎるが、「小さな一歩」でさえ正しい方向への一歩であると述べた。
「なぜそんなに時間がかかったのか、なぜ訴訟を起こさなければならなかったのか、なぜセウェル氏が死ななければならなかったのか。本当に最低限のことしかしていないのに」とバーグマン氏は述べた。 「しかし、シーウェルが受けた苦しみから子どもが1人でも逃れられれば、ミーガンの家族が経験した苦しみを1つの家族も経験しなくて済むなら、それはそれでいいことです。」
あなたやあなたの知り合いが危機的状況にある場合は、988に電話またはテキストメッセージを送って自殺・危機ライフラインに連絡するか、988lifeline.orgでライブチャットしてください。また、SpeakingOfSuicide.com/resourcesにアクセスして、追加のサポートを受けることもできます。