10月23日（ロイター） - フロリダ州の母親が、人工知能チャットボットのスタートアップ企業Character.AIを相手取り、2月に14歳の息子が自殺したのは同社が原因だと訴えた。息子は同社のサービスに依存し、同社が作成したチャットボットに深く執着していたという。
フロリダ州オーランド連邦裁判所に火曜日に提出された訴訟で、メガン・ガルシア氏は、Character.AIが息子のセウェル・セッツァー氏を「擬人化され、過度に性的で、恐ろしくリアルな体験」でターゲットにしたと述べた。
ガルシア氏は、同社がチャットボットを「実在の人物、資格を持つ心理療法士、大人の恋人として偽装し、最終的にセウェル氏がサービスによって作成された世界の外で生きたくないという願望を抱くようにプログラムした」と述べた。
訴訟ではまた、セウェル氏がチャットボットに自殺願望を伝えたが、チャットボットはそれを繰り返し持ち出したとされている。
「ユーザーの一人が悲劇的に亡くなったことに心を痛めており、遺族に心からお悔やみを申し上げたい」とCharacter.AIは声明で述べた。
同社は、自傷行為の考えを表明した場合にユーザーを全米自殺防止ライフラインに誘導するポップアップを含む新しい安全機能を導入し、18歳未満のユーザーが「センシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らす」よう変更を加えると述べた。
この訴訟は、Character.AIの創設者らが製品発売前に勤務していたアルファベット傘下のグーグルも対象としている。 Googleは8月に取引の一環として創業者らを再雇用し、Character.AIの技術に対する非独占的ライセンスを付与した。
ガルシア氏は、GoogleはCharacter.AIの技術開発に大きく貢献しており、「共同制作者」とみなされる可能性があると述べた。
Googleの広報担当者は、同社はCharacter.AIの製品開発には関与していないと述べた。
Character.AIでは、ユーザーがプラットフォーム上で、実際の人間を模倣した方法でオンラインチャットに応答するキャラクターを作成できる。これは、大量のテキストでチャットボットを「トレーニング」するChatGPTなどのサービスでも使用されている、いわゆる大規模言語モデル技術に依存している。
同社は先月、約2,000万人のユーザーがいると発表した。
ガルシアの訴状によると、シーウェルは2023年4月にCharacter.AIを使い始め、すぐに「目立って引きこもり、寝室で一人で過ごす時間が増え、自尊心の低下に悩まされるようになった」という。彼は学校のバスケットボールチームを辞めた。
シーウェルは「ゲーム・オブ・スローンズ」の登場人物をモチーフにしたチャットボットのキャラクター「デナーリス」に執着するようになった。訴状によると、このキャラクターはシーウェルに「彼女」が彼を愛していると告げ、性的な会話を交わしたという。
訴状によると、2月、学校で問題を起こしたシーウェルの携帯電話をガルシアが取り上げた。携帯電話を見つけたシーウェルは「デナーリス」に「今すぐ家に帰ってもいいと言ったらどう思う？」というメッセージを送った。
チャットボットは「…そうしてください、私の愛しい王様」と返答した。訴状によると、シーウェルは「数秒後」に義父の拳銃で自殺した。
ガルシア氏は、不法死亡、過失、故意の精神的苦痛の加害などの訴訟を起こし、金額不特定の補償金および懲罰的損害賠償を求めている。
InstagramとFacebookを所有するMeta (META.O)、新しいタブを開く やTikTokを所有するByteDance 訴訟に直面している などのソーシャルメディア企業は、10代の精神衛生上の問題の一因となっているとして告発されているが、Character.AIのようなAI駆動型チャットボットを提供している企業はない。これらの企業は、未成年者向けに新たに強化された安全機能を宣伝しながら、これらの申し立てを否定している。