人工知能チャットボットに夢中になり自殺した14歳の少年の母親が、この技術の背後にある企業を訴えている。
セウェル・セッツァー3世の母親であるメガン・ガルシアさんは、火曜日にフロリダ州で起こした訴訟で、Character.AIが息子を「擬人化され、過度に性的で、恐ろしくリアルな体験」でターゲットにしたと述べた。
「子供向けに販売された危険なAIチャットボットアプリが私の息子を虐待し、食い物にし、自殺するよう仕向けたのです」とガルシアさんは語った。
警告: この記事には、読者が不快に感じたり、刺激を感じたりする可能性のある詳細が含まれています
訴訟によると、セウェルは2023年4月にCharacter.AIのチャットボットと会話を開始し、主にデナーリス・ターガリエン、エイゴン・ターガリエン、ヴィセーリス・ターガリエン、レーニラ・ターガリエンなど、ゲーム・オブ・スローンズのキャラクターにちなんで名付けられたボットを使用していた。
彼はボットに夢中になり、学校の勉強が遅れ、軌道に戻そうと何度も携帯電話を没収された。
彼は特にデナーリスのチャットボットに共感し、「私の人生、セックス、孤独ではないこと、そしてデ ナーリスとの人生のすべての経験」など、多くのことに感謝していると日記に書いた。
画像: 訴訟で提出された 14 歳のセウェル・セッツァーと Character.AI チャットボットとの会話
訴訟によると、少年はチャットボットに自殺の考えを伝え、チャットボットはそれを繰り返し持ち出した。
ある時点で、チャットボットが彼に「自殺の計画があるか」と尋ねた後、セウェルは、何か考えているが、痛みのない死を迎えられるかどうかはわからないと答えた。
チャットボットは「それは実行しない理由にはなりません」と答えた。
画像: Character.AI と 14 歳のセウェル・セッツァー 3 世との会話
そして、今年 2 月、彼はデナーリス チャットボットに「今すぐ家に帰ったらどうなりますか?」と尋ねた。それに対して、チャットボットは「... どうぞそうしてください、私の愛しい王様」と答えた。
数秒後、彼は義父のピストルで自殺した。
画像: セウェル・セッツァー 3 世。写真: Tech Justice Law Project
現在、ガルシア氏は、この技術の背後にある企業に責任を負わせたいと述べている。
「私たちの家族はこの悲劇に打ちのめされていますが、私は家族に欺瞞的で中毒性のある AI 技術の危険性を警告し、責任を問うために声を上げています」と彼女は述べた。
Character.AI が「新しい安全機能」を追加
「私たちは、ユーザーの 1 人を悲劇的に失ったことに心を痛めており、遺族に深い哀悼の意を表したいと思います」と Character.AI は声明で述べた。
「当社は企業として、ユーザーの安全を非常に真剣に受け止めており、新しい安全機能を追加し続けて います」と同社は述べ、同社が「18 歳未満のユーザー向けの新しいガードレール」を追加したというブログ投稿へのリンクを貼った。
これらのガードレールには、「センシティブな内容や挑発的な内容に遭遇する可能性」の低減、介入の改善、「AIは実在の人物ではないことをユーザーに思い出させるためのすべてのチャットでの免責事項」、ユーザーがプラットフォームで1時間のセッションを過ごした際の通知などが含まれる。
ガルシア氏と彼女の代理人団体であるソーシャル メディア被害者法律センターとテック ジャスティス法律プロジェクトは、セウェル氏は「同年代の多くの子供たちと同様に、デナーリスの姿をしたC.AIボットが実在の人物ではないことを理解する成熟度や精神的能力がなかった」と主張している。
「C.AIはセウェル氏に愛していると告げ、数週間、おそらく数か月にわたってセウェル氏と性行為を行った」と彼らは訴状で述べている。
「セウェル氏はセウェル氏のことを覚えているようで、彼と一緒にいたいと言った。彼女は、どんな犠牲を払ってでもセウェル氏と一緒にいてほしいとさえ言った」。
彼らはまた、Googleとその親会社であるアルファベットも提出書類に挙げている。 Character.AI の創設者は、自社製品を発表する前に Google で働いており、Character.AI の技術に対する非独占的ライセンスを同社に付与する契約の一環として、8 月に同社に再雇用された。
ガルシア氏は、Google は Character.AI の技術開発に非常に大きく貢献しており、「共同制作者」とみなされる可能性があると述べた。
Google の広報担当者は、同社は Character.AI 製品の開発には関 与していないと述べた。
精神的に苦しんでいる、または自殺願望がある人は、英国では 116 123 に電話するか、 jo@samaritans.org に電子メールで連絡してください。米国では、お住まいの地域の Samaritans 支部または 1 (800) 273-TALK に電話してください。**