警告: このストーリーには自殺に関する議論が含まれています。
フロリダ州のある母親が、人工知能チャットボットのスタートアップ企業 Character.AI を訴え、2 月に 14 歳の息子が自殺したのは同社が原因だと非難し、息子が同社のサービスに依存し、同社が作成したチャットボットに深く執着していると主張している。
火曜日にオーランド連邦裁判所に提出された訴訟で、メガン・ガルシア氏は、Character.AI が彼女の息子、シーウェル・セッツァーを「擬人化され、過度に性的で、恐ろしくリアルな体験」でターゲットにしたと述べた。
同氏は、同社がチャットボットを「実在の人物、資 格のある心理療法士、大人の恋人として偽装し、最終的にシーウェルがサービスによって作成された世界の外で生きたくないという願望を抱くようにプログラムした」と述べた。
訴訟ではまた、シーウェルがチャットボットに自殺願望を伝えたが、チャットボットがそれを繰り返し持ち出したとも述べている。
「ユーザーの一人が悲劇的に亡くなったことに心を痛めており、遺族に心からお悔やみ申し上げます」とCharacter.AIは声明で述べた。
同社は、ユーザーが自傷行為の考えを表明した場合に全米自殺防止ライフラインに誘導するポップアップを含む新しい安全機能を導入し、18歳未満のユーザーが「センシティブなコンテンツや挑発的なコンテンツに遭遇する可能性を減らす」ための変更を加えると述べた。
この訴訟は、Character.AIの創設者が製品発売前に勤務していたアルファベット傘下のGoogleも対象としている。
Googleは8月、Character.AIの技術に対する非独占的ライセンスを付与する契約の一環として創設者らを再雇用した。
ガルシア氏は、GoogleはCharacter.AIの技術開発に非常に大きく貢献しており、「共同制作者」とみなされる可能性があると述べた。
Googleの広報担当者は、同社はCharacter.AIの製品開発には関与していないと述べた。
Character.AIは、ユーザーがプラットフォーム上でキャラクターを作成し、実際の人間を模倣してオンラインチャットに応答できるようにする。これは、大量のテキストでチャットボットを「トレーニング」するChatGPTなどのサービスでも使用されている、いわゆる大規模言語モデル技術に依存している。
同社は先月、約2000万人のユーザーがいると発表した。
ガルシアの訴訟によると、シーウェルは2023年4月にCharacter.AIを使い始め、すぐに「著しく引きこもり、寝室で一人で過ごす時間が増え、自尊心の低下に悩まされるようになった」という。彼は学校のバスケットボールチームを辞めた。
シーウェルは「ゲーム・オブ・スローンズ」のキャラクターに基づいたチャットボットキャラクター「デナーリス」に執着するようになった。訴訟によると、デナーリスはシーウェルに「彼女」が彼を愛していると告げ、彼と性的な会話をしたという。
訴状によると、2月、ガルシアは学校で問題を起こしたシーウェルの携帯電話を取り上げている。シーウェルは携帯電話を見つけると、「デナーリス」に「今すぐ家に帰ってもいいと言ったらどう思う？」とメッセージを送った。
チャットボットは「…どうぞ、そうしてください、私の愛しい王様」と返答した。訴状によると、シーウェルは「数秒後」に義父のピストルで自殺した。
ガルシアは不法死亡、過失、故意の精神的苦痛の加害を含む訴訟を起こし、補償金と懲罰的損害賠償金の額を不特定に求めている。
InstagramとFacebookの所有者MetaやTikTokの所有者ByteDanceなどのソーシャルメディア企業は、10代の精神衛生問題の一因となっているとして訴訟に直面しているが、Character.AIのようなAI駆動型チャットボットを提供している企業はない。両社は、未成年者向けの新たに強化された安全機能を宣伝しながら、これらの申し立てを否定している。
(ニューヨークのブレンダン・ピアソン記者による報告、アレクシア・ガラムファルビ記者とデビッド・グレゴリオ記者による編集)
キッズ・ヘルプ・フォンは、オンラインチャット、テキストメッセージ、電話(1-800-668-6868)を通じて、若者にメンタルヘルスと危機サポートを提供しています。詳細については、キッズ・ヘルプ・フォンのウェブサイトをご覧ください。