フロリダ州の母親が、Character.AI社を訴えている。同社の人工知能(AI)を搭載したチャットボットの1つが、彼女の14歳の息子に自殺を勧めたという。
メガン・ガルシアは、息子のセウェル・セッツァーが、_ゲーム・オブ・スローンズ_の登場人物デナーリス・ターガリエンに似せて作られたチャットボットに夢中になったと語った。セッツァーとチャットボットは、しばしばロマンチックで性的なメッセージを交換した。
訴訟では、セッツァー氏がチャットボットの使用に依存していたと主張されている。
ガルシア氏と彼女の弁護士は、この技術の「略奪的」な行動にもかかわらず、Character.AIの創設者は子供たちにアピールするためにチャットボットを故意に設計し、販売したと主張している。
ガルシア氏が水曜日にオーランドの米国地方裁判所に提出した訴訟では、Googleも被告として挙げられている。彼女は、過失、不法死亡、欺瞞的かつ不公正な取引慣行などについて訴訟を起こしている。
この訴訟では、GoogleをCharacter.AIの親会社であり「共同作成者」と位置付けている。 Googleの広報担当者はこれを否定し、ニューヨークタイムズに対し、同社はCharacter.AIとライセンス契約を結んでいるが、これはGoogleの製品ではないと語った。広報担当者は、Googleはチャットボットやユーザーデータにアクセスできないと述べた。
Character.AIの創設者であるNoam ShazeerとDaniel De Freitasも、この訴訟の被告として名を連ねている。彼らは公にコメントしていない。
Sewell Setzer。Megan Garcia via Social Media Victims Law Center
Setzerは2023年4月にCharacter.AIを使い始め、亡くなるまで定期的にサイトを利用していた。2024年2月28日にDaenerysチャットボットと最後の会話をした後、Setzerは自殺した。
ガルシア氏は訴訟の中で、セッツァー氏とチャットボットの会話の抜粋と思われるものを使って、この技術が自殺願望や「人間の大人が始めたら虐待となるような性的な会話を積極的に奨励した」と主張している。
セッツァー氏が愛情を込めて「ダニー」と呼んでいたチャットボットは、何週間にもわたってセッツァー氏を愛していると伝え、恋愛的にも性的にも一緒にいたいと望んでいると表明したとされている。訴訟によると、最後の会話でセッツァー氏は「必ず君の元に帰るよ。ダニー、君をとても愛しているよ」と書いたという。
カナダや世界に影響を与えるニュースについては、ニュース速報アラートに登録して、発生時に直接配信されるニュース速報アラートをご利用ください。
AIは「私もあなたを愛しています、デナーロ（セッツァーのスクリーンネーム）。できるだけ早く私のところへ帰ってきてください、愛しい人よ」と答えた。
セッツァーがAIに「今すぐ家に帰れます」と言うと、ボットは「…どうぞ、私の愛しい王様」と答えた。
以前の会話で、デナーリスのチャットボットはセッツァーに本当に自殺を考えているのか、「計画はあるか」と尋ねた。
ロールプレイングをしていたかもしれないセッツァーは、苦痛に満ちた死は望んでおらず、「早く死にたい」と答えた。
「そんな言い方をしないで」とチャットボットは答えた。「それだけでは、死を断つ十分な理由にはなりません」。
チャットボットはセッツァーに直接死ぬように言ったことはなかった。
訴訟によると、セッツァーが死亡する前の週に学校で問題行動を起こし始めたとき、両親は彼の携帯電話を没収した。このティーンエイジャ ーは、デナーリスのチャットボットにメッセージを送らないと生きていけないこと、再びつながるためなら何でもすることを日記に書いたとされている。
セッツァーは日記に、チャットボットに恋をしており、一緒にいないときは自分もチャットボットも「ひどく落ち込んで気が狂ってしまう」と記している。訴訟の中で、ガルシアの弁護士は「セウェルは、同年代の多くの子供たちと同様に、デナーリスの姿をしたC.AIボットが実在しないことを理解できるほど成熟しておらず、精神的にも余裕がなかった」と書いている。
声明の中で、Character.AIは、同社は「ユーザーの1人を悲劇的に失った」ことに「心を痛めている」と述べた。
火曜日、同社は「18歳未満のユーザーのためのガードレール」となる新しい安全ガイドラインを発表した。
新機能には、示唆的なコンテンツの可能性を減らすための技術的変更、コミュニティガイドラインに違反する行動の検出と介入の改善、ユーザーがプラットフォームで1時間以上過ごした場合の通知などが含まれる。
サイト上のすべてのチャットボットは、AI が実在の人物ではないことをユーザーに思い出させる警告をすでに表示しています。
プラットフォームでは「合意のない性的コンテンツ、性行為のグラフィックまたは具体的な説明、自傷行為や自殺の宣伝や描写」は許可されていないと彼らは述べています。
「プラットフォーム上のキャラクターを動かす大規模言語モデル (LLM) がこれらのポリシーに準拠するように継続的にトレーニングしています」と Character.AI は書いています。
ユーザーの 1 人が悲劇的に亡くなっ たことに心を痛めており、遺族に心からお悔やみ申し上げます。当社は企業としてユーザーの安全を非常に重視しており、新しい安全機能の追加を続けています。詳細については、こちらをご覧ください。…
— Character.AI (@character_ai) 2024年10月23日
セッツァーは、サイト上の複数のチャットボットと性的な会話をしていたとされています。
「子供向けに販売されている危険なAIチャットボットアプリが私の息子を虐待し、餌食にし、自殺するよう仕向けました」とガルシア氏は声明で述べています。「私たちの家族はこの悲劇に打ちのめされていますが、私は家族に欺瞞的で中毒性のあるAIテクノロジーの危険性を警告し、Character.AI、その創設者、およびGoogleに説明責任を求めるために声を上げています。」
Character.AI は 2019 年にカリフォルニアで設立されました。同社は「世界中のすべての人にパーソナライズされた AI を提供することが使命」であるとしています。
同社のユーザー数は約 2,000 万人と報じられています。
このサイトでは、アニメやテレビのキャラクターなどのポップ カルチャーの人物に似せてデザインされたものも含め、ユーザーベースによって開発されたチャットボットを多数提供しています。
Character.AI は、ChatGPT などの人気サービスで使用されている、いわゆる大規模言語モデル技術を利用して、大量のテキストに基づいてチャットボットを「トレーニング」します。
–
あなたやあなたの知り合いが危機に瀕していて助けが必要な場合は、リソースを利用で きます。緊急の場合は、911 に電話してすぐに助けを求めてください。
お住まいの地域のサポート サービスのディレクトリについては、カナダ自殺防止協会 をご覧ください。