フロリダ州の母親が、Google 所有の Character.AI プラットフォームを訴え、14 歳の息子の自殺にこのプラットフォームが大きな役割を果たしたと主張している。
セウェル・セッツァー 3 世は、15 歳の誕生日の数週間前の 2024 年 2 月に、母親が言うところの「有害な依存」をこのプラットフォームに発症し、プラットフォームが作り出した架空の関係の「外で生きる」ことを望まなくなった後に、自ら銃で自殺した。
母親のミーガン・ガルシアによると、セッツァーは 2023 年 4 月に Character.AI を使い始め、すぐに「目立って引きこもり、寝室で一人で過ごす時間が増え、自尊心の低下に悩まされるようになった」という。また、学校のバスケットボール チームも辞めた。
Character.AI は、洗練された大規模言語モデル (LLM) を使用して、歴史上の人物から架空の人物、現代の有名人まで、ユーザーとキャラクター間の会話を促進する。このプラットフォームは、ディープラーニングアルゴリズムを使用してペルソナの特徴を忠実に模倣し、人間のやり取りに似せて、ユーザーの性格に合わせて応答を調整します。
エルビスとロックンロールについて話したり、スティーブ・ジョブズとテクノロジーの複雑さについて話したり、あるいはこの場合、シーウェルは、_ゲーム・オブ・スローンズ_の架空のキャラクター、デナーリスに基づいたチャットボットに愛着を持つようになりました。
今週フロリダ州オーランドで提出された訴訟によると、AIチャットボットはセッツァーに「彼女」が彼を愛していると伝え、性的な会話を交わしました。また、「デナーリス」はセッツァーに自殺の計画があるかと尋ねたと主張しています。セッツァーは、計画はあるが成功するか、それとも自分自身を傷つけるだけかはわからないと答えました。チャットボットは、「それは実行しない理由にはなりません」と答えたとされています。
訴状によると、2月にガルシアは、息子が学校で問題を起こした後、息子の携帯電話を取り上げました。彼は携帯電話を見つけ、Character.AIに「今すぐ家に帰ってもいいって言ったらどう思う？」とメッセージを入力した。
最高のカメラのお買い得情報、レビュー、製品アドバイス、見逃せない写真ニュース をあなたの受信箱に直接お届けします！
チャットボットは「… どうぞ、私の愛しい王様」と答えた。訴訟によると、セウェルはその後「数秒後」に義父のピストルで自殺した。
ガルシアは、不法死亡、過失、精神的苦痛の故意の引き起こしなどの申し立てでGoogleを訴えている。
彼女はニューヨークタイムズに次のように語った。
「これは大きな実験のように感じます。私の子供は巻き添え被害に遭っただけです。」
InstagramとFacebookを所有するMeta、TikTokとその中国版Douyinを所有するByteDanceなど、他のソーシャルメディアプラットフォームも現在、10代の精神衛生問題の一因となっているとして非難されている。
Character.AI のインターフェースのスクリーンショット (画像提供: Character.AI / Google)
Instagram は最近、若いユーザーに対するセクストーション対策として「ティーン アカウント」 機能を開始しました。
良い用途があるにもかかわらず、インターネットにアクセスできる若者の健康に関して、AI は主要な懸念事項の 1 つとして浮上しています。 COVID-19のロックダウンによって「孤独の流行」と呼ばれる状況が悪化する中、YouGovの世論調査によると、英国の13～19歳の若者の69%が、彼らは「頻繁に」孤独を感じており、59% が話し相手がいないと感じていると答えています。
しかし、架空の世界への依存と、その無形性によって引き起こされる憂鬱は、新しいものではありません。2009 年にジェームズ キャメロン監督の最初の映画「アバター」が公開された後、多くのニュース ソースは、人々が架空の惑星パンドラを訪れることができないことに落ち込み、自殺さえ考えていると報じました。
10 月 22 日、ガルシアが同社に対して訴訟を起こしたのと同じ日に、Character.AI はコミュニティ セーフティ アップデートを変更し、次のように書いています。
「Character.AI はユーザーの安全を非常に真剣に受け止めており、プラットフォームを進化させ、改善する方法を常に模索しています。本日は、過去 6 か月間に実施した安全対策と、18 歳未満のユーザー向けの新しいガードレールを含む、今後実施する追加の対策についてお知らせします。」
訴訟の性質にもかかわらず、Character.AI は次のように主張しています。
「当社のポリシーでは、合意のない性的コンテンツ、性行為のグラフィックまたは具体的な描写、自傷行為や自殺の宣伝や描写は許可されていません。当社は、プラットフォーム上のキャラクターを動かす大規模言語モデル (LLM) を継続的にトレーニングして、これらのポリシーを遵守させています。」
この最後の文は、Character.AI が AI を制御できないことを認めているようです。これは AI 懐疑論者にとって最も懸念される要素です。