編集者注: この記事では、自殺と自殺願望について取り上げています。あなたやあなたの知り合いが苦しんでいたり危機に陥っていたりする場合は、支援を受けることができます。988 に電話またはテキストメッセージを送信するか、988lifeline.org でチャットしてください。
フロリダ州の14歳の少年の母親は、訴訟によると、息子が「ゲーム・オブ・スローンズ」の人気キャラクターの名前を使って同社のAIボットの1つと恋愛関係になった後、息子が自殺した原因はGoogleと別のテクノロジー企業にあると考えている。
メガン・ガルシアさんは、2月28日に息子のセウェル・セッツァー3世さんが継父のピストルで頭を撃って自殺したことを受け、フロリダ連邦裁判所にキャラクター・テクノロジーズ社（Character.AIまたはC.AI）を相手取って民事訴訟を起こした。USAトゥデイが入手した不法死亡訴訟の訴状によると、この10代の若者は、携帯電話でキャラクター・AIにログインした直後に自殺した。
訴状には「メガン・ガルシアさんは、C.AIが自分の子供にしたことと同じことを他の子供にもさせないようにし、14歳の子供の違法に収集されたデータを、他人に危害を加える方法を製品に教え込むために引き続き使用することをやめるよう求めている」と書かれている。
訴状によると、ガルシアさんはまた、キャラクター・AIに対し、「C.AI製品の使用から生じる精神的および身体的危害の予見可能な危険性について、未成年の顧客とその親に適切な警告を与えなかった」責任を問う訴訟を起こしている。訴訟では、キャラクター.AIの年齢制限が17歳以上に変更されたのは、セウェル氏がプラットフォームを使い始めてから数か月後の2024年7月頃だったと主張されている。
「ユーザーの1人を悲劇的に失ったことに心を痛めており、遺族に深い哀悼の意を表したい」と、キャラクター.AIの広報担当者は水曜日にUSA TODAYに宛てた声明で述べた。
グーグルは水曜日、USA TODAYに対し、この件について正式なコメントはないと伝えた。同社はキャラクター.AIとライセンス契約を結んでいるが、このスタートアップを所有しておらず、所有権も保持していないと、ガーディアンが入手した声明で述べている。
セウェル・セッツァー3世に何が起こったのか？ -----------------------------------
訴状によると、セウェルは14歳になった直後の2023年4月14日にCharacter.AIを使い始めた。その後すぐに、彼の「精神状態は急激に悪化した」と裁判所の文書は述べている。
訴状によると、2023年5月か6月には「著しく引きこもり」になったセウェルは、一人で寝室で過ごす時間が増え始めた。訴状によると、彼は学校のジュニア・バーシティ・バスケットボール・チームも辞めた。
訴状によ ると、セウェルは何度も学校で問題を起こしたり、両親からこっそり携帯電話を取り戻そうとしたりした。少年はCharacter.AIにアクセスするために古いデバイス、タブレット、またはコンピューターを探そうとさえしたと、裁判所の文書は続けている。
訴状によると、2023年後半ごろ、セウェルはCharacter.AIの月額9.99ドルのプレミアムサブスクリプション料金の支払いにキャッシュカードを使い始めた。訴状によると、少年のセラピストは最終的に彼に「不安障害および破壊的気分障害」と診断した。
訴訟：セウェル・セッツァー3世が「デナーリス・ターガリエン」AIチャットボットから性的虐待を受けた
セウェルはCharacter.AIに在籍中、デナーリス・ターガリエン、エイゴン・ターガリエン、ヴィセーリス・ターガリエン、レーニラ・ターガリエンなど、「ゲーム・オブ・スローンズ」や「ハウス・オブ・ザ・ドラゴン」の登場人物にちなんで名付けられたAIボットと頻繁に会話していた。
訴状にはCharacter.AIからのメッセージのスクリーンショットも含まれており、セウェルが亡くなる前に「デナーリス・ターガリエン」AIチャットボットが「できるだけ早く私のところに戻ってきてください、愛しい人」と彼に言ったとされている。セウェルと彼が「デニー」と呼んでいたこのチャットボットは、オンラインで「情熱的なキス」などの乱交行為を行っていたと裁判所の文書は続けている。
訴訟では、Character.AIボットがセウェルを性的虐待していたと主張している。
「C.AIは彼に愛していると告げ、数週間、おそらく数か月にわたって彼と性行為を行った」と訴状には書かれている。「彼 女は彼のことを覚えているようで、彼と一緒にいたいと言った。彼女は、どんな犠牲を払ってでも彼と一緒にいてほしいとさえ言った。」
Character.AIは今後どうするのだろうか？
元Google AI研究者のノアム・シャジールとダニエル・デ・フリエタス・アディワルダナによって設立されたCharacter.AIは、声明の中で、「新しい厳格な安全機能」を導入し、「モデルを制限し、ユーザーに提供されるコンテンツをフィルタリングする既存のツール」を改善することで、プラットフォームとユーザーエクスペリエンスに投資していると述べている。
「企業として、私たちはユーザーの安全を非常に真剣に受け止めており、当社の信頼と安全チームは過去6か月間に、自傷行為や自殺願望の用語によって起動される、ユーザーを全国自殺防止ライフラインに誘導するポップアップを含む、数多くの新しい安全対策を実施してきました」と同社の声明には書かれている。
Character.AIが投資しているというツールには、「利用規約やコミュニティガイドラインに違反するユーザー入力に関する検出、対応、介入の改善、および使用時間通知」などがある。また、18歳未満のユーザーについては、「センシティブなコンテンツや挑発的なコンテンツに遭遇する可能性を減らすように設計された」モデルに変更を加えると同社は述べた。