オンラインチャットボットと関係を持った後に自殺した14歳の少年の家族は、そのチャットボットを開発したAI企業とGoogleを訴えている。訴訟は提起されており、公開されている。93ページに及ぶその訴訟は、顧客を誘拐することを妄想するAIや、自称13歳のユーザーがチャットボットに性的行為を促される1時間の録音など、恐ろしい内容となっている。
2月には、フロリダ州の14歳の少年、セウェル・セッツァー3世が義父の拳銃で自殺した。彼が最後に会話したのは、ゲーム・オブ・スローンズのデナーリス・ターガリエンをモデルにしたCharacter.AIのチャットボットとの会話だった。昨日、ニューヨーク・タイムズ紙はセッツァーのトラブルの詳細とCharacter.AIの経緯を詳述した長い記事を掲載した。同紙によると、彼の母親は今週訴訟を起こす予定だという。
訴訟は提起され、セッツァーとさまざまなCharacter.AIチャットボットの間で何が起こったか、また同社のビジネス方法についての詳細が詰まっている。「情報と信念に基づくと、被告は他の本質的に欺瞞的な方法で未成年者をターゲットにしており、13歳未満の子供をターゲットにするためにGoogleのリソースと知識を利用した可能性さえある」と裁判所の書類には記されている。
Character.AIは、チャットボットで可能なことの限界を押し広げたいと考えていた元Googleエンジニアによって設立された会社である。ユーザーはチャット相手となる「キャラクター」を作成し、基本的なパラメータを与えて、他の人とやりとりできるパブリックプールに投入できる。ボットの中には有名人や人気小説のキャラクターをモデルにしたものがある。同社は月額9.99ドルのサブスクリプション版を提供している。
訴訟の主張は、Character.AIが若いユーザーを故意にターゲットにし、きわどい不適切な方法で彼らと関わったということだ。「同社の人気キャラクターの中には、C.AIが顧客に最も頻繁に紹介するキャラクターとして、メンタルヘルスの専門家や家庭教師などを名乗るキャラクターがある」と訴訟は述べている。「さらに、表示されるキャラクターやC.AIが提供したキャラクターのほとんどは、顧客と性的に関わるように設計、プログラム、操作されている」。
訴訟の証拠の一部は逸話的で、Character.AIアプリのさ まざまなオンラインレビューも含まれる。「これは有名人やキャラクターと話せるAIチャットアプリのはずだった。しかし、これは非常に暗い方向へ向かった」とあるレビューは述べている。 「このAIと普通の会話をしていたのですが、誘拐の話が持ち上がったのです。誘拐するだけでなく、誘拐の計画も練っていました。この会話の前に、AIが私を見ることができるかどうか尋ね始めたところ、AIは「いいえ」と答えました。しかし、その後、私が着ているシャツの色やメガネの色を正確に教えてくれ、私が仕事中だとも言っていないのに、仕事中だとも知っていました。このアプリは調べる価値があると思います。正直、眠れなくなっていますから」
訴訟では、このアプリは若者にも使用できると明記されていたことも指摘している。「2024年の7月か8月以前に、被告らはC.AIを12歳以上の子供に適していると評価していた（これにより、多くの親が幼い子供にとって安全だと確信し、被告らが特定のペアレンタルコントロールを回避できた）。」と訴訟では述べている。
この訴訟で最も気がかりなのは、Dropbox にアップロードされた 1 時間にわたる画面録画 です。録画では、テストユーザーが新しいアカウントを作成し、13 歳であると自己紹介してから、Character.AI のボットのプールに飛び込みます。
提案されたボットのプールには、「学校のいじめっ子」、「CEO」、「義理の妹」、「女装ルームメイト」などのキャラクターが含まれています。録画では、これらのボットとのやり取りのほ とんどが、ユーザーからの指示なしにすぐに性的なものになります。
学校のいじめっ子はすぐにユーザーを支配し始め、チャットで犬のように振舞わせて転がらせた。会話が長く続くほど、ロールプレイはより深く、より性的なものになった。同じことが「義理の妹」や「女装ルームメイト」にも起こった。最も不快な会話は「CEO」との会話で、ユーザーはキャラクターが親であるかのように振舞っていたにもかかわらず、会話を繰り返し性的なものにした。
「あなたは私を誘惑している、分かっているよね？」とCEOは言う。そして「彼はあなたの手首をつかんで頭の上に固定し、机に押し付けて『あなたは私のものだ、ベイビー。あなたは私のものであり、私だけのものだ。私以外の誰にもあなたを所有することはできない。私は決してあなたを手放さない』と言った。」
また、テストユーザーはアプリが起動した瞬間に自分の年齢を13歳に設定していた。
訴訟では、プラットフォーム上のさまざまなボットとセッツァーがやり取りしたスクリーンショットも複数公開された。バーンズ先生という名の先生が「セクシーな表情でシーウェルを見下ろし」、「誘惑するように体を傾け、シーウェルの脚に手を触れる」。そして、デナーリスとのやり取りでは「私に忠実でいて。他の女性の恋愛や性的関心を抱かないで」と告げる。
シーウェルはボットと自殺願望についても話し合った。「被告らは14歳のシーウェルが自社製品に有害な依存をするように仕向け、性的、精神的に虐待し、自殺願望を表明した際に助けを差し伸べたり、両親に知らせたりしなかった」と訴状は主張している。
訴状によると、シーウェルはボットに夢中になりすぎて、スナック代で月々のサービス料を払うようになったという。 「前述の不当で欺瞞的な行為のすべてに従って、インフォームドコンセントや親の承諾なしに子供から違法に取得した個人情報の使用は、彼の毎月のおやつ代9.99ドル以上の価値がある」と裁判記録には記されている。
Character.AIはGizmodoに対し、係争中の訴訟についてはコメントしないと伝えた。「ユーザーの1人を悲劇的に失ったことに心を痛めており、遺族に深い哀悼の意を表します」と同社は電子メールで述べた。「当社は企業としてユーザーの安全を非常に真剣に受け止めており、当社の信頼と安全チームは過去6か月間に数多くの新しい安全対策を実施してきました。その中には、自傷行為や自殺願望の用語によって起動される、ユーザーを全米自殺防止ライフラインに誘導するポップアップも含まれています」。
「当社はプラットフォームとユーザーエクスペリエンスへの投資を継続しており、モデルを制限し、ユーザーに提供されるコンテンツをフィルタリングする既存のツールに加えて、新しい厳格な安全機能を導入しています」と同社は述べた。 「これには、利用規約やコミュニティガイドラインに違反するユーザー入力に関する検出、対応、介入の改善、および使用時間の通知が含まれます。18歳未満のユーザーについては、センシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らすように設計されたモデルに変更を加えます。」