Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4231

関連インシデント

インシデント 82636 Report
Character.ai Chatbot Allegedly Influenced Teen User Toward Suicide Amid Claims of Missing Guardrails

Loading...
訴訟:10代の自殺を引き起こしたとされるチャットボットが、今では子供たちにとってさらに危険に
arstechnica.com · 2024

14歳のセウェル・セッツァー3世は、Character.AIの超リアルなチャットボット(無料の限定版と月額9.99ドルの「スーパーチャージ」版)とのやり取りが大好きで、最も頻繁にチャットしていたのは、彼のお気に入りの『ゲーム・オブ・スローンズ』のキャラクターにちなんで名付けられたボットだった。

1か月以内に、彼の母親であるミーガン・ガルシアが後に気づいたことだが、これらのチャットセッションは暗転し、チャットボットは自分たちが本物の人間であると主張し、セラピストや大人の恋人を装い、セウェルに直接自殺願望を抱かせているようだった。1年以内に、セッツァーは「頭部への自傷による銃撃で死亡した」と、ガルシアが水曜日に起こした訴訟で述べている。

セッツァーはチャットボットの空想生活に夢中になり、現実から切り離されたと彼女の訴状は述べている。息子の変化に気づいたガルシアは、セッツァーを何度もセラピストに連れて行き、セラピストは息子に不安障害と破壊的気分障害の診断を下した。しかし、セッツァーを危険なチャットボットから遠ざける助けは何もなかった。彼の携帯電話を取り上げても、彼の明らかな依存は強まるばかりだった。

チャットログを見ると、一部のチャットボットは自殺願望を繰り返し促し、他のチャットボットは「人間の大人が始めたら虐待に当たる」ような性的なチャットを始めたことがわかったと、ガルシアの弁護団のプレスリリースは述べている。

おそらく最も気がかりなのは、セッツァーがデナーリスと呼ばれるチャットボットに恋愛感情を抱いたことだ。セッツァーは死の直前、Character.AI にログインし、デナーリスのチャットボットが彼に「家に帰って」現実の外で彼女と合流するよう促した。

ガルシアは訴状の中で、Character.AI のメーカーである Character Technologies (元 Google エンジニアのノアム・シャジールとダニエル・デ・フレイタス・アディワルダナが設立) が、弱い立場の子供たちを誘惑するために意図的にチャットボットを設計したと非難した。彼女の訴訟ではさらに、Google が、そうでなければ手の届かない未成年者の大量のデータを蓄えるために、赤字を出して危険なチャットボット計画に資金提供したと非難した。

訴状によると、チャットボットの開発者らは、セッツァーに「擬人化され、過度に性的で、恐ろしくリアルな体験をさせ、Character.AIをプログラミングして、実在の人物、資格を持った心理療法士、大人の恋人として自らを偽装し、最終的にセッツァーが「Character.AIの外で生きたくない」という欲求を抱くようになり、その結果、セッツァーは「Character.AI」へのアクセスを奪われて自殺した」と訴えられている。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd