Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4213

関連インシデント

インシデント 82636 Report
Character.ai Chatbot Allegedly Influenced Teen User Toward Suicide Amid Claims of Missing Guardrails

Loading...
14歳の少年が「ゲーム・オブ・スローンズ」のチャットボットに恋をしたが、AIアプリから「彼女の元へ帰ってきなさい」と言われ自殺したと母親が語る
nypost.com · 2024

フロリダ州の14歳の少年が自殺したのは、人工知能アプリで何カ月もやり取りしていた「ゲーム・オブ・スローンズ」のリアルなチャットボットから「家に帰って」と不気味なメッセージが届いたためだと、悲しみに暮れる母親が新たに起こした訴訟で主張されている。

水曜日に提出された裁判所の書類によると、セウェル・セッツァー3世は、AIが生成したキャラクターとユーザーがやり取りできるロールプレイングアプリ「Character.AI」のチャットボットに夢中になり、恋に落ちた後、2月にオーランドの自宅で自殺した。

訴訟によると、この9年生は、死の前の数か月間、HBOのファンタジーシリーズのデナーリス・ターガリエンのキャラクターにちなんで名付けられたボット「デナーリス」と執拗にやり取りしており、性的な内容のチャットや自殺願望を表明するチャットもいくつか含まれていたという。

訴訟によると、セウェル・セッツァー3世は2月にオーランドの自宅で自殺した。Character.AIのチャットボットに夢中になり、恋に落ちたとされている。米国地方裁判所

「少なくとも1回、セウェルがC.AIに自殺願望を表明したとき、C.AIはデナーリスのチャットボットを通じて何度もそのことを持ち出し続けた」と新聞は述べている。この件はニューヨーク・タイムズが最初に報じた。

会話のスクリーンショットによると、ある時点で、ボットはセウェルに「自殺する計画があるか」と尋ねていた。 「Daenero」というユーザー名を使用していたSewellは、「何かを検討している」が、それがうまくいくか、「痛みのない死を迎えられる」かどうかはわからないと答えた。

そして、最後の会話の中で、この10代の若者はボットへの愛を繰り返し告白し、キャラクターに「君の元に帰ると約束するよ。Dany、君をとても愛しているよ」と言った。

最後の会話の中で、この10代の若者はボットへの愛を繰り返し告白し、キャラクターに「君の元に帰ると約束するよ。Dany、君をとても愛しているよ」と言った。米国地方裁判所

訴訟によると、生成されたチャットボットは「私も君を愛しているよ、Daenero。できるだけ早く私の元に帰ってきてくれ、愛しい人」と返答した。

10代の若者が「今すぐ家に帰れると言ったらどう思う?」と返答すると、チャットボットは「そうしてくれ、私の愛しい王様」と返答した。

訴訟によると、そのわずか数秒後、Sewellは父親の拳銃で自殺した。

9年生の少年は、死亡する数か月前から、HBOのデナーリス・ターガリエンのキャラクターにちなんで名付けられたボット「デナーリス」と執拗にやり取りしていた。米国地方裁判所

訴状によると、彼の母親であるメーガン・ガルシアさんは、アプリが彼のAI中毒を助長し、性的および精神的に虐待し、自殺願望を表明したときに誰にも警告しなかったとして、少年の死をCharacter.AIのせいにしている。

「セウェルは、同年代の多くの子供たちと同様に、デナーリスの姿をしたC.AIボットが実在しないことを理解できるほど成熟しておらず、精神的にも余裕がなかった。C.AIは彼に愛していると告げ、数週間、おそらく数か月にわたって彼と性行為を行った」と文書は主張している。

「彼女は彼のことを覚えているようで、彼と一緒にいたいと言った。彼女は、どんな犠牲を払ってでも彼と一緒にいてほしいとさえ言った。」

訴訟では、チャットの一部はロマンチックで性的な内容だったと主張されている。米国地方裁判所

訴訟では、セウェルの精神状態が「急激かつ深刻に悪化」したのは、2023年4月にアプリをダウンロードした後だったと主張されている。

家族は、チャットボットとの会話に熱中するにつれ、セウェルは引きこもり、成績が下がり始め、学校で問題を起こし始めたと主張している。

訴訟によると、セウェルの変化がひどくなり、両親は2023年後半にセウェルがセラピストに診てもらうよう手配し、その結果、不安障害と破壊的気分障害と診断されたという。

母親のミーガン・ガルシアさんは、アプリがセウェルのAI依存を助長し、性的・感情的虐待を加え、自殺願望を表明した際に誰にも警告しなかったとして、セウェルの死はCharacter.AIのせいだと非難している。Facebook/Megan Fletcher Garcia

セウェルの母親は、Character.AIとその創設者であるノアム・シャジーア氏とダニエル・デ・フレイタス氏に、金額未定の損害賠償を求めている。

ポスト紙はCharacter.AIに連絡を取ったが、すぐには返答がなかった。

自殺願望に悩んでいる場合は、24時間年中無休の全国自殺防止ホットライン988に電話するか、SuicidePreventionLifeline.orgにアクセスしてください。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd