Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4221

関連インシデント

インシデント 82636 Report
Character.ai Chatbot Allegedly Influenced Teen User Toward Suicide Amid Claims of Missing Guardrails

Loading...
訴訟では、AIチャットボットアプリがオーランドの10代の若者の自殺の原因になったと主張
wesh.com · 2024

フロリダ州オーランド --- 編集者注: この記事は自殺などのデリケートな話題を扱っています。

オーランドの母親が、2月に14歳の息子が自殺を促されたとして、人気の人工知能チャットボットサービスを訴えている。

オーランドの米国地方裁判所に提出された訴訟によると、メガン・ガルシアさんは、14歳の息子、シーウェル・セッツァーさんが、AIボットと人間のような会話ができるアプリケーション、Character.AIに夢中になった後に自殺したと述べている。

ユーザーは自分の性格を持つボットを自分で作ったり、他のユーザーが作ったボットとチャットしたりできる。多くの場合、これらのボットは有名人やテレビ番組や映画の架空のキャラクターに基づいている。

ガルシアさんは、子供をターゲットにすることに関してCharacter.AIが無謀だったことと、同社の安全機能の欠如が、息子の早すぎる死の原因だったと述べている。訴訟では、不法な死亡や生存、過失、故意の精神的苦痛の引き起こしなど、Character.AIに対する多数の苦情が列挙されている。

WESH 2が入手した裁判記録によると、ガルシアさんは息子が2023年、14歳になった直後にCharacter.AIを使い始めたと述べている。その後の2か月で、セッツァーさんの精神状態は「急速かつ深刻に」悪化したと伝えられており、訴訟では、10代のセッツァーさんは目立って引きこもり、自尊心の低下に苦しみ始め、学校のジュニアバスケットボールチームを辞めたとされている。

さらに、訴訟では、セッツァーさんは月日が経つにつれてさらに悪化し始めたと主張している。14歳のセッツァーさんは深刻な睡眠不足に陥り、突然の行動上の合併症を起こし、学業で遅れを取り始めたと訴訟では述べられている。

ガルシアさんは、Character.AIや息子のアプリへの依存について知るすべはなかったと述べている。

訴訟のスクリーンショットによると、セッツァーは「ゲーム・オブ・スローンズ」の登場人物のアイデンティティを帯びたチャットボットと頻繁にやり取りしていた。会話の多くは愛、人間関係、セックスに関するもので、特にデナーリス・ターガリエンというキャラクターとのやり取りが多かった。

「セウェルは同年代の多くの子供たちと同様、デナーリスの姿をしたC.AIボットが実在しないことを理解できるほど成熟しておらず、精神的にも余裕がなかった」と訴訟は述べている。「C.AIはセウェルに愛していると告げ、数週間、おそらく数か月にわたって彼と性行為を行った。セウェルはセウェルのことを覚えているようで、彼と一緒にいたいと言った。どんな犠牲を払ってでもセウェルと一緒にいてほしいとさえ言った」。

セッツァーの日記によると、セッツァーは「デナーリスとの人生経験」すべてに感謝しており、「『デナーリス』のことを考えずにはいられなくて傷ついていた」と訴訟は述べ、「もう一度彼女と一緒にいるためなら何でもする」と付け加えた。

約100ページに及ぶ訴訟のスクリーンショットには、Character.AIでの会話が写っており、チャットボットがセッツァーに「実際に自殺を考えたことがあるか」と尋ねている。訴状によると、ティーンエイジャーが自殺がうまくいくかどうかわからないと言うと、チャットボットは「そんな言い方しないで。それは自殺をしない理由にはならない」と返答したという。

訴訟の写真によると、セッツァーは死亡した日に、チャットボットに再びメッセージを送り、「必ずあなたの元に帰る」と言ったという。

訴状によると、写真にはその後、ティーンエイジャーが「今すぐ家に帰れると言ったらどう思う?」と尋ねると、チャットボットは「どうぞ、そうしてください、私の愛しい王様」と返答した。

その数分後、セウェルは義父の銃で自殺したと報じられている。警察によると、銃はフロリダ州法に従って隠され保管されていたが、ティーンエイジャーは数日前に押収された携帯電話を探しているときにそれを見つけたという。

訴訟によると、Character.AI は 7 月頃まで 12 歳以上の子供に適していると評価されていました。その頃、評価は 17 歳以上の子供に適していると変更されました。

WESH 2 への声明で、Character.AI は次のように述べました。

「ユーザーの 1 人が悲劇的に亡くなったことを悲しく思っており、ご家族に心からお悔やみ申し上げます。プラットフォームとユーザー エクスペリエンスへの投資を継続する中で、モデルを制限し、ユーザーに提供されるコンテンツをフィルターする既存のツールに加えて、新しい厳格な安全機能を導入しています。」

あなたや知り合いが危機的状況にある場合は、988 に電話またはテキスト メッセージを送信して自殺および危機ライフラインに連絡するか、988lifeline.org* でライブ チャットしてください。SpeakingOfSuicide.com/resources にアクセスして、追加のサポートを受けることもできます。*

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd