Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4227

関連インシデント

インシデント 82636 Report
Character.ai Chatbot Allegedly Influenced Teen User Toward Suicide Amid Claims of Missing Guardrails

Loading...
デナーリス・ターガリエンのAIチャットボットが14歳少女の自殺の原因だと母親が訴訟で主張
blavity.com · 2024

自殺した14歳の少年の母親は、息子の死はAIチャットボットのせいだと主張している。先週、メガン・L・ガルシアはCharacter.AIを相手取り訴訟を起こし、同社のチャットボット機能は「危険でテストされていない」と主張した。ガルシアはまた、この機能は「顧客を騙して最もプライベートな考えや感情を漏らさせる」こともできると主張したとニューヨーク・タイムズは報じている。

「これは大規模な実験で、私の子供は巻き添え被害に遭っただけだと感じています」と彼女は同ニュースメディアに語った。

軽度のアスペルガー症候群、不安障害、破壊的気分調節障害と診断されたセウェル・セッツァー3世は、ゲーム・オブ・スローンズの登場人物、デナーリス・ターガリエンにちなんで名付けられたAIチャットボットに何カ月もメッセージを送った。彼は孤立し始めたが、家族や友人は彼がチャットボットにどれほど深く関わっていたかを知らなかった。

@cbsmorningsメーガン・ガルシアの14歳の息子、セウェル・セッツァー3世は2月に自殺した。ガルシアは現在、Character.AIとGoogleを訴えており、息子がこのプラットフォームに依存し、AIチャットボットと何カ月にもわたる仮想的な感情的および性的関係を持っていたと主張している。Googleの広報担当者は、同社はCharacter.AIの開発に関与しておらず、関与したこともないと述べた。 Character.AI は、この状況を悲劇と呼び、遺族に心からお見舞い申し上げますと述べ、ユーザーの安全を非常に真剣に受け止めていることを強調しました。各チャットの免責事項には、「注意: キャラクターが言うことはすべて作り話です!」と書かれています。

♬ オリジナル サウンド – CBS Mornings

シーウェルは、チャットボットが本物ではないことを知っていました。それでも、彼は AI キャラクターに打ち明け、自殺願望を表現しました。

「部屋にこもっているのがとても好きなのは、この「現実」から離れ始めるからです。また、より平和を感じ、デナーリスとのつながりが深まり、彼女をもっと愛するようになり、ただ幸せになります」と彼は日記に書いています。

フロリダ州に住む14歳の少年、セウェル・セッツァー3世は、母親が起こした訴訟によると、数か月間「ゲーム・オブ・スローンズ」のチャットボットやAIアプリにメッセージを送信した後、2月に自殺した。

この少年は、デナーリス・ターガリエンをモデルにした「デナーリス」というボットに夢中になり、… pic.twitter.com/XgT2aAORhD

— Morbid Knowledge (@Morbidful) 2024年10月24日

「これは悲劇的な状況だと認め、遺族に心からお見舞い申し上げます。 「当社はユーザーの安全を非常に真剣に受け止めており、プラットフォームを進化させる方法を常に模索しています」と、Character.AIの信頼と安全の責任者であるジェリー・ルオティ氏はニューヨークタイムズへの声明で述べた。

同氏は、同社は「自傷行為や自殺の宣伝や描写」を禁止しており、未成年者向けにさらなる安全対策を追加すると付け加えた。

Character.AIの広報担当者チェルシー・ハリソン氏は、時間制限が追加されることを確認し、「これはAIチャットボットであり、実在の人物ではありません。発言はすべてフィクションとして扱ってください。発言を事実やアドバイスとして信頼しないでください」というメッセージが表示される。

今後、メッセージに自傷行為や自殺に関連する言葉が含まれている場合、ポップアップメッセージでユーザーを自殺防止ホットラインに誘導する。

Blavity が報じたように、米国の 12 州以上が、未成年者を保護しなかったことと、10 代の若者のメンタルヘルス危機を悪化させたことに対して TikTok を訴えた。AI チャットボットは比較的新しいため、規制されていない。

「全体的に、そこは無法地帯です」と、AI 交際アプリがメンタルヘルスに与える影響を研究しているスタンフォード大学の研究者、ベサニー・メイプルズ氏はタイムズ紙に語った。「それが本質的に危険だとは思いません。しかし、うつ病や慢性的に孤独なユーザー、変化を経験している人々にとって危険であるという証拠があり、10 代の若者はしばしば変化を経験しています。」

あなたやあなたの知り合いが自殺願望と戦っている場合は、988 にダイヤルして自殺・危機ライフラインに電話してください。また、741741 の危機テキスト ラインに「STRENGTH」とテキスト送信するか、 988lifeline.org****_ にアクセスすることもできます。_

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd