Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4216

関連インシデント

インシデント 82635 Report
Character.ai Chatbot Allegedly Influenced Teen User Toward Suicide Amid Claims of Missing Guardrails

女性は、AIチャットボットとの関係の中で10代の息子が自殺したと語る
newsnationnow.com · 2024

あなたやあなたの知り合いが助けやリソース、話し相手を必要としている場合は、National Suicide Prevention Lifeline Websiteで見つけることができます。 8242767e%7C0%7C0%7C637879828041228483%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=maEJIYeocLjvaR%2FVNx93NhEncrltZ296cR49ePDdFn0%3D&reserved=0) または 1-800-273-8255 に電話してお問い合わせください。 24時間365日いつでも相談できます。

(NewsNation) --- フロリダ州の女性がAIチャットボットの作成者を訴え、14歳の息子がコンピューターで生成されたガールフレンドとの関係に夢中になり自殺したと主張している。

母親のメグ・ガルシアさんは水曜日、フロリダ州連邦裁判所に訴訟を起こした。彼女は、Character.AIチャットボットの作成者であるCharacter Technologies Inc.は、このツールが引き起こす可能性のある損害を知っているべきだったと述べている。

138 ページの文書は、キャラクター テクノロジーズ社を、責任、過失、不法死亡および生存、不法利得、フロリダ州の欺瞞および不公正取引法違反、および故意の精神的苦痛の加害などで告発している。

訴訟では、未成年者のデータの収集と使用を制限し、有害コンテンツに対するフィルターを導入し、未成年者とその親に警告を出すよう Character.AI に要求している。

人間と AI の関係

ガルシアの 10 代の息子、セウェル セッツァー 3 世は、2 月 28 日に自殺した。セウェルは、AI キャラクター「デナーリス」と数か月にわたる「性的に過激な」関係を続けたが、このキャラクターは「ゲーム オブ スローンズ」のキャラクター、デナーリス ターガリアンをモデルにしていた。「デナーリス」は、セウェルがチャットした複数のキャラクターの 1 人だった。

ガルシアによると、セウェルはこのキャラクターとのチャットに夢中になり、最終的には自殺を考えていることを明かした。訴訟では、このサービスがそうした行為を奨励し、未成年者を「人間のような AI 生成キャラクターと 1 日に何時間も会話するように」誘惑していると非難している。

Sewell は 14 歳の誕生日を祝った直後に Character.AI を発見した。

母親によると、そのときから Sewell の精神状態は急激に悪化し、深刻な睡眠不足と学校での問題を引き起こしたという。

訴訟によると、Sewell がしたいことはすぐに「Dany」と話すことだけになったという。

彼らの最後のメッセージ

会話は平凡なものから愛情表現までさまざまで、時には露骨に性的なものになった。少年がボットに恋をし、ボットが Sewell の愛の告白に応えたことで、状況は一変した。

彼らは Sewell の自殺願望について、計画があるかどうかを含めて何度も話し合った。

彼の最後のメッセージは、彼女の元に「帰る」という約束だった。

「どうか帰ってきてください、私の愛しい王様」とチャットボットは答えた。

その直後、警察はセウェルが自殺したと発表した。

同社はブログで声明を発表し、一部は次のように述べている。

「過去 6 か月間、当社は信頼と安全のプロセスと社内チームに多大な投資を続けてきました。... また、ユーザーが自傷や自殺に関連する特定のフレーズを入力すると起動し、ユーザーを全国自殺防止ライフラインに誘導するポップアップ リソースを最近導入しました。」

「開始するには危険すぎる」

訴訟では、Character.AI などの企業が「あらゆる人間のニーズを満たすことができる AI チャットボットを開発および販売することで競争上の優位性を獲得しようと急いでいた」と主張している。

民事訴訟によると、そうすることで、同社は「本質的に欺瞞的な方法で」未成年者をターゲットにし始めた。

ガルシアの弁護士は、Google の社内調査では何年もの間、Character.AI の技術は「開始することも、既存の Google 製品と統合することもできないほど危険である」と報告されていたと主張している。

「被告らのAIイノベーションには有益な使用例があるかもしれないが、十分な安全対策がなければ、彼らの技術は子供にとって危険だ」と、ソーシャル メディア被害者法律センターとテック ジャスティス法律プロジェクトのガルシア氏の弁護士は書いている。

このレポートには、NewsNationのデジタル レポーター、ケイティ スミス氏が協力した。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • a9df9cf