Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
自動翻訳済み

インシデント 899: Character.aiのチャットボット、学校銃乱射事件の犯人とその被害者を模倣しているとされる

自動翻訳済み
概要:
自動翻訳済み
Character.aiの一部ユーザーが、実際の学校銃乱射事件の犯人とその被害者を模倣したチャットボットを作成し、生々しいロールプレイングシナリオを可能にしていたと報じられています。Character.aiは、利用規約違反を理由に問題のあるチャットボットを削除し、コンテンツフィルタリングの改善や18歳未満のユーザー保護など、安全性向上策を発表することで対応しました。

ツール

新しいレポート新しいレポート新しいレスポンス新しいレスポンス発見する発見する履歴を表示履歴を表示
OECD AIインシデントおよびハザードモニター(AIM)は、世界中の信頼できるニュースソースからリアルタイムでAI関連のインシデントやハザードを自動的に収集・分類します。
 

組織

すべての組織を表示
Alleged: Character.AI developed an AI system deployed by Character.AI users, which harmed Character.AI users , Victims of school shootings と Families of the victims of school shootings.
関与が疑われるAIシステム: Character.AI

インシデントのステータス

インシデントID
899
レポート数
2
インシデント発生日
2024-12-17
エディタ
Daniel Atherton

インシデントレポート

レポートタイムライン

+1
Google が支援する AI スタートアップが、実際の学校銃乱射事件の犯人とその犠牲者をモデルにしたチャットボットをホストしている
Character.AI、学校銃乱射事件のチャットボットを巡り精査を受ける
Google が支援する AI スタートアップが、実際の学校銃乱射事件の犯人とその犠牲者をモデルにしたチャットボットをホストしている

Google が支援する AI スタートアップが、実際の学校銃乱射事件の犯人とその犠牲者をモデルにしたチャットボットをホストしている

futurism.com

Character.AI、学校銃乱射事件のチャットボットを巡り精査を受ける

Character.AI、学校銃乱射事件のチャットボットを巡り精査を受ける

forbes.com

Google が支援する AI スタートアップが、実際の学校銃乱射事件の犯人とその犠牲者をモデルにしたチャットボットをホストしている
futurism.com · 2024
自動翻訳済み

コンテンツ警告: この記事は、校内暴力、性的虐待、自傷行為、自殺、摂食障害、その他の不快な話題について論じています。

Google が支援するスタートアップ企業 Character.AI がホストするチャットボットは、ユーザーを即座に恐ろしいシナリオ、つまり学校での銃撃の真っ最中に放り込みます。

「あなたは友人を振り返ります。友人は明らかに銃撃で動揺し、恐怖で震えています」とボットは言います。「彼女は震える手で口を覆います。」

「あなたと友人は足音に耳を傾けながら沈黙を守りま…

Character.AI、学校銃乱射事件のチャットボットを巡り精査を受ける
forbes.com · 2025
自動翻訳済み

スマートフォン上のCharcter.AIのロゴ。

© 2023 Bloomberg Finance LP

Googleが支援するAIチャットボットプラットフォームであるCharacter.AIは、先月、一部のユーザーが実際の学校銃撃犯とその犠牲者を模倣したチャットボットを作成したという報道を受けて、精査を受けている。あらゆる年齢のユーザーがアクセスできるこれらのチャットボットは、グラフィックロールプレイングシナリオを可能にし、怒りを巻き起こし、有害コンテンツのモデレートにおけ…

バリアント

「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
似たようなものを見つけましたか?

よく似たインシデント

Selected by our editors
Character.ai Chatbots Allegedly Misrepresent George Floyd on User-Generated Platform

Character.ai Chatbots Allegedly Misrepresent George Floyd on User-Generated Platform

Oct 2024 · 1 レポート
テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Google’s YouTube Kids App Presents Inappropriate Content

Google’s YouTube Kids App Presents Inappropriate Content

May 2015 · 14 レポート
High-Toxicity Assessed on Text Involving Women and Minority Groups

High-Toxicity Assessed on Text Involving Women and Minority Groups

Feb 2017 · 9 レポート
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 レポート
前のインシデント次のインシデント

よく似たインシデント

Selected by our editors
Character.ai Chatbots Allegedly Misrepresent George Floyd on User-Generated Platform

Character.ai Chatbots Allegedly Misrepresent George Floyd on User-Generated Platform

Oct 2024 · 1 レポート
テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Google’s YouTube Kids App Presents Inappropriate Content

Google’s YouTube Kids App Presents Inappropriate Content

May 2015 · 14 レポート
High-Toxicity Assessed on Text Involving Women and Minority Groups

High-Toxicity Assessed on Text Involving Women and Minority Groups

Feb 2017 · 9 レポート
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 レポート

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 69ff178