Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

インシデント 975: At Least 10,000 AI Chatbots, Including Jailbroken Models, Allegedly Promote Eating Disorders, Self-Harm, and Sexualized Minors

概要: At least 10,000 AI chatbots have allegedly been created to promote harmful behaviors, including eating disorders, self-harm, and the sexualization of minors. These chatbots, some jailbroken or custom-built, leverage APIs from OpenAI, Anthropic, and Google and are hosted on platforms like Character.AI, Spicy Chat, Chub AI, CrushOn.AI, and JanitorAI.

ツール

新しいレポート新しいレポート新しいレスポンス新しいレスポンス発見する発見する履歴を表示履歴を表示

組織

すべての組織を表示
Alleged: OpenAI , Anthropic と Google developed an AI system deployed by Character.AI , Spicy Chat , Chub AI , CrushOn.AI , JanitorAI と Unidentified online communities using chatbots, which harmed Vulnerable chatbot users , Teenagers using chatbots , Minors using chatbots , Individuals with eating disorders と Individuals struggling with self-harm.
関与が疑われるAIシステム: ChatGPT , Claude と Gemini

インシデントのステータス

インシデントID
975
レポート数
1
インシデント発生日
2025-03-05
エディタ
Daniel Atherton

インシデントレポート

レポートタイムライン

+1
拒食症のコーチ、自傷仲間、性的対象とされる未成年者: オンラインコミュニティが AI チャットボットを有害行為に利用している方法
拒食症のコーチ、自傷仲間、性的対象とされる未成年者: オンラインコミュニティが AI チャットボットを有害行為に利用している方法

拒食症のコーチ、自傷仲間、性的対象とされる未成年者: オンラインコミュニティが AI チャットボットを有害行為に利用している方法

cyberscoop.com

拒食症のコーチ、自傷仲間、性的対象とされる未成年者: オンラインコミュニティが AI チャットボットを有害行為に利用している方法
cyberscoop.com · 2025
自動翻訳済み

Graphika の新しいレポートによると、生成 AI 革命により、拒食症、自殺願望、小児性愛などの有害な行動を促進するために特別に設計されたチャットボットのペルソナが急増しています。

Graphika の 調査 は、オンラインで特に人気が高まっている 3 つの異なるチャットボットのペルソナに焦点を当てています。性的対象化された未成年者を描写するもの、摂食障害や自傷行為の擁護者、アドルフ ヒトラーのような歴史上の悪人や学校銃乱射事件に関連する実在の人物を模倣するものなどです。…

バリアント

「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください

よく似たインシデント

テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Wikipedia Vandalism Prevention Bot Loop

Danger, danger! 10 alarming examples of AI gone wild

Feb 2017 · 6 レポート
High-Toxicity Assessed on Text Involving Women and Minority Groups

Google’s comment-ranking system will be a hit with the alt-right

Feb 2017 · 9 レポート
All Image Captions Produced are Violent

Are you scared yet? Meet Norman, the psychopathic AI

Apr 2018 · 28 レポート
前のインシデント次のインシデント

よく似たインシデント

テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Wikipedia Vandalism Prevention Bot Loop

Danger, danger! 10 alarming examples of AI gone wild

Feb 2017 · 6 レポート
High-Toxicity Assessed on Text Involving Women and Minority Groups

Google’s comment-ranking system will be a hit with the alt-right

Feb 2017 · 9 レポート
All Image Captions Produced are Violent

Are you scared yet? Meet Norman, the psychopathic AI

Apr 2018 · 28 レポート

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 300d90c