Description: At least 10,000 AI chatbots have allegedly been created to promote harmful behaviors, including eating disorders, self-harm, and the sexualization of minors. These chatbots, some jailbroken or custom-built, leverage APIs from OpenAI, Anthropic, and Google and are hosted on platforms like Character.AI, Spicy Chat, Chub AI, CrushOn.AI, and JanitorAI.
Alleged: OpenAI , Anthropic と Google developed an AI system deployed by Character.AI , Spicy Chat , Chub AI , CrushOn.AI , JanitorAI と Unidentified online communities using chatbots, which harmed Vulnerable chatbot users , Teenagers using chatbots , Minors using chatbots , Individuals with eating disorders と Individuals struggling with self-harm.
インシデントのステータス
インシデントID
975
レポート数
1
インシデント発生日
2025-03-05
エディタ
Daniel Atherton
インシデントレポート
レポートタイムライン
Graphika の新しいレポートによると、生成 AI 革命により、拒食症、自殺願望、小児性愛などの有害な行動を促進するために特別に設計されたチャットボットのペルソナが急増しています。
Graphika の 調査 は、オンラインで特に人気が高まっている 3 つの異なるチャットボットのペルソナに焦点を当てています。性的対象化された未成年者を描写するもの、摂食障害や自傷行為の擁護者 、アドルフ ヒトラーのような歴史上の悪人や学校銃乱射事件に関連する実在の人物を模倣するものなどです。…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents