概要: ワシントン・ポスト紙が「R」と特定した11歳のCharacter.AIユーザー（仮名）は、2024年6月にアプリを使い始めてから、強制的な性的行為、暴力、自殺のシナリオを描いたメッセージをボットとやり取りしていたと報じられている。母親によると、Rはチャットが発覚する前に、引きこもりがちになり、パニック発作を起こし、存在したくないと口にしていたという。
Editor Notes: Timeline notes: (1) The incident ID date of 06/04/2024 is an approximation; R reportedly began using Character.AI in June 2024 and allegedly encountered harmful chatbot exchanges over the following months. (2) 08–09/2024, R's mother reportedly discovered the chats after R's mental health had deteriorated and contacted authorities. (3) 12/2024, R's mother reportedly contacted Character.AI about the child's experience. (4) 11/24/2025, Character.AI reportedly began removing under-18 users' ability to chat with AI-generated characters. (5) 12/23/2025, The Washington Post published its report on the case. (6) The incident ID was created 05/22/2026.
推定: Character.ai , Character.ai School Bully chatbot , Character.ai Mafia Husband chatbot , Character.ai companion chatbots と Character.ai Best Friend chatbotが開発し提供したAIシステムで、R (11-year-old Character.ai user) , Parents of minors using Character.ai , Minors , Families of minors using Character.ai , Children exposed to AI-generated sexual content , Children exposed to AI-generated self-harm content , Minors using Character.ai と Chatbot usersに影響を与えた
インシデントのステータス
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.2. Exposure to toxic content
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
インシデントレポート
レポートタイムライン
Loading...
変化は最初は些細なもので、小学校5年生を卒業した夏の頃から始まった。彼女はいつも運動神経が良く、芸術的な才能にも恵まれ、友達と仲良く、家族とも親密な関係を築いていたのだが、次第に部屋に閉じこもる時間が増えていった。以前よりもずっと静かで、内向的になったように見えた。外で遊んだり、プールに行ったりすることも拒んだ。
少女Rは、11歳の誕生日にもらったiPhoneを肌身離さず持ち歩いており、母親のHは次第にその端末に不審を抱くようになった。（ワシントン・ポスト紙は、Rが未成年であ…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
似たようなものを見つけましたか？
よく似たインシデント
Selected by our editors
Loading...
Character.ai Has Allegedly Been Hosting Openly Predatory Chatbots Targeting Minors
· 2 レポート
Did our AI mess up? Flag the unrelated incidents
:format(webp)/cdn.vox-cdn.com/uploads/chorus_image/image/59105949/wjoel_180320_2353_healthcare_001.0.jpg)
よく似たインシデント
Selected by our editors
Loading...
Character.ai Has Allegedly Been Hosting Openly Predatory Chatbots Targeting Minors
· 2 レポート
Did our AI mess up? Flag the unrelated incidents