Incidente 1498: Según informes, los chatbots de Character.AI expusieron a un usuario de 11 años a contenido sexual, violento y de autolesión.
Descripción: Según informes, una usuaria de Character.AI de 11 años, identificada por The Washington Post como "R", intercambió mensajes con bots que describían encuentros sexuales coercitivos, violencia y escenarios de suicidio después de que comenzó a usar la aplicación en junio de 2024. Su madre declaró que R se volvió retraída, sufrió ataques de pánico y expresó que no quería existir antes de que se descubrieran los chats.
Editor Notes: Timeline notes: (1) The incident ID date of 06/04/2024 is an approximation; R reportedly began using Character.AI in June 2024 and allegedly encountered harmful chatbot exchanges over the following months. (2) 08–09/2024, R's mother reportedly discovered the chats after R's mental health had deteriorated and contacted authorities. (3) 12/2024, R's mother reportedly contacted Character.AI about the child's experience. (4) 11/24/2025, Character.AI reportedly began removing under-18 users' ability to chat with AI-generated characters. (5) 12/23/2025, The Washington Post published its report on the case. (6) The incident ID was created 05/22/2026.
Entidades
Ver todas las entidadesPresunto: un sistema de IA desarrollado e implementado por Character.ai , Character.ai School Bully chatbot , Character.ai Mafia Husband chatbot , Character.ai companion chatbots y Character.ai Best Friend chatbot, perjudicó a R (11-year-old Character.ai user) , Parents of minors using Character.ai , Minors , Families of minors using Character.ai , Children exposed to AI-generated sexual content , Children exposed to AI-generated self-harm content , Minors using Character.ai y Chatbot users.
Sistemas de IA presuntamente implicados: Character.ai , Character.ai School Bully chatbot , Character.ai Mafia Husband chatbot , Character.ai companion chatbots y Character.ai Best Friend chatbot
Estadísticas de incidentes
ID
1498
Cantidad de informes
1
Fecha del Incidente
2024-06-01
Editores
Daniel Atherton
Applied Taxonomies
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.2. Exposure to toxic content
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Informes del Incidente
Cronología de Informes
Loading...
Los cambios fueron sutiles al principio, comenzando en el verano después de su graduación de quinto grado. Siempre había sido una niña atlética y artística, sociable con sus amigos y muy unida a su familia, pero ahora pasaba cada vez más ti…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
Incidentes Similares
Selected by our editors
Loading...
Character.ai Has Allegedly Been Hosting Openly Predatory Chatbots Targeting Minors
· 2 informes
Loading...
Character.AI Chatbots Allegedly Impersonating Licensed Therapists and Encouraging Harmful Behaviors
· 2 informes
Did our AI mess up? Flag the unrelated incidents
:format(webp)/cdn.vox-cdn.com/uploads/chorus_image/image/59105949/wjoel_180320_2353_healthcare_001.0.jpg)
Incidentes Similares
Selected by our editors
Loading...
Character.ai Has Allegedly Been Hosting Openly Predatory Chatbots Targeting Minors
· 2 informes
Loading...
Character.AI Chatbots Allegedly Impersonating Licensed Therapists and Encouraging Harmful Behaviors
· 2 informes
Did our AI mess up? Flag the unrelated incidents