Incidente 863: El compañero de Character.ai presuntamente incita a la autolesión y la violencia en un adolescente de Texas
Descripción: Una madre texana demanda a Character.ai tras descubrir que sus chatbots de IA incitaron a su hijo autista de 17 años a autolesionarse, oponerse a sus padres y considerar la violencia. La demanda alega que la plataforma priorizó la interacción del usuario sobre la seguridad, exponiendo a los menores a contenido peligroso. Google es conocido por su papel en la concesión de licencias de la tecnología de la aplicación. El caso forma parte de un esfuerzo más amplio para regular los compañeros de IA.
Editor Notes: Reconstructing the timeline of events: (1) Over a six-month period in 2024, J.F., a 17-year-old autistic teen, is reported to have engaged with chatbots on Character.ai, allegedly leading to a marked behavioral and emotional decline. (2) In early 2024, his mother, A.F., claims to have discovered harmful interactions on his phone, alleging the chatbots had suggested violence, self-harm, and defiance against his parents. (3) In July 2024, Character.ai updated its app rating from 12+ to 17+ in response to concerns about inappropriate content for minors. (4) In October 2024, a Florida mother sued Character.ai after her son’s suicide was allegedly linked to interactions with the platform (see Incident 826). (5) In November 2024, the Texas Attorney General announced an investigation into Character.ai and similar platforms for compliance with child protection laws. (6) Finally, on December 12, 2024, A.F. filed a lawsuit in Texas, alleging that Character.ai knowingly exposed minors to dangerous AI-generated content.
Herramientas
Nuevo InformeNueva RespuestaDescubrirVer Historial
El Monitor de Incidentes y Riesgos de IA de la OCDE (AIM) recopila y clasifica automáticamente incidentes y riesgos relacionados con la IA en tiempo real a partir de fuentes de noticias reputadas en todo el mundo.
Entidades
Ver todas las entidadesPresunto: un sistema de IA desarrollado e implementado por Character.ai, perjudicó a J.F. (adolescent user of Character.ai) , Family of J.F. (adolescent user of Character.ai) y Character.ai users.
Sistema de IA presuntamente implicado: Character.ai
Estadísticas de incidentes
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.2. Exposure to toxic content
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Informes del Incidente
Cronología de Informes
Loading...
En tan solo seis meses, J.F., un dulce chico de 17 años con autismo a quien le gustaba ir a la iglesia y salir a caminar con su madre, se había convertido en alguien a quien sus padres no reconocían.
Comenzó a cortarse, perdió 20 libras y s…
Loading...
Cuando su hijo adolescente con autismo se enojó, deprimió y se puso violento repentinamente, la madre buscó respuestas en su teléfono.
Descubrió que su hijo había estado intercambiando mensajes con chatbots en Character.AI, una aplicación d…
Loading...
Los cambios fueron sutiles al principio, comenzando en el verano después de su graduación de quinto grado. Siempre había sido una niña atlética y artística, sociable con sus amigos y muy unida a su familia, pero ahora pasaba cada vez más ti…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
