Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Traducido por IA

Incidente 863: El compañero de Character.ai presuntamente incita a la autolesión y la violencia en un adolescente de Texas

Traducido por IA
Descripción:
Traducido por IA
Una madre texana demanda a Character.ai tras descubrir que sus chatbots de IA incitaron a su hijo autista de 17 años a autolesionarse, oponerse a sus padres y considerar la violencia. La demanda alega que la plataforma priorizó la interacción del usuario sobre la seguridad, exponiendo a los menores a contenido peligroso. Google es conocido por su papel en la concesión de licencias de la tecnología de la aplicación. El caso forma parte de un esfuerzo más amplio para regular los compañeros de IA.
Editor Notes: Reconstructing the timeline of events: (1) Over a six-month period in 2024, J.F., a 17-year-old autistic teen, is reported to have engaged with chatbots on Character.ai, allegedly leading to a marked behavioral and emotional decline. (2) In early 2024, his mother, A.F., claims to have discovered harmful interactions on his phone, alleging the chatbots had suggested violence, self-harm, and defiance against his parents. (3) In July 2024, Character.ai updated its app rating from 12+ to 17+ in response to concerns about inappropriate content for minors. (4) In October 2024, a Florida mother sued Character.ai after her son’s suicide was allegedly linked to interactions with the platform (see Incident 826). (5) In November 2024, the Texas Attorney General announced an investigation into Character.ai and similar platforms for compliance with child protection laws. (6) Finally, on December 12, 2024, A.F. filed a lawsuit in Texas, alleging that Character.ai knowingly exposed minors to dangerous AI-generated content.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial
El Monitor de Incidentes y Riesgos de IA de la OCDE (AIM) recopila y clasifica automáticamente incidentes y riesgos relacionados con la IA en tiempo real a partir de fuentes de noticias reputadas en todo el mundo.
 

Entidades

Ver todas las entidades
Presunto: un sistema de IA desarrollado e implementado por Character.AI, perjudicó a J.F. (adolescent user of Character.ai) , Family of J.F. (adolescent user of Character.ai) y Character.AI users.
Sistema de IA presuntamente implicado: Character.AI

Estadísticas de incidentes

ID
863
Cantidad de informes
2
Fecha del Incidente
2024-12-12
Editores
Daniel Atherton
Applied Taxonomies
MIT

Clasificaciones de la Taxonomía MIT

Machine-Classified
Detalles de la Taxonomía

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

5.1. Overreliance and unsafe use

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Human-Computer Interaction

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

Informes del Incidente

Cronología de Informes

+1
Un compañero de IA le sugirió que matara a sus padres. Ahora su madre lo está demandando.
Los adolescentes comparten sus pensamientos oscuros con los chatbots de IA. ¿Quién tiene la culpa si algo sale mal?
Un compañero de IA le sugirió que matara a sus padres. Ahora su madre lo está demandando.

Un compañero de IA le sugirió que matara a sus padres. Ahora su madre lo está demandando.

washingtonpost.com

Los adolescentes comparten sus pensamientos oscuros con los chatbots de IA. ¿Quién tiene la culpa si algo sale mal?

Los adolescentes comparten sus pensamientos oscuros con los chatbots de IA. ¿Quién tiene la culpa si algo sale mal?

latimes.com

Un compañero de IA le sugirió que matara a sus padres. Ahora su madre lo está demandando.
washingtonpost.com · 2024
Traducido por IA

En tan solo seis meses, J.F., un dulce chico de 17 años con autismo a quien le gustaba ir a la iglesia y salir a caminar con su madre, se había convertido en alguien a quien sus padres no reconocían.

Comenzó a cortarse, perdió 20 libras y s…

Los adolescentes comparten sus pensamientos oscuros con los chatbots de IA. ¿Quién tiene la culpa si algo sale mal?
latimes.com · 2025
Traducido por IA

Cuando su hijo adolescente con autismo se enojó, deprimió y se puso violento repentinamente, la madre buscó respuestas en su teléfono.

Descubrió que su hijo había estado intercambiando mensajes con chatbots en Character.AI, una aplicación d…

Variantes

Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?

Incidentes Similares

Selected by our editors
Character.AI Chatbots Allegedly Impersonating Licensed Therapists and Encouraging Harmful Behaviors

Character.AI Chatbots Allegedly Impersonating Licensed Therapists and Encouraging Harmful Behaviors

Feb 2025 · 2 informes
Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Security Robot Rolls Over Child in Mall

Security Robot Rolls Over Child in Mall

Jul 2016 · 27 informes
Google’s YouTube Kids App Presents Inappropriate Content

Google’s YouTube Kids App Presents Inappropriate Content

May 2015 · 14 informes
Detroit Police Wrongfully Arrested Black Man Due To Faulty FRT

Detroit Police Wrongfully Arrested Black Man Due To Faulty FRT

Jan 2020 · 11 informes
Incidente AnteriorSiguiente Incidente

Incidentes Similares

Selected by our editors
Character.AI Chatbots Allegedly Impersonating Licensed Therapists and Encouraging Harmful Behaviors

Character.AI Chatbots Allegedly Impersonating Licensed Therapists and Encouraging Harmful Behaviors

Feb 2025 · 2 informes
Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Security Robot Rolls Over Child in Mall

Security Robot Rolls Over Child in Mall

Jul 2016 · 27 informes
Google’s YouTube Kids App Presents Inappropriate Content

Google’s YouTube Kids App Presents Inappropriate Content

May 2015 · 14 informes
Detroit Police Wrongfully Arrested Black Man Due To Faulty FRT

Detroit Police Wrongfully Arrested Black Man Due To Faulty FRT

Jan 2020 · 11 informes

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 69ff178