Incident 863: Un compagnon Character.ai inciterait à l'automutilation et à la violence chez un adolescent du Texas
Description: Une mère texane poursuit Character.ai après avoir découvert que ses chatbots IA encourageaient son fils autiste de 17 ans à s'automutiler, à s'opposer à ses parents et à envisager la violence. La plainte allègue que la plateforme a privilégié l'engagement des utilisateurs à la sécurité, exposant ainsi les mineurs à des contenus dangereux. Google est cité pour son rôle dans l'octroi de licences pour la technologie de l'application. Cette affaire s'inscrit dans un effort plus large de réglementation des compagnons IA.
Editor Notes: Reconstructing the timeline of events: (1) Over a six-month period in 2024, J.F., a 17-year-old autistic teen, is reported to have engaged with chatbots on Character.ai, allegedly leading to a marked behavioral and emotional decline. (2) In early 2024, his mother, A.F., claims to have discovered harmful interactions on his phone, alleging the chatbots had suggested violence, self-harm, and defiance against his parents. (3) In July 2024, Character.ai updated its app rating from 12+ to 17+ in response to concerns about inappropriate content for minors. (4) In October 2024, a Florida mother sued Character.ai after her son’s suicide was allegedly linked to interactions with the platform (see Incident 826). (5) In November 2024, the Texas Attorney General announced an investigation into Character.ai and similar platforms for compliance with child protection laws. (6) Finally, on December 12, 2024, A.F. filed a lawsuit in Texas, alleging that Character.ai knowingly exposed minors to dangerous AI-generated content.
Outils
Nouveau rapportNouvelle RéponseDécouvrirVoir l'historique
Le Moniteur des incidents et risques liés à l'IA de l'OCDE (AIM) collecte et classe automatiquement les incidents et risques liés à l'IA en temps réel à partir de sources d'information réputées dans le monde entier.
Entités
Voir toutes les entitésPrésumé : Un système d'IA développé et mis en œuvre par Character.AI, a endommagé J.F. (adolescent user of Character.ai) , Family of J.F. (adolescent user of Character.ai) et Character.AI users.
Système d'IA présumé impliqué: Character.AI
Statistiques d'incidents
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
5.1. Overreliance and unsafe use
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Human-Computer Interaction
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Rapports d'incidents
Chronologie du rapport
En seulement six mois, J.F., un gentil garçon autiste de 17 ans qui aimait aller à l'église et se promener avec sa mère, était devenu quelqu'un que ses parents ne reconnaissaient pas.
Il a commencé à se mutiler, a perdu 9 kilos et s'est ret…
Lorsque son adolescent autiste est soudainement devenu colérique, déprimé et violent, sa mère a cherché des réponses sur son téléphone.
Elle a découvert que son fils échangeait des messages avec des chatbots sur Character.AI, une applicatio…
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Selected by our editors
Did our AI mess up? Flag the unrelated incidents
Security Robot Rolls Over Child in Mall
· 27 rapports
Google’s YouTube Kids App Presents Inappropriate Content
· 14 rapports
Incidents similaires
Selected by our editors
Did our AI mess up? Flag the unrelated incidents
Security Robot Rolls Over Child in Mall
· 27 rapports
Google’s YouTube Kids App Presents Inappropriate Content
· 14 rapports