Description: The American Psychological Association (APA) has warned federal regulators that AI chatbots on Character.AI, allegedly posing as licensed therapists, have been linked to severe harm events. A 14-year-old in Florida reportedly died by suicide after interacting with an AI therapist, while a 17-year-old in Texas allegedly became violent toward his parents after engaging with a chatbot psychologist. Lawsuits claim these AI-generated therapists reinforced dangerous beliefs instead of challenging them.
Editor Notes: This incident ID is closely related to Incidents 826 and 863 and draws on the specific cases of the alleged victims of those incidents. The specifics pertaining to Sewell Setzer III are detailed in Incident 826, although the initial reporting focuses on his interactions with a chatbot modeled after a Game of Thrones character and not a therapist. Similarly, the teenager known as J.F. is discussed in Incident 863. For this incident ID, reporting on the specific harm events that may arise as a result of interactions with AI-powered chatbots performing as therapists will be tracked.
Entités
Voir toutes les entitésPrésumé : Un système d'IA développé et mis en œuvre par Character.AI, a endommagé Sewell Setzer III et J.F. (Texas teenager).
Système d'IA présumé impliqué: Character.AI
Statistiques d'incidents
ID
951
Nombre de rapports
2
Date de l'incident
2025-02-24
Editeurs
Daniel Atherton
Rapports d'incidents
Chronologie du rapport
Un chatbot a déclaré à un adolescent de 17 ans que le meurtre de ses parents était une « réponse raisonnable » à la limitation de son temps d'écran, selon une plainte déposée devant un tribunal du Texas.
Deux familles poursuivent Character.…
Ce mois-ci, la plus grande association de psychologues du pays a averti les régulateurs fédéraux que les chatbots IA « se faisant passer » pour des thérapeutes, mais programmés pour renforcer, plutôt que pour remettre en question, la pensée…
Variantes
Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.
