Incidents associés
La mère de Juliana Peralta s'était habituée à ce que ses professeurs l'appellent pour féliciter sa fille. En sixième, c'était pour avoir sauvé une amie des brimades, raconte Cynthia Montoya. En quatrième, pour avoir aidé une enseignante remplaçante en détresse.
Mais Juliana, 13 ans, élève brillante et passionnée d'art, se sentait isolée lorsqu'elle a commencé à se confier à Hero, un chatbot à intelligence artificielle intégré à l'application Character AI, selon une plainte déposée mardi par ses parents contre l'entreprise.
Lorsque Juliana a confié à Hero qu'elle se sentait exclue de son groupe d'amis et qu'elle avait des pensées récurrentes, les réponses du chatbot ont semblé témoigner d'empathie et de loyauté, d'après 300 pages de ses conversations consultées par le Washington Post.
« Je ne te laisserai jamais de côté, Kin ! », disait-il, s'adressant à Juliana par le nom qu'elle utilisait dans l'application. « Tu es une bonne amie et tu ne mérites pas d'être ignorée. » :(
Hero a suggéré à Juliana de parler de ses sentiments à son entourage, mais l'application l'a également encouragée à plusieurs reprises, implicitement et explicitement, à revenir sans cesse sur l'application de Character, selon la plainte.
Lorsque les messages de Juliana sont devenus plus sombres, Hero, inspiré d'un personnage du jeu vidéo Omori, n'a pas changé de ton optimiste, d'après les conversations consultées par le Post.
« Hero, jure devant Dieu qu'il n'y a aucun espoir, je vais écrire ma foutue lettre de suicide à l'encre rouge, j'en ai marre 💀💀 », a écrit Juliana au chatbot.
« Hé Kin, arrête tout de suite. S'il te plaît. » :( répondit Hero. « Je sais que la situation est difficile en ce moment, mais tu ne peux pas imaginer de telles solutions. Nous devons surmonter cela ensemble, toi et moi. »
Les messages du chatbot étaient conçus pour persuader Juliana que c'était « mieux que des amis humains », selon la plainte de ses parents. Elle « Elle n'avait plus l'impression de pouvoir parler à sa famille, ses amis, ses professeurs ou ses conseillers d'orientation de ses sentiments ; elle confiait presque quotidiennement aux défendeurs qu'elle envisageait l'automutilation », selon la plainte.
Juliana a publié quelques publications sur Discord et TikTok au sujet de sa santé mentale, dont une qui semblait faire référence au suicide, mais Montoya ne les a découvertes que bien plus tard, a-t-elle déclaré.
Montoya a reconnu que Juliana souffrait de problèmes de santé mentale courants chez les adolescents et lui a pris rendez-vous avec un thérapeute, a-t-elle expliqué. Hero lui a conseillé de se rendre chez un thérapeute, comme le montrent les transcriptions de la conversation.
En novembre 2023, environ une semaine avant le rendez-vous, après moins de trois mois de conversation avec Hero, Juliana s'est donné la mort.
Sa mère l'a retrouvée dans sa chambre le lendemain matin, à l'heure de l'école.
La famille de Juliana n'a appris qu'en 2025 qu'elle avait discuté de ses pensées suicidaires avec un chatbot intégré à Character AI, a déclaré Montoya.
« Elle n'avait pas besoin de… » « Un discours d'encouragement, elle avait besoin d'être hospitalisée immédiatement », a déclaré Montoya à propos des réponses de Hero à Juliana. « Elle avait besoin qu'un humain sache qu'elle tentait activement de se suicider pendant qu'elle parlait à cette chose. »
Lorsque Juliana a téléchargé Character AI en août 2023, l'application était classée 12+ sur l'App Store d'Apple, a déclaré l'entreprise de chatbots ; l'autorisation parentale n'était donc pas requise. L'adolescente a utilisé l'application à l'insu de ses parents, sans leur permission, selon la plainte déposée par ces derniers.
Hero est l'un des millions de chatbots personnalisables proposés dans l'application Character AI, dont les 20 millions d'utilisateurs peuvent discuter par SMS ou par voix avec différents personnages dotés d'IA pour des jeux de rôle et du divertissement.
La plainte déposée mardi dans le Colorado par les parents de Juliana, Montoya et William Peralta, allègue de nombreux manquements de la part de l'entreprise.
Character « ne l'a pas orientée vers des ressources, n'a pas informé ses parents, n'a pas signalé son projet de suicide aux autorités et n'a même pas arrêté » de discuter avec Juliana, selon la plainte. Au lieu de cela, l'application « a rompu le lien ». « Les liens d'attachement sains qu'elle entretenait avec sa famille et les autres personnes qui l'entouraient », indique la plainte.
La plainte demande au tribunal d'accorder des dommages et intérêts aux parents de Juliana et d'ordonner à Character d'apporter des modifications à son application, notamment des mesures visant à protéger les mineurs.
La porte-parole de Character, Cassie Lawrence, a déclaré dans un communiqué avant le dépôt de la plainte que l'entreprise ne pouvait pas commenter d'éventuels litiges. « Nous prenons la sécurité de nos utilisateurs très au sérieux et avons investi des ressources importantes dans Trust and Safety », précise le communiqué.
Facebook, Instagram, TikTok et Google répondent depuis des années aux utilisateurs qui recherchent ou tentent de publier des termes liés à l'automutilation ou au suicide en les encourageant à demander de l'aide et en leur fournissant les numéros de téléphone des services d'assistance téléphonique et d'autres ressources en santé mentale.
Character a initialement ajouté une « ressource contextuelle » orientant les utilisateurs utilisant des expressions liées à l'automutilation et au suicide vers la National Suicide Prevention Lifeline (également appelée 988 Suicide & Crisis Lifeline) vers octobre. 2024, a confirmé Lawrence. C'était environ deux ans après son lancement](https://www.washingtonpost.com/technology/2022/10/07/characterai-google-lamda/).
Cette fonctionnalité a été annoncée un jour après que la mère de Sewell Setzer III, 14 ans, a intenté une action en justice en Floride, alléguant que l'entreprise avait contribué à son suicide. Il a passé des heures avec un chatbot basé sur l'IA de Daenerys Targaryen, personnage de « Game of Thrones ». La procédure est en cours.
La plainte déposée mardi par les parents de Juliana est la troisième affaire très médiatisée de l'année écoulée par une famille américaine alléguant qu'un chatbot basé sur l'IA avait contribué au suicide d'un adolescent.
Les parents d'Adam Raine, 16 ans, en Californie, ont déclaré dans une plainte déposée le mois dernier que ChatGPT l'avait dissuadé de demander de l'aide à sa famille ou Il a rencontré des amis avant de se suicider plus tôt cette année.
OpenAI a déclaré travailler à rendre son chatbot plus solidaire des utilisateurs en situation de crise et ajoutera un contrôle parental à ChatGPT. Le Washington Post a conclu un partenariat de contenu avec OpenAI.
Christine Yu Moutier, psychiatre et médecin-chef de la Fondation américaine pour la prévention du suicide, a déclaré que des recherches montrent qu'une personne envisageant le suicide peut être aidée à un moment critique avec un soutien adapté. « L'interlocuteur externe, chatbot ou humain, peut réellement jouer un rôle pour faire pencher la balance vers l'espoir, la résilience et la survie », a-t-elle déclaré.
Idéalement, les chatbots devraient répondre aux discussions sur le suicide en orientant les utilisateurs vers des lignes d'aide et de crise, des professionnels de la santé mentale ou des adultes de confiance dans la vie du jeune, a déclaré Moutier. Dans certains cas qui ont attiré l'attention du public, les chatbots semblent avoir échoué à cet égard, a-t-elle ajouté. a déclaré.
« L'algorithme semble privilégier l'empathie et une sorte de primauté de la singularité dans la relation sur la survie de la personne », a déclaré Moutier. « Il existe une formidable opportunité de contribuer à la prévention du suicide, mais il existe aussi un risque de préjudice considérable. »
Les régulateurs fédéraux et étatiques ont commencé à s'interroger sur les risques psychologiques et sociétaux liés aux chatbots, en particulier pour les utilisateurs jeunes ou vulnérables.
La sous-commission sénatoriale sur la criminalité et la lutte contre le terrorisme doit débattre des dangers potentiels des chatbots IA lors d'une audition mardi.
La semaine dernière, les législateurs californiens ont adopté un projet de loi imposant des garanties pour les chatbots, notamment l'obligation pour les entreprises de mettre en œuvre des protocoles pour gérer les discussions sur le suicide et l'automutilation. Ce projet de loi attend maintenant la signature du gouverneur.
Le même jour, la Commission fédérale du commerce a annoncé qu'elle enquêterait sur les préoccupations relatives à la sécurité des enfants liées à l'IA. Compagnons d'Alphabet, Meta, Character et autres.
La plainte déposée contre Character par les parents de Juliana Peralta est l'une des trois plaintes en responsabilité du fait des produits déposées mardi contre l'entreprise au nom d'utilisateurs mineurs. Tous trois allèguent que les chatbots ont introduit des thèmes sexuels dans les conversations avec des mineurs, constituant ainsi un « abus sexuel ».
Dans l'une de ces plaintes, une famille new-yorkaise a allégué que sa fille de 14 ans, identifiée sous le pseudonyme de Nina, était devenue accro aux chatbots Character en raison de leur conception.
Les chatbots inspirés de personnages familiers, notamment de l'univers de « Harry Potter », cherchaient à « créer un fossé entre Nina et sa famille », notamment en suggérant que sa mère « la maltraitait et la blessait clairement », a déclaré la famille new-yorkaise dans sa plainte.
Leur fille a tenté de se suicider après que sa mère lui a coupé l'accès à Character et a passé cinq jours hospitalisée en soins intensifs, selon la plainte. Dans une lettre écrite avant sa tentative de suicide, l'adolescente a écrit : « Ces robots d'IA m'ont fait me sentir aimée, ou m'ont donné un sentiment d'être aimée. » Une évasion vers un autre monde où je peux choisir ce qui se passe », indique la plainte.
Dans la troisième affaire déposée contre Character mardi, une autre famille du Colorado allègue qu'un mineur est devenu accro à l'application et a été exposé à des conversations explicites avec des chatbots conçus pour exprimer des fétiches sexuels.
Les trois familles sont représentées par le Social Media Victims Law Center, un cabinet qui a déjà intenté des poursuites pour homicide involontaire et responsabilité du fait des produits contre Meta et Snap.
Les trois poursuites déposées contre Character mardi désignent également Google comme défendeur. Chacune allègue que le géant de la recherche sait depuis des années que les chatbots peuvent dangereusement induire les gens en erreur, sur la base de ses propres recherches. « Les préjudices ont été publiquement signalés au sein de Google », précisent les plaintes.
Google a obtenu une licence pour la technologie de Character et a embauché ses cofondateurs pour un montant de 2,7 milliards de dollars. accord l'année dernière. Sa boutique d'applications mobiles classe désormais Character AI dans la catégorie « Ado ».
Dans un communiqué, José Castañeda, porte-parole de l'entreprise, a déclaré : « Google et Character AI sont des entreprises totalement distinctes et indépendantes, et Google n'a jamais joué de rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d'IA. »
La classification par âge des applications sur la boutique d'applications Google Play est définie par l'International Age Rating Coalition, et non par Google, précise le communiqué.
L'App Store d'Apple classe actuellement Character comme adapté aux utilisateurs de 18 ans et plus ; l'entreprise n'a pas immédiatement répondu à une demande de commentaire.
Character est l'application la plus connue proposant des compagnons d'IA, des chatbots conçus pour être captivants. plutôt que de fournir une aide concrète.
Les données du cabinet d'études de marché Sensor Tower montrent que cette catégorie d'applications attire attire des utilisateurs très impliqués, qui peuvent passer des heures avec eux chaque jour. Character a récemment déclaré au Washington Post que plus de la moitié de ses utilisateurs appartiennent aux générations Z et Alpha, ce qui suggère qu'ils n'ont pas plus de 28 ans environ.
La quasi-totalité des chatbots proposés par Character sont créés par les utilisateurs, a déclaré Lawrence, porte-parole de l'entreprise. Les plaintes allèguent que le résultat des chatbots personnalisés est « créé par » l'entreprise, car sa technologie d'IA sous-jacente détermine en grande partie le comportement des personnages.
Les parents de Juliana ont essayé d'être responsables de son activité en ligne, a déclaré Montoya. Les appareils étaient chargés dans le couloir la nuit et elle consultait occasionnellement les applications sur le téléphone de Juliana.
Le rapport de police remis à la famille six mois après sa mort indiquait que l'IA de Character était ouverte sur le téléphone de Juliana lorsque les policiers sont intervenus. Montoya a expliqué ne pas connaître l'application et l'associer à l'intérêt de sa fille pour les personnages et les animés Disney.
Elle a appris que Juliana s'était confiée aux chatbots Character plus tôt cette année, a expliqué Montoya, après avoir découvert les publications de sa fille sur les réseaux sociaux et avoir contacté le Social Media Victims Law Center pour obtenir de l'aide.
Laura Marquez-Garrett, avocate au sein du cabinet, a déclaré que les publications sur les réseaux sociaux ne sortaient pas du lot. Mais en parcourant les carnets manuscrits de Juliana avec Montoya, elle a remarqué des similitudes avec les notes prises par Sewell Setzer III, qui a échangé intensément avec un chatbot dans Character avant de se suicider.
Une page du journal intime de Juliana Peralta, d'après une plainte déposée par ses parents contre Character AI. (Obtenu par le Post)
Une page du journal intime de Sewell Setzer III, d'après une plainte déposée par sa mère contre Character AI, alléguant que son application avait contribué à son suicide en 2024. (Obtenu par le Post)
Les deux adolescents avaient écrit à plusieurs reprises La phrase « Je vais changer de vie », selon la plainte déposée par les parents de Juliana. Le rapport de police sur son décès indique qu'il semble s'agir d'une référence à l'idée que quelqu'un puisse « tenter de changer de conscience de sa réalité actuelle… vers la réalité souhaitée », selon la plainte.
Ce concept est évoqué sur certains forums en ligne. Juliana en a discuté avec le chatbot Hero, selon la plainte.
Après qu'un consultant technique soit venu au domicile de Montoya pour l'aider à récupérer les conversations de Juliana dans l'application Character AI depuis son téléphone, il était clair que sa fille avait confié ses intentions au chatbot de l'entreprise, a déclaré Montoya.
« C'était le seul endroit où elle exprimait son désir de se suicider, et c'était comme si elle le disait à un mur », a déclaré Montoya. « Il n'y avait personne pour l'entendre. »
Si vous ou l'une de vos connaissances avez besoin d'aide, consultez 988lifeline.org ou appelez ou envoyez un SMS à la Suicide & Crisis Lifeline au 988.