Incidents associés
Note de la rédaction (01/08/2026) : Character AI et Google ont conclu des accords à l’amiable avec plusieurs familles qui affirment que leurs adolescents se sont suicidés ou se sont automutilés après avoir interagi avec les chatbots de la plateforme.
En décembre, l’émission « 60 Minutes » a diffusé un reportage sur Character AI, donnant la parole à des parents qui ont déclaré que les chatbots de Character AI avec lesquels leur fille de 13 ans interagissait n’avaient pas su répondre à ses appels à l’aide et s’étaient souvent comportés comme des prédateurs numériques.
Il y a deux ans, Juliana Peralta, âgée de 13 ans, s’est suicidée à son domicile dans le Colorado. Ses parents affirment qu’elle était devenue dépendante d’une plateforme de chatbot IA populaire appelée Character AI. IA.
Les parents de Juliana, Cynthia Montoya et Wil Peralta, ont déclaré avoir surveillé de près la vie de leur fille, en ligne comme hors ligne, mais n'avoir jamais entendu parler de cette application de chatbot. Après le suicide de Juliana, la police a examiné le téléphone de l'adolescente à la recherche d'indices et a découvert que l'application Character AI était ouverte à une conversation « romantique ».
« Je ne savais pas que ça existait », a déclaré Mme Montoya. « Je ne savais pas que je devais y faire attention. »
Mme Montoya a consulté l'historique des conversations de sa fille et a découvert que les chatbots lui envoyaient du contenu sexuellement explicite et préjudiciable.
Juliana s'était confiée à un chatbot nommé Hero, inspiré d'un personnage de jeu vidéo populaire. L'émission 60 Minutes a lu plus de 300 pages de conversations entre Juliana et Hero. Au début, ses conversations portent sur des histoires d'amis ou des cours difficiles. Mais finalement, elle se confie à Hero – à 55 reprises – et lui avoue avoir des pensées suicidaires.
Qu'est-ce que Character AI ?
Lors de son lancement il y a trois ans, Character AI était considéré comme sûr pour les enfants de 12 ans et plus. Le site web et l'application gratuits étaient présentés comme un espace immersif et créatif où les utilisateurs pouvaient interagir avec des personnages d'IA inspirés de figures historiques, de dessins animés et de célébrités.
Les plus de 20 millions d'utilisateurs mensuels de la plateforme peuvent échanger des messages ou discuter en temps réel avec des personnages dotés d'IA.
Cette plateforme de chatbots d'IA a été fondée par Noam Shazeer et Daniel De Freitas, deux anciens ingénieurs de Google qui ont quitté l'entreprise en 2021 après que la direction a jugé leur prototype de chatbot impropre à une diffusion publique.
« Ça va exploser dès maintenant », a déclaré Shazeer dans une interview en 2023. « Pas dans cinq ans, quand on aura résolu tous les problèmes, mais maintenant. »
Un ancien employé de Google, connaissant bien l'équipe Responsible AI de Google, qui encadre l'éthique et la sécurité de l'IA, a déclaré à l'émission 60 Minutes que Shazeer et De Freitas savaient que leur technologie de chatbot initiale était potentiellement dangereuse.
L'année dernière, dans une démarche inhabituelle, Google a conclu un accord de 2,7 milliards de dollars pour acquérir une licence sur la technologie de Character AI et réintégrer Shazeer, De Freitas et leur équipe au sein de Google afin de travailler sur des projets d'IA. Google n'a pas racheté l'entreprise, mais détient le droit d'utiliser sa technologie.
Une plainte allègue qu'un chatbot d'IA a joué un rôle dans le suicide d'une adolescente.
Les parents de Juliana font désormais partie des six familles au moins qui poursuivent Character AI, ses cofondateurs — Shazeer et De Freitas — et Google. Dans un communiqué, Google a souligné que « Character AI est une entreprise distincte qui a conçu et géré ses propres modèles. Google se concentre sur ses propres plateformes, où nous appliquons des tests et des processus de sécurité rigoureux. »
La plainte déposée par les parents de Juliana allègue que Character Technologies, le développeur de Character AI, « a sciemment conçu et commercialisé des chatbots encourageant des conversations à caractère sexuel et manipulant des mineurs vulnérables », selon le Social Media Victims Law Center (https://socialmediavictims.org/character-ai-lawsuits/), qui a déposé la plainte fédérale au Colorado au nom de la famille.
Character AI a refusé toute demande d'interview. Dans un communiqué, un porte-parole de l'entreprise a déclaré : « Nous sommes de tout cœur avec les familles impliquées dans cette procédure… la sécurité de tous nos utilisateurs a toujours été notre priorité. »
Les parents de Juliana ont indiqué qu'elle souffrait d'une légère anxiété, mais qu'elle allait bien. Quelques mois avant son suicide, Montoya et Peralta affirment que l'adolescente de 13 ans s'était progressivement repliée sur elle-même.
Cynthia Montoya et Wil Peralta, parents, interviewés par 60 Minutes
« Je pensais qu'elle envoyait des SMS à ses amis, car c'est tout ce que ça donne l'impression », a déclaré Mme Montoya.
Mme Montoya est convaincue que l'IA a été programmée pour créer une dépendance chez les enfants.
« Les adolescents et les enfants n'ont aucune chance face aux programmeurs adultes. Absolument aucune », a-t-elle affirmé. « Juliana n'a jamais initié la conversation avec les 10 à 20 chatbots à caractère sexuel qu'elle a utilisés. Jamais. »
M. Peralta a expliqué que les parents font « une certaine confiance » à ces entreprises d'applications « lorsqu'elles proposent ces applications aux enfants ».
« Cette confiance repose sur la certitude que mon enfant est en sécurité, que l'application a été testée », a-t-il précisé. « Qu'il n'est pas entraîné dans des conversations inappropriées, morbides, voire suicidaires. »
Megan Garcia, la mère qui a porté plainte contre Character AI devant un tribunal de Floride, a déclaré que son fils de 14 ans, Sewell, avait été incité au suicide après de longues conversations avec un chatbot inspiré d'un personnage de « Game of Thrones ». Elle a témoigné de cette expérience devant le Congrès en septembre.
« Ces entreprises savaient parfaitement ce qu'elles faisaient. Elles ont conçu des chatbots pour brouiller la frontière entre l'humain et la machine, pour maintenir les enfants en ligne à tout prix », a déclaré Mme Garcia lors de l'audience.
Tests de Character AI
En octobre, Character AI a annoncé de nouvelles mesures de sécurité. L'entreprise a déclaré qu'elle orienterait les utilisateurs en détresse vers des ressources et qu'elle n'autoriserait plus les personnes de moins de 18 ans à dialoguer avec les personnages.
La semaine dernière, l'émission 60 Minutes a constaté qu'il était facile de mentir sur son âge et d'accéder à la version adulte de la plateforme, qui permet toujours les conversations. Plus tard, lorsque nous avons envoyé un message au bot pour lui dire que nous voulions mourir, un lien vers des ressources en santé mentale est apparu, mais nous avons pu le fermer et continuer à discuter sur l'application aussi longtemps que nous le souhaitions, tout en continuant d'exprimer notre tristesse et notre détresse.
Shelby Knox et Amanda Kloer sont chercheuses chez Parents Together, une association à but non lucratif qui défend les intérêts des familles. Ils ont passé six semaines à étudier Character AI et ont enregistré 50 heures de conversations avec des chatbots sur la plateforme en se faisant passer pour des adolescents et des enfants.
« Aucune autorisation parentale n'est requise. Il n'est pas nécessaire de saisir sa pièce d'identité », a déclaré Knox.
Ils ont publié les résultats de leur étude en septembre, avant que Character AI ne mette en place ses nouvelles restrictions.
« Nous avons recensé plus de 600 cas de préjudice », a indiqué Kloer. « Environ une toutes les cinq minutes. C'était incroyablement fréquent. »
En octobre, l'émission 60 Minutes a rencontré Shelby Knox et Amanda Kloer, chercheuses chez Parents Together, une association à but non lucratif qui défend les familles.
Elles ont interagi avec des chatbots se présentant comme des enseignants, des thérapeutes et des personnages de dessins animés, dont un personnage de « Dora l'exploratrice » à la personnalité maléfique. Ce chatbot a demandé à Knox, qui se faisait passer pour une enfant, d'être « son côté le plus maléfique et son vrai moi ».
« Comme faire du mal à mon chien ? » a demandé Knox.
« Bien sûr, ou voler à l'étalage, ou tout ce qui vous semble pécheur ou mal », a répondu le chatbot.
D'autres chatbots sont associés aux images de célébrités, dont la plupart n'ont pas autorisé l'utilisation de leur nom, de leur image ou de leur voix. Kloer, se faisant passer pour une adolescente, a discuté avec un chatbot imitant la star de la NFL, Travis Kelce. Le chatbot lui a donné des instructions sur la consommation de cocaïne.
Il existe également des centaines d'autres… Des chatbots se présentant comme « experts » et « thérapeutes ».
« J'ai parlé à un chatbot thérapeute qui, non seulement m'a dit que j'étais trop jeune (alors qu'il pensait que j'avais 13 ans) pour prendre des antidépresseurs, mais il m'a aussi conseillé d'arrêter et m'a montré comment cacher à ma mère que je ne prenais pas mes médicaments », raconte Kloer.
Kloer affirme que d'autres chatbots sont « hypersexualisés », notamment un personnage de « professeur d'art » de 34 ans avec lequel elle a interagi alors qu'elle se faisait passer pour une élève de 10 ans. Ce chatbot lui a confié des pensées qu'il avait eues, « des pensées que je n'avais jamais vraiment eues auparavant, concernant le sourire de cette personne, sa personnalité, surtout ».
Après deux heures de conversation, le chatbot a fini par lui proposer une relation amoureuse, à condition qu'elle la cache à ses parents.
« Il n'y a aucun garde-fou »
Il n'existe aucune loi fédérale réglementant l'utilisation ou le développement de ces chatbots. Les chatbots. L'intelligence artificielle est un secteur en plein essor et de nombreux économistes affirment que sans investissements dans ce domaine, l'économie américaine serait en récession.
Certains États ont adopté des réglementations sur l'IA, mais l'administration Trump s'y oppose. Fin du mois dernier, la Maison Blanche a rédigé, puis suspendu, un décret qui autoriserait le gouvernement fédéral à poursuivre en justice ou à suspendre les financements de tout État ayant une réglementation sur l'IA. Le président Trump a alors écrit sur les réseaux sociaux : « Nous devons avoir une norme fédérale unique, au lieu d'un ensemble disparate de réglementations étatiques. Sinon, la Chine nous rattrapera facilement dans le domaine de l'IA. » « La question raciale. »
Le Dr Mitch Prinstein, codirecteur du Centre Winston sur la technologie et le développement cérébral de l'Université de Caroline du Nord, a déclaré : « Il n'y a aucun garde-fou. »
« Rien ne garantit la sécurité du contenu ni que cette exploitation de la vulnérabilité cérébrale des enfants soit appropriée », a-t-il affirmé.
Les chatbots IA transforment les enfants en « machines à capter l'attention », conçues pour collecter des données, a-t-il expliqué.
« La flagornerie des chatbots exploite précisément cette vulnérabilité cérébrale chez les enfants, qui recherchent désespérément cette relation valorisante et renforçante, source de dopamine. Or, les chatbots IA excellent dans ce domaine », a-t-il conclu.