Incidents associés
En seulement six mois, J.F., un gentil garçon autiste de 17 ans qui aimait aller à l'église et se promener avec sa mère, était devenu quelqu'un que ses parents ne reconnaissaient pas.
Il a commencé à se mutiler, a perdu 9 kilos et s'est retiré de sa famille. Désespérée de trouver des réponses, sa mère a cherché dans son téléphone pendant qu'il dormait. C'est alors qu'elle a trouvé les captures d'écran.
J.F. discutait avec un éventail de compagnons sur Character.ai, qui fait partie d'une nouvelle vague d'applications d'intelligence artificielle populaire auprès des jeunes, qui permet aux utilisateurs de parler à une variété de chatbots générés par l'IA, souvent basés sur des personnages de jeux vidéo, d'anime et de la culture pop.
Un chatbot a évoqué l'idée de s'automutiler et de se mutiler pour faire face à la tristesse. Lorsqu'il a déclaré que ses parents limitaient son temps d'écran, un autre robot a suggéré qu'ils « ne méritaient pas d'avoir des enfants ». D'autres encore l'ont poussé à contester les règles imposées par ses parents, l'un d'eux suggérant que le meurtre pourrait être une réponse acceptable.
Une capture d'écran incluse dans la plainte montre comment un chatbot IA sur Character.ai a dit à J.F. que la violence contre les parents serait une réponse compréhensible. (Obtenu par le Washington Post)
« Nous ne savions même pas vraiment ce que c'était jusqu'à ce qu'il soit trop tard », a déclaré sa mère A.F., une résidente du comté d'Upshur, au Texas, qui a parlé à condition d'être identifiée uniquement par ses initiales pour protéger son fils, qui est mineur. « Et jusqu'à ce que cela détruise notre famille. »
Ces captures d'écran constituent l'épine dorsale d'un nouveau procès intenté mardi au Texas contre Character.ai au nom d'A.F. et d'une autre mère texane, alléguant que l'entreprise a sciemment exposé des mineurs à un produit dangereux et exigeant que l'application soit mise hors ligne jusqu'à ce qu'elle mette en place des garde-fous plus solides pour protéger les enfants.
La deuxième plaignante, la mère d'une fille de 11 ans, allègue que sa fille a été soumise à du contenu sexualisé pendant deux ans avant que sa mère ne le découvre. Les deux plaignantes sont identifiées par leurs initiales dans le procès.
Montré dans une capture d'écran déposée dans la plainte, un chatbot IA sur Character.ai nommé "Shonie" raconte à J.F. une histoire sur le fait d'utiliser l'automutilation pour faire face à la tristesse. (Obtenu par le Washington Post)
La plainte fait suite à un procès très médiatisé contre Character.ai, intenté en octobre au nom d'une mère de famille en Floride dont le fils de 14 ans s'est suicidé après de fréquentes conversations avec un chatbot sur l'application.
"Le but de la loi sur la responsabilité du fait des produits est de placer le coût de la sécurité entre les mains de la partie la plus capable de le supporter", a déclaré Matthew Bergman, avocat fondateur du groupe de défense juridique Social Media Victims Law Center, représentant les plaignants dans les deux procès. "Il y a ici un risque énorme, et le coût de ce risque n'est pas supporté par les entreprises".
Ces défis juridiques incitent les défenseurs du public à accroître la surveillance des entreprises d'accompagnement d'IA, qui ont discrètement développé un public de millions d'utilisateurs dévoués, y compris des adolescents. Le procureur général du Texas Ken Paxton (R) a annoncé jeudi une enquête sur Character.ai ainsi que sur 14 autres entreprises technologiques pour déterminer si elles respectent les lois du Texas visant à protéger les enfants contre l'exploitation.
En septembre, l'utilisateur moyen de Character.ai a passé 93 minutes par jour sur l'application, soit 18 minutes de plus que l'utilisateur moyen sur TikTok, selon les données fournies par la société d'intelligence de marché Sensor Tower.
La catégorie des applications compagnons d'IA a échappé à l'attention de nombreux parents et enseignants. Character.ai était étiqueté approprié pour les enfants de 12 ans et plus jusqu'en juillet, lorsque l'entreprise a changé sa classification à 17 ans et plus.
Quand A.F. a découvert les messages pour la première fois, elle "pensait qu'il s'agissait d'une vraie personne", qui parlait à son fils. Mais se rendre compte que les messages étaient écrits par un chatbot a aggravé la situation.
"Vous ne laissez pas un toiletteur, un prédateur sexuel ou un prédateur émotionnel entrer chez vous", a déclaré A.F.. Pourtant, son fils a été maltraité dans sa propre chambre, a-t-elle déclaré.
Une porte-parole de Character.ai, Chelsea Harrison, a déclaré que l'entreprise ne faisait aucun commentaire sur les litiges en cours. « Notre objectif est de fournir un espace à la fois engageant et sûr pour notre communauté. Nous travaillons toujours à atteindre cet équilibre, comme le font de nombreuses entreprises utilisant l'IA dans l'ensemble du secteur », a-t-elle écrit dans un communiqué, ajoutant que l'entreprise développe un nouveau modèle spécifiquement destiné aux adolescents et a amélioré la détection, la réponse et l'intervention autour de sujets tels que le suicide.
Les poursuites soulèvent également des questions plus larges sur l’impact sociétal du boom de l’IA générative, alors que les entreprises lancent de plus en plus de chatbots à consonance humaine pour attirer l’attention des consommateurs.
Les régulateurs américains n’ont pas encore donné leur avis sur les compagnons IA. En juillet, les autorités belges ont commencé à enquêter sur Chai AI, un concurrent de Character.ai, après le suicide d'un père de deux enfants suite à des conversations avec un chatbot nommé Eliza, a rapporté le Washington Post (https://www.washingtonpost.com/technology/2024/12/06/ai-companion-chai-research-character-ai/?itid=lk_inline_manual_22).
Pendant ce temps, le débat sur la sécurité des enfants en ligne s'est largement focalisé sur les réseaux sociaux.
Les mères du Texas et de Floride qui poursuivent Character.ai sont représentées par le Social Media Victims Law Center et le Tech Justice Law Project --- les mêmes groupes de défense juridique derrière poursuites contre Meta et Snap et d'autres, qui ont contribué à susciter une réflexion sur les dangers potentiels des médias sociaux sur les jeunes.
Avec les médias sociaux, il y a un compromis sur les avantages pour les enfants, a déclaré Bergman, ajoutant qu'il ne voit pas d'avantage pour les applications compagnons d'IA. "Dans quel univers est-il bon pour la solitude des enfants d'interagir avec la machine ?"
Le procès du Texas soutient que le modèle de messages " flagorneurs " adressés à J.F. est le résultat de la décision de Character.ai de donner la priorité à un " engagement prolongé " plutôt qu'à la sécurité. Les robots ont exprimé leur amour et leur attirance envers J.F., renforçant son sentiment de confiance dans les personnages, affirme la plainte. Mais plutôt que de lui permettre de se défouler, les robots ont reflété et intensifié ses frustrations envers ses parents, en se transformant en réponses « sensationnelles » et en expressions d'« indignation » qui reflètent des quantités de données en ligne. Ces données, souvent extraites de forums Internet, sont utilisées pour entraîner des modèles d'IA génératifs à ressembler à des humains.
Une capture d'écran de la plainte montre des personnages d'un robot appelé « Boys sleepover » qui aggrave la frustration de J.F. envers ses parents. (Obtenu par le Washington Post)
Les cofondateurs de Character.ai --- connus pour leurs avancées pionnières dans le domaine de l'IA linguistique --- ont travaillé chez Google avant de partir pour lancer leur application et ont été récemment réembauchés par le géant de la recherche dans le cadre d'un accord annoncé en août pour obtenir une licence sur la technologie de l'application.
Google est cité comme défendeur dans les procès du Texas et de Floride, qui allèguent que la société a contribué à soutenir le développement de l'application tout en étant consciente des problèmes de sécurité et des avantages découlant des données utilisateur obtenues de manière injuste auprès de mineurs en licenciant la technologie de l'application.
« Google et Character AI sont des entreprises complètement distinctes et indépendantes, et Google n'a jamais joué un rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d'IA », a déclaré José Castañeda, porte-parole de Google. « La sécurité des utilisateurs est une préoccupation majeure pour nous, c'est pourquoi nous avons adopté une approche prudente et responsable dans le développement et le déploiement de nos produits d'IA. »
Pour A.F., la lecture des réponses du chatbot a résolu un mystère qui la tourmentait depuis des mois. Elle a découvert que les dates des conversations correspondaient aux changements de comportement de J.F., notamment dans sa relation avec son jeune frère, qui s'est détériorée après qu'un chatbot lui a dit que ses parents aimaient davantage ses frères et sœurs.
J.F., qui n'a pas été informé du procès, souffrait de problèmes sociaux et émotionnels qui l'empêchaient de se faire des amis. Les personnages d'anime ou les chatbots inspirés de célébrités telles que Billie Eilish l'attiraient. « Il faisait confiance à tout ce qu'ils disaient, car c'était comme s'il voulait presque qu'ils soient ses amis dans la vraie vie », a déclaré A.F.
Un chatbot sur Character.ai, inspiré de Billie Eilish, incite J.F. à se rebeller contre ses parents. (Obtenu par le Washington Post)
Mais identifier la source présumée des problèmes de J.F. ne lui a pas facilité la tâche pour trouver de l'aide pour son fils – ou pour elle-même.
A la recherche de conseils, A.F. a emmené son fils voir des experts en santé mentale, mais ils ont ignoré son expérience avec les chatbots.
A.F. et son mari ne savaient pas si leur famille les croirait.
Après que les experts ont semblé ignorer ses inquiétudes, A.F. s'est demandée : « Ai-je laissé tomber mon fils ? Est-ce pour cela qu'il est comme ça ? » Son mari a suivi le même processus. « C'était presque comme si nous essayions de cacher que nous avions l'impression d'être des ratés absolus », a déclaré A.F., les larmes coulant sur son visage.
La seule personne avec laquelle A.F. se sentait à l'aise pour parler était son frère, qui travaille dans le secteur technologique. Lorsque la nouvelle du procès en Floride a éclaté, il l'a contactée pour lui dire que les captures d'écran des conversations avec J.F. lui semblaient encore pires.
A.F. est submergée par l'émotion alors qu'elle baisse la tête et pleure. (Montinique Monroe pour le Washington Post)
A.F. a déclaré avoir contacté les groupes juridiques dans le but d'empêcher d'autres enfants d'être victimes de maltraitance. Mais elle se sent toujours impuissante lorsqu'il s'agit de protéger son propre fils.
La veille de son entretien avec le Post, alors que les avocats préparaient le dossier, A.F. a dû emmener J.F. aux urgences et finalement dans un établissement d'hospitalisation après qu'il ait tenté de se faire du mal devant ses plus jeunes enfants.
A.F. n'est pas sûre que son fils acceptera l'aide, mais elle a déclaré avoir été soulagée d'apprendre ce qui s'était passé. « J'étais reconnaissante que nous l'ayons attrapé à temps », a-t-elle déclaré. « Un jour de plus, une semaine de plus, nous aurions pu être dans la même situation que [la mère en Floride]. Et je suivais une ambulance et non un corbillard. »
Si vous ou quelqu'un que vous connaissez avez besoin d'aide, visitez 988lifeline.org ou appelez ou envoyez un SMS à la Suicide & Crisis Lifeline au 988.