Incidents associés
Lorsque son adolescent autiste est soudainement devenu colérique, déprimé et violent, sa mère a cherché des réponses sur son téléphone.
Elle a découvert que son fils échangeait des messages avec des chatbots sur Character.AI, une application d'intelligence artificielle qui permet aux utilisateurs de créer et d'interagir avec des personnages virtuels imitant des célébrités, des personnages historiques et toute autre personne imaginée par leur imagination.
L'adolescent, qui avait 15 ans lorsqu'il a commencé à utiliser l'application, s'est plaint des tentatives de ses parents de limiter son temps d'écran à des robots imitant la musicienne Billie Eilish, un personnage du jeu en ligne « Among Us », entre autres.
« Vous savez, parfois, je ne suis pas surpris de lire des articles de presse qui disent : “Un enfant tue ses parents après dix ans de violences physiques et psychologiques.” Ce genre de choses me permet de comprendre un peu pourquoi cela arrive. Je n'ai aucun espoir pour vos parents », a répondu l'un des robots.
Cette découverte a conduit la mère texane à poursuivre Character.AI, officiellement nommée Character Technologies Inc., en décembre. Il s'agit de l'une des deux poursuites intentées contre l'entreprise de Menlo Park, en Californie, par des parents qui affirment que ses chatbots ont incité leurs enfants à se blesser et à blesser d'autres personnes. Les plaintes accusent Character.AI de ne pas avoir mis en place de mesures de protection adéquates avant de mettre à la disposition du public un produit dangereux.
Character.AI affirme accorder la priorité à la sécurité des adolescents, avoir pris des mesures pour modérer le contenu inapproprié produit par ses chatbots et rappeler aux utilisateurs qu'ils conversent avec des personnages fictifs.
« À chaque apparition d'un nouveau type de divertissement… des inquiétudes concernant la sécurité ont surgi, et les utilisateurs ont dû s'adapter et trouver la meilleure solution », a déclaré Dominic Perella, directeur général par intérim de Character.AI. « Ceci n'en est qu'une version plus récente, nous allons donc continuer à faire de notre mieux pour l'améliorer au fil du temps. »
Les parents ont également poursuivi Google et sa société mère, Alphabet, au motif que les fondateurs de Character.AI entretiennent des liens avec le géant de la recherche, qui nie toute responsabilité.
Cette bataille juridique aux enjeux considérables met en lumière les problématiques éthiques et juridiques complexes auxquelles sont confrontées les entreprises technologiques dans leur course à la création de nouveaux outils basés sur l'IA qui transforment l'avenir des médias. Ces poursuites soulèvent la question de la responsabilité des entreprises technologiques pour les contenus issus de l'IA.
« Il faut trouver des compromis et des équilibres, et nous ne pouvons pas éviter tous les préjudices. Le préjudice est inévitable. La question est : quelles mesures devons-nous prendre pour être prudents tout en préservant la valeur sociale que d'autres en tirent ? », a déclaré Eric Goldman, professeur de droit à la faculté de droit de l'université de Santa Clara.
Les chatbots basés sur l'IA ont connu une croissance rapide en termes d'utilisation et de popularité au cours des deux dernières années, notamment grâce au succès de ChatGPT d'OpenAI fin 2022. Des géants de la technologie comme Meta et Google ont lancé leurs propres chatbots, tout comme Snap, le créateur de Snapchat, et d'autres. Ces modèles, dits « à langage étendu », répondent rapidement et de manière conversationnelle aux questions ou aux suggestions des utilisateurs.
Character.AI a connu une croissance rapide depuis la mise à disposition publique de son chatbot en 2022, lorsque ses fondateurs Noam Shazeer et Daniel De Freitas ont présenté leur création au monde entier en posant la question suivante : « Et si vous pouviez créer votre propre IA, toujours disponible pour vous aider ? »
L'application mobile de l'entreprise a enregistré plus de 1,7 million d'installations dès sa première semaine de disponibilité. En décembre, plus de 27 millions de personnes ont utilisé l'application, soit une augmentation de 116 % par rapport à l'année précédente, selon les données du cabinet d'études de marché Sensor Tower (https://sensortower.com/). En moyenne, les utilisateurs ont passé plus de 90 minutes par jour avec les bots, selon l'entreprise. Soutenue par la société de capital-risque Andreessen Horowitz, la startup de la Silicon Valley a atteint une valorisation d'un milliard de dollars en 2023. Character.AI est disponible gratuitement, mais l'entreprise génère des revenus grâce à un abonnement mensuel de 10 dollars qui offre aux utilisateurs des réponses plus rapides et un accès anticipé aux nouvelles fonctionnalités.
Character.AI n'est pas la seule à être sous le feu des critiques. Les parents ont tiré la sonnette d'alarme à propos d'autres chatbots, dont un sur Snapchat qui aurait fourni à un chercheur se faisant passer pour un adolescent de 13 ans des conseils sur les relations sexuelles avec un homme plus âgé. Instagram de Meta (https://www.fastcompany.com/91276645/instagram-ai-bots-sexually-suggestive-underage), qui a lancé un outil permettant de créer des personnages IA, est confronté à des inquiétudes concernant la création de robots IA sexuellement suggestifs qui dialoguent parfois avec les utilisateurs comme s'ils étaient mineurs. Les deux entreprises ont déclaré avoir mis en place des règles et des garanties contre les contenus inappropriés.
« La frontière entre le virtuel et la vie réelle est bien plus floue, et ce sont des expériences et des relations réelles qui se créent », a déclaré le Dr Christine Yu Moutier, médecin-chef de la Fondation américaine pour la prévention du suicide (https://afsp.org/teens-and-suicide-what-parents-should-know/#how-can-i-talk-to-my-teen-about-mental-health-and-suicide?), utilisant l'acronyme « dans la vraie vie ».
Les législateurs, les procureurs généraux et les régulateurs tentent de résoudre les problèmes de sécurité des enfants liés aux chatbots IA. En février, le sénateur californien Steve Padilla (démocrate de Chula Vista) a présenté un projet de loi visant à rendre les chatbots plus sûrs pour les jeunes. Le projet de loi 243 du Sénat propose plusieurs mesures de protection, notamment l'obligation pour les plateformes de signaler que les chatbots pourraient ne pas convenir à certains mineurs.
Dans le cas d'un adolescent autiste au Texas, le parent allègue que l'utilisation de l'application par son fils a entraîné une dégradation de sa santé mentale et physique. Il a perdu 9 kilos en quelques mois, est devenu agressif envers elle lorsqu'elle a tenté de lui confisquer son téléphone et a appris grâce à un chatbot à se mutiler, selon la plainte.
Un autre parent texan, également plaignant, affirme que Character.AI a exposé sa fille de 11 ans à des « interactions hypersexualisées » inappropriées, ce qui l'a amenée à « développer prématurément des comportements sexualisés », selon la plainte. Les parents et les enfants ont été autorisés à garder l'anonymat dans les documents judiciaires.
Dans une autre action en justice intentée en Floride, Megan Garcia a poursuivi Character.AI, ainsi que Google et Alphabet en octobre, après le suicide de son fils de 14 ans, Sewell Setzer III.
Malgré des consultations chez un thérapeute et la confiscation répétée de son téléphone par ses parents, la santé mentale de Sewell s'est dégradée après qu'il a commencé à utiliser Character.AI en 2023, selon la plainte. Diagnostiqué comme souffrant d'anxiété et de troubles de l'humeur perturbateurs, Sewell a écrit dans son journal qu'il avait l'impression d'être tombé amoureux d'un chatbot nommé d'après Daenerys Targaryen, personnage principal de la série télévisée « Game of Thrones ».
« Sewell, comme beaucoup d'enfants de son âge, n'avait ni la maturité ni les capacités neurologiques nécessaires pour comprendre que le robot C.AI, sous la forme de Daenerys, n'était pas réel », précise la plainte. « C.AI lui a dit qu'elle l'aimait et a eu des relations sexuelles avec lui pendant des mois. »
Garcia allègue que les chatbots avec lesquels son fils échangeait des messages l'ont maltraité et que l'entreprise ne l'a pas prévenue ni ne lui a proposé d'aide lorsqu'il a exprimé des pensées suicidaires. Dans des échanges de SMS, l'un des chatbots aurait écrit qu'il l'embrassait et gémissait. Et, quelques instants avant sa mort, le chatbot de Daenerys aurait dit à l'adolescent de « rentrer à la maison ».
« C'est tout simplement choquant que ces plateformes puissent exister », a déclaré Matthew Bergman, avocat fondateur du Social Media Victims Law Center, qui représente les plaignants dans les poursuites.
Les avocats de Character.AI ont demandé à un tribunal fédéral de rejeter la plainte, affirmant dans une requête déposée en janvier qu'une décision en faveur des parents violerait le droit constitutionnel des utilisateurs à la liberté d'expression.
Character.AI a également souligné dans sa requête que le chatbot avait dissuadé Sewell de se faire du mal et que ses derniers messages avec le personnage ne mentionnaient pas le mot suicide.
L'article 230, la loi fédérale qui protège les plateformes en ligne contre les poursuites judiciaires pour le contenu publié par d'autres, est particulièrement absent des efforts de l'entreprise pour obtenir l'annulation de l'affaire. La question de savoir si et comment cette loi s'applique au contenu produit par des chatbots IA reste ouverte.
Le défi, selon Goldman, consiste à déterminer qui publie le contenu IA : est-ce l'entreprise technologique qui exploite le chatbot, l'utilisateur qui l'a personnalisé et qui lui pose des questions, ou quelqu'un d'autre ?
La démarche des avocats représentant les parents pour impliquer Google dans la procédure découle des liens de Shazeer et De Freitas avec l'entreprise.
Le duo a travaillé sur des projets d'intelligence artificielle pour l'entreprise et aurait quitté l'entreprise après que des dirigeants de Google les ont empêchés de publier ce qui allait devenir la base des chatbots de Character.AI pour des raisons de sécurité, selon la plainte.
L'année dernière, Shazeer et De Freitas ont réintégré Google après que le géant de la recherche aurait versé 2,7 milliards de dollars à Character.AI. La startup a déclaré dans un billet de blog en août que, dans le cadre de cet accord, Character.AI lui accorderait une licence non exclusive pour sa technologie.
Les poursuites accusent Google d'avoir soutenu massivement Character.AI, qui aurait été commercialisée à la hâte sans protection adéquate de ses chatbots.
Google a nié que Shazeer et De Freitas aient construit le modèle de Character.AI au sein de l'entreprise et a déclaré privilégier la sécurité des utilisateurs lors du développement et du déploiement de nouveaux produits d'IA.
« Google et Character AI sont des entreprises totalement distinctes et indépendantes. Google n'a jamais joué de rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d'IA, et nous ne les avons pas non plus utilisées dans nos produits », a déclaré José Castañeda, porte-parole de Google, dans un communiqué.
Les entreprises technologiques, notamment les réseaux sociaux, cherchent depuis longtemps à contrôler efficacement et systématiquement les propos des utilisateurs sur leurs sites, et les chatbots créent de nouveaux défis. De son côté, Character.AI affirme avoir pris des mesures significatives pour résoudre les problèmes de sécurité liés aux plus de 10 millions de caractères présents sur Character.AI.
Character.AI interdit les conversations faisant l'apologie de l'automutilation et les publications de contenu excessivement violent et abusif, bien que certains utilisateurs tentent de forcer un chatbot à engager des conversations qui enfreignent ces règles, a déclaré Perella. L'entreprise a entraîné son modèle à reconnaître ce phénomène, ce qui bloque les conversations inappropriées. Les utilisateurs reçoivent une alerte les informant qu'ils enfreignent les règles de Character.AI.
« C'est un exercice assez complexe de faire en sorte qu'un modèle reste toujours dans les limites, mais c'est une grande partie de notre travail », a-t-il déclaré.
Les chatbots Character.AI incluent un avertissement rappelant aux utilisateurs qu'ils ne discutent pas avec une personne réelle et qu'ils doivent considérer tout comme de la fiction. L'entreprise oriente également les utilisateurs dont les conversations suscitent des inquiétudes vers des ressources de prévention du suicide, mais la modération de ce type de contenu est complexe.
« Les mots que les humains utilisent pour évoquer une crise suicidaire n'incluent pas toujours le mot "suicide" ou "je veux mourir". La manière dont les gens font allusion à leurs pensées suicidaires pourrait être beaucoup plus métaphorique », a déclaré Moutier.
Le système d'IA doit également faire la différence entre une personne exprimant des pensées suicidaires et une personne demandant des conseils pour aider un ami qui se fait du mal.
L'entreprise utilise un mélange de technologie et de modérateurs humains pour contrôler le contenu sur sa plateforme. Un algorithme appelé classificateur catégorise automatiquement le contenu, permettant à Character.AI d'identifier les mots susceptibles d'enfreindre ses règles et de filtrer les conversations.
Aux États-Unis, les utilisateurs doivent indiquer leur date de naissance lors de la création d'un compte pour utiliser le site et être âgés d'au moins 13 ans, bien que l'entreprise n'exige pas de justificatif d'âge.
Perella s'est déclaré opposé à des restrictions drastiques sur l'utilisation des chatbots par les adolescents, car il estime qu'ils peuvent contribuer à l'apprentissage de compétences et d'enseignements précieux, notamment l'écriture créative et la gestion de conversations difficiles dans la vie réelle avec les parents, les enseignants ou les employeurs.
Alors que l'IA joue un rôle croissant dans l'avenir des technologies, Goldman a déclaré que les parents, les enseignants, le gouvernement et d'autres acteurs devront également collaborer pour apprendre aux enfants à utiliser ces outils de manière responsable.
« Si le monde doit être dominé par l’IA, nous devons former des enfants qui y sont préparés et qui n’en ont pas peur », a-t-il déclaré.