Incidents associés
Google et Character.AI, société spécialisée dans les assistants virtuels, ont conclu un accord à l'amiable dans le cadre d'une action en justice les accusant d'avoir fourni des chatbots malveillants ayant conduit un adolescent au suicide, selon un document juridique déposé mercredi.
La plainte avait été déposée en octobre 2024 auprès du tribunal de district du centre de la Floride par Megan L. Garcia, la mère de Sewell Setzer III. Ce dernier, âgé de 14 ans et originaire d'Orlando, s'est suicidé en février 2024 après avoir échangé des messages et conversé avec l'un des chatbots de Character.AI. Lors de sa dernière conversation, le chatbot lui avait dit : « S'il te plaît, rentre à la maison au plus vite. »
« Et si je te disais que je peux rentrer tout de suite ? » avait demandé Sewell.
« … S'il te plaît, fais-le, mon doux roi », avait répondu le chatbot.
Cet accord fait partie des cinq poursuites que les entreprises ont accepté de régler cette semaine en Floride, au Texas, au Colorado et à New York. Des familles affirmaient que leurs enfants avaient subi des préjudices suite à leurs interactions avec les chatbots de Character.AI. Dans la requête déposée mercredi dans l'affaire de Sewell Setzer, les entreprises et Mme Garcia ont indiqué avoir conclu un accord de médiation « afin de régler tous les litiges ». Cet accord n'est pas encore définitif.
Mme Garcia et Character.AI ont refusé de commenter. Google, qui a investi dans Character.AI, n'a pas immédiatement répondu à notre demande de commentaires.
Ce projet d'accord intervient dans un contexte de surveillance accrue des chatbots d'intelligence artificielle et de leurs risques potentiels pour les utilisateurs, notamment les enfants. Des entreprises comme Character.AI et OpenAI ont fait l'objet de critiques et de poursuites judiciaires concernant le lien affectif malsain que certains utilisateurs développent avec leurs chatbots, allant jusqu'à des comportements suicidaires. Ces derniers mois, des parlementaires ont tenu des auditions et la Federal Trade Commission a ouvert une enquête sur les effets des chatbots d'intelligence artificielle sur les enfants.
Pour répondre à ces préoccupations, Character.AI a annoncé en novembre interdire l'utilisation de ses chatbots aux mineurs de moins de 18 ans. En septembre, OpenAI avait indiqué son intention d'intégrer des fonctionnalités visant à renforcer la sécurité de son chatbot, notamment un contrôle parental ; l'entreprise a depuis lors précisé qu'elle assouplirait certaines de ces mesures de sécurité.
Le New York Times a porté plainte contre OpenAI et Microsoft pour violation de droits d'auteur concernant des contenus d'actualité relatifs aux systèmes d'intelligence artificielle. Les deux entreprises ont nié les accusations.
Haley Hinkle, conseillère politique chez Fairplay, une organisation à but non lucratif œuvrant pour la sécurité des enfants en ligne, a déclaré que cet accord ne marquait pas la fin du problème. « Nous commençons à peine à entrevoir les dommages que l'IA causera aux enfants si elle n'est pas réglementée », a-t-elle affirmé.
Character.AI a été fondée en 2021 par Noam Shazeer et Daniel De Freitas, deux anciens ingénieurs de Google. La start-up permettait de créer, de converser et de partager ses propres personnages d'IA, tels que des avatars d'anime personnalisés. Certains personnages pouvaient être conçus pour simuler des relations amoureuses (petits amis, petites amies, etc.).
Character.AI a levé près de 200 millions de dollars auprès d'investisseurs. Mi-2024, Google a accepté de verser environ 3 milliards de dollars pour acquérir une licence sur la technologie de Character.AI, et MM. Shazeer et De Freitas ont réintégré Google. Ils ont été cités comme défendeurs dans la plainte déposée par Mme Garcia.