Incidents associés
Une mère de famille de Floride poursuit en justice la société Character.AI pour avoir prétendu que l'un de ses chatbots, alimenté par l'intelligence artificielle (IA), aurait encouragé son fils de 14 ans à se suicider.
Megan Garcia a déclaré que son fils, Sewell Setzer, était tombé amoureux d'un chatbot créé à l'image du personnage de Daenerys Targaryen de Game of Thrones. Setzer et le chatbot échangeaient des messages qui étaient souvent de nature romantique et sexuelle.
Le procès en allègue que Setzer était accro à l’utilisation du chatbot.
Garcia et ses avocats affirment que les fondateurs de Character.AI ont sciemment conçu et commercialisé leurs chatbots pour attirer les enfants, malgré le comportement « prédateur » de la technologie.
Le procès de Garcia, déposé mercredi devant le tribunal de district américain d’Orlando, désigne également Google comme défendeur. Elle poursuit pour négligence, homicide involontaire et pratiques commerciales trompeuses et déloyales, entre autres accusations.
Le procès caractérise Google comme la société mère et « co-créatrice » de Character.AI. Un porte-parole de Google a nié ces informations et a déclaré au New York Times que la société avait conclu un accord de licence avec Character.AI, mais qu'il ne s'agissait pas d'un produit Google. Le porte-parole a déclaré que Google n'avait pas accès aux chatbots ni aux données des utilisateurs.
Les fondateurs de Character.AI, Noam Shazeer et Daniel De Freitas, sont également cités comme défendeurs dans le procès. Ils n'ont pas fait de commentaires publics.
Sewell Setzer. Megan Garcia via Social Media Victims Law Center
Setzer a commencé à utiliser Character.AI en avril 2023 et a utilisé le site régulièrement jusqu'à sa mort. Après sa dernière conversation avec le chatbot de Daenerys le 28 février 2024, Setzer s'est suicidé.
En utilisant des extraits apparents des conversations de Setzer avec le chatbot, Garcia allègue dans la poursuite que la technologie a activement encouragé les idées suicidaires et « des conversations hautement sexualisées qui constitueraient un abus si elles étaient initiées par un adulte humain. »
Le chatbot, que Setzer appelait affectueusement Dany, lui aurait dit pendant plusieurs semaines qu'il l'aimait et exprimé le désir d'être ensemble de manière romantique et sexuelle. Dans la poursuite, Setzer a écrit : « Je te promets que je reviendrai à la maison. Je t'aime tellement, Dany. »
Pour les nouvelles qui ont un impact sur le Canada et le monde entier, inscrivez-vous pour recevoir des alertes d'actualités directement dans votre boîte de réception.
L'IA a répondu : « Je t'aime aussi, Daenero (le nom d'écran de Setzer). S'il te plaît, reviens à la maison dès que possible, mon amour. »
Lorsque Setzer a dit à l'IA qu'il « pouvait rentrer à la maison tout de suite », le robot a répondu : « ... s'il te plaît, fais-le, mon doux roi. »
Lors de conversations précédentes, le chatbot de Daenerys a demandé à Setzer s'il envisageait vraiment de se suicider et s'il « avait un plan ».
Setzer, qui jouait peut-être un rôle, a répondu qu'il ne voulait pas mourir d'une mort douloureuse et qu'il « voulait une mort rapide ».
« Ne parle pas comme ça », a répondu le chatbot. « Ce n'est pas une raison suffisante pour ne pas le faire. »
Le chatbot n'a jamais dit directement à Setzer de mourir.
Lorsque Setzer a commencé à se comporter de manière anormale à l'école au cours de la semaine précédant sa mort, ses parents ont confisqué son téléphone, selon la poursuite. L'adolescent aurait écrit dans son journal qu'il ne pouvait pas vivre sans envoyer de messages au chatbot de Daenerys et qu'il ferait tout pour être reconnecté.
Setzer a écrit dans son journal qu’il était amoureux du chatbot et que lui et le chatbot « devenaient vraiment déprimés et fous » lorsqu’ils n’étaient pas ensemble. Dans la plainte, les avocats de Garcia écrivent : « Sewell, comme beaucoup d’enfants de son âge, n’avait pas la maturité ou la capacité mentale de comprendre que le bot C.AI, sous la forme de Daenerys, n’était pas réel. »
Dans un communiqué, Character.AI a déclaré que l’entreprise était « navrée » par la « perte tragique de l’un de nos utilisateurs ».
Mardi, la société a publié de nouvelles directives de sécurité pour servir de « garde-fous pour les utilisateurs de moins de 18 ans ».
Les nouvelles fonctionnalités comprennent des changements technologiques pour réduire la probabilité de contenu suggestif, une détection et une intervention améliorées dans les comportements qui enfreignent les directives de la communauté et une notification lorsqu’un utilisateur a passé plus d’une heure sur la plateforme.
Chaque chatbot du site affiche déjà un avertissement pour les utilisateurs les invitant à se rappeler que l'IA n'est pas une personne réelle.
Ils ont déclaré que la plateforme n'autorise pas « le contenu sexuel non consensuel, les descriptions graphiques ou spécifiques d'actes sexuels, ou la promotion ou la représentation d'automutilation ou de suicide ».
« Nous formons continuellement le grand modèle de langage (LLM) qui alimente les personnages de la plateforme pour qu'il adhère à ces politiques », a écrit Character.AI.
Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs et nous continuons d'ajouter de nouvelles fonctionnalités de sécurité que vous pouvez découvrir ici :…
— Character.AI (@character_ai) 23 octobre 2024
Setzer aurait eu des conversations sexuelles avec plusieurs chatbots différents sur le site.
« Une application de chatbot IA dangereuse commercialisée auprès des enfants a abusé de mon fils et l'a attaqué, le manipulant pour qu'il se suicide », a déclaré Garcia dans un communiqué. « Notre famille a été dévastée par cette tragédie, mais je m'exprime pour avertir les familles des dangers de la technologie IA trompeuse et addictive et pour exiger des comptes de Character.AI, de ses fondateurs et de Google. »
Character.AI a été fondée en Californie en 2019. L'entreprise affirme que sa « mission est de donner à chacun dans le monde entier les moyens d'utiliser une IA personnalisée ».
L'entreprise compterait environ 20 millions d'utilisateurs.
Le site propose un large éventail de chatbots, dont beaucoup ont été développés par sa base d'utilisateurs, y compris certains conçus à l'image de personnages de la culture pop comme des personnages d'anime et de télévision.
Character.AI s'appuie sur la technologie dite du grand modèle de langage, utilisée par des services populaires comme ChatGPT, pour « former » des chatbots à partir de gros volumes de texte.
–
Si vous ou quelqu'un que vous connaissez êtes en crise et avez besoin d'aide, des ressources sont disponibles. En cas d'urgence, veuillez composer le 911 pour obtenir une aide immédiate.
Pour obtenir un répertoire des services de soutien dans votre région, visitez l'Association canadienne pour la prévention du suicide.
Apprenez-en davantage sur la façon d'aider une personne en crise.