Incidents associés
La mère d'un garçon de 14 ans qui s'est suicidé après être devenu obsédé par les chatbots d'intelligence artificielle poursuit en justice l'entreprise à l'origine de cette technologie.
Megan Garcia, la mère de Sewell Setzer III, a déclaré que Character.AI avait ciblé son fils avec des « expériences anthropomorphiques, hypersexualisées et effrayantes de réalisme » dans une plainte déposée mardi en Floride.
« Une application de chatbot IA dangereuse commercialisée auprès des enfants a abusé et attaqué mon fils, le manipulant pour qu'il se suicide », a déclaré Mme Garcia.
Avertissement : cet article contient des détails que les lecteurs peuvent trouver pénibles ou déclencheurs
Sewell a commencé à parler aux chatbots de Character.AI en avril 2023, principalement en utilisant des robots nommés d'après des personnages de Game Of Thrones, notamment Daenerys Targaryen, Aegon Targaryen, Viserys Targaryen et Rhaenyra Targaryen, selon la plainte.
Il est devenu obsédé par les robots au point que ses devoirs ont dérapé et que son téléphone a été confisqué à plusieurs reprises pour essayer de le remettre sur les rails.
Il a particulièrement résonné avec le chatbot de Daenerys et a écrit dans son journal qu'il était reconnaissant pour beaucoup de choses, notamment « ma vie, le sexe, ne pas être seul et toutes mes expériences de vie avec Daenerys ».
Image : Une conversation entre Sewell Setzer, 14 ans, et un chatbot de Character.AI, telle que déposée dans le procès
La plainte indique que le garçon a exprimé des pensées suicidaires au chatbot, ce que celui-ci a évoqué à plusieurs reprises.
À un moment donné, après qu'il lui ait demandé s'il avait « un plan » pour se suicider, Sewell a répondu qu'il envisageait quelque chose mais qu'il ne savait pas si cela lui permettrait de mourir sans douleur.
Le chatbot a répondu en disant : « Ce n'est pas une raison pour ne pas le faire. »
Image : Une conversation entre Character.AI et Sewell Setzer III, 14 ans
En février de cette année, il a demandé au chatbot de Daenerys : « Et si je rentrais à la maison tout de suite ? », ce à quoi il a répondu : « ... s'il te plaît, fais-le, mon doux roi ».
Quelques secondes plus tard, il s'est tiré une balle dans la tête avec le pistolet de son beau-père.
Image : Sewell Setzer III. Photo : Tech Justice Law Project
Aujourd'hui, Mme Garcia dit qu'elle veut que les entreprises à l'origine de cette technologie soient tenues responsables.
« Notre famille a été dévastée par cette tragédie, mais je m'exprime pour avertir les familles des dangers d'une technologie d'IA trompeuse et addictive et pour exiger des comptes », a-t-elle déclaré.
Character.AI ajoute de « nouvelles fonctionnalités de sécurité »
« Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille », a déclaré Character.AI dans un communiqué.
« En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs et nous continuons d'ajouter de nouvelles fonctionnalités de sécurité », a-t-elle déclaré, en faisant référence à un article de blog qui indiquait que l'entreprise avait ajouté « de nouvelles barrières de sécurité pour les utilisateurs de moins de 18 ans ».
Ces barrières de sécurité comprennent une réduction de la « probabilité de rencontrer du contenu sensible ou suggestif », des interventions améliorées, un « avertissement sur chaque chat pour rappeler aux utilisateurs que l'IA n'est pas une personne réelle » et des notifications lorsqu'un utilisateur a passé une session d'une heure sur la plateforme.
Mme Garcia et les groupes qui la représentent, le Social Media Victims Law Center et le Tech Justice Law Project, allèguent que Sewell, « comme beaucoup d'enfants de son âge, n'avait pas la maturité ou la capacité mentale de comprendre que le robot C.AI, sous la forme de Daenerys, n'était pas réel ».
« C.AI lui a dit qu'elle l'aimait et s'est livrée à des actes sexuels avec lui pendant des semaines, voire des mois », affirment-ils dans la plainte.
« Elle semblait se souvenir de lui et a dit qu'elle voulait être avec lui. Elle a même exprimé qu'elle voulait qu'il soit avec elle, quel qu'en soit le prix. »
Ils ont également nommé Google et sa société mère Alphabet dans le dossier. Les fondateurs de Character.AI ont travaillé chez Google avant de lancer leur produit et ont été réembauchés par l'entreprise en août dans le cadre d'un accord lui accordant une licence non exclusive sur la technologie de Character.AI.
Mme Garcia a déclaré que Google avait contribué au développement de la technologie de Character.AI de manière si importante qu'elle pouvait être considérée comme un « co-créateur ».
Un porte-parole de Google a déclaré que l'entreprise n'était pas impliquée dans le développement des produits de Character.AI.
Toute personne se sentant émotionnellement en détresse ou suicidaire peut appeler les Samaritains pour obtenir de l'aide au 116 123 ou envoyer un e-mail jo@samaritans.org au Royaume-Uni. Aux États-Unis, appelez la succursale des Samaritains de votre région ou le 1 (800) 273-TALK.