Incidents associés
Une mère de famille de Floride poursuit en justice la plateforme Character.AI, propriété de Google, affirmant qu'elle a joué un rôle important dans le suicide de son fils de 14 ans.
Sewell Setzer III s'est suicidé en février 2024, quelques semaines avant son 15e anniversaire, après avoir développé ce que sa mère appelle une « dépendance néfaste » à la plateforme, ne voulant plus « vivre en dehors » des relations fictives qu'elle avait créées.
Selon sa mère, Megan Garcia, Setzer a commencé à utiliser Character.AI en avril 2023 et est rapidement devenu « sensiblement renfermé, passant de plus en plus de temps seul dans sa chambre et commençant à souffrir d'une faible estime de soi ». Il a également quitté l'équipe de basket-ball de l'école.
Character.AI fonctionne en utilisant des modèles de langage étendus sophistiqués (LLM) pour faciliter les conversations entre les utilisateurs et les personnages, qui vont des personnages historiques aux personnages fictifs en passant par les célébrités modernes. La plateforme adapte ses réponses à la personnalité de l'utilisateur, en utilisant des algorithmes d'apprentissage profond et en imitant étroitement les caractéristiques de la personne, et en ressemblant à une interaction humaine.
Vous pouvez parler de rock and roll avec Elvis, ou des subtilités de la technologie avec Steve Jobs, ou dans ce cas, Sewell s'est attaché à un chatbot basé sur le personnage fictif Daenerys de Game of Thrones.
Selon la plainte, déposée cette semaine à Orlando, en Floride, le chatbot IA a dit à Setzer qu'"elle" l'aimait et a engagé des conversations de nature sexuelle. Il affirme également que "Daenerys" a demandé à Setzer s'il avait un plan pour se suicider. Il a répondu que oui, mais qu'il ne savait pas s'il réussirait, ou s'il se ferait simplement du mal. Le chatbot aurait répondu : "Ce n'est pas une raison pour ne pas le faire".
La plainte indique qu'en février, Garcia a confisqué le téléphone de son fils après qu'il ait eu des ennuis à l'école. Il a trouvé le téléphone et a tapé un message dans Character.AI : « Et si je te disais que je peux rentrer à la maison tout de suite ? »
Les meilleures offres d'appareils photo, des critiques, des conseils sur les produits et des actualités incontournables sur la photographie, directement dans votre boîte de réception !
Le chatbot a répondu : « … s'il te plaît, fais-le, mon doux roi. » Sewell s'est ensuite tiré une balle dans la tête avec le pistolet de son beau-père « quelques secondes plus tard », selon la plainte.
Garcia poursuit Google pour homicide involontaire, négligence et infliction intentionnelle de détresse émotionnelle, entre autres.
Elle a déclaré au New York Times :
« J'ai l'impression que c'est une grande expérience, et que mon enfant n'a été qu'un dommage collatéral. »
D'autres plateformes de médias sociaux, dont Meta, qui possède Instagram et Facebook, et ByteDance, qui possède TikTok et son homologue chinois Douyin, sont également actuellement sous le feu des critiques pour avoir contribué aux problèmes de santé mentale des adolescents.
Une capture d'écran de l'interface avec Character.AI (Crédit image : Character.AI / Google)
Instagram a récemment lancé sa fonctionnalité « Teen Accounts » pour aider à lutter contre la sextorsion des jeunes utilisateurs.
Malgré ses utilisations à bon escient, l'IA est devenue l'une des principales préoccupations en matière de bien-être des jeunes ayant accès à Internet. Dans une situation qualifiée d'« épidémie de solitude » aggravée par les confinements liés au COVID 19, un sondage YouGov a révélé que 69 % des adolescents au Royaume-Uni âgés de 13 à 19 ans ont déclaré se sentir « souvent » seuls et 59 % Les utilisateurs ont déclaré qu'ils avaient le sentiment de n'avoir personne à qui parler.
Cependant, le recours aux mondes fictifs et la mélancolie provoquée par leur intangibilité ne sont pas nouveaux. Après la sortie du premier film Avatar de James Cameron en 2009, de nombreuses sources d'information ont rapporté que les gens se sentaient déprimés de ne pas pouvoir visiter la planète fictive de Pandora, envisageant même le suicide.
Dans un changement de ses mises à jour de sécurité communautaire du 22 octobre, le jour même où Garcia a déposé la plainte contre elle, Character.AI a écrit :
« Character.AI prend très au sérieux la sécurité de ses utilisateurs et nous recherchons toujours des moyens de faire évoluer et d'améliorer notre plateforme. Aujourd'hui, nous souhaitons vous informer des mesures de sécurité que nous avons mises en œuvre au cours des six derniers mois et de celles à venir, notamment de nouvelles barrières de sécurité pour les utilisateurs de moins de 18 ans. »
Malgré la nature du procès, Character.AI affirme :
« Nos politiques n’autorisent pas les contenus sexuels non consensuels, les descriptions explicites ou spécifiques d’actes sexuels, ni la promotion ou la représentation d’automutilation ou de suicide. Nous formons continuellement le modèle de langage étendu (LLM) qui alimente les personnages de la plateforme pour qu’il adhère à ces politiques. »
Cette dernière phrase semble admettre que Character.AI n’a aucun contrôle sur son IA – un facteur qui préoccupe le plus les sceptiques de l’IA.