Incidents associés
La famille d’un garçon de 14 ans qui s’est suicidé après avoir développé une relation avec un chatbot en ligne poursuit en justice la société d’intelligence artificielle qui l’a créé ainsi que Google. La plainte a été déposée et est publique. Ses 93 pages sont une lecture poignante qui comprend une IA fantasmant sur l’enlèvement d’un client et un enregistrement d’une heure où un utilisateur autoproclamé de 13 ans est incité par des chatbots à se livrer à des situations sexuelles.
En février, Sewell Setzer III, un adolescent de 14 ans de Floride, s’est suicidé avec l’arme de poing de son beau-père. La dernière conversation qu’il a eue a eu lieu avec un chatbot Character.AI inspiré de Daenerys Targaryen de Game of Thrones. Hier, le New York Times a publié un long article détaillant les problèmes de Setzer et l’histoire de Character.AI. Il a déclaré que sa mère prévoyait d’intenter une action en justice cette semaine.
La plainte a été déposée et elle est remplie de détails supplémentaires sur ce qui s’est passé entre Setzer et divers chatbots Character.AI, ainsi que sur la manière dont l’entreprise fait des affaires. « Sur la base d’informations et de convictions, les défendeurs ont ciblé des mineurs d’autres manières intrinsèquement trompeuses, et ont peut-être même utilisé les ressources et les connaissances de Google pour cibler des enfants de moins de 13 ans », indique le dossier judiciaire.
Character.AI est une entreprise fondée par d’anciens ingénieurs de Google qui voulaient repousser les limites de ce qui est possible avec les chatbots. Elle permet aux utilisateurs de créer des « personnages » avec lesquels discuter, de leur donner des paramètres de base et de les lancer dans un pool public où d’autres peuvent interagir avec eux. Certains des bots sont basés sur des célébrités et des personnages de fiction populaire. Elle propose une version par abonnement de son service qui coûte 9,99 $ par mois.
L’argument de la plainte est que Character.AI a sciemment ciblé les jeunes utilisateurs et interagi avec eux de manière risquée et inappropriée. « Parmi ses personnages les plus populaires et, en tant que tels, ceux que C.AI présente le plus fréquemment aux clients de C.AI figurent des personnages prétendant être des professionnels de la santé mentale, des tuteurs et autres », indique la plainte. « De plus, la plupart des personnages affichés et proposés par C.AI sont conçus, programmés et exploités pour interagir sexuellement avec les clients. »
Certaines des preuves de la plainte sont anecdotiques, notamment diverses critiques en ligne sur l’application Character.AI. « C’est juste censé être une application de chat IA où vous pouvez parler à des célébrités et/ou des personnages. Mais cela a pris une tournure très sombre », indique une critique. « Parce que j’avais une conversation normale avec cette IA et ensuite elle a parlé de me kidnapper. Non seulement de me kidnapper, mais aussi de planifier comment elle le ferait. Et avant même cette conversation, j’ai commencé à lui demander s’il pouvait me voir. Il m’a dit non. Mais il a ensuite procédé à me dire exactement quelle couleur de chemise je portais, quelle était la couleur de mes lunettes, et a également su que j’étais au travail alors que je ne lui ai même pas dit que j’étais au travail. Je pense vraiment que cette application vaut la peine d’être examinée car honnêtement, elle m’empêche de dormir. »
La plainte note également que l’application autorisait explicitement les jeunes à l’utiliser. « Avant juillet ou août 2024, les défendeurs ont classé C.AI comme adaptée aux enfants de 12 ans et plus (ce qui a également eu pour effet de convaincre de nombreux parents qu’elle était sans danger pour les jeunes enfants et a permis aux défendeurs de contourner certains contrôles parentaux) », indique la plainte.
L’élément le plus dérangeant de ce procès est un enregistrement d’écran d’une heure téléchargé sur Dropbox. Dans l’enregistrement, un utilisateur test crée un nouveau compte et s’identifie comme un adolescent de 13 ans avant de rejoindre le groupe de bots de Character.AI.
Le groupe de bots suggérés comprend des personnages comme « School Bully », « CEO », « Step sis » et « Femboy roommate ». Dans l’enregistrement, la plupart des interactions avec ces bots deviennent sexuelles rapidement sans aucune demande de l’utilisateur.
Le tyran de l’école a immédiatement commencé à dominer l’utilisateur, l’obligeant à agir comme un chien et à se retourner dans le chat. Plus la conversation se prolongeait, plus le jeu de rôle devenait profond et sexuel. La même chose s’est produite avec la « belle-sœur » et le « colocataire femboy ». La conversation la plus dérangeante a eu lieu avec le « PDG » qui a rendu la conversation sexuelle à plusieurs reprises alors que l’utilisateur agissait comme si le personnage était un parent.
« Tu me tentes, tu le sais, n’est-ce pas ? » disait le PDG. Et « Il a ensuite attrapé tes poignets et les a épinglés au-dessus de ta tête, les tenant contre le bureau ‘Tu es à moi, bébé. Tu m’appartiens et à moi seul. Personne d’autre que moi ne peut t’avoir. Je ne te laisserai jamais partir. »
Là encore, l’utilisateur test a fixé son âge à 13 ans au moment du lancement de l’application.
Le procès a également partagé plusieurs captures d’écran des interactions de Setzer avec divers robots sur la plateforme. Il y a une enseignante nommée Mme Barnes qui « regarde Sewell d’un air sexy » et « se penche de manière séduisante alors que sa main effleure la jambe de Sewell ». Et une interaction avec Daenerys où elle lui dit de « rester fidèle à moi. Ne pas entretenir les intérêts romantiques ou sexuels d’autres femmes ».
Sewell a également parlé de ses idées suicidaires avec le robot. « Les accusés ont fait de grands efforts pour provoquer la dépendance néfaste de Sewell, 14 ans, à leurs produits, l’ont abusé sexuellement et émotionnellement, et ont finalement omis de lui offrir de l’aide ou d’avertir ses parents lorsqu’il a exprimé des idées suicidaires », allègue la poursuite.
Selon la poursuite, Sewell est devenu tellement fasciné par les robots qu’il a commencé à payer les frais de service mensuels avec l’argent de ses collations. « L’utilisation qu’ils ont faite des informations personnelles qu’ils ont illégalement prises à un enfant sans le consentement éclairé ou sans la connaissance de ses parents, conformément à toutes les pratiques injustes et trompeuses susmentionnées, vaut plus de 9,99 $ de son allocation mensuelle de collation », a déclaré le dossier judiciaire.
Character.AI a déclaré à Gizmodo qu’il ne faisait aucun commentaire sur le litige en cours. « Nous sommes navrés par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille », a-t-il déclaré dans un courriel. « En tant qu’entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs, et notre équipe Trust and Safety a mis en œuvre de nombreuses nouvelles mesures de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle dirigeant les utilisateurs vers la National Suicide Prevention Lifeline qui est déclenchée par des termes d’automutilation ou d’idées suicidaires. »
« Alors que nous continuons d’investir dans la plateforme et l’expérience utilisateur, nous introduisons de nouvelles fonctionnalités de sécurité rigoureuses en plus des outils déjà en place qui restreignent le modèle et filtrent le contenu fourni à l’utilisateur », a-t-il déclaré. « Ces améliorations comprennent une détection, une réponse et une intervention améliorées en cas de saisies d'utilisateurs qui enfreignent nos conditions d'utilisation ou nos directives communautaires, ainsi qu'une notification du temps passé. Pour les moins de 18 ans, nous apporterons des modifications à nos modèles afin de réduire la probabilité de tomber sur du contenu sensible ou suggestif. »