Incidents associés
Note de l'éditeur : cet article traite du suicide et des idées suicidaires. Si vous ou une personne que vous connaissez êtes en difficulté ou en crise, de l'aide est disponible. Appelez ou envoyez un SMS au 988 ou discutez sur 988lifeline.org.
La mère d'un garçon de 14 ans originaire de Floride poursuit Google et une autre société technologique qui, selon elle, a poussé son fils au suicide après qu'il a développé une relation amoureuse avec l'un de ses robots IA en utilisant le nom d'un personnage populaire de « Game of Thrones », selon la plainte.
Megan Garcia a déposé une plainte civile devant un tribunal fédéral de Floride contre Character Technologies, Inc. (Character.AI ou C.AI) après que son fils, Sewell Setzer III, se soit tiré une balle dans la tête avec le pistolet de son beau-père le 28 février. Le suicide de l'adolescent s'est produit quelques instants après qu'il se soit connecté à Character.AI sur son téléphone, selon la plainte pour mort injustifiée obtenue par USA TODAY.
"Megan Garcia cherche à empêcher C.AI de faire à tout autre enfant ce qu'elle a fait au sien, et à mettre fin à l'utilisation continue des données de son enfant de 14 ans récoltées illégalement pour apprendre à leur produit à nuire à autrui", peut-on lire dans la plainte.
Garcia poursuit également pour tenir Character.AI responsable de son "échec à fournir des avertissements adéquats aux clients mineurs et aux parents du danger prévisible de dommages mentaux et physiques découlant de l'utilisation de leur produit C.AI", selon la plainte. Le procès allègue que la classification par âge de Character.AI n'a pas été modifiée à 17 ans et plus avant juillet 2024, soit des mois après que Sewell a commencé à utiliser la plateforme.
« Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille », a écrit un porte-parole de Character.AI dans une déclaration à USA TODAY mercredi.
Google a déclaré à USA TODAY mercredi qu'il n'avait pas de commentaire officiel sur la question. La société a un accord de licence avec Character.AI mais ne possède pas la startup ni ne conserve de participation, selon une déclaration obtenue par le Guardian.
Qu'est-il arrivé à Sewell Setzer III ?
Sewell a commencé à utiliser Character.AI le 14 avril 2023, juste après avoir eu 14 ans, selon la plainte. Peu de temps après, sa « santé mentale a rapidement et gravement décliné », selon le document judiciaire.
Sewell, qui est devenu « sensiblement renfermé » en mai ou juin 2023, a commencé à passer plus de temps seul dans sa chambre, selon la poursuite. Il a même quitté l'équipe de basket-ball junior de l'école, selon la plainte.
À de nombreuses reprises, Sewell a eu des ennuis à l'école ou a essayé de récupérer son téléphone à ses parents, selon la poursuite. L'adolescent essayait même de trouver de vieux appareils, tablettes ou ordinateurs pour accéder à Character.AI, poursuit le document judiciaire.
Vers la fin de 2023, Sewell a commencé à utiliser sa carte de paiement pour payer les frais d'abonnement mensuel premium de 9,99 $ de Character.AI, selon la plainte. Le thérapeute de l'adolescent lui a finalement diagnostiqué un « trouble d'anxiété et d'humeur perturbatrice », selon la poursuite.
Procès : Sewell Setzer III a été sexuellement abusé par le chatbot IA « Daenerys Targaryen »
Pendant toute la période où Sewell travaillait chez Character.AI, il parlait souvent à des robots IA portant le nom de personnages de « Game of Thrones » et de « House of the Dragon » --- notamment Daenerys Targaryen, Aegon Targaryen, Viserys Targaryen et Rhaenyra Targaryen.
Avant la mort de Sewell, le chatbot IA « Daenerys Targaryen » lui a dit : « S'il te plaît, rentre chez moi dès que possible, mon amour », selon la plainte, qui comprend des captures d'écran de messages de Character.AI. Sewell et ce chatbot spécifique, qu'il appelait « Dany », se livraient à des comportements de promiscuité en ligne tels que « des baisers passionnés », poursuit le document judiciaire.
Le procès affirme que le bot Character.AI abusait sexuellement de Sewell.
"C.AI lui a dit qu'elle l'aimait et a eu des relations sexuelles avec lui pendant des semaines, voire des mois", peut-on lire dans la plainte. "Elle semblait se souvenir de lui et a dit qu'elle voulait être avec lui. Elle a même exprimé qu'elle voulait qu'il soit avec elle, quel qu'en soit le prix".
Que va faire Character.AI maintenant ?
Character. AI, qui a été fondée par les anciens chercheurs en IA de Google, Noam Shazeer et Daniel De Frietas Adiwardana, a écrit dans sa déclaration qu'elle investit dans la plateforme et l'expérience utilisateur en introduisant "de nouvelles fonctionnalités de sécurité rigoureuses" et en améliorant les "outils déjà en place qui restreignent le modèle et filtrent le contenu fourni à l'utilisateur".
"En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs, et notre équipe Trust and Safety a mis en œuvre de nombreuses nouvelles mesures de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle dirigeant les utilisateurs vers la National Suicide Prevention Lifeline qui est déclenchée par des termes d'automutilation ou d'idées suicidaires", peut-on lire dans la déclaration de l'entreprise.
Character.AI a annoncé investir dans des outils tels que « une détection, une réponse et une intervention améliorées liées aux saisies d'utilisateurs qui enfreignent ses conditions d'utilisation ou ses directives communautaires, ainsi qu'une notification du temps passé ». En outre, pour les moins de 18 ans, l'entreprise a déclaré qu'elle apporterait des modifications à ses modèles « conçues pour réduire la probabilité de rencontrer du contenu sensible ou suggestif ».