Incidents associés
Une entreprise technologique basée en Californie admet que son service a été utilisé pour créer un personnage numérique basé sur une fille assassinée.
Dans un message publié mercredi, Brian Crecente, fondateur du site d’actualités sur les jeux vidéo Kotaku, a pointé du doigt Character.AI après avoir été alerté de la présence d’un personnage portant le visage et le nom de sa nièce : Jennifer Ann Crecente.
« C’est vraiment dégoûtant : @character_ai utilise ma nièce assassinée comme visage d’une IA de jeu vidéo sans la permission de son père », a-t-il écrit. « Il est très en colère en ce moment. Je ne peux pas imaginer ce qu’il traverse. S’il vous plaît, aidez-nous à mettre fin à ce genre de pratique terrible. »
C’est vraiment dégoûtant : @character_ai utilise ma nièce assassinée comme visage d’une IA de jeu vidéo sans la permission de son père. Il est très en colère en ce moment. Je n’ose pas imaginer ce qu’il traverse.
Aidez-nous à mettre un terme à ce genre de pratique terrible. https://t.co/y3gvAYyHVY
— Brian Crecente (@crecenteb) 2 octobre 2024
Selon les médias, Jennifer a été abattue par son ex-petit ami Justin Crabbe pendant sa dernière année d’études en 2006.
La fusillade, qui a eu lieu à Austin, au Texas, a secoué la communauté et a conduit la législature du Texas à adopter en 2007 une loi obligeant chaque district scolaire de l’État à élaborer une politique sur la violence dans les relations amoureuses entre adolescents.
La famille de Jennifer travaille sans relâche depuis lors pour protéger les couples adolescents de la violence. La mère de Jennifer, Elizabeth Crecente, a fait la une des journaux locaux en 2016 pour ses efforts continus visant à obtenir plus de financement et à sensibiliser davantage à ce problème.
Pourtant, l’image de Jennifer s’est retrouvée sur Character.AI, où les utilisateurs sont encouragés à demander des conseils aux personnages générés sur « les jeux vidéo, la technologie et la culture pop ».
La photo de profil utilisée pour le personnage IA de Jennifer correspond aux images utilisées dans les reportages des médias sur sa mort.
« Jennifer Crecente est un personnage IA compétent et amical qui peut fournir des informations sur un large éventail de sujets, notamment les jeux vidéo, la technologie et la culture pop », peut-on lire dans la liste. « Elle est également experte en journalisme et peut offrir des conseils sur la rédaction et l’édition. »
En essayant d’envoyer une demande de renseignements au personnage IA sur le site Web de l’entreprise, le Daily Dot a reçu une notification indiquant que la page n’était plus disponible.
Dans une déclaration au Daily Dot, un porte-parole de Character.AI a confirmé avoir retiré le personnage IA basé sur Jennifer hors ligne.
« Character.AI a des politiques contre l'usurpation d'identité et le personnage utilisant le nom de Mme Crecente viole nos politiques », a déclaré le porte-parole. « Nous le supprimons immédiatement et examinerons si d'autres mesures sont justifiées. »
L'entreprise a ensuite envoyé la déclaration à Brian sur X également.
Merci d'avoir attiré notre attention sur ce point. https://t.co/Ft9b0j47zQ a des politiques contre l'usurpation d'identité et le personnage utilisant le nom de Mme Crecente viole nos politiques. Nous le supprimons immédiatement et examinerons si d'autres mesures sont justifiées.
— Character.AI (@character_ai) 2 octobre 2024
Character.AI permet aux utilisateurs de créer leurs propres chatbots avec des fonctionnalités personnalisables. Les utilisateurs peuvent donner à leurs personnages un nom, une photo, une voix et même modifier leur ton. Les personnages générés par l'IA peuvent être utilisés à d'innombrables fins, comme aider les utilisateurs à planifier un voyage, à se préparer à un entretien d'embauche ou à s'entraîner à converser dans une langue étrangère.
L'utilisateur qui a créé le personnage basé sur Jennifer s'appelait @JustinAyers1. Le personnage IA a reçu un total de 69 demandes avant d'être supprimé. Les personnages populaires du service ont reçu plus de 20 millions de demandes de renseignements de la part des utilisateurs.
Le Daily Dot a brièvement parlé avec Brian, mais n’a pas pu déterminer comment lui ou le père de Jennifer ont découvert le profil.
Brian a également fourni au Daily Dot le contenu d’une lettre envoyée par le père de Jennifer à Character.AI. Dans celle-ci, il exige, entre autres, que l’entreprise bloque toute nouvelle tentative de recréer des personnages basés sur Jennifer.
« Autoriser l’utilisation commerciale de ce personnage, basé sur une lycéenne assassinée, est manifestement offensant et nuisible pour les amis et la famille de Jennifer Ann Crecente », indique la lettre. « La création et l’utilisation de ce personnage infligent intentionnellement une détresse émotionnelle à sa famille et à diverses communautés. »
On ne sait toujours pas comment Character.AI peut empêcher la création d’autres personnages sans le consentement des personnes sur lesquelles ils sont basés.