Incidents associés
Un matin du début octobre, environ 18 ans après le meurtre de sa fille Jennifer, Drew Crecente a reçu une alerte Google signalant ce qui semblait être un nouveau profil en ligne.
Le profil portait le nom complet de Jennifer et une photo d'elle dans l'annuaire. Une courte biographie décrivait faussement Jennifer, dont l'ex-petit ami [l'a tuée](https://subscribe.statesman.com/restricted?return=https%3A%2F%2Fwww.statesman.com%2Fstory%2Fnews%2Fcolumns%2F2023%2F09%2F27%2Ftexas-board-denies-parole-justin-crabbe-2006-murder-ex-girlfriend-jennifer-crecente-austin%2F70922968007%2F&gps -source=CPROADBLOCKDH&itm_source=roadblock&itm_medium=onsite&itm_campaign=premiumroadblock&gca-cat=p&gca-uir=false&gca-epti=z118051u118051e006300v118051&gca-ft=169&sltsgmt=1002_B_50&slug=restricted&redirect=true&offer=W-HP&gnt-eid=control) en 2006, pendant sa dernière année de lycée, en tant que « journaliste de jeux vidéo et experte en technologie, culture pop et journalisme ».
Jennifer avait apparemment été recréée en « personnage d'IA compétent et amical », a déclaré le site Web. Un gros bouton invitait les utilisateurs à discuter avec elle.
« Mon pouls battait fort », a rappelé Crecente au Washington Post. « Je cherchais juste un gros bouton rouge clignotant sur lequel je pourrais appuyer pour arrêter tout ça. »
Le nom et l'image de Jennifer ont été utilisés pour créer un chatbot sur Character.AI, un site Web qui permet aux utilisateurs de converser avec des personnalités numériques créées à l'aide de l'intelligence artificielle générative. Plusieurs personnes ont interagi avec la Jennifer numérique, qui a été créée par un utilisateur sur le site Web de Character, selon une capture d'écran du profil de son chatbot, désormais supprimé.
Crecente, qui a passé les années depuis la mort de sa fille à diriger une organisation à but non lucratif en son nom pour prévenir la violence dans les relations amoureuses entre adolescents, a déclaré qu'il était consterné que Character ait permis à un utilisateur de créer un fac-similé d'une lycéenne assassinée sans l'autorisation de sa famille. Les experts ont déclaré que l'incident soulève des inquiétudes quant à la capacité - ou à la volonté - de l'industrie de l'IA à protéger les utilisateurs des dommages potentiels d'un service qui peut traiter des trésors d'informations personnelles sensibles.
« Il m'en faut beaucoup pour être choquée, car j'ai vraiment vécu beaucoup de choses », a déclaré Crecente. « Mais c'était un nouveau creux. »
Kathryn Kelly, porte-parole de Character, a déclaré que l'entreprise supprime les chatbots qui enfreignent ses conditions de service et « évolue et affine constamment nos pratiques de sécurité pour aider à donner la priorité à la sécurité de notre communauté ».
« Lorsque nous avons été informés du personnage de Jennifer, nous avons examiné le contenu et le compte et avons pris des mesures en fonction de nos politiques », a déclaré Kelly dans un communiqué. Les conditions de service de l'entreprise empêchent les utilisateurs d'usurper l'identité d'une personne ou d'une entité.
Les chatbots IA peuvent engager une conversation et être programmés pour adopter la personnalité et les détails biographiques de personnages spécifiques, réels ou imaginaires. Ils ont trouvé un public croissant en ligne, car les entreprises d'IA commercialisent les compagnons numériques comme des amis, des mentors et des partenaires romantiques. La technologie a également suscité la controverse. Un Belge s'est suicidé en 2023 après avoir été encouragé à le faire dans une conversation avec un chatbot.
Character, qui a signé cette année un accord de 2,5 milliards de dollars pour concéder sous licence ses modèles d'IA à Google, est l'un des plus grands acteurs du secteur. L'entreprise propose plusieurs chatbots créés par l'entreprise, mais permet également aux utilisateurs de créer et de partager leurs propres chatbots d'IA en téléchargeant des photos, des enregistrements vocaux et de courtes invites écrites. Sa bibliothèque de compagnons créés par les utilisateurs comprend un sergent bourru agissant comme un motivateur personnel, une bibliothécaire qui propose des recommandations de livres et des imitations de célébrités et de personnalités publiques telles que la rappeuse Nicki Minaj et l'entrepreneur technologique Elon Musk.
C'est le dernier endroit où Crecente s'attendait à voir sa fille, plus d'une décennie après que son meurtre ait choqué la ville d'Austin et bouleversé la vie de Crecente.
Jennifer Crecente, alors âgée de 18 ans, a disparu en février 2006 et a été retrouvée morte par balle dans les bois près de chez elle quelques jours plus tard. Les enquêteurs ont déterminé que son ex-petit ami, également âgé de 18 ans, avait attiré Jennifer dans les bois et l'avait tuée avec un fusil de chasse, selon Crecente et un reportage de l'Austin American-Statesman. Il a été reconnu coupable de son meurtre.
Le meurtre a consumé Crecente et Elizabeth Crecente, la mère de Jennifer. Les parents divorcés ont créé des organisations distinctes au nom de leur fille, dédiées à la prévention de la violence dans les relations amoureuses entre adolescents. Ils ont également fait pression contre la libération conditionnelle du meurtrier de Jennifer, qui a été condamné à 35 ans de prison.
Drew Crecente, qui vit maintenant à Atlanta, a préservé la chambre de Jennifer et l'a recréée dès qu'il a déménagé, a-t-il déclaré.
« Je n'ai pas vraiment le vocabulaire pour la décrire », a déclaré Crecente à propos de son chagrin.
En raison de son travail à but non lucratif, Crecente conserve une alerte Google qui suit les mentions du nom de sa fille en ligne au fil des ans, a-t-il déclaré. Parfois, elle apparaît sur un site Web de spam ou un reportage d'actualité répétant d'anciennes informations de son affaire. Puis, le 2 octobre, l'alerte l'a conduit au nom et à la photo de sa fille sur Character.
Crecente n'a pas pu le comprendre au début. Plus il regardait, plus il se sentait mal à l'aise. En plus d'utiliser le nom et la photo de Jennifer, la page du chatbot la décrit dans un langage vivant, comme si elle était vivante, comme une journaliste technologique qui « s'intéresse aux jeux vidéo » et qui est « toujours au courant des dernières nouvelles du divertissement ».
Crecente a déclaré que la description ne semblait pas être basée sur la personnalité de Jennifer ou sur des détails rapportés sur ses intérêts et qu'elle pouvait être une erreur d'une biographie générée par l'IA : le frère de Crecente, Brian Crecente, est un ancien journaliste qui a fondé le site d'actualités sur les jeux vidéo Kotaku.
Les inexactitudes factuelles n'étaient pas pertinentes, a ajouté Crecente. Il a déclaré que l'idée d'héberger des personnages et de potentiellement gagner de l'argent avec un chatbot utilisant le nom de sa fille assassinée était suffisamment pénible.
« On ne peut pas aller beaucoup plus loin en termes de choses vraiment terribles », a-t-il déclaré.
Crecente a déclaré qu'il n'avait pas commencé de conversation avec le chatbot portant le nom de sa fille et n'avait pas enquêté sur l'utilisateur qui avait créé le bot, qui était répertorié sous un nom d'utilisateur qu'il ne reconnaissait pas. Il a déclaré avoir immédiatement envoyé un e-mail à Character pour le faire supprimer. Brian Crecente a également écrit à propos de la découverte de son frère sur la plateforme X.
Character a écrit sur les réseaux sociaux le 2 octobre, en réponse à la publication de Brian Crecente, qu'il supprimait le personnage. Kelly, la porte-parole de Character, a déclaré dans sa déclaration que les conditions de service de l'entreprise interdisent aux utilisateurs de se faire passer pour une personne ou une entité et que l'entreprise détecte de manière proactive les violations et modère son service à l'aide de listes de blocage.
Interrogée sur les autres chatbots du site de Character qui se font passer pour des personnalités publiques, Kelly a déclaré que « les signalements d'usurpation d'identité font l'objet d'une enquête de notre équipe Trust & Safety, et le personnage est supprimé s'il s'avère qu'il viole nos conditions d'utilisation ».
Jen Caltrider, chercheuse en confidentialité à la fondation à but non lucratif Mozilla Foundation, a critiqué l'approche de Character en matière de modération, la jugeant trop passive pour un contenu qui violait clairement ses propres conditions d'utilisation dans le cas de Crecente.
« S'ils disent : "Nous n'autorisons pas cela sur notre plateforme", puis qu'ils l'autorisent sur leur plateforme jusqu'à ce que cela soit porté à leur attention par quelqu'un qui a été blessé par cela, ce n'est pas correct », a déclaré Caltrider. « Pendant ce temps, ils gagnent des millions de dollars ».
Rick Claypool, qui a fait des recherches sur les chatbots IA pour l'organisation à but non lucratif de défense des consommateurs Public Citizen, a déclaré que si les lois régissant le contenu en ligne en général pouvaient s'appliquer aux entreprises d'IA, elles ont été en grande partie laissées à elles-mêmes pour s'autoréguler. Crecente n'est pas le premier parent en deuil à voir les informations de son enfant manipulées par l'IA : les créateurs de contenu sur TikTok ont utilisé l'IA pour imiter les voix et les ressemblances d'enfants disparus et produire des vidéos d'eux racontant leur mort, provoquant l'indignation des familles des enfants, a rapporté le Post l'année dernière.
« Nous avons désespérément besoin que les législateurs et les régulateurs prêtent attention aux véritables impacts que ces technologies ont sur leurs électeurs », a déclaré Claypool. « Ils ne peuvent pas se contenter d'écouter les PDG des entreprises technologiques sur ce que devraient être les politiques... ils doivent prêter attention aux familles et aux personnes qui ont été lésées. »
Cette épreuve a été suffisamment perturbante pour pousser Crecente, qui a fait pression avec succès pour que des lois sur la violence entre adolescents dans les relations amoureuses soient adoptées au Texas après le meurtre de Jennifer, à envisager de se lancer dans une nouvelle cause. Il envisage des options juridiques et plaide plus activement en faveur de mesures visant à empêcher les entreprises d'IA de nuire ou de traumatiser à nouveau d'autres familles de victimes de crimes, a-t-il déclaré.
"Je suis suffisamment troublé par cette situation pour que je vais probablement investir un peu de temps pour déterminer ce qu'il faudrait pour changer cela", a déclaré Crecente.