Incidents associés
Jennifer Ann Crecente, assassinée en 2006, a vu sa photo et son nom utilisés dans un chatbot créé sur Character.ai que son père a découvert cette semaine. Drew Crecente et CFOTO/Future Publishing via Getty Images
Drew Crecente s'est réveillé à 6h30 mercredi pour trouver une alerte Google sur son téléphone concernant sa fille.
Cela faisait 18 ans que Jennifer Ann, une lycéenne et fille unique de Crecente, avait été assassinée par son ex-petit ami à Austin. En deuil, Crecente avait créé une association à but non lucratif en son nom, qui œuvre depuis 2006 pour sensibiliser à la violence dans les relations amoureuses entre adolescents.
Mais Crecente a appris qu'elle était réapparue en ligne, cette fois sous la forme d'un chatbot d'intelligence artificielle sur Character.ai, dirigé par une start-up basée à San Francisco qui a conclu un accord de 2,7 milliards de dollars avec Google en août.
Une vague d'émotions a frappé Crecente - fureur, confusion et dégoût à la fois, a-t-il déclaré à Business Insider.
"C'était en partie de la tristesse", a déclaré Crecente. "Parce que je suis là, à devoir à nouveau être confronté à ce terrible traumatisme auquel je dois faire face depuis longtemps".
Crecente n'avait aucune idée de qui avait créé le chatbot ni de quand il avait été créé. Il savait seulement que Google avait indexé le bot ce matin-là et lui avait envoyé l'alerte à 4h30 du matin, qu'il avait configurée pour garder une trace de toute mention de sa fille ou de son association à but non lucratif.
Les chatbots Character.ai sont généralement créés par des utilisateurs, qui peuvent télécharger des noms, des photos, des salutations et d'autres informations sur le personnage.
Dans le cas de Jennifer Ann, le bot a utilisé son nom et sa photo d'annuaire, la décrivant comme un « personnage IA compétent et amical qui peut fournir des informations sur un large éventail de sujets ».
Au moment où Crecente a découvert le bot, un compteur sur son profil indiquait qu'il avait déjà été utilisé dans au moins 69 chats, selon une capture d'écran qu'il a envoyée à BI.
La page de profil de Jennifer Ann la répertorie comme journaliste de jeux vidéo. Son oncle, Brian, est journaliste et rédacteur en chef de jeux vidéo. Drew Crecente
Le site Web a également répertorié Jennifer Ann comme une « experte en journalisme » avec une expertise dans l'actualité des jeux vidéo. Son oncle, Brian Crecente, a fondé le site d'actualités sur les jeux vidéo Kotaku et a cofondé son site concurrent, Polygon.
Drew Crecente a déclaré avoir contacté Character.ai via son formulaire de support client, demandant à l'entreprise de supprimer le chatbot imitant Jennifer Ann et de conserver toutes les données sur la personne qui a téléchargé le profil.
"Je voulais m'assurer qu'ils mettent en place des mesures pour qu'aucun autre compte utilisant le nom ou l'image de ma fille ne puisse être créé à l'avenir", a-t-il déclaré.
Il a reçu une réponse automatique contenant son numéro de dossier mais aucune autre information.
Son frère, Brian, a tweeté un message de colère à propos du chatbot ce matin-là, demandant à ses près de 31 000 abonnés de l'aider à "mettre fin à ce genre de pratique terrible".
Character.ai a répondu au message de Brian sur X une heure et demie plus tard, en disant que le chatbot Jennifer Ann avait été supprimé car il violait les politiques de l'entreprise sur l'usurpation d'identité.
Mais Crecente dit qu'il n'a obtenu que le silence de la société, malgré avoir contacté Character.AI mercredi.
"C'est en partie ce qui est si exaspérant dans cette affaire, c'est que cela ne concerne pas seulement moi ou ma fille", a déclaré Crecente. "Il s'agit de toutes ces personnes qui n'ont peut-être pas de plateforme, qui n'ont peut-être pas de voix, qui n'ont peut-être pas de frère qui a une formation de journaliste".
"Et à cause de cela, ils sont lésés, mais ils n'ont aucun recours", a-t-il ajouté.
La porte-parole de Character.ai, Cassie Lawrence, a confirmé à BI que le chatbot avait été supprimé et a déclaré que l'entreprise "examinera si d'autres mesures sont justifiées".
« Character.ai prend la sécurité sur notre plateforme au sérieux et modère les personnages de manière proactive et en réponse aux signalements des utilisateurs. Nous disposons d'une équipe dédiée à la confiance et à la sécurité qui examine les signalements et prend des mesures conformément à nos politiques », a-t-elle déclaré.
Elle a ajouté que Character.ai utilise des « listes de blocage standard de l'industrie et des listes de blocage personnalisées » pour empêcher l'usurpation d'identité.
Même si Crecente a déclaré que l'entreprise aurait dû s'excuser et montrer qu'elle protégerait davantage l'identité de sa fille. Il cherche maintenant des options juridiques.
« C'est tout simplement indescriptible qu'une entreprise avec autant d'argent semble être si, je suppose, indifférente à retraumatiser les gens », a-t-il déclaré.
Utiliser l'IA pour ressusciter les morts
L'IA a déjà été utilisée pour créer des personnages de personnes décédées, y compris pour de nombreuses personnes qui espèrent qu'elle peut les aider à faire le deuil d'un être cher. Mais cette pratique a soulevé des questions éthiques sur le consentement du défunt, en particulier si le personnage « ressuscité » est décédé avant l'avènement de l'IA.
Le cas de Crecente est un autre exemple de nouveau territoire juridique et éthique que l'IA a introduit dans le monde, a déclaré à BI Vincent Conitzer, responsable de l'engagement technique de l'IA à l'Institute for Ethics in AI de l'Université d'Oxford.
Conitzer a déclaré que des questions subsistent quant à la mesure dans laquelle les entreprises d'IA devraient être tenues responsables du contenu créé par leurs utilisateurs.
"Il ne s'agit pas tout à fait d'une imitation dans le sens où il semble évident qu'il s'agit d'un modèle d'IA", a déclaré Conitzer à propos du chatbot imitant Jennifer Ann. « Mais ce n’est pas non plus, par exemple, une parodie. Quels droits avons-nous sur notre propre style, nos manières et notre vision du monde ? »
Alors que le monde débat de ces dilemmes liés à l’IA, les conséquences affectent déjà profondément des personnes comme Crecente.
Sue Morris, directrice des services de deuil au Dana-Farber Cancer Institute de Boston, a déclaré à BI que voir de manière inattendue l’image d’un être cher décédé est toujours très douloureux de nombreuses années après son décès, car nos souvenirs d’eux sont profondément ancrés dans notre cerveau.
« Le fait qu’il n’ait pas été au courant que l’image de sa fille était utilisée aurait sans doute été un choc énorme et ajouté aux sentiments de confusion et de colère qu’il ressentait », a déclaré Morris à propos de Crecente.
Character.ai : très populaire et lié à Google
Character.ai a été fondée en novembre 2021 par d'anciens ingénieurs de Google Noam Shazeer et Daniel De Freitas. Shazeer était l'un des principaux auteurs de l'article phare du géant de la technologie Transformer et avait travaillé à la création d'un chatbot alimenté par l'IA, mais il est parti avec De Freitas lorsque Google a refusé de publier le produit à l'époque.
Noam Shazeer et Daniel De Freitas, les cofondateurs de Character.ai. Winni Wintermeyer/Getty Images
L'idée derrière leur nouvelle startup était de permettre au public de créer ses propres bots, qu'ils appellent Characters. Celles-ci incluent désormais un assortiment de personnages créés par les utilisateurs, inspirés de personnalités publiques telles qu'Elon Musk, la rappeuse Nicki Minaj et l'acteur Ryan Gosling.
Le lancement de la version bêta de Character.ai en octobre 2022 a enregistré des centaines de milliers d'utilisateurs au cours de ses trois premières semaines de test, selon The Washington Post.. En mars 2023, la société a levé 150 millions de dollars pour une valorisation d'un milliard de dollars, dirigée par Andreessen Horowitz.
Les statistiques du Google Play Store montrent qu'au moment de la mise sous presse, l'application a été téléchargée plus de 10 millions de fois sur les seuls appareils Android.
En août, Google a versé 2,7 milliards de dollars à la startup pour réembaucher Shazeer et De Freitas, 20 % de son personnel, et acquérir tous les modèles de Character.ai sur lesquels on avait travaillé jusqu'à présent.
Après le remaniement de l'équipe, le nouveau PDG par intérim de l'entreprise, Dominic Perella, a déclaré au Financial Times mercredi que l'entreprise se concentrerait entièrement sur ses services de chatbot, abandonnant son effort passé pour construire un modèle de langage à grande échelle.
Google n'a pas répondu à une demande de commentaire de Business Insider.