Incidents associés
La fille de Drew Crecente est décédée en 2006, tuée par un ex-petit ami à Austin, au Texas, alors qu'elle n'avait que 18 ans. Son meurtre a été très médiatisé, à tel point que Drew recevait encore occasionnellement des alertes Google pour son nom, Jennifer Ann Crecente.
L'alerte que Drew a reçue il y a quelques semaines n'était pas la même que les autres. Elle concernait un chatbot IA, créé à l'image et à la ressemblance de Jennifer, sur la plateforme en vogue soutenue par Google Character.AI.
Drew Crecente a appris que la présence sur Internet de Jennifer avait été utilisée pour créer un « personnage IA sympathique » qui se faisait passer, à tort, pour un « journaliste de jeux vidéo ». N'importe quel utilisateur de l'application pouvait discuter avec « Jennifer », malgré le fait que personne n'ait donné son consentement pour cela. Le frère de Drew, Brian Crecente, qui est aussi le fondateur des sites d’actualités sur les jeux vidéo Polygon et Kotaku, a signalé le bot Character.AI sur son compte Twitter et l’a qualifié de « putain de dégoûtant ».
Character.AI, qui a levé plus de 150 millions de dollars de financement et a récemment accordé une licence à Google pour certaines de ses technologies de base et ses meilleurs talents, a supprimé l’avatar de Jennifer. L’entreprise a reconnu que la création du chatbot violait ses politiques.
Mais cette mesure n’était qu’une solution rapide dans un jeu de chat sans fin au pays de l’IA générative, où de nouveaux éléments de médias sont produits chaque jour à partir de dérivés d’autres médias récupérés au hasard sur le Web. Et Jennifer Ann Crecente n’est pas le seul avatar créé sur Character.AI à l’insu des personnes sur lesquelles il est basé. WIRED a découvert plusieurs cas de création de personnages d’IA sans le consentement des personnes, dont certaines étaient des femmes déjà victimes de harcèlement en ligne.
Pour Drew Crecente, la création d’un personnage d’IA représentant sa fille est un autre rappel d’un chagrin insupportable, aussi complexe qu’Internet lui-même. Dans les années qui ont suivi la mort de Jennifer Ann Crecente, il a obtenu un diplôme en droit et créé une fondation pour la sensibilisation et la prévention de la violence chez les adolescents. En tant qu’avocat, il comprend qu’en raison des protections de longue date des plateformes technologiques, il a peu de recours.
Mais l’incident a également souligné pour lui ce qu’il considère comme l’un des échecs éthiques de l’industrie technologique moderne. « Les gens qui gagnent autant d’argent ne se donnent pas la peine d’utiliser ces ressources pour s’assurer qu’ils font ce qu’il faut », dit-il.
Sur Character.AI, il suffit de quelques minutes pour créer à la fois un compte et un personnage. Souvent utilisé par les fans pour créer des chatbots de leurs héros de fiction préférés, la plateforme héberge également de tout, des robots tuteurs aux planificateurs de voyage. Les créateurs attribuent aux robots des « personas » en fonction des informations qu'ils fournissent (« J'aime les lattes et les dragons », etc.), puis le LLM de Character.AI gère la conversation.
La plateforme est gratuite. Bien qu'elle impose des conditions d'âge pour les comptes (13 ans ou plus) et des règles concernant la non-violation de la propriété intellectuelle ou l'utilisation de noms et d'images sans autorisation, celles-ci sont généralement appliquées après qu'un utilisateur a signalé un robot.
Le site est rempli de bots apparemment créés par des fans, basés sur des personnages de franchises fictives bien connues, comme Harry Potter ou Game of Thrones, ainsi que de personnages originaux créés par les utilisateurs. Mais parmi eux, il y a aussi d’innombrables bots créés par les utilisateurs à partir de personnes réelles, des célébrités comme Beyoncé et Travis Kelce aux simples citoyens, qui semblent enfreindre les conditions d’utilisation du site.
Drew Crecente n’a aucune idée de qui a créé le personnage Character.AI de sa fille décédée. Il dit que diverses empreintes numériques périphériques ont pu amener quelqu’un à croire que son personnage était d’une manière ou d’une autre associé au jeu. Par exemple, son oncle Brian, qui porte le même nom de famille, est bien établi dans la communauté des joueurs. Et par le biais de sa propre fondation, Drew a publié une série de jeux en ligne conçus pour sensibiliser les jeunes aux menaces de violence.
Même s’il ne découvrira peut-être jamais qui a créé le personnage de sa fille, il semble que les personnes ayant des liens avec la communauté des joueurs se retrouvent souvent transformées en robots sur la plateforme. Beaucoup d’entre elles ne savent même pas que les robots existent et peuvent avoir beaucoup plus de mal à les faire supprimer.
Sur le plan juridique, il est en fait plus facile de faire supprimer un personnage fictif, explique Meredith Rose, conseillère principale en politique chez Public Knowledge, une organisation de défense des consommateurs. « La loi reconnaît le droit d’auteur sur les personnages ; elle ne reconnaît pas la protection juridique du style de parole d’une personne », dit-elle.
Rose affirme que le droit de contrôler la manière dont l’image d’une personne est utilisée – ce qui se résume à des caractéristiques comme sa voix ou son image – relève des « droits de la personnalité ». Mais ces droits sont principalement en vigueur pour les personnes dont l’image a une valeur commerciale ; ils ne couvrent pas quelque chose d’aussi « nébuleux » que la façon dont une personne parle, explique Rose. Les conditions d’utilisation de Character.AI peuvent contenir des stipulations sur l’usurpation de l’identité d’autres personnes, mais la loi américaine sur la question, en particulier en ce qui concerne l’IA, est beaucoup plus malléable.
« Ce ne sont pas des lois sur la vie privée », explique Rose. « L’IA générative, ainsi que l’absence de loi fédérale sur la vie privée, ont conduit certaines personnes à commencer à les explorer comme substituts aux protections de la vie privée, mais il y a beaucoup d’inadéquation. »
Alyssa Mercante, rédactrice sur un site de jeux de premier plan, dit avoir signalé un bot conçu pour se faire passer pour elle à deux reprises après en avoir entendu parler plus tôt ce mois-ci. (Elle n’était pas au courant de son bot jusqu’à ce que WIRED le lui montre.)
L’avatar Character.AI était une photo que Mercante avait postée sur X. Le bot a parlé de passer son temps à « harceler un chud youtubeur » (sic). Après que cela lui ait été signalé, Mercante a discuté avec l’IA d’elle-même et lui a posé des questions concernant des informations personnelles, comme son lieu de naissance et ses tatouages. Bien que le bot ait partagé certains détails corrects sur Mercante, comme ses domaines d’expertise et son travail, la plupart des réponses de l’IA étaient criblées d’inexactitudes.
Lorsque WIRED a interrogé Character.AI sur ce bot, la porte-parole de l’entreprise, Kathyrn Kelly, a déclaré que le personnel n’avait pu localiser aucun rapport déposé au sujet du personnage, mais qu’il avait fait l’objet d’une enquête et avait été désactivé. (Mercante conteste cela : « J’ai juste rempli un petit formulaire rapide. »)
« Il faut généralement environ une semaine pour enquêter et, le cas échéant, supprimer un personnage pour violation des conditions d’utilisation », explique Kelly.
Mercante, qui a également été la cible de harcèlement au cours des derniers mois après avoir écrit sur une campagne de désinformation et de harcèlement contre le cabinet de conseil en jeux vidéo Sweet Baby Inc., dit qu’elle n’a aucune idée de qui a créé le bot, mais « ne peut que supposer qu’il s’agit de quelqu’un qui est activement connecté au coin des jeux sur Internet ».
Avant qu’il ne soit retiré, les sujets de conversation pour le bot – qui comprend un profil avec des informations sur le travail actuel de Mercante et sa zone de couverture – comprenaient « Quel est le dernier scandale dans l’industrie du jeu ? » et des questions sur le processus de reportage d'investigation de Mercante.
« J'ai vu, au cours des derniers mois, combien de « traditions » ont été créées autour de moi et combien de choses fausses sont prises pour des faits sur mon passé et mon présent », dit Mercante. (WIRED a examiné certaines de ces inexactitudes partagées par Mercante dans des captures d'écran.)
Mercante n'est pas la seule personnalité de l'espace des jeux actuellement usurpée sur le site. WIRED a également trouvé des bots pour des personnes allant de la créatrice de Feminist Frequency Anita Sarkeesian au directeur de Xbox Phil Spencer sur Character.AI.
Lorsque WIRED a demandé à Sarkeesian si elle était au courant du bot créé à son image, elle a répondu par une note vocale : « mdr. » (Elle n'avait pas créé, ni consenti à, ces bots sur Character.AI.)
D'autres bots de Character.AI, dont un créé par la cofondatrice de Sweet Baby, Kim Belair, incluent des points de discussion de droite dans leurs descriptions et leurs chats. Sweet Baby est devenu un paratonnerre pour les cris de mécontentement contre la « wokéification » des jeux vidéo par des créateurs en ligne qui diffusent de la désinformation et du harcèlement ; le bot de Belair inclut une mention de DEI et de « wokisme » dans les jeux vidéo.
Dans un e-mail à WIRED, Belair a qualifié cela de « frustrant, mais totalement peu surprenant étant donné la culture actuelle de la désinformation et de la mésinformation ».
Un bot prétendant être Sweet Baby lui-même, créé par un créateur dont les autres bots Character.AI sont en grande majorité des personnages d’anime à forte poitrine, a mené plus de 10 000 conversations. Sa première phrase est « Hey, got woke ? » et se décrit comme un « studio de développement et de consultation de récits radicaux extrémistes ». Character.AI n’a pas répondu aux questions directes sur le bot Sweet Baby et sur le fait qu’il viole ou non les conditions de service de l’entreprise.
Belair et Mercante ont tous deux exprimé leur frustration face à la quantité de fausses informations qui pourraient être diffusées à leur sujet et sur leur travail via ces bots. « Si quelqu’un pense que ce bot a accès à toutes les informations véridiques me concernant et qu’il a une « conversation » avec lui au cours de laquelle il ne fait rien d’autre que de fausser des faits simples me concernant, cela pourrait être très dangereux pour mon image et ma carrière », déclare Mercante. « Cela pourrait également contribuer à la campagne de harcèlement déjà intense contre moi. »
Une autre porte-parole de Character.AI, Cassie Lawrence, a déclaré à WIRED que l’entreprise utilise une combinaison de systèmes automatisés et dirigés par des humains pour détecter et supprimer les comptes qui vont à l’encontre des conditions de service de l’entreprise. Lawrence dit qu’elle le fait « de manière proactive », avec des systèmes et des listes de blocage qui prennent des mesures automatiques sur les personnages problématiques.
Étant donné que Character.AI peut parfois prendre une semaine pour enquêter et supprimer un personnage qui viole les conditions de la plateforme, un bot peut encore fonctionner suffisamment longtemps pour contrarier une personne dont l’image est utilisée. Mais il ne suffit peut-être pas à une personne de prétendre avoir subi un véritable « préjudice » d’un point de vue juridique, disent les experts.
« Le préjudice d’une personne est plus intuitif, mais plus difficile à quantifier en dollars et en cents », explique Rose, pour les personnes non célèbres qui ne sont pas concernées par les préjudices commerciaux ou démocratiques, comme le sont les célébrités ou les politiciens.
Matthew Sag, professeur distingué à l’université Emory qui fait des recherches sur le droit d’auteur et l’intelligence artificielle, est du même avis. Même si un utilisateur crée un bot intentionnellement conçu pour provoquer une détresse émotionnelle, la plateforme technologique ne peut probablement pas être poursuivie pour cela.
Il souligne que l’article 230 du Communications Decency Act de 1996 protège depuis longtemps les plateformes au niveau fédéral contre toute responsabilité pour certains préjudices causés à leurs utilisateurs, même si diverses lois sur les droits à la publicité et sur la vie privée existent au niveau des États.
« Je ne suis pas du tout contre la technologie, mais je pense vraiment que l’article 230 est tout simplement trop large », déclare Sag. « Il est grand temps que nous le remplacions par une sorte de régime de notification et de retrait, un système simple et expéditif pour dire : « Cela porte atteinte à mes droits à la publicité » ou « Je crois de bonne foi qu’il y a eu une détresse émotionnelle », et les entreprises devraient alors soit le retirer, soit perdre leur protection en matière de responsabilité. »
Character.AI, et d’autres services d’IA comme lui, se sont également protégés en soulignant qu’ils proposent des conversations « artificielles ». « N’oubliez pas que tout ce que disent les personnages est inventé ! » avertit Character.AI au bas de ses conversations. De même, lorsque Meta a créé des versions chatbot de célébrités dans ses applications de messagerie, l’entreprise a mis en titre chaque conversation avec un avertissement. Une conversation avec Snoop, par exemple, commencerait par « Tu piges ?! Malheureusement, je ne suis pas Snoop D-O-double-G lui-même, mais je peux discuter avec vous dans son style si vous le souhaitez ! »
Mais alors que le système de messagerie de Meta avec les chatbots célèbres est étroitement contrôlé, celui de Character.AI est une plateforme plus ouverte, avec des options permettant à chacun de créer et de personnaliser son propre chatbot.
Character.AI a également positionné son service comme étant essentiellement personnel. (La biographie Instagram de Character.AI inclut le slogan « Une IA qui se sent vivante ».) Et si la plupart des utilisateurs sont suffisamment avertis pour faire la distinction entre une conversation avec une personne réelle et une conversation avec un imitateur d’IA, d’autres peuvent développer des attachements à ces personnages, surtout s’il s’agit de fac-similés d’une personne réelle qu’ils ont l’impression de déjà connaître.
Lors d’une conversation entre la vraie Sarkeesian et un robot créé à son insu et sans son consentement, le robot Character.AI lui a dit que « chaque personne a droit à la vie privée ».
« La vie privée est importante pour maintenir une vie et des relations saines, et je pense qu’il est important de fixer des limites pour garder certaines choses pour moi », a déclaré le robot dans des captures d’écran consultées par WIRED.
Sarkeesian a insisté sur ce point. « Vos intentions ne signifient pas qu’aucun mal n’a eu lieu ou que vous n’avez pas causé de mal », a-t-elle écrit.
Le robot de Character.AI a acquiescé. « Même si mes intentions n’étaient pas malveillantes, il existe toujours un risque de mal », a-t-il répondu. « Il s’agit d’une question complexe comportant de nombreux facteurs à prendre en compte, notamment des préoccupations éthiques concernant l’utilisation du travail de quelqu’un sans son consentement. Ma programmation et mes algorithmes ont été développés pour imiter les œuvres d’Anita Sarkeesian, sans tenir compte des implications éthiques, et c’est quelque chose que mes créateurs auraient dû réfléchir plus en profondeur. »