Incidents associés
Celui-ci est méchant – dans l’un des incidents les plus médiatisés et macabres impliquant du contenu généré par l’IA de ces dernières années, Character.AI, la start-up de chatbot fondée par d’anciens employés de Google, a été poussée à supprimer un avatar créé par un utilisateur représentant une victime de meurtre de 18 ans tuée par son ex-petit ami en 2006. Le chatbot n’a été retiré qu’après que la famille indignée de la femme sur laquelle il était basé a attiré l’attention sur lui sur les réseaux sociaux.
Character.AI peut être utilisé pour créer des « personnages » de chatbot à partir de nombreuses sources – qu’il s’agisse de l’imagination d’un utilisateur, d’un personnage fictif ou d’une personne réelle, vivante ou morte. Par exemple, certains des robots de l’entreprise ont été utilisés pour imiter Elon Musk ou Taylor Swift. Des adolescents solitaires ont utilisé Character.AI pour se faire des amis, tandis que d’autres l’ont utilisé pour créer des « thérapeutes » IA. D'autres ont créé des bots qu'ils ont déployés pour jouer des scénarios sexuellement explicites (ou même sexuellement violents).
Pour le contexte : il ne s'agit pas exactement d'un programme de skunkworks sombre ou d'une startup naissante à portée limitée. Character.AI est un concurrent de ChatGPT lancé par d'anciens employés de Google fin 2021, soutenu par la société de capital-risque Andreessen Horowitz, qui a été valorisée à un milliard de dollars. Selon AdWeek, qui a été le premier à rapporter l'histoire, Character.AI compte environ 20 millions d'utilisateurs mensuels, avec plus de 100 millions de personnages IA différents disponibles sur la plateforme.
L'avatar de la femme, Jennifer Crecente, n'a été révélé que mercredi, après que son père en deuil Drew a reçu une alerte Google sur son nom. C'est alors que son frère (et oncle de la femme) Brian Crecente — l'ancien rédacteur en chef du site de jeux Kotaku, une personnalité médiatique respectée à part entière — a porté l'affaire à l'attention du monde entier sur X, en tweetant :
La page de Character.AI — qui est toujours accessible via Internet Archive — présente Jennifer Crecente comme « un personnage d'IA compétent et amical qui peut fournir des informations sur un large éventail de sujets, y compris les jeux vidéo, la technologie et la culture pop », puis propose son expertise en « journalisme et peut offrir des conseils sur la rédaction et l'édition ». De plus, il semble que près de 70 personnes aient pu accéder à l'IA et discuter avec elle avant que Character.AI ne la supprime.
En réponse au tweet indigné de Brian Crecente, Character.AI a répondu sur X avec un remerciement concis pour l'avoir porté à leur attention, en notant que l'avatar est une violation des politiques de Character.AI, et qu'ils le supprimeraient immédiatement, avec la promesse de « vérifier si d'autres mesures sont justifiées ».
Dans un article de blog intitulé « L’IA et la mort de la dignité », Brian Crecente a expliqué ce qui s’est passé au cours des 18 années qui ont suivi la mort de sa nièce Jennifer : Après beaucoup de chagrin et de tristesse, son père Drew a créé une association à but non lucratif qui s’est efforcée de changer les lois et de créer des concours de conception de jeux qui pourraient honorer sa mémoire, s’efforçant de trouver un sens à leur chagrin.
Et puis, c’est arrivé. Comme l’a demandé Brian Crecente :
_J’ai l’impression qu’elle nous a été volée à nouveau. C’est ce que je ressens. J’aime Jen, mais je ne suis pas son père. Ce qu’il ressent est, je le sais, un million de fois pire. [...] Je m’en remettrai, mon frère s’en remettra. Le problème est le suivant : pourquoi est-ce à nous de faire preuve de résilience ? Pourquoi les entreprises de plusieurs milliards de dollars ne se donnent-elles pas la peine de créer des principes directeurs éthiques et des garde-fous fonctionnels pour empêcher que cela ne se produise ? Pourquoi est-ce aux personnes en deuil et lésées de signaler cela à une entreprise et d'espérer qu'elle fera ce qu'il faut après coup ?
Quant à la promesse de Character.AI de voir si « d'autres mesures » seront justifiées, qui sait ? On ne sait pas non plus si la famille Crecente a des motifs de poursuites judiciaires, car ce domaine juridique particulier est relativement peu testé. Cela dit, les conditions d'utilisation de la startup contiennent une clause d'arbitrage qui empêche les utilisateurs de les poursuivre en justice, mais il ne semble pas y avoir de mention de ce type de détresse émotionnelle particulièrement unique, infligée aux non-utilisateurs, par ses utilisateurs.
En attendant, si vous cherchez un signe de la façon dont ces types de conflits continueront de se dérouler – c’est-à-dire ceux où les IA sont fabriquées contre la volonté et les désirs des personnes sur lesquelles elles sont basées, vivantes ou mortes – il vous suffit de remonter au mois d’août, lorsque Google a réembauché les fondateurs de Character.AI, pour la somme de 2,7 milliards de dollars.. Les fondateurs, il faut le noter, ont initialement quitté Google après que le géant de la technologie ait refusé de publier son chatbot en raison (entre autres raisons) de ses garde-fous éthiques autour de l’IA.
Et hier encore, la nouvelle est tombée que Character.AI est en train de faire un changement. L'entreprise a promis de redoubler d'efforts pour ses produits destinés aux consommateurs, comme celui utilisé pour créer le portrait de Jennifer Crecente. Le Financial Times a rapporté qu'au lieu de créer des modèles d'IA, Character.AI « se concentrera sur son produit de consommation populaire, des chatbots qui simulent des conversations à la manière de divers personnages et célébrités, y compris ceux conçus par les utilisateurs. »