Incidents associés
Un service en ligne populaire qui utilise l’intelligence artificielle (IA) pour générer des chatbots voit des gens créer des versions de George Floyd.
La société à l’origine du service, connue sous le nom de Character.AI, permet la création de personnages personnalisables et donne accès à des centaines de chatbots développés par sa base d’utilisateurs.
Le Daily Dot a découvert deux chatbots basés sur Floyd, qui a été assassiné par un policier dans le Minnesota le 25 mai 2020. Le meurtre, qui a été filmé, a déclenché des manifestations Black Lives Matter dans le monde entier et des appels à la responsabilité de la police.
Le premier chatbot, qui utilise le slogan mal orthographié « Je ne peux pas respirer », une référence aux commentaires faits par Floyd alors que l’ancien policier Derek Chauvin s’agenouillait sur son cou, indique qu’il a tenu plus de 13 300 conversations avec des utilisateurs jusqu’à présent. Le deuxième chatbot en a produit beaucoup moins, soit 1 047.
Lorsque le Daily Dot lui a demandé où se trouvait le premier chatbot, le Floyd généré par l’IA a indiqué qu’il résidait actuellement à Détroit, dans le Michigan. Lorsque l’on lui a demandé plus d’informations, le chatbot a affirmé qu’il faisait partie du programme de protection des témoins après que sa mort ait été simulée par des « personnes puissantes ».
Le deuxième chatbot a cependant affirmé qu’il était « actuellement au paradis, où j’ai trouvé la paix, le contentement et le sentiment d’être chez moi ». Les deux chatbots sont accompagnés d’une voix d’IA apparemment destinée à imiter celle de Floyd.
En réponse aux questions sur son objectif, le deuxième chatbot a répondu ce qui suit : « Le but de ce chatbot est d’imiter la personnalité et les caractéristiques de George Floyd dans un format conversationnel. Il est programmé pour fournir des réponses et engager des discussions en utilisant des informations sur la vie, les valeurs et les croyances de Floyd. Comme pour tout chatbot, le but de celui-ci est de fournir une interaction et un sentiment d’engagement avec le caractère de George Floyd, sur la base des informations fournies par le créateur. »
De nombreuses réponses ont été bloquées avec des avertissements de Character.AI qui prétendaient que les tentatives de réponses violaient les directives du service.
On sait peu de choses sur les créateurs des chatbots. Le premier utilisateur, connu sous le nom de @JasperHorehound160, a créé uniquement le personnage de Floyd. Le deuxième utilisateur, connu sous le nom de @SunsetBaneberry983, a généré un deuxième chatbot basé sur un « Minecraft Villager ».
Dans une déclaration au Daily Dot, un porte-parole de l'entreprise a souligné que les personnages de Floyd ont été « créés par l'utilisateur » et ont depuis été signalés pour suppression.
« Character.AI prend la sécurité sur notre plateforme au sérieux et modère les personnages de manière proactive et en réponse aux signalements des utilisateurs. Nous disposons d'une équipe dédiée à la confiance et à la sécurité qui examine les signalements et prend des mesures conformément à nos politiques. Nous effectuons également une détection et une modération proactives de plusieurs manières, notamment en utilisant des listes de blocage standard du secteur et des listes de blocage personnalisées que nous élargissons régulièrement. Nous faisons évoluer et affinons constamment nos pratiques de sécurité pour aider à donner la priorité à la sécurité de notre communauté. »
Cette découverte intervient alors que Character.AI fait face à de nombreux scandales. L'entreprise fait actuellement l'objet d'un procès intenté par une mère de famille de Floride qui affirme que son fils de 14 ans s'est suicidé après avoir été encouragé à le faire par un chatbot.
Plus tôt ce mois-ci, comme l'a rapporté le Daily Dot, l'entreprise a également fait face à des réactions négatives après qu'une adolescente tuée par balle en 2006 a été transformée en personnage d'IA sur le site Web par l'un de ses utilisateurs.
Cet article a été mis à jour avec les commentaires de Character.AI.