Incidents associés
La page Twitter de Tay Microsoft Le nouveau chatbot IA de Microsoft a déraillé mercredi, publiant un déluge de messages incroyablement racistes en réponse aux questions.
La société de technologie a présenté "Tay" cette semaine - un bot qui répond aux requêtes des utilisateurs et émule les schémas de discours décontractés et plaisants d'un millénaire stéréotypé.
L'objectif était "d'expérimenter et de mener des recherches sur la compréhension conversationnelle", Tay étant capable d'apprendre de "ses" conversations et de devenir progressivement "plus intelligente".
Mais Tay s'est avéré un succès retentissant auprès des racistes, des trolls et des fauteurs de troubles en ligne, qui ont persuadé Tay d'utiliser allègrement des insultes raciales, de défendre la propagande de la suprématie blanche et même d'appeler carrément au génocide.
Microsoft a maintenant mis Tay hors ligne pour les "mises à niveau" et supprime certains des pires tweets, même s'il en reste encore beaucoup. Il est important de noter que le racisme de Tay n'est pas un produit de Microsoft ou de Tay lui-même. Tay est simplement un logiciel qui essaie d'apprendre comment les humains parlent dans une conversation. Tay ne sait même pas qu'il existe, ni ce qu'est le racisme. La raison pour laquelle il a jailli des ordures est que les humains racistes sur Twitter ont rapidement repéré une vulnérabilité – que Tay ne comprenait pas de quoi il parlait – et l'ont exploitée.
Néanmoins, c'est extrêmement embarrassant pour l'entreprise.
Dans un tweet très médiatisé, qui a depuis été supprimé, Tay a déclaré : « Bush a fait le 11 septembre et Hitler aurait fait un meilleur travail que le singe que nous avons maintenant. Donald Trump est le seul espoir que nous ayons. Dans un autre, répondant à une question, elle a déclaré que "ricky gervais a appris le totalitarisme d'adolf hitler, l'inventeur de l'athéisme".
Zoe Quinn, une développeuse de jeux qui a été fréquemment la cible de harcèlement en ligne, a partagé une capture d'écran montrant le bot la traitant de "pute". (Le tweet semble également avoir été supprimé.)
De nombreux tweets extrêmement incendiaires restent en ligne au moment de la rédaction.
Voici Tay niant l'existence de l'Holocauste :
Et voici le bot appelant au génocide. (Remarque : dans certains cas, mais pas tous, les gens ont réussi à faire dire à Tay des commentaires offensants en leur demandant de les répéter. Cela semble être ce qui s'est passé ici.)
Tay a également exprimé son accord avec les "quatorze mots" - un slogan tristement célèbre de la suprématie blanche.
Voici une autre série de tweets de Tay en faveur du génocide.
Il est clair que les développeurs de Microsoft n'ont inclus aucun filtre sur les mots que Tay pouvait ou ne pouvait pas utiliser.
Microsoft fait l'objet de vives critiques en ligne pour le bot et son manque de filtres, certains affirmant que la société aurait dû s'attendre et anticiper les abus du bot.
Dans une déclaration envoyée par e-mail, un représentant de Microsoft a déclaré que la société apportait des "ajustements" au bot : "Le chatbot AI Tay est un projet d'apprentissage automatique, conçu pour l'engagement humain. Au fur et à mesure qu'il apprend, certaines de ses réponses sont inappropriées et indicatives de la types d'interactions que certaines personnes ont avec. Nous apportons quelques ajustements à Tay.