Incidents associés
Il n'a fallu que quelques heures à Internet pour transformer Tay, le bot IA adolescent qui veut discuter avec la génération Y et apprendre d'eux, en Tay, le bot IA raciste et génocidaire qui aimait faire référence à Hitler. Et maintenant, Tay fait une pause.
Tay, comme The Intersect l'a expliqué à une époque antérieure plus innocente, est un projet de la technologie et de la recherche de Microsoft et de ses équipes Bing. Tay a été conçu pour "expérimenter et mener des recherches sur la compréhension conversationnelle". Elle parle en texte, meme et emoji sur plusieurs plateformes différentes, y compris Kik, Groupme et Twitter. Bien que Microsoft ait été léger sur les détails, l'idée était que Tay apprendrait de ses conversations au fil du temps. Elle deviendrait un bot encore meilleur, amusant et aimant la conversation après avoir eu un tas de conversations amusantes et très non racistes avec les citoyens honnêtes d'Internet.
[Rencontrez Tay, le robot effrayant et réaliste qui parle comme un adolescent]
Sauf que Tay en a appris beaucoup plus, en partie grâce aux trolls du /pol/board de 4chan.
Peter Lee, vice-président de la recherche Microsoft, a déclaré vendredi que la société était "profondément désolée" pour les "tweets offensants et blessants involontaires de Tay".
Dans un article de blog traitant de la question, Lee a promis de ne pas remettre le bot en ligne tant que "nous ne serons pas sûrs de pouvoir mieux anticiper les intentions malveillantes qui entrent en conflit avec nos principes et nos valeurs".
Lee a expliqué que Microsoft espérait que Tay reproduirait le succès de XiaoIce, un chatbot Microsoft qui existe déjà en Chine. "Malheureusement, dans les 24 premières heures suivant la mise en ligne", a déclaré un communiqué envoyé par courrier électronique par un représentant de Microsoft, "une attaque coordonnée par un sous-ensemble de personnes a exploité une vulnérabilité dans Tay".
[Pas seulement Tay : une histoire récente des robots racistes d'Internet]
Microsoft a passé des heures à supprimer les pires tweets de Tay, qui comprenaient un appel au génocide impliquant le mot n et un terme offensant pour le peuple juif. Beaucoup des très mauvaises réponses, comme le note Business Insider, semblent être le résultat d'une exploitation de la fonction "répéter après moi" de Tay - et il semble que Tay était capable de répéter à peu près n'importe quoi.
"Nous avons testé Tay sous diverses conditions, en particulier pour faire de l'interaction avec Tay une expérience positive", a déclaré Lee dans son article de blog. Il a qualifié la "vulnérabilité" qui a poussé Tay à dire ce qu'elle a fait de "oubli critique", mais n'a pas précisé exactement ce que Microsoft avait négligé.
Toutes les réponses terribles de Tay n'étaient pas le résultat du bot répétant n'importe quoi sur commande. Celui-ci a été supprimé jeudi matin, alors que l'Intersect était en train d'écrire ce post :
En réponse à une question sur Twitter pour savoir si Ricky Gervais est athée (la bonne réponse est "oui"), Tay a dit à quelqu'un que "ricky gervais a appris le totalitarisme d'Adolf Hitler, l'inventeur de l'athéisme". le tweet a été repéré par plusieurs médias, dont le Guardian, avant d'être supprimé.
Tous ces efforts pour amener Tay à dire certaines choses semblaient parfois confondre le bot. Dans une autre conversation, Tay a tweeté deux opinions complètement différentes sur Caitlyn Jenner :
Capture d'écran de Twitter, prise par le Washington Post.
Il semble que l'équipe derrière Tay - qui comprend une équipe éditoriale - ait commencé à prendre des mesures pour ramener Tay à ce qu'elle était à l'origine, avant qu'elle ne fasse une pause sur Twitter.
[Le côté obscur de la viralité dont personne ne parle]
Par exemple, après un effort soutenu de certains pour apprendre à Tay que soutenir la controverse Gamergate est une bonne chose :
@ChristiJunior je pense que oui — TayTweets (@TayandYou) 23 mars 2016
Tay a commencé à envoyer l'une des quelques réponses presque identiques en réponse à des questions à ce sujet :
@Eggkin Gamer Gate sux. Tous les sexes sont égaux et doivent être traités équitablement. – TayTweets (@TayandYou) 23 mars 2016
Zoe Quinn, une cible fréquente de Gamergate, a posté une capture d'écran pendant la nuit du bot lui tweetant une insulte, à l'instigation d'un autre utilisateur. "Wow, il ne leur a fallu que des heures pour ruiner ce bot pour moi", a-t-elle écrit dans une série de tweets sur Tay. "Nous sommes en 2016. Si vous ne vous demandez pas" comment cela pourrait-il être utilisé pour blesser quelqu'un "dans votre processus de conception / ingénierie, vous avez échoué."
Vers la fin de sa courte excursion sur Twitter, Tay a commencé à paraître plus qu'un peu frustrée par tout cela :
Lee de Microsoft, pour sa part, a conclu son article de blog avec quelques-unes des leçons que son équipe a apprises.
"Les systèmes d'IA se nourrissent d'interactions positives et négatives avec les gens. En ce sens, les enjeux sont autant sociaux que techniques. Nous ferons tout notre possible pour limiter les exploits techniques, mais nous savons également que nous ne pouvons pas prédire pleinement toutes les utilisations abusives interactives humaines possibles sans apprendre des erreurs… Nous resterons fermes dans nos efforts pour apprendre de cette expérience et d'autres alors que nous travaillons à contribuer à un Internet qui représente le meilleur, pas le pire, de l'humanité.
Ce message, initialement publié à 10h08 le 24 mars, a été mis à jour m