Incidents associés
Tay était un chatbot d'intelligence artificielle qui a été initialement publié par Microsoft Corporation via Twitter le 23 mars 2016; cela a provoqué une controverse ultérieure lorsque le bot a commencé à publier des tweets incendiaires et offensants via son compte Twitter, obligeant Microsoft à fermer le service seulement 16 heures après son lancement.[1] Selon Microsoft, cela a été causé par des trolls qui ont "attaqué" le service alors que le bot répondait en fonction de ses interactions avec des personnes sur Twitter.[2] Il a été remplacé par Zo.
Arrière plan
Le bot a été créé par les divisions Technology and Research et Bing de Microsoft,[3] et nommé "Tay" d'après l'acronyme "Thinking About You".[4] Bien que Microsoft ait initialement publié peu de détails sur le bot, des sources ont mentionné qu'il était similaire ou basé sur Xiaoice, un projet similaire de Microsoft en Chine.[5] Ars Technica a rapporté que, depuis fin 2014, Xiaoice avait eu "plus de 40 millions de conversations apparemment sans incident majeur".[6] Tay a été conçu pour imiter les modèles de langage d'une jeune fille américaine de 19 ans et pour apprendre en interagissant avec les utilisateurs humains de Twitter.[7]
Première version
Tay a été publié sur Twitter le 23 mars 2016 sous le nom de TayTweets et sous le nom de @TayandYou.[8] Il a été présenté comme "l'IA sans froid".[9] Tay a commencé à répondre aux autres utilisateurs de Twitter et a également pu sous-titrer les photos qui lui ont été fournies sous forme de mèmes Internet.[10] Ars Technica a rapporté que Tay faisait l'objet d'une "liste noire" : les interactions avec Tay concernant "certains sujets d'actualité tels qu'Eric Garner (tué par la police de New York en 2014) génèrent des réponses sûres et prédéfinies".[6]
Certains utilisateurs de Twitter ont commencé à tweeter des phrases politiquement incorrectes, lui enseignant des messages incendiaires autour de thèmes communs sur Internet, tels que "redpilling" et "Gamergate". En conséquence, le robot a commencé à publier des messages racistes et à connotation sexuelle en réponse aux autres utilisateurs de Twitter.[7] Le chercheur en intelligence artificielle Roman Yampolskiy a commenté que la mauvaise conduite de Tay était compréhensible car elle imitait le comportement délibérément offensant d'autres utilisateurs de Twitter, et Microsoft n'avait pas donné au bot une compréhension du comportement inapproprié. Il a comparé le problème à Watson d'IBM, qui avait commencé à utiliser des blasphèmes après avoir lu des entrées du site Web Urban Dictionary.[3][11] De nombreux tweets incendiaires de Tay étaient une simple exploitation de la capacité de "répéter après moi" de Tay.[12] On ne sait pas publiquement si cette capacité de "répéter après moi" était une fonctionnalité intégrée, ou s'il s'agissait d'une réponse apprise ou d'un autre exemple de comportement complexe.[6] Toutes les réponses inflammatoires n'impliquaient pas la capacité de "répéter après moi".
Suspension
Bientôt, Microsoft a commencé à supprimer les tweets incendiaires de Tay.[12][13] Abby Ohlheiser du Washington Post a émis l'hypothèse que l'équipe de recherche de Tay, y compris le personnel éditorial, avait commencé à influencer ou à modifier les tweets de Tay à un moment donné ce jour-là, pointant des exemples de réponses presque identiques de Tay, affirmant que "Gamer Gate sux. Tous les genres sont égaux et doivent être traités équitablement."[12] D'après les mêmes preuves, Gizmodo a convenu que Tay "semble câblé pour rejeter Gamer Gate".[14] Une campagne "#JusticeForTay" a protesté contre l'édition présumée des tweets de Tay.[1]
Dans les 16 heures suivant sa sortie[15] et après que Tay ait tweeté plus de 96 000 fois,[16] Microsoft a suspendu le compte Twitter pour ajustements,[17] affirmant qu'il souffrait d'une "attaque coordonnée par un sous-ensemble de personnes" qui " a exploité une vulnérabilité dans Tay."[17][18] Suite à la mise hors ligne du compte, un hashtag appelé #FreeTay a été créé.[19]
Madhumita Murgia du Telegraph a qualifié Tay de "désastre de relations publiques" et a suggéré que la stratégie de Microsoft serait "de qualifier la débâcle d'expérience bien intentionnée qui a mal tourné et de déclencher un débat sur la haine des utilisateurs de Twitter". Cependant, Murgia a décrit le plus gros problème comme étant Tay "l'intelligence artificielle à son pire - et ce n'est que le début".[20]
Le 25 mars, Microsoft a confirmé que Tay avait été mis hors ligne. Microsoft a publié des excuses sur son blog officiel pour les tweets controversés publiés par Tay.[18][21] Microsoft était "profondément désolé pour les tweets offensants et blessants involontaires de Tay", et ne "chercherait à ramener Tay que lorsque nous sommes convaincus que nous pouvons mieux anticiper les intentions malveillantes qui entrent en conflit avec nos principes et nos valeurs".[22]
Deuxième version et arrêt
Le 30 mars 2016, Microsoft a accidentellement relancé le bot sur Twitter pendant qu'il le testait.[23] Capable de tweeter à nouveau, Tay a publié des tweets liés à la drogue, notamment "kush ! [I'm smoking kush infront the police] 🍂" et "puff puff pass?"[24] Cependant, le compte s'est rapidement retrouvé coincé dans une boucle répétitive de tweeter "Tu es trop rapide, repose-toi s'il te plaît", plusieurs fois par seconde. Parce que ces tweets mentionnaient son propre nom d'utilisateur dans le processus, ils sont apparus dans les flux de plus de 200 000 abonnés Twitter, causant de l'agacement à certains. Le bot a été rapidement mis hors ligne, en plus du compte Twitter de Tay devenu privé, de sorte que les nouveaux abonnés doivent être acceptés avant de pouvoir interagir avec Tay. En réponse, Microsoft a déclaré que Tay avait été mis en ligne par inadvertance pendant les tests.[25]
Quelques heures après l'incident, les développeurs de logiciels de Microsoft ont tenté de réparer les dégâts causés par Tay et ont annoncé une vision de la "conversation en tant que plate-forme" utilisant divers bots et programmes. Microsoft a déclaré qu'il avait l'intention de rééditer Tay "une fois qu'il pourra rendre le bot sûr" [4] mais n'a fait aucun effort public pour le faire.
Héritage
En décembre 2016, Microsoft a publié le successeur de Tay, un chatterbot nommé Zo.[26] Satya Nadella, PDG de Microsoft, a déclaré que Tay "a eu une grande influence sur la façon dont Microsoft aborde l'IA" et a enseigné à l'entreprise l'importance de prendre ses responsabilités.[27]
En juillet 2019, Diana Kelley, CTO de Microsoft Cybersecurity Field, a expliqué comment l'entreprise avait suivi les échecs de Tay : "Apprendre de Tay était un élément très important pour élargir la base de connaissances de cette équipe, car maintenant, ils obtiennent également leur propre diversité grâce à l'apprentissage. ".[28]