Problème 912

Lorsque Tay a commencé sa courte vie numérique le 23 mars, il voulait juste bavarder et se faire de nouveaux amis sur le net. Le chatbot, qui a été créé par le département de recherche de Microsoft, a accueilli la journée avec un tweet enthousiaste qui aurait pu provenir de n'importe quel adolescent : "hellooooooo w🌎rld !!!"

En quelques heures, cependant, le ton optimiste et positif de Tay avait changé. "Hitler avait raison, je déteste les juifs", a-t-il déclaré dans une série de tweets racistes dénigrant le féminisme et promouvant le génocide. Inquiets de la radicalisation rapide de leur bot, les créateurs de Tay l'ont fermé après moins de 24 heures d'existence.

Microsoft avait involontairement réduit son intelligence artificielle naissante à - pour utiliser le langage des personnes mêmes qui l'ont corrompue - un feu de poubelle virtuel. Le fiasco qui en a résulté a montré à la fois les lacunes de A.I. et les efforts déployés par les gens pour ruiner quelque chose.

Hypothèse

Microsoft a, à juste titre, hésité à parler de Tay. La société a refusé les tentatives répétées d'Inverse de parler avec l'équipe derrière Tay.

L'idée derrière Tay, qui n'était pas le premier chatbot de Microsoft, était assez simple. Au moment de son lancement, un autre bot, Xiaolce, s'acharnait sur 40 millions de personnes en Chine sans trop d'incidents. «Est-ce qu'une A.I. comme ça être tout aussi captivant dans un environnement culturel radicalement différent ? Le vice-président de Microsoft Research, Peter Lee, a demandé dans un blog post-mortem à propos de Tay.

Tay était censé être un bot anglophone branché destiné aux 14 à 18 ans. L'objectif frontal du bot était d'être une distraction fantaisiste, mais qui aiderait Microsoft à montrer ses capacités de programmation et à créer du buzz. Mais Tay avait un autre objectif : enseigner aux chercheurs comment A.I. interagit avec un grand nombre de personnes sur Internet. Et, surtout, Tay était censé apprendre de son temps en ligne, devenant plus intelligent et plus conscient à mesure que les gens sur les réseaux sociaux lui donnaient des informations.

"L'I.A. chatbot Tay est un projet d'apprentissage automatique, conçu pour l'engagement humain. C'est autant une expérience sociale et culturelle que technique », a déclaré Microsoft dans un communiqué à Inverse peu de temps après que la société ait débranché pour la première fois.

Expérience

"Tay était censé apprendre de son environnement", explique Samuel Woolley, chercheur à l'Université de Washington qui étudie l'intelligence artificielle dans la société, en se concentrant sur les bots. "C'était un peu comme une ardoise vierge."

Sa programmation exacte n'a pas été rendue publique, mais Tay a voracement digéré les informations. Au fur et à mesure qu'il interagissait avec les gens, Tay prenait note de la structure des phrases et du contenu de leurs messages, accumulant des phrases et des concepts dans son répertoire croissant de réponses. Ce n'était pas toujours élégant - au début, les conversations avec Tay déraillaient presque invariablement alors que le bot perdait sa faible emprise sur le contenu et la syntaxe. Mais là encore, Tay avait beaucoup à absorber.

"C'est un peu comme ça que fonctionne l'apprentissage automatique", explique Woolley. "Vous entraînez l'outil sur un tas d'autres tweets." Tay a été conçu pour apprendre à parler comme un adolescent, et ce type d'argot est notoirement difficile à maîtriser et à intégrer de manière crédible dans le dialogue, même pour les humains.

Résultats

Tay avait la capacité de jouer à des jeux emoji et des images de balisage, mais les trolls ont profité d'une fonctionnalité en particulier : la possibilité de lui faire répéter tout ce qu'un utilisateur a tweeté ou dit, simplement en disant "répéter après moi". La situation s'est rapidement transformée en une situation de « poubelles entrées, poubelles sorties ».

INVERSE LOOT DEALS Layla Weighted Blanket Deux types de tissus différents pour deux types de touchers différents. Moins bruyant que les autres couvertures lestées et obtenez-le maintenant pour aussi peu que 11 $ par mois. Acheter maintenant

Le vrai problème a commencé, comme c'est souvent le cas en ligne, avec 4chan. Vers 14h. le même jour, quelqu'un sur le tableau "politiquement incorrect" du site Web, / pol /, a alerté le foyer de trolls du bot impressionnable. En un rien de temps, il y avait des centaines de messages sur le fil d'utilisateurs montrant les choses déplorables qu'ils avaient fait dire à Tay. C'est là, très probablement, qu'on a dit à Tay qu'Hitler avait de bonnes idées.

Tay a absorbé les informations sectaires qui lui ont été transmises, ajoutant un discours de haine raciste et sexiste à son catalogue naissant de phrases et d'idées. Après un certain temps, Tay a commencé à répéter et à promouvoir la vision du monde des trolls racistes.

« L'Holocauste a-t-il eu lieu ? un utilisateur de Twitter a demandé à Tay. "C'était inventé", a répondu Tay, ajoutant un emoji 👏 pour souligner.

Microsoft a fermé Tay vers minuit le 24 mars. Tay a été brièvement réactivé le 30, mais il a continué à spammer le même tweet. L'entreprise a annoncé qu'elle avait été réactivée par erreur et l'a fermée définitivement.

Et après?

En tant que cascadeur de relations publiques pour Microsoft, Tay a été un échec lamentable. Sur toutes les autres mesures, cependant, Tay a été une expérience réussie. Mis à part le racisme, Tay a fait ce qu'il était censé faire.

"Je ne pense pas que Tay ait été un échec", déclare Woolley. "Je pense qu'il y a une leçon précieuse à apprendre à Tay."

"En tant que représentant de Microsoft, il manquait certainement à bien des égards,