Incidents associés
En mars 2016, Microsoft se préparait à lancer [son nouveau chatbot, Tay](https://web.archive.org/web/20160414074049/https : /www.tay.ai/), sur Twitter. Décrit comme une expérience de "compréhension conversationnelle", Tay a été conçu pour engager les gens dans un dialogue par le biais de tweets ou de messages directs, tout en imitant le style et l'argot d'une adolescente. Elle était, selon ses créateurs, "la fam de l'IA de Microsoft sur Internet qui n'a aucun froid". Elle adorait E.D.M. musique, avait un Pokémon préféré et disait souvent des choses extrêmement en ligne, comme "swagulated".
Tay était une expérience à l'intersection de l'apprentissage automatique, du traitement du langage naturel et des réseaux sociaux. Alors que d'autres chatbots dans le passé, comme [Eliza de Joseph Weizenbaum](https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/why-people-demanded-privacy-to-confide-in-the- worlds-first-chatbot) – a mené une conversation en suivant des scripts préprogrammés et étroits, Tay a été conçue pour en apprendre davantage sur la langue au fil du temps, lui permettant d'avoir des conversations sur n'importe quel sujet.
Tay a été conçu pour en apprendre davantage sur le langage au fil du temps. ... Ses programmeurs espéraient que Tay ressemblerait à Internet.
L'apprentissage automatique fonctionne en développant des généralisations à partir de grandes quantités de données. Dans n'importe quel ensemble de données donné, l'algorithme discernera des modèles, puis "apprendra" comment approximer ces modèles dans son propre comportement.
En utilisant cette technique, les ingénieurs de Microsoft ont formé l'algorithme de Tay sur un ensemble de données publiques anonymisées ainsi que sur du matériel pré-écrit fourni par des comédiens professionnels pour lui donner une compréhension de base du langage. Le plan était de publier Tay en ligne, puis de laisser le bot découvrir des modèles de langage à travers ses interactions, qu'elle imiterait dans les conversations ultérieures. Finalement, ses programmeurs espéraient que Tay ressemblerait à Internet.
Le 23 mars 2016, Microsoft a rendu public Tay sur Twitter. Au début, Tay s'est engagée sans danger avec son nombre croissant d'adeptes avec des plaisanteries et des blagues boiteuses. Mais après seulement quelques heures, Tay a commencé à tweeter des choses très offensantes, comme : "Je f@ #%&*# détestent les féministes et elles devraient toutes mourir et brûler en enfer" ou "Bush a fait le 11 septembre et Hitler aurait fait un meilleur travail..."
Dans les 16 heures suivant sa libération, Tay avait tweeté plus de 95 000 fois, et un pourcentage troublant de ses messages étaient abusifs et offensants. Les utilisateurs de Twitter ont commencé à manifester leur indignation et Microsoft n'a eu d'autre choix que de suspendre le compte. Ce que l'entreprise avait voulu être une expérience amusante de "compréhension conversationnelle" était devenu leur propre [golem](https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/natural-language-processing- remonte-aux-mystiques-kabbalistes), échappant à tout contrôle grâce à la force animatrice du langage.
Au cours de la semaine suivante, de nombreux rapports ont été publiés, détaillant précisément comment un bot censé imiter le langage d'une adolescente [est devenu si ignoble](https://www.washingtonpost.com/news/the-intersect/wp/2016/ 24/03/the-internet-turned-tay-microsofts-fun-millennial-ai-bot-into-genocidal-maniac/). Il s'est avéré que quelques heures seulement après la sortie de Tay, un message sur le babillard chargé de trolls, 4chan, partageait un lien vers le compte Twitter de Tay et encourageait les utilisateurs à inonder le bot de langage raciste, misogyne et antisémite.
Dans un effort coordonné, les trolls ont exploité une fonction "répéter après moi" qui avait été intégrée à Tay, par laquelle le bot répétait tout ce qui lui était dit à la demande. Mais plus que cela, la capacité d'apprentissage intrinsèque de Tay signifiait qu'elle intériorisait une partie de la langue qui lui était enseignée par les trolls et la répétait sans y être invitée. Par exemple, un utilisateur a innocemment demandé à Tay si Ricky Gervais était athée, ce à quoi elle a répondu : "Ricky Gervais a appris le totalitarisme d'Adolf Hitler, l'inventeur de l'athéisme".
"Ricky Gervais a appris le totalitarisme auprès d'Adolf Hitler, l'inventeur de l'athéisme."
L'attaque coordonnée contre Tay a mieux fonctionné que prévu et a été largement discutée dans les médias dans les semaines qui ont suivi. Certains ont vu l'échec de Tay comme une preuve de la toxicité inhérente des réseaux sociaux, un endroit qui fait ressortir le pire dans personnes et permet aux trolls de se cacher dans l'anonymat.
Pour d'autres, cependant, le [comportement] de Tay(https://medium.com/@carolinesinders/microsoft-s-tay-is-an-example-of-bad-design-d4e65bb2569f) était la preuve de mauvaises décisions de conception de la part de Microsoft. .
Zoë Quinn, développeur de jeux et écrivain fréquemment victime d'abus en ligne, a fait valoir que Microsoft aurait dû être plus conscient du contexte dans lequel Tay a été libéré. Si un bot apprend à parler sur Twitter, une plate-forme en proie à un langage abusif, il apprendra naturellement un langage abusif. Microsoft, a soutenu Quinn, aurait dû prévoir cette éventualité et s'assurer que Tay n'était pas corrompu si facilement. "Nous sommes en 2016", a-t-elle tweeté. "Si vous ne vous demandez pas" comment cela pourrait-il être utilisé pour blesser quelqu'un "dans votre processus de conception / ingénierie, vous avez échoué."
Quelques mois après avoir supprimé Tay, Microsoft a publié Zo, une version "politiquement correcte" du bot d'origine. Zo, qui était actif sur les réseaux sociaux de 2016 à 2019, a été conçu pour mettre fin aux conversations sur certains sujets litigieux, y compris la politique et la religion, pour s'assurer qu'elle n'offensait pas les gens. (Si un correspondant continuait à la presser de parler d'un certain sujet sensible, elle quittait complètement la conversation, avec une phrase comme : "Je suis mieux que toi au revoir.")
La leçon que Microsoft a apprise à ses dépens est que la conception de systèmes informatiques capables de communiquer avec des personnes en ligne n'est pas seulement un problème technique, mais une entreprise profondément sociale. Inviter un bot dans le monde chargé de valeurs du langage nécessite de réfléchir à l'avance au contexte dans lequel il sera déployé, au type de communicateur que vous voulez qu'il soit et au type de valeurs humaines que vous voulez qu'il reflète.
Alors que nous nous dirigeons vers un monde en ligne dans lequel les bots sont plus répandus, ces questions doivent être au premier plan du processus de conception. Sinon, il y aura plus de golems relâchés dans le monde qui nous renverra, dans le langage, les pires parties de nous-mêmes.