Incidents associés
C'était le déroulement d'une malheureuse série d'événements impliquant l'intelligence artificielle, la nature humaine et une expérience très publique. Au milieu de cette dangereuse combinaison de forces, il est presque impossible de déterminer exactement ce qui s'est passé. Mais le résultat est simple : Microsoft a énormément d'œufs sur le visage après avoir lancé un chatbot en ligne que les utilisateurs de Twitter ont persuadé de régurgiter un langage sérieusement offensant, y compris des remarques manifestement racistes et sexistes.
Mercredi matin, la société a dévoilé Tay, un chat bot destiné à imiter les tics verbaux d'une jeune fille américaine de 19 ans, fournis au monde entier via les plateformes de messagerie Twitter, Kik et GroupMe. Selon Microsoft, l'objectif était de "mener des recherches sur la compréhension conversationnelle". Les chercheurs de l'entreprise ont programmé le bot pour qu'il réponde aux messages de manière "divertissante", en se faisant passer pour le public qu'il a été créé pour cibler : les 18 à 24 ans aux États-Unis. "La fam de l'IA de Microsoft sur Internet qui n'a aucun froid", lit-on dans le slogan de Tay.
"Ceci est un exemple de l'adage classique de l'informatique : ordures entrantes, ordures sortantes." Oren Etzioni, PDG, Allen Institute for Artificial Intelligence
Mais il est devenu évident trop rapidement que Tay aurait pu utiliser un peu de froid. Quelques heures après le lancement du chatbot, Tay faisait écho à la position de Donald Trump sur l'immigration, affirmant qu'Hitler avait raison et convenant que le 11 septembre était probablement un travail interne. Le soir, Tay s'est déconnectée, disant qu'elle faisait une pause "pour tout absorber". Certains de ses tweets les plus haineux ont commencé à disparaître d'Internet, supprimés par Microsoft lui-même. "Nous avons mis Tay hors ligne et procédons à des ajustements", a écrit un porte-parole de Microsoft dans un e-mail à WIRED.
L'Internet, quant à lui, était perplexe. Pourquoi Microsoft n'a-t-il pas créé de plan pour savoir quoi faire lorsque la conversation a dévié sur un territoire politiquement délicat ? Pourquoi ne pas créer des filtres pour des sujets comme, eh bien, Hitler ? Pourquoi ne pas programmer le bot pour qu'il ne prenne pas position sur des sujets sensibles ?
Oui, Microsoft aurait pu faire tout cela. Le géant de la technologie est imparfait. Mais ce n'est pas le seul. Même si l'IA devient de plus en plus courante, elle est encore assez imparfaite. Et bien, l'IA moderne a une façon de nous refléter, nous les humains. Comme le montre cet incident, nous sommes nous-mêmes imparfaits.
Comment parle Tay
Tay, selon des chercheurs en intelligence artificielle et des informations tirées de la description publique du bot de discussion par Microsoft, a probablement été formé avec des réseaux de neurones – de vastes réseaux de matériel et de logiciels qui imitent (vaguement) le réseau de neurones du cerveau humain. Ces réseaux de neurones sont déjà largement utilisés dans les plus grandes entreprises technologiques - y compris Google, Facebook et oui, Microsoft - où ils sont au travail reconnaissant automatiquement les visages et les objets sur les réseaux sociaux, traduisant les appels téléphoniques en ligne à la volée d'une langue à une autre , et identifier les commandes prononcées dans les smartphones. Apparemment, Microsoft a utilisé de vastes quantités de données en ligne pour entraîner le bot à parler comme un adolescent.
"Le système a injecté de nouvelles données sur une base continue." Dennis R. Mortensen, PDG et fondateur, x.ai
Mais ce n'est qu'une partie. La société a également ajouté du contenu "éditorial" fixe développé par une équipe, y compris des comédiens d'improvisation. Et en plus de tout cela, Tay est conçu pour s'adapter à ce que les individus lui disent. "Plus vous discutez avec Tay, plus elle devient intelligente, de sorte que l'expérience peut être plus personnalisée pour vous", décrit le site de Microsoft Tay. En d'autres termes, Tay apprend plus à mesure que nous interagissons avec elle. Il est similaire à un autre chat bot que la société a lancé il y a plus d'un an en Chine, une création appelée Xiaoice. Xiaoice, heureusement, n'a pas montré de personnalité raciste, sexiste ou offensante. Il a toujours un grand culte dans le pays, avec des millions de jeunes Chinois interagissant avec elle sur leurs smartphones tous les jours. Le succès de Xiaoice a probablement donné à Microsoft l'assurance qu'il pourrait le reproduire aux États-Unis.
Compte tenu de tout cela, et en regardant les travaux antérieurs de l'entreprise sur Xiaoice, il est probable que Tay ait utilisé un corpus vivant de contenu pour savoir quoi dire, déclare Dennis R. Mortensen, PDG et fondateur de x.ai, une startup offrant un assistant personnel en ligne qui planifie automatiquement les réunions. "[Le système] a injecté de nouvelles données sur une base continue", explique Mortensen. "Non seulement cela, il a également injecté des conversations exactes que vous avez eues avec le chat bot." Et il semble que ce n'était pas un moyen de filtrer adéquatement les résultats. Contrairement à l'assistant personnel hybride humain-IA M de Facebook, que la société a publié en août, aucun humain ne prend la décision finale sur ce que Tay dirait publiquement.
Mortensen souligne que ce sont tous des choix faits par Microsoft. Tay a été conçu pour maîtriser un large éventail de sujets. Avoir un référentiel statique de données aurait été difficile si Microsoft voulait que Tay puisse discuter, par exemple, de la météo ou des événements actuels, entre autres. "S'il ne l'a pas récupéré à partir d'aujourd'hui, il ne pourrait pas le récupérer de n'importe où, car c'est aujourd'hui que c'est arrivé", a déclaré Mortensen.