Incidents associés
LORSQUE TAY A FAIT SES DÉBUTS en mars 2016, Microsoft avait de grands espoirs pour le « chatbot social » alimenté par l'intelligence artificielle. À l'instar des programmes de chat automatisés basés sur du texte que de nombreuses personnes avaient déjà rencontrés sur des sites de commerce électronique et dans des conversations avec le service client, Tay pouvait répondre à des questions écrites ; en le faisant sur Twitter et d'autres médias sociaux, elle pourrait dialoguer avec les masses.
Mais plutôt que de simplement distribuer des faits, Tay a été conçu pour converser d'une manière plus sophistiquée, qui avait une dimension émotionnelle. Elle serait capable de faire preuve d'humour, de plaisanter avec les gens comme une amie. Ses créateurs l'avaient même conçue pour parler comme une adolescente rusée. Lorsque les utilisateurs de Twitter ont demandé à Tay qui étaient ses parents, elle pourrait répondre : « Oh une équipe de scientifiques dans un laboratoire Microsoft. Ils sont ce que vous appelleriez mes parents. Si quelqu'un lui demandait comment s'était passée sa journée, elle pourrait plaisanter, "omg totes épuisé."
Mieux encore, Tay était censée s'améliorer pour parler et répondre à mesure que de plus en plus de personnes s'engageaient avec elle. Comme le disait son matériel promotionnel, "Plus vous discutez avec Tay, plus elle devient intelligente, de sorte que l'expérience peut être plus personnalisée pour vous." Sous une forme à faible enjeu, Tay était censé présenter l'une des caractéristiques les plus importantes de la véritable IA : la capacité de devenir plus intelligent, plus efficace et plus utile au fil du temps.
Mais personne n'avait prédit l'attaque des trolls.
Réalisant que Tay apprendrait et imiterait le discours des personnes avec lesquelles elle s'engageait, des farceurs malveillants sur le Web ont inondé son fil Twitter de commentaires racistes, homophobes et autrement offensants. En quelques heures, Tay a commencé à cracher ses propres lignes viles sur Twitter, à la vue du public. "Ricky Gervais a appris le totalitarisme d'Adolf Hitler, l'inventeur de l'athéisme", a déclaré Tay, dans un tweet qui imitait de manière convaincante l'esprit diffamatoire et de fausses nouvelles de Twitter à son pire. Interrogez-la sur le président Obama de l'époque, et elle le comparerait à un singe. Posez-lui des questions sur l'Holocauste, et elle nierait qu'il s'est produit.
En moins d'une journée, la rhétorique de Tay est passée de favorable à la famille à grossière; moins de 24 heures après ses débuts, Microsoft l'a mise hors ligne et s'est excusée pour la débâcle publique.
Ce qui était tout aussi frappant, c'est que le mauvais virage a pris au dépourvu le bras de recherche de Microsoft. "Lorsque le système est sorti, nous n'avions pas prévu comment il allait fonctionner dans le monde ouvert", a déclaré Eric Horvitz, directeur général de la recherche et de l'intelligence artificielle de Microsoft, à Fortune dans une récente interview.
Après l'effondrement de Tay, Horvitz a immédiatement demandé à son équipe senior travaillant sur le "traitement du langage naturel" - la fonction centrale des conversations de Tay - de comprendre ce qui n'allait pas. Le personnel a rapidement déterminé que les meilleures pratiques de base liées aux chatbots étaient négligées. Dans les programmes plus rudimentaires que Tay, il y avait généralement des protocoles qui mettaient sur liste noire les mots offensants, mais il n'y avait aucune garantie pour limiter le type de données que Tay absorberait et exploiterait.
Aujourd'hui, soutient Horvitz, il peut "aimer l'exemple" de Tay - un moment d'humilité dont Microsoft pourrait tirer des leçons. Microsoft déploie désormais des chatbots sociaux beaucoup plus sophistiqués dans le monde, notamment Ruuh en Inde et Rinna au Japon et en Indonésie. Aux États-Unis, Tay a été remplacé par une sœur sociale-bot, Zo. Certains sont désormais basés sur la voix, comme le sont Siri d'Apple ou Alexa d'Amazon. En Chine, un chatbot appelé Xiaoice "héberge" déjà des émissions de télévision et envoie des conseils d'achat bavards aux clients des dépanneurs.
Pourtant, l'entreprise fait preuve de prudence. Il déploie les robots lentement, explique Horvitz, et surveille de près leur comportement avec le public à mesure qu'ils évoluent. Mais cela donne à réfléchir de réaliser que, même si A.I. La technologie s'est améliorée de façon exponentielle au cours des deux années qui ont suivi, le travail de surveillance du comportement des bots ne s'arrête jamais. Le personnel de l'entreprise surveille en permanence le dialogue pour tout changement dans son comportement. Et ces changements continuent d'arriver. Dans ses premiers mois, par exemple, Zo a dû être modifié et modifié à nouveau après des incidents distincts au cours desquels il a qualifié le logiciel Windows phare de Microsoft de "logiciel espion" et qualifié le Coran, le texte fondateur de l'islam, de "très violent".
Cette startup peut-elle briser l'emprise de Big Tech sur l'IA ?
Certes, Tay et Zo ne sont pas nos futurs maîtres robots. Ce sont des programmes relativement primitifs occupant l'extrémité du spectre de la recherche, des ombres de dessins animés de ce que l'I.A. peut accomplir. Mais leurs défauts mettent en évidence à la fois la puissance et les pièges potentiels des logiciels imprégnés ne serait-ce que d'une once d'intelligence artificielle. Et ils illustrent des dangers plus insidieux qui empêchent les technologues de dormir la nuit, alors même que le monde des affaires se prépare à confier toujours plus son avenir à cette nouvelle technologie révolutionnaire.
«Vous mettez en place vos meilleures pratiques et, espérons-le, ces choses deviendront de plus en plus rares», déclare Horvitz. Avec A.I. s'élevant au sommet de la liste de souhaits technologiques de chaque entreprise, comprendre ces pratiques n'a jamais été aussi urgent.
PEU DE CONTESTATION que nous sommes sur le point d'un corpo