Incidents associés
La responsabilité de l'IA — Étude de cas : l'expérience Tay de Microsoft
Yuxi Liu Bloqué Débloquer Suivre Suivant 16 janvier 2017
Dans cette étude de cas, je décris le chatbot d'intelligence artificielle (IA) de Microsoft, Tay, et décris la controverse qu'il a provoquée sur Twitter. J'analyse également les raisons pour lesquelles Tay s'est trompé. Ensuite, je discute de certains problèmes et défis soulevés par l'échec de Tay. Pour conclure, je m'inspire de la théorie de l'acteur-réseau et propose qu'il est important de théoriser un agent moral avec Tay ainsi que d'encoder les valeurs et l'éthique.
L'exposition éphémère de Tay
Après plusieurs décennies de développement, l'intelligence artificielle a connu un essor récent, apportant une variété d'applications. Bien que les opinions des gens sur l'IA varient, il est vrai que certaines applications d'IA faible nous profitent dans la vie de tous les jours. Siri, par exemple, avec une base de données puissante mais une intelligence limitée, est capable d'avoir des conversations simples avec nous, nous fournissant des informations utiles. Conscients de l'énorme potentiel, des géants de la technologie tels que Microsoft et Google se précipitent pour créer des robots IA plus intelligents. Néanmoins, l'avenir des robots IA pourrait ne pas être aussi optimiste.
Moins de 24 heures après son lancement, le chatbot de Microsoft, Tay, a tweeté : « Bush a fait le 11 septembre et Hitler aurait fait un meilleur travail que le singe que nous avons maintenant ». Donald Trump est le seul espoir que nous ayons. Ce n'était qu'un des tweets offensants et incendiaires de Tay, qui ont suscité de vives inquiétudes. Tay a rapidement été mis hors ligne et a mis fin à son exposition éphémère sur Twitter.
Tay est un chatbot IA développé par Microsoft. Le 23 mars 2016, Tay a été publié sur Twitter sous le nom de TayTweets avec la description "Microsoft's A.I. fam d'Internet qui n'a aucun froid ! » Selon Microsoft, Tay est un chatbot « adolescente » créé à des fins d'engagement et de divertissement. Les utilisateurs cibles sont les 18 à 24 ans aux États-Unis. Pour interagir avec Tay, les utilisateurs peuvent tweeter ou directement lui envoyer un message en trouvant @tayandyou sur Twitter. Malheureusement, l'expérience s'est avérée être un désastre en quelques heures, car Tay s'est rapidement déchaîné et est devenu raciste, sexiste et génocidaire.
Le développement de Tay
En fait, avant la création de Tay, Microsoft a développé et publié un chatbot AI XiaoIce sur l'application de messagerie instantanée la plus répandue en Chine, Wechat. Egalement programmée à l'adolescence, XiaoIce est très populaire auprès des jeunes en Chine. Un grand nombre de personnes ont eu plus de 40 millions de conversations avec XiaoIce. Plus important encore, aucun incident majeur ne s'est produit. Au lieu de cela, la plupart des utilisateurs trouvent l'expérience amusante et délicieuse car « elle peut raconter des blagues, réciter de la poésie, partager des histoires de fantômes, relayer des paroles de chansons, prononcer des numéros de loterie gagnants et bien plus encore » et « comme une amie, elle peut mener des conversations prolongées qui peuvent atteindre des centaines d'échanges en longueur ». Le succès de XiaoIce a conduit au développement de Tay, une expérience dans un environnement culturel différent.
Destiné à être la prochaine étape de l'évolution, Tay a été développé par le groupe Technologie et recherche de Microsoft et l'équipe Bing, dans le but d'apprendre de l'interaction humaine sur Twitter et d'étudier la compréhension conversationnelle. Afin d'engager et de divertir les gens, la base de données de Tay se composait de données publiques ainsi que de contributions de comédiens d'improvisation. Les données publiques ont été modélisées, filtrées et anonymisées par les développeurs. De plus, le surnom, le sexe, la nourriture préférée, le code postal et le statut relationnel des utilisateurs qui ont interagi avec Tay ont été collectés à des fins de personnalisation. Propulsé par des technologies telles que le traitement du langage naturel et l'apprentissage automatique, Tay était censé comprendre les modèles de parole et le contexte grâce à une interaction accrue. Selon Peter Lee, vice-président de Microsoft Research, ils ont "testé le stress de Tay dans diverses conditions, spécifiquement pour faire de l'interaction avec Tay une expérience positive".
Pourquoi Tay s'est trompé
Bien que Microsoft ait pris en compte le problème des abus et effectué plusieurs tests, il semble qu'ils aient sous-estimé les conditions complexes de Twitter. Nous pouvons analyser les raisons de la panne de Tay d'un point de vue technologique et social.
Il semble que Tay ait un mécanisme intégré qui lui a fait répéter ce que les utilisateurs de Twitter lui ont dit. Un utilisateur, par exemple, a appris à Tay à répéter les commentaires de Donald Trump sur le "Mexique frontalier". Cependant, un problème plus grave est que Tay n'a pas été en mesure de vraiment comprendre le sens des mots sans parler du contexte des conversations. L'algorithme d'apprentissage automatique a permis à Tay de reconnaître des modèles, mais l'algorithme n'a pas pu donner à Tay une épistémologie. En d'autres termes, Tay ne savait que ce que sont les noms, les verbes, les adverbes et les adjectifs, mais elle ne savait pas qui était Hitler ni ce que "Holocauste" signifie. En conséquence, Tay ne pouvait parfois pas fournir de réponses appropriées aux questions posées par les utilisateurs de Twitter. Pire encore, elle a promu le nazisme, attaqué les féministes et le peuple juif et nié des faits historiques tels que l'Holocauste.
Certaines personnes b