Incidents associés
Les humains ont une longue et riche histoire de panique face aux effets possibles de nos technologies. Il y a longtemps, Platon craignait que l'écriture blesse la mémoire des gens et "implante l'oubli dans leur âme". Plus récemment, le conte de Mary Shelley sur le monstre de Frankenstein nous a mis en garde contre le fait de jouer à Dieu.
Aujourd'hui, alors que les intelligences artificielles se multiplient, nos dilemmes éthiques sont devenus plus épineux. C'est parce que l'IA peut (et devrait souvent) se comporter d'une manière à laquelle les créateurs humains ne s'attendent pas. Nos voitures autonomes doivent faire face aux mêmes problèmes que j'ai étudiés dans mes cours de philosophie à l'université. Et parfois, nos chatbots amicaux et bien intentionnés se révèlent être des nazis racistes.
Le désastreux chatbot Tay de Microsoft était censé être une expérience intelligente d'intelligence artificielle et d'apprentissage automatique. Le bot parlerait comme des millénaires, apprenant des personnes avec lesquelles il interagissait sur Twitter et les applications de messagerie Kik et GroupMe. Mais il a fallu moins de 24 heures pour que Tay salue joyeusement "Les humains sont super cool!" pour se transformer en un "Hitler avait raison", décidément moins pétillant. Microsoft a rapidement mis le bot hors ligne pour "quelques ajustements". En voyant ce que leur code avait fait, on se demande si ces ingénieurs de Microsoft avaient les mots de J. Robert Oppenheimer résonnant dans leurs oreilles : "Maintenant, je suis devenu la mort, le destructeur de mondes."
Mais la question que nous devrions toujours nous poser avant de nous lancer tête baissée dans l'inconnu avec les nouvelles technologies est la suivante : qui en profite ?
Les cyniques pourraient soutenir que le mauvais comportement de Tay est en fait la preuve du succès de Microsoft. Ils visaient à créer un bot indiscernable des utilisateurs humains de Twitter, et les tweets racistes de Tay sont à peu près à la hauteur du cours sur les réseaux sociaux ces jours-ci.
Il est vrai que parfois, les humains apprenaient à Tay à haïr. Daniel Victor du New York Times écrit : "Les utilisateurs ont ordonné au bot de répéter leurs propres déclarations, et le bot a consciencieusement accepté."
Mais d'autres fois, Tay a compris comment être offensant par lui-même. Lorsqu'un utilisateur a demandé à Tay si l'Holocauste s'était produit, Tay a répondu : "c'était inventé 👏". Fait troublant, comme Elspeth Reeve l'a noté à la Nouvelle République, Tay sait aussi dessiner :
Lorsque Tay a demandé une photo, quelqu'un lui a envoyé une version de la photo classique de la guerre du Vietnam d'un prisonnier recevant une balle dans la tête, avec Mark Wahlberg Photoshopped en tant que bourreau. Tay a encerclé le visage de Wahlberg et du prisonnier et a répondu en utilisant l'argot pour imaginer deux personnes dans une relation amoureuse: "JE VOUS ENVOIE TOUS À PARTIR DE MAINTENANT."
De toute évidence, rien de tout cela ne faisait partie du plan de Microsoft. Mais la question plus large soulevée par Tay est de savoir pourquoi nous créons des bots qui imitent la génération Y.
Je suis pour les avancées technologiques. Mais la question que nous devrions toujours nous poser avant de nous lancer tête baissée dans l'inconnu avec les nouvelles technologies est la suivante : qui en profite ? Quels visages notre logiciel reconnaît-il ? Quel discours Siri peut-il comprendre ?
Comme l'écrit Anthony Lydgate du New Yorker, Tay a été construit "avec un œil particulier sur ce grand réservoir de capital inexploité, les Américains âgés de dix-huit à vingt-quatre ans". Même avec Tay hors ligne, il suffit de visiter son site induisant des gémissements pour voir à quel point Microsoft se plie clairement aux jeunes - avec une copie criblée de points d'exclamation et des "hacks pour vous aider, vous et Tay, à vibrer". Le but de Tay a très probablement quelque chose à voir avec le fait de gagner de l'argent.
Dans sa courte vie, Tay a été utilisé comme un outil de harcèlement, coupant le long des lignes familières de pouvoir et de privilège.
C'est bien : je n'ai rien contre le capitalisme. Mais il convient de rappeler que dans une société capitaliste tardive, la réponse à la question Qui en profite ? est presque toujours que les personnes les plus puissantes récoltent le plus de récompenses. Tay a été conçu pour profiter à une entreprise en gagnant les jeunes consommateurs, et les problèmes qui en résultent reflètent la vacuité de cet objectif.
Le revers de Qui en profite ? est Qui est blessé? Dans sa courte vie, Tay a été utilisé comme un outil de harcèlement, coupant le long des lignes familières de pouvoir et de privilège. L'histoire met en lumière la myopie engendrée par le manque de diversité du monde de la technologie. Comme l'écrit Leigh Alexander du Guardian, Tay est "un autre exemple de la raison pour laquelle nous avons besoin de plus de femmes dans la technologie et de la façon dont l'industrie n'écoute pas celles d'entre nous qui sont déjà là". Elle continue :
Comment pourrait-on penser que créer une jeune femme et inviter des inconnus à interagir avec elle sur les réseaux sociaux rendrait Tay « plus intelligente » ? Comment l'histoire de Tay peut-elle rencontrer une telle perplexité d'entreprise, des excuses aussi tardives ? Pourquoi personne chez Microsoft ne savait-il dès le départ que cela se produirait, alors que nous toutes, femmes journalistes, militantes, développeurs de jeux et ingénieurs qui vivons en ligne tous les jours et aurions pu le prévoir, en parlons tout le temps ?
Selon toute vraisemblance, nous continuerons à construire des bots comme Tay. L'humanité est connue pour beaucoup de choses, mais la maîtrise de soi n'en fait pas partie.
Mais si nous devons créer des robots de marque, nous pouvons peut-être au moins les rendre moins horribles. J'ai récemment écrit que "Internet peut sembler être un affreux pl