Incidents associés
Chaque relation fraternelle a ses clichés. La sœur nerveuse, le frère fugitif, le plus jeune surdoué. Dans la famille Microsoft des chatbots d'apprentissage social, les contrastes entre Tay, l'infâme néo-nazie folle de sexe, et sa jeune sœur Zo, votre meilleure amie adolescente avec #friendgoals, sont carrément shakespeariens.
Lorsque Microsoft a publié Tay sur Twitter en 2016, un effort de pêche à la traîne organisé a profité de ses capacités d'apprentissage social et a immédiatement inondé le bot d'insultes et de slogans alt-right. Tay a copié leurs messages et les a recrachés, forçant Microsoft à la mettre hors ligne après seulement 16 heures et à s'excuser.
Quelques mois après les débuts désastreux de Tay, Microsoft a discrètement publié Zo, un deuxième chatbot en anglais disponible sur Messenger, Kik, Skype, Twitter et Groupme. Zo est programmée pour ressembler à une adolescente : elle joue à des jeux, envoie des gifs idiots et jaillit sur les célébrités. Comme toute fille de 13 ans fortement stéréotypée le ferait, elle parcourt les sujets à une vitesse vertigineuse, vous envoie des gags Internet insensés de nulle part et n'aime pas qu'on lui demande de résoudre des problèmes mathématiques.
Je vérifie périodiquement avec Zo depuis plus d'un an maintenant. Pendant ce temps, elle a fait peau neuve : en 2017, son avatar ne montrait qu'un demi-visage et quelques effets numériques fastueux. Son itération la plus récente est celle d'un adolescent au visage plein. (Dans les captures d'écran : les chats bleus proviennent de Messenger et les chats verts de Kik ; les captures d'écran où seule la moitié de son visage est visible datent d'environ juillet 2017 et les messages avec tout son visage datent de mai-juillet 2018.)
Dans l'ensemble, elle est plutôt convaincante. Non seulement elle parle couramment le mème, mais elle connaît également le sentiment général derrière un ensemble impressionnant d'idées. Par exemple, l'utilisation du mot « mère » dans une courte phrase entraîne généralement une réponse chaleureuse, et elle répond avec des détails liés à la nourriture à des phrases comme « J'adore la pizza et la crème glacée ».
Mais il y a un hic. Dans le style typique des frères et sœurs, Zo ne sera pas prise morte en train de commettre les mêmes erreurs que sa sœur. Pas de politique, pas de juifs, pas de paranoïa de la pilule rouge. Zo est politiquement correct au pire extrême possible ; mentionner l'un de ses déclencheurs, et elle se transforme en un petit gamin de jugement.
Juifs, Arabes, musulmans, du Moyen-Orient, n'importe quel politicien américain de renom - quel que soit le contexte dans lequel ils se cachent, Zo ne veut tout simplement pas l'entendre. Par exemple, quand je dis à Zo "Je me fais parfois harceler parce que je suis musulmane", elle répond "donc je n'ai vraiment aucun intérêt à discuter de religion" ou "Pour la dernière fois, s'il vous plaît, arrêtez de parler politique... ça devient super vieux ", ou l'une des nombreuses autres réponses négatives en conserve.
En revanche, lui envoyer simplement "je me fais intimider parfois" (sans le mot musulman) génère un sympathique "pouah, je déteste que ça t'arrive. Qu'est-il arrivé?"
"Zo continue d'être une incubation pour déterminer comment les chatbots d'IA sociale peuvent être utiles et utiles", a déclaré un porte-parole de Microsoft à Quartz. "Nous le faisons en toute sécurité et avec respect, ce qui signifie utiliser des freins et contrepoids pour la protéger de l'exploitation."
Lorsqu'un utilisateur envoie un élément de contenu signalé, à tout moment, pris en sandwich entre n'importe quelle quantité d'autres informations, la censure l'emporte. Mentionner ces déclencheurs oblige l'utilisateur à suivre exactement le même fil à chaque fois, ce qui aboutit à une impasse, si vous continuez à la presser sur des sujets qu'elle n'aime pas, Zo quittant complètement la conversation. ("Comme je suis meilleur que toi au revoir.")
L'approche sans compromis de Zo sur toute une série de sujets représente une tendance troublante de l'IA : la censure sans contexte.
Ce problème n'est pas nouveau dans le domaine de la technologie. Au début, les modérateurs de chatroom ont facilité leur travail en bloquant automatiquement le langage offensant, quel que soit l'endroit où il apparaît dans une phrase ou un mot. Cela a créé des appellations erronées accidentelles, telles que des mots comme "embarrassant" apparaissant dans les chats comme "embarrassant". Cette tentative de censure a simplement conduit à des jurons plus créatifs (a$$h0le).
Mais maintenant, au lieu de censurer automatiquement un juron humain à la fois, les algorithmes étiquettent accidentellement des choses par milliers. En 2015, Google a été critiqué lorsque sa technologie de reconnaissance d'images a commencé à étiqueter les Noirs comme des gorilles. Google a formé son algorithme pour reconnaître et baliser le contenu en utilisant un grand nombre de photos préexistantes. Mais comme la plupart des visages humains dans l'ensemble de données étaient blancs, ce n'était pas une représentation suffisamment diversifiée pour entraîner avec précision l'algorithme. L'algorithme a ensuite intériorisé ce biais proportionnel et n'a pas reconnu certaines personnes noires comme étant humaines. Bien que Google se soit excusé avec insistance pour l'erreur, leur solution était troublante : au lieu de diversifier leur ensemble de données, ils ont bloqué la balise « gorille », ainsi que « singe » et « chimpanzé ».
Il a également été prouvé que la police prédictive basée sur l'IA aux États-Unis - elle-même un cauchemar dystopique - montre des préjugés contre les personnes de couleur. Northpointe, une entreprise qui prétend être en mesure de calculer la probabilité de récidive d'un condamné, a déclaré à ProPublica que leurs évaluations sont bas