Problème 872
En 2016, des chercheurs de l'Université de Boston et de Microsoft travaillaient sur des algorithmes d'intelligence artificielle lorsqu'ils ont découvert des tendances racistes et sexistes dans la technologie sous-jacente à certains des services les plus populaires et les plus critiques que nous utilisons au quotidien. La révélation allait à l'encontre de la sagesse conventionnelle selon laquelle l'intelligence artificielle ne souffre pas des préjugés sexistes, raciaux et culturels que nous, les humains, subissons.
Les chercheurs ont fait cette découverte en étudiant des algorithmes d'intégration de mots, un type d'IA qui trouve des corrélations et des associations entre différents mots en analysant de grands corps de texte. Par exemple, un algorithme d'intégration de mots formé peut comprendre que les mots pour les fleurs sont étroitement liés à des sentiments agréables. Sur un plan plus pratique, l'incorporation de mots comprend que le terme "programmation informatique" est étroitement lié à "C++", "JavaScript" et "analyse et conception orientées objet". Lorsqu'elle est intégrée dans une application de numérisation de CV, cette fonctionnalité permet aux employeurs de trouver des candidats qualifiés avec moins d'effort. Dans les moteurs de recherche, il peut fournir de meilleurs résultats en affichant un contenu sémantiquement lié au terme de recherche.
Les chercheurs de la BU et de Microsoft ont découvert que les algorithmes d'intégration de mots présentaient des biais problématiques, tels que l'association de "programmeur informatique" à des pronoms masculins et de "femme au foyer" à des pronoms féminins. Leurs découvertes, qu'ils ont publiées dans un document de recherche intitulé à juste titre "L'homme est au programmeur informatique ce que la femme est à la femme au foyer?" était l'un des nombreux rapports à démystifier le mythe de la neutralité de l'IA et à faire la lumière sur les biais algorithmiques, un phénomène qui atteint des dimensions critiques à mesure que les algorithmes sont de plus en plus impliqués dans nos décisions quotidiennes.
Les origines du biais algorithmique
Les algorithmes d'apprentissage automatique et d'apprentissage en profondeur sous-tendent la plupart des logiciels contemporains alimentés par l'IA. Contrairement aux logiciels traditionnels, qui fonctionnent sur la base de règles prédéfinies et vérifiables, le deep learning crée ses propres règles et apprend par l'exemple.
Par exemple, pour créer une application de reconnaissance d'images basée sur le deep learning, les programmeurs « entraînent » l'algorithme en lui alimentant des données étiquetées : en l'occurrence, des photos étiquetées avec le nom de l'objet qu'elles contiennent. Une fois que l'algorithme ingère suffisamment d'exemples, il peut glaner des modèles communs parmi des données étiquetées de manière similaire et utiliser ces informations pour classer des échantillons non étiquetés.
Ce mécanisme permet à l'apprentissage en profondeur d'effectuer de nombreuses tâches qui étaient pratiquement impossibles avec un logiciel basé sur des règles. Mais cela signifie également que les logiciels d'apprentissage en profondeur peuvent hériter de biais cachés ou manifestes.
"Les algorithmes d'IA ne sont pas intrinsèquement biaisés", déclare le professeur Venkatesh Saligrama, qui enseigne au département de génie électrique et informatique de l'Université de Boston et a travaillé sur les algorithmes d'intégration de mots. "Ils ont une fonctionnalité déterministe et capteront toutes les tendances qui existent déjà dans les données sur lesquelles ils s'entraînent."
Les algorithmes d'intégration de mots testés par les chercheurs de l'Université de Boston ont été formés sur des centaines de milliers d'articles de Google News, Wikipedia et d'autres sources en ligne dans lesquels les préjugés sociaux sont profondément ancrés. Par exemple, en raison de la culture bro qui domine l'industrie de la technologie, les noms masculins apparaissent plus souvent avec des emplois liés à la technologie, ce qui conduit les algorithmes à associer les hommes à des emplois tels que la programmation et le génie logiciel.
"Les algorithmes n'ont pas le pouvoir de l'esprit humain pour distinguer le bien du mal", ajoute Tolga Bolukbasi, doctorant en dernière année à la BU. Les humains peuvent juger de la moralité de nos actions, même lorsque nous décidons d'agir contre les normes éthiques. Mais pour les algorithmes, les données sont le facteur déterminant ultime.
Saligrama et Bolukbasi n'ont pas été les premiers à tirer la sonnette d'alarme sur ce biais. Des chercheurs d'IBM, de Microsoft et de l'Université de Toronto ont souligné la nécessité de prévenir la discrimination algorithmique dans un article publié en 2011. À l'époque, le biais algorithmique était une préoccupation ésotérique et l'apprentissage en profondeur n'avait toujours pas trouvé sa place dans le courant dominant. Aujourd'hui, cependant, le biais algorithmique laisse déjà une marque sur de nombreuses choses que nous faisons, comme lire les actualités, trouver des amis, faire des achats en ligne et regarder des vidéos sur Netflix et YouTube.
L'impact du biais algorithmique
En 2015, Google a dû s'excuser après que les algorithmes alimentant son application Photos aient identifié deux personnes noires comme des gorilles, peut-être parce que son ensemble de données d'entraînement ne contenait pas suffisamment de photos de personnes noires. En 2016, sur les 44 gagnantes d'un concours de beauté jugé par l'IA, presque toutes étaient blanches, quelques-unes étaient asiatiques et une seule avait la peau foncée. Encore une fois, la raison était que l'algorithme était principalement formé avec des photos de personnes blanches.
Google Photos, vous êtes tous foutus. Mon ami n'est pas un gorille. pic.twitter.com/SMkMCsNVX4 - jackyalciné ne répond pas beaucoup ici. DM (@jackyalcine) 29 juin 2015
Plus récemment, un test des services d'analyse faciale d'IBM et de Microsoft a révélé que les algorithmes des entreprises étaient presque parfaits pour détecter le sexe des hommes à la peau claire, mais se trompaient souvent lorsqu'ils étaient présentés avec des photos de femmes à la peau foncée.