Incidents associés
C'est une image surprenante qui illustre les biais profondément enracinés de la recherche sur l'IA. Entrez une image basse résolution de Barack Obama, le premier président noir des États-Unis, dans un algorithme conçu pour générer des visages dépixelisés, et le résultat est un homme blanc.
Ce n'est pas seulement Obama non plus. Obtenez le même algorithme pour générer des images haute résolution de l'actrice Lucy Liu ou de la députée Alexandria Ocasio-Cortez à partir d'entrées basse résolution, et les visages résultants sont nettement blancs. Comme l'a dit un tweet populaire citant l'exemple d'Obama : "Cette image en dit long sur les dangers de la partialité dans l'IA."
Mais qu'est-ce qui cause ces sorties et que nous disent-elles vraiment sur le biais de l'IA ?
Premièrement, nous devons en savoir un peu plus sur la technologie utilisée ici. Le programme générant ces images est un algorithme appelé PULSE, qui utilise une technique connue sous le nom de mise à l'échelle pour traiter les données visuelles. La mise à l'échelle est comme les tropes "zoomer et améliorer" que vous voyez à la télévision et au cinéma, mais, contrairement à Hollywood, les vrais logiciels ne peuvent pas simplement générer de nouvelles données à partir de rien. Afin de transformer une image basse résolution en une image haute résolution, le logiciel doit remplir les blancs à l'aide de l'apprentissage automatique.
Dans le cas de PULSE, l'algorithme qui fait ce travail est StyleGAN, qui a été créé par des chercheurs de NVIDIA. Bien que vous n'ayez peut-être jamais entendu parler de StyleGAN auparavant, vous connaissez probablement son travail. C'est l'algorithme responsable de la création de ces visages humains étrangement réalistes que vous pouvez voir sur des sites Web comme ThisPersonDoesNotExist.com; des visages si réalistes qu'ils sont souvent utilisés pour générer de faux profils de réseaux sociaux.
Ce que fait PULSE, c'est utiliser StyleGAN pour "imaginer" la version haute résolution des entrées pixélisées. Il ne le fait pas en "améliorant" l'image basse résolution d'origine, mais en générant un tout nouveau visage haute résolution qui, lorsqu'il est pixélisé, ressemble à celui saisi par l'utilisateur.
Cela signifie que chaque image dépixelisée peut être mise à l'échelle de différentes manières, de la même manière qu'un seul ensemble d'ingrédients fait des plats différents. C'est aussi pourquoi vous pouvez utiliser PULSE pour voir à quoi ressemble le gars de Doom, ou le héros de Wolfenstein 3D, ou même les emoji qui pleurent en haute résolution. Ce n'est pas que l'algorithme "trouve" de nouveaux détails dans l'image comme dans le trope "zoomer et améliorer" ; il s'agit plutôt d'inventer de nouveaux visages qui reviennent aux données d'entrée.
Avec les paramètres par défaut, j'ai obtenu ce résultat. pic.twitter.com/mRkqqTwhJF – Bomze (@tg_bomze) 20 juin 2020
Ce type de travail est théoriquement possible depuis quelques années maintenant, mais, comme c'est souvent le cas dans le monde de l'IA, il a atteint un public plus large lorsqu'une version facile à exécuter du code a été partagée en ligne ce week-end. C'est à ce moment-là que les disparités raciales ont commencé à se manifester.
Les créateurs de PULSE affirment que la tendance est claire : lors de l'utilisation de l'algorithme pour agrandir des images pixélisées, l'algorithme génère plus souvent des visages aux traits caucasiens.
"Ce biais est probablement hérité de l'ensemble de données"
"Il semble que PULSE produise des visages blancs beaucoup plus fréquemment que des visages de personnes de couleur", ont écrit les créateurs de l'algorithme sur Github. "Ce biais est probablement hérité de l'ensemble de données sur lequel StyleGAN a été formé [...] bien qu'il puisse y avoir d'autres facteurs dont nous ne sommes pas conscients."
En d'autres termes, en raison des données sur lesquelles StyleGAN a été formé, lorsqu'il essaie de créer un visage qui ressemble à l'image d'entrée pixélisée, il utilise par défaut les fonctionnalités blanches.
Ce problème est extrêmement courant dans l'apprentissage automatique, et c'est l'une des raisons pour lesquelles les algorithmes de reconnaissance faciale fonctionnent moins bien sur les visages non blancs et féminins. Les données utilisées pour former l'IA sont souvent biaisées en faveur d'un seul groupe démographique, les hommes blancs, et lorsqu'un programme voit des données qui ne font pas partie de ce groupe démographique, il fonctionne mal. Ce n'est pas un hasard si ce sont les hommes blancs qui dominent la recherche sur l'IA.
Mais ce que l'exemple d'Obama révèle exactement sur les préjugés et la façon dont les problèmes qu'ils représentent pourraient être résolus sont des questions compliquées. En effet, ils sont si compliqués que cette image unique a suscité de vifs désaccords parmi les universitaires, les ingénieurs et les chercheurs en IA.
Sur le plan technique, certains experts ne sont pas sûrs qu'il s'agisse même d'un exemple de biais d'ensemble de données. L'artiste IA Mario Klingemann suggère que l'algorithme de sélection PULSE lui-même, plutôt que les données, est à blâmer. Klingemann note qu'il a pu utiliser StyleGAN pour générer plus de sorties non blanches à partir de la même image pixélisée d'Obama, comme indiqué ci-dessous :
J'ai dû essayer ma propre méthode pour ce problème. Je ne sais pas si vous pouvez appeler cela une amélioration, mais en commençant simplement la descente du gradient à partir de différents emplacements aléatoires dans l'espace latent, vous pouvez déjà obtenir plus de variation dans les résultats. pic.twitter.com/dNaQ1o5l5l – Mario Klingemann (@quasimondo) 21 juin 2020
Ces visages ont été générés en utilisant "le même concept et le même modèle StyleGAN" mais des méthodes de recherche différentes de Pulse, explique Klingemann, qui dit que nous ne pouvons pas vraiment juger un algorithme à partir de quelques échantillons seulement. "Il y a probablement des millions de visages possibles qui se réduiront tous au même motif de pixels et tous sont également" corrects "", a-t-il déclaré à The Verge.
(Incidemment, c'est aussi la raison pour laquelle des outils comme celui-ci sont peu susceptibles d'être utilisés à des fins de surveillance. Les visages créés par ces processus sont imaginaires et, comme le montrent les exemples ci-dessus, ont peu de rapport avec la réalité de terrain de l'entrée. Cependant , ce n'est pas comme si d'énormes défauts techniques avaient empêché la police d'adopter la technologie dans le passé.)
Mais quelle qu'en soit la cause, les résultats de l'algorithme semblent biaisés, ce que les chercheurs n'avaient pas remarqué avant que l'outil ne devienne largement accessible. Cela témoigne d'un type de préjugé différent et plus répandu : celui qui opère au niveau social.
« Les personnes de couleur ne sont pas des valeurs aberrantes. Nous ne sommes pas des auteurs de « cas extrêmes », ils peuvent simplement oublier. »
Deborah Raji, chercheuse en responsabilité de l'IA, explique à The Verge que ce type de biais n'est que trop typique dans le monde de l'IA. "Compte tenu de l'existence fondamentale des personnes de couleur, la négligence de ne pas tester cette situation est stupéfiante et reflète probablement le manque de diversité que nous continuons de voir en ce qui concerne qui peut construire de tels systèmes", déclare Raji. « Les personnes de couleur ne sont pas des valeurs aberrantes. Nous ne sommes pas des auteurs de « cas extrêmes », ils peuvent simplement oublier. »
Le fait que certains chercheurs semblent désireux de ne s'attaquer qu'au côté données du problème de biais est ce qui a déclenché des arguments plus importants à propos de l'image d'Obama. Le scientifique en chef de l'IA de Facebook, Yann LeCun, est devenu un point d'éclair pour ces conversations après avoir tweeté une réponse à l'image disant que "les systèmes ML sont biaisés lorsque les données sont biaisées", et ajoutant que ce type de biais est un problème beaucoup plus grave "dans un produit déployé que dans un article académique. L'implication étant : ne nous inquiétons pas trop de cet exemple particulier.
De nombreux chercheurs, dont Raji, ont contesté le cadrage de LeCun, soulignant que les préjugés dans l'IA sont affectés par des injustices et des préjugés sociaux plus larges, et que le simple fait d'utiliser des données "correctes" ne résout pas les injustices plus importantes.
Même des données « non biaisées » peuvent produire des résultats biaisés
D'autres ont noté que même du point de vue d'une solution purement technique, les ensembles de données «équitables» peuvent souvent être tout sauf cela. Par exemple, un ensemble de données de visages reflétant avec précision la démographie du Royaume-Uni serait majoritairement blanc, car le Royaume-Uni est majoritairement blanc. Un algorithme formé sur ces données fonctionnerait mieux sur les visages blancs que sur les visages non blancs. En d'autres termes, des ensembles de données "équitables" peuvent toujours créer des systèmes biaisés. (Dans un fil de discussion ultérieur sur Twitter, LeCun a reconnu qu'il y avait plusieurs causes de biais d'IA.)
Raji dit à The Verge qu'elle a également été surprise par la suggestion de LeCun selon laquelle les chercheurs devraient moins se soucier des préjugés que les ingénieurs produisant des systèmes commerciaux, et que cela reflétait un manque de sensibilisation aux plus hauts niveaux de l'industrie.
"Yann LeCun dirige un laboratoire industriel connu pour travailler sur de nombreux problèmes de recherche appliquée qu'ils cherchent régulièrement à produire", explique Raji. "Je ne peux littéralement pas comprendre comment quelqu'un dans cette position ne reconnaît pas le rôle de la recherche dans l'établissement de normes pour les déploiements d'ingénierie."
Contacté par The Verge à propos de ces commentaires, LeCun a noté qu'il avait aidé à créer un certain nombre de groupes, à l'intérieur et à l'extérieur de Facebook, qui se concentrent sur l'équité et la sécurité de l'IA, y compris le Partenariat sur l'IA. "Je n'ai absolument jamais dit ou même fait allusion au fait que la recherche ne joue aucun rôle dans l'établissement de normes", a-t-il déclaré à The Verge.
Cependant, de nombreux systèmes d'IA commerciaux sont construits directement à partir de données de recherche et d'algorithmes sans aucun ajustement pour les disparités raciales ou de genre. Ne pas aborder le problème des biais au stade de la recherche ne fait que perpétuer les problèmes existants.
En ce sens, alors, la valeur de l'image d'Obama n'est pas qu'elle expose un seul défaut dans un seul algorithme ; c'est qu'il communique, à un niveau intuitif, la nature omniprésente du biais de l'IA. Ce qu'il cache, cependant, c'est que le problème de biais va bien plus loin que n'importe quel ensemble de données ou algorithme. C'est un problème omniprésent qui nécessite bien plus que des correctifs techniques.
Comme un chercheur, Vidushi Marda, a répondu sur Twitter aux visages blancs produits par l'algorithme : "Au cas où il faudrait le dire explicitement - Ce n'est pas un appel à la "diversité" dans les ensembles de données ou à une "précision améliorée" dans les performances - c'est un appel à une reconsidération fondamentale des institutions et des individus qui conçoivent, développent, déploient cette technologie en premier lieu.
Mise à jour, mercredi 24 juin : Cet article a été mis à jour pour inclure un commentaire supplémentaire de Yann LeCun.