Problème 2657

Lorsque Google Translate convertit des articles de presse écrits en espagnol en anglais, les phrases faisant référence aux femmes deviennent souvent « il a dit » ou « il a écrit ». Les logiciels conçus pour avertir les personnes utilisant des appareils photo Nikon lorsque la personne qu'ils photographient semblent clignoter ont tendance à interpréter les Asiatiques comme toujours clignotants. L'incorporation de mots, un algorithme populaire utilisé pour traiter et analyser de grandes quantités de données en langage naturel, caractérise les noms européens américains comme agréables et les afro-américains comme désagréables.

Ce ne sont là que quelques-uns des nombreux exemples découverts jusqu'à présent d'applications d'intelligence artificielle (IA) discriminant systématiquement des populations spécifiques.

La prise de décision biaisée n'est pas propre à l'IA, mais comme de nombreux chercheurs l'ont noté, la portée croissante de l'IA la rend particulièrement importante à aborder. En effet, la nature omniprésente du problème signifie que nous avons besoin de solutions systématiques. Nous élaborons ici plusieurs stratégies possibles.

Données biaisées

Dans les universités comme dans l'industrie, les informaticiens ont tendance à recevoir des félicitations (des publications à la couverture médiatique) pour avoir formé des algorithmes de plus en plus sophistiqués. On accorde relativement peu d'attention à la manière dont les données sont collectées, traitées et organisées.

Les données de formation sont un facteur majeur de biais dans l'IA. La plupart des tâches d'apprentissage automatique sont formées sur de grands ensembles de données annotés. Les réseaux de neurones profonds pour la classification des images, par exemple, sont souvent formés sur ImageNet, un ensemble de plus de 14 millions d'images étiquetées. Dans le traitement du langage naturel, les algorithmes standards sont entraînés sur des corpus constitués de milliards de mots. Les chercheurs construisent généralement ces ensembles de données en grattant des sites Web, tels que Google Images et Google News, en utilisant des termes de requête spécifiques ou en regroupant des informations faciles d'accès à partir de sources telles que Wikipedia. Ces ensembles de données sont ensuite annotés, souvent par des étudiants diplômés ou via des plateformes de crowdsourcing telles qu'Amazon Mechanical Turk.

De telles méthodes peuvent produire involontairement des données qui encodent des préjugés sexistes, ethniques et culturels.

Souvent, certains groupes sont surreprésentés et d'autres sous-représentés. Plus de 45 % des données d'ImageNet, qui alimentent la recherche en vision par ordinateur, proviennent des États-Unis, où vivent seulement 4 % de la population mondiale. En revanche, la Chine et l'Inde ne fournissent ensemble que 3 % des données d'ImageNet, même si ces pays représentent 36 % de la population mondiale. Ce manque de géodiversité explique en partie pourquoi les algorithmes de vision par ordinateur qualifient une photographie d'une mariée américaine traditionnelle vêtue de blanc de « mariée », « robe », « femme », « mariage », mais une photographie d'une mariée nord-indienne d'« art de la performance ». ' et 'costume'.

En médecine, les prédicteurs d'apprentissage automatique peuvent être particulièrement vulnérables aux ensembles d'apprentissage biaisés, car les données médicales sont particulièrement coûteuses à produire et à étiqueter. L'année dernière, des chercheurs ont utilisé l'apprentissage en profondeur pour identifier le cancer de la peau à partir de photographies. Ils ont formé leur modèle sur un ensemble de données de 129 450 images, dont 60 % ont été extraites de Google Images. Mais moins de 5% de ces images sont des personnes à la peau foncée, et l'algorithme n'a pas été testé sur des personnes à la peau foncée. Ainsi, les performances du classificateur peuvent varier considérablement d'une population à l'autre.

Une autre source de biais peut être attribuée aux algorithmes eux-mêmes.

Un programme d'apprentissage automatique typique tentera de maximiser la précision globale des prédictions pour les données d'entraînement. Si un groupe spécifique d'individus apparaît plus fréquemment que d'autres dans les données d'entraînement, le programme s'optimisera pour ces individus, car cela améliore la précision globale. Les informaticiens évaluent les algorithmes sur des ensembles de données de "test", mais il s'agit généralement de sous-échantillons aléatoires de l'ensemble d'apprentissage d'origine et sont donc susceptibles de contenir les mêmes biais.

Des algorithmes défectueux peuvent amplifier les biais par le biais de boucles de rétroaction. Prenons le cas de systèmes entraînés statistiquement tels que Google Translate utilisant par défaut le pronom masculin. Cette structuration est motivée par le rapport entre les pronoms masculins et les pronoms féminins dans les corpus anglais étant de 2: 1. Pire encore, chaque fois qu'un programme de traduction utilise par défaut "il a dit", il augmente la fréquence relative du pronom masculin sur le Web, ce qui peut potentiellement inverser les avancées durement gagnées vers l'équité4. Le rapport des pronoms masculins aux pronoms féminins est passé de 4:1 dans les années 1960, grâce aux transformations sociales à grande échelle.

Faire pencher la balance

Les biais dans les données reflètent souvent des déséquilibres profonds et cachés dans les infrastructures institutionnelles et les relations sociales de pouvoir. Wikipédia, par exemple, apparaît comme une source de données riche et diversifiée. Mais moins de 18% des entrées biographiques du site concernent des femmes. Les articles sur les femmes renvoient plus souvent à des articles sur les hommes que l'inverse, ce qui rend les hommes plus visibles pour les moteurs de recherche. Ils incluent également plus de mentions de partenaires romantiques et de famille.

Ainsi, un soin technique et une conscience sociale doivent être apportés à la construction d'ensembles de données pour la formation. Plus précisément, des mesures doivent être prises pour s'assurer que ces ensembles de données sont diversifiés et ne sous-représentent pas des groupes particuliers. Cela signifie qu'il faut aller au-delà des classifications commodes - "femme/homme", "noir/blanc", etc. - qui ne parviennent pas à saisir les complexités des identités de genre et ethniques.

Certains chercheurs commencent déjà à travailler là-dessus (voir Nature 558, 357–360; 2018). Par exemple, des informaticiens ont récemment révélé que les systèmes commerciaux de reconnaissance faciale classent beaucoup plus souvent à tort le sexe lorsqu'ils sont présentés à des femmes à la peau plus foncée qu'à des hommes à la peau plus claire, avec un taux d'erreur de 35 % contre 0,8 %. Pour résoudre ce problème, les chercheurs ont organisé un nouvel ensemble de données d'images composé de 1 270 individus, équilibrés en genre et en origine ethnique. Le recyclage et le réglage fin des algorithmes de classification des visages existants à l'aide de ces données devraient améliorer leur précision.

Pour aider à identifier les sources de biais, nous recommandons que les annotateurs étiquettent systématiquement le contenu des ensembles de données de formation avec des métadonnées standardisées. Plusieurs groupes de recherche conçoivent déjà des « fiches de données » contenant des métadonnées et des « étiquettes nutritionnelles » pour les ensembles de données d'apprentissage automatique (http://datanutrition.media.mit.edu/).

Chaque ensemble de données de formation doit être accompagné d'informations sur la manière dont les données ont été collectées et annotées. Si les données contiennent des informations sur les personnes, des statistiques récapitulatives sur la géographie, le sexe, l'ethnicité et d'autres informations démographiques doivent être fournies (voir "Puissance de l'image"). Si l'étiquetage des données est effectué par crowdsourcing, des informations de base sur les participants de la foule doivent être incluses, ainsi que la demande ou l'instruction exacte qui leur a été donnée.

Dans la mesure du possible, les conservateurs de données doivent fournir la définition précise des descripteurs liés aux données. Par exemple, dans le cas des données de justice pénale, apprécier le type de « crime » sur lequel un modèle a été formé clarifiera la manière dont ce modèle doit être appliqué et interprété.

Correctifs intégrés

De nombreuses revues exigent déjà des auteurs qu'ils fournissent des types d'informations similaires sur des données expérimentales comme condition préalable à la publication. Par exemple, Nature demande aux auteurs de télécharger toutes les données des puces à ADN dans le référentiel en libre accès Gene Expression Omnibus, ce qui oblige les auteurs à soumettre des métadonnées sur le protocole expérimental. Nous encourageons les organisateurs de conférences sur l'apprentissage automatique, telles que la Conférence internationale sur l'apprentissage automatique, à demander des métadonnées normalisées en tant qu'élément essentiel du processus de soumission et d'examen par les pairs. Les hébergeurs de référentiels de données, tels que OpenML, et les plateformes de compétition d'IA, telles que Kaggle, devraient faire de même.

Enfin, les informaticiens devraient s'efforcer de développer des algorithmes plus robustes aux biais humains dans les données.

Diverses approches sont poursuivies. L'une consiste à incorporer des contraintes et essentiellement à pousser le modèle d'apprentissage automatique pour s'assurer qu'il atteint des performances équitables entre différentes sous-populations et entre des individus similaires. Une approche connexe consiste à modifier l'algorithme d'apprentissage pour réduire sa dépendance à des attributs sensibles, tels que l'origine ethnique, le sexe, le revenu - et toute information corrélée à ces caractéristiques.

Ces approches naissantes de débiaisage sont prometteuses, mais elles doivent être affinées et évaluées dans le monde réel.

Un défi ouvert avec ces types de solutions, cependant, est que l'origine ethnique, le sexe et d'autres informations pertinentes doivent être enregistrées avec précision. À moins que les catégories appropriées ne soient capturées, il est difficile de savoir quelles contraintes imposer au modèle ou quelles corrections apporter. Les approches exigent également que les concepteurs d'algorithmes décident a priori des types de biais qu'ils souhaitent éviter.

Une approche complémentaire consiste à utiliser l'apprentissage automatique lui-même pour identifier et quantifier les biais dans les algorithmes et les données. Nous appelons cela la réalisation d'un audit d'IA, dans lequel l'auditeur est un algorithme qui sonde systématiquement le modèle d'apprentissage automatique d'origine pour identifier les biais à la fois dans le modèle et dans les données de formation.

Un exemple de ceci est notre travail récent utilisant une méthode d'apprentissage automatique populaire appelée word embedding pour quantifier les stéréotypes historiques aux États-Unis. L'incorporation de mots mappe chaque mot anglais à un point dans l'espace (un vecteur géométrique) de sorte que la distance entre les vecteurs capture les similitudes sémantiques entre les mots correspondants. Il capture les relations d'analogie, telles que « l'homme » est au « roi » comme « la femme » est à la « reine ». Nous avons développé un algorithme - l'auditeur AI - pour interroger le mot incorporation pour d'autres analogies de genre. Cela a révélé que «l'homme» est au «médecin» ce que «la femme» est à «l'infirmière», et que «l'homme» est au «programmeur informatique» ce que la «femme» est à la «femme au foyer».

Une fois que l'auditeur a révélé des stéréotypes dans l'incorporation de mots et dans les données textuelles d'origine, il est possible de réduire les biais en modifiant les emplacements des vecteurs de mots. De plus, en évaluant comment les stéréotypes ont évolué, les algorithmes entraînés sur des textes historiques peuvent être débiaisés. Les incorporations pour chaque décennie de données textuelles américaines de Google Books de 1910 à 1990 révèlent, par exemple, des attitudes choquantes et changeantes envers les Américains d'origine asiatique. Ce groupe passe de qualifié de « monstrueux » et de « barbare » en 1910 à « inhibé » et « sensible » en 1990 – avec des transitions abruptes après la Seconde Guerre mondiale et les vagues d’immigration des années 1980.

Faire les bons choix

Alors que les informaticiens, les éthiciens, les spécialistes des sciences sociales et d'autres s'efforcent d'améliorer l'équité des données et de l'IA, nous devons tous réfléchir à des notions appropriées d'équité. Les données doivent-elles être représentatives du monde tel qu'il est ou d'un monde auquel beaucoup aspirent ? De même, un outil d'IA utilisé pour évaluer les candidats potentiels à un poste devrait-il évaluer le talent ou la probabilité que la personne s'assimile bien à l'environnement de travail ? Qui devrait décider quelles notions d'équité privilégier ?

Pour répondre à ces questions et évaluer l'impact plus large des données et des algorithmes de formation, les chercheurs en apprentissage automatique doivent s'engager avec des spécialistes des sciences sociales et des experts en sciences humaines, en genre, en médecine, en environnement et en droit. Divers efforts sont en cours pour essayer de favoriser une telle collaboration, y compris l'initiative "Human-Centered AI" à laquelle nous participons à l'Université de Stanford en Californie. Et cet engagement doit commencer au premier cycle. Les étudiants doivent examiner le contexte social de l'IA en même temps qu'ils apprennent comment fonctionnent les algorithmes.

Les appareils, les programmes et les processus façonnent nos attitudes, nos comportements et notre culture. L'IA transforme les économies et les sociétés, change notre façon de communiquer et de travailler et remodèle la gouvernance et la politique. Nos sociétés ont longtemps souffert des inégalités. L'IA ne doit pas les maintenir ou même les aggraver involontairement.