Incidents associés
Les algorithmes d'apprentissage automatique détectent des préjugés raciaux et sexistes profondément enracinés cachés dans les modèles d'utilisation de la langue, selon les scientifiques
Il a été démontré qu'un outil d'intelligence artificielle qui a révolutionné la capacité des ordinateurs à interpréter le langage courant présente des préjugés sexistes et raciaux frappants.
Les résultats soulèvent le spectre des inégalités sociales et des préjugés existants qui se renforcent de manière nouvelle et imprévisible alors qu'un nombre croissant de décisions affectant notre vie quotidienne sont cédées à des automates.
Au cours des dernières années, la capacité de programmes tels que Google Traduction à interpréter le langage s'est considérablement améliorée. Ces gains sont dus aux nouvelles techniques d'apprentissage automatique et à la disponibilité de grandes quantités de données textuelles en ligne, sur lesquelles les algorithmes peuvent être entraînés.
Cependant, à mesure que les machines se rapprochent de l'acquisition de capacités linguistiques de type humain, elles absorbent également les préjugés profondément enracinés cachés dans les modèles d'utilisation du langage, révèlent les dernières recherches.
Joanna Bryson, informaticienne à l'Université de Bath et co-auteur, a déclaré : "Beaucoup de gens disent que cela montre que l'IA a des préjugés. Non. Cela montre que nous avons des préjugés et que l'IA l'apprend.
Mais Bryson a averti que l'IA a le potentiel de renforcer les préjugés existants car, contrairement aux humains, les algorithmes peuvent ne pas être équipés pour contrer consciemment les préjugés appris. "Un danger serait que si vous aviez un système d'IA qui n'avait pas de partie explicite motivée par des idées morales, ce serait mauvais", a-t-elle déclaré.
La recherche, publiée dans la revue Science, se concentre sur un outil d'apprentissage automatique connu sous le nom de "word embedding", qui transforme déjà la façon dont les ordinateurs interprètent la parole et le texte. Certains soutiennent que la prochaine étape naturelle de la technologie pourrait impliquer des machines développant des capacités semblables à celles de l'homme, telles que le bon sens et la logique.
"L'une des principales raisons pour lesquelles nous avons choisi d'étudier les incorporations de mots est qu'elles ont connu un succès spectaculaire ces dernières années en aidant les ordinateurs à donner un sens au langage", a déclaré Arvind Narayanan, informaticien à l'Université de Princeton et auteur principal de l'article.
L'approche, qui est déjà utilisée dans la recherche sur le Web et la traduction automatique, fonctionne en construisant une représentation mathématique du langage, dans laquelle le sens d'un mot est distillé en une série de nombres (appelés vecteurs de mots) sur la base desquels d'autres mots apparaissent le plus souvent à ses côtés. De manière peut-être surprenante, cette approche purement statistique semble capturer le riche contexte culturel et social de ce qu'un mot signifie d'une manière dont une définition de dictionnaire serait incapable de le faire.
Par exemple, dans «l'espace du langage» mathématique, les mots pour les fleurs sont regroupés plus près des mots liés à l'agrément, tandis que les mots pour les insectes sont plus proches des mots liés au désagrément, reflétant des opinions communes sur les mérites relatifs des insectes par rapport aux fleurs.
Le dernier article montre que certains biais implicites plus troublants observés dans les expériences de psychologie humaine sont également facilement acquis par les algorithmes. Les mots « féminin » et « femme » étaient plus étroitement associés aux professions des arts et des sciences humaines et à la maison, tandis que « masculin » et « homme » étaient plus proches des professions liées aux mathématiques et à l'ingénierie.
Et le système d'IA était plus susceptible d'associer les noms européens américains à des mots agréables tels que « cadeau » ou « heureux », tandis que les noms afro-américains étaient plus souvent associés à des mots désagréables.
Les résultats suggèrent que les algorithmes ont acquis les mêmes biais qui conduisent les gens (au moins au Royaume-Uni et aux États-Unis) à faire correspondre des mots agréables et des visages blancs dans les tests d'association implicite.
Ces préjugés peuvent avoir un impact profond sur le comportement humain. Une étude précédente a montré qu'un CV identique est 50% plus susceptible d'aboutir à une invitation à un entretien si le nom du candidat est américain européen que s'il est afro-américain. Les derniers résultats suggèrent que les algorithmes, à moins qu'ils ne soient explicitement programmés pour résoudre ce problème, seront criblés des mêmes préjugés sociaux.
"Si vous ne pensiez pas qu'il y avait du racisme associé aux noms des gens, cela montre qu'il est là", a déclaré Bryson.
L'outil d'apprentissage automatique utilisé dans l'étude a été formé sur un ensemble de données connu sous le nom de corpus "common crawl" - une liste de 840 milliards de mots qui ont été extraits tels qu'ils apparaissent à partir de documents publiés en ligne. Des résultats similaires ont été trouvés lorsque les mêmes outils ont été entraînés sur les données de Google Actualités.
Sandra Wachter, chercheuse en éthique des données et en algorithmes à l'Université d'Oxford, a déclaré : "Le monde est biaisé, les données historiques sont biaisées, il n'est donc pas surprenant que nous recevions des résultats biaisés".
Plutôt que des algorithmes représentant une menace, ils pourraient présenter une opportunité de lutter contre les préjugés et de les contrer le cas échéant, a-t-elle ajouté.
"Au moins avec les algorithmes, nous pouvons potentiellement savoir quand l'algorithme est biaisé", a-t-elle déclaré. « Les humains, par exemple, pourraient mentir sur les raisons pour lesquelles ils n'ont pas embauché quelqu'un. En revanche, nous ne nous attendons pas à ce que les algorithmes nous mentent ou nous trompent.
Cependant, Wacher