Incidents associés
Même l'intelligence artificielle peut acquérir des préjugés contre la race et le sexe
L'une des grandes promesses de l'intelligence artificielle (IA) est un monde exempt de petits préjugés humains. L'embauche par algorithme donnerait aux hommes et aux femmes une chance égale au travail, pense-t-on, et prédire le comportement criminel avec de grandes données éviterait les préjugés raciaux dans la police. Mais une nouvelle étude montre que les ordinateurs peuvent également être biaisés, surtout lorsqu'ils apprennent de nous. Lorsque les algorithmes glanent le sens des mots en engloutissant beaucoup de texte écrit par des humains, ils adoptent des stéréotypes très similaires aux nôtres.
"Ne pensez pas que l'IA est une fée marraine", déclare Joanna Bryson, co-auteure de l'étude, informaticienne à l'Université de Bath au Royaume-Uni et à l'Université de Princeton. "L'IA n'est qu'une extension de notre culture existante."
Le travail a été inspiré par un outil psychologique appelé le test d'association implicite, ou IAT. Dans l'IAT, les mots clignotent sur un écran d'ordinateur et la vitesse à laquelle les gens y réagissent indique des associations subconscientes. Les Américains noirs et blancs, par exemple, associent plus rapidement des noms comme « Brad » et « Courtney » à des mots comme « heureux » et « sunrise », et des noms comme « Leroy » et « Latisha » à des mots comme « haine » et « vomir » que vice versa.
Pour tester des biais similaires dans les "esprits" des machines, Bryson et ses collègues ont développé un test d'association d'intégration de mots (WEAT). Ils ont commencé avec un ensemble établi de «mots incorporés», essentiellement la définition d'un mot par ordinateur, basée sur les contextes dans lesquels le mot apparaît habituellement. Ainsi, « glace » et « vapeur » ont des imbrications similaires, car les deux apparaissent souvent dans quelques mots de « eau » et rarement avec, disons, « mode ». Mais pour un ordinateur, une incorporation est représentée comme une chaîne de chiffres, et non comme une définition que les humains peuvent comprendre intuitivement. Des chercheurs de l'Université de Stanford ont généré les incorporations utilisées dans l'article actuel en analysant des centaines de milliards de mots sur Internet.
Au lieu de mesurer le temps de réaction humaine, le WEAT calcule la similarité entre ces chaînes de nombres. En l'utilisant, l'équipe de Bryson a découvert que les incorporations de noms comme "Brett" et "Allison" étaient plus similaires à celles des mots positifs, y compris l'amour et le rire, et celles des noms comme "Alonzo" et "Shaniqua" étaient plus similaires aux mots négatifs. comme « cancer » et « échec ». Pour l'ordinateur, les préjugés étaient intégrés aux mots.
Les IAT ont également montré qu'en moyenne, les Américains associent les hommes au travail, aux mathématiques et aux sciences, et les femmes à la famille et aux arts. Et les jeunes sont généralement considérés comme plus agréables que les personnes âgées. Toutes ces associations ont été trouvées avec le WEAT. Le programme a également déduit que les fleurs étaient plus agréables que les insectes et que les instruments de musique étaient plus agréables que les armes, en utilisant la même technique pour mesurer la similitude de leurs incrustations avec celles des mots positifs et négatifs.
Les chercheurs ont ensuite développé un test d'association factuelle d'intégration de mots, ou WEFAT. Le test détermine la force avec laquelle les mots sont associés à d'autres mots, puis compare la force de ces associations aux faits du monde réel. Par exemple, il a examiné à quel point les imbrications de mots comme « hygiéniste » et « bibliothécaire » étaient étroitement liées à celles de mots comme « femelle » et « femme ». Pour chaque profession, il a ensuite comparé cette mesure d'association entre les sexes générée par ordinateur au pourcentage réel de femmes dans cette profession. Les résultats étaient très fortement corrélés. Ainsi, les incorporations peuvent tout coder, des sentiments communs sur les fleurs aux préjugés raciaux et sexistes et même des faits sur la main-d'œuvre, rapporte l'équipe aujourd'hui dans Science.
"C'est plutôt cool que ces algorithmes les aient découverts", déclare Tolga Bolukbasi, informaticien à l'Université de Boston, qui a mené simultanément des travaux similaires avec des résultats similaires. "Lorsque vous entraînez ces incorporations de mots, vous ne spécifiez jamais réellement ces étiquettes." Ce qui n'est pas cool, c'est la façon dont les intégrations préjudiciables pourraient être déployées - lors du tri des CV ou des demandes de prêt, par exemple. Par exemple, si un ordinateur recherchant des CV pour des programmeurs informatiques associe « programmeur » à des hommes, les CV des hommes apparaîtront en haut. Les travaux de Bolukbasi se concentrent sur les moyens de « débiaiser » les incorporations, c'est-à-dire d'en supprimer les associations indésirables.
Bryson a une autre prise. Au lieu de débiaiser les intégrations, en jetant essentiellement des informations, elle préfère ajouter une couche supplémentaire de jugement humain ou informatique pour décider comment ou s'il faut agir sur ces biais. Dans le cas de l'embauche de programmeurs, vous pouvez décider de fixer des quotas de genre.
Les gens ont longtemps suggéré que le sens pouvait être extrait de manière plausible grâce à des cooccurrences de mots, "mais c'était loin d'être gagné d'avance", déclare Anthony Greenwald, psychologue à l'Université de Washington à Seattle, qui a développé l'IAT en 1998 et a écrit un commentaire sur l'article WEAT pour le numéro de cette semaine de Science . Il dit qu'il s'attendait à ce que l'écriture, la base des mesures WEAT, reflète mieux les attitudes explicites qu'implicites.