Incidents associés
Tout juste sorti de la révélation que les recherches d'images Google pour "PDG" ne donnent que des photos d'hommes blancs, il y a de nouvelles preuves que le biais algorithmique est, hélas, à nouveau. Dans un article publié en avril, une équipe de chercheurs de l'Université Carnegie Mellon affirme que Google affiche beaucoup moins d'annonces pour des emplois de cadres bien rémunérés…
Suivez l'actualité des élections 2020
… si vous êtes une femme.
"Je pense que nos résultats suggèrent qu'il y a des parties de l'écosystème publicitaire où des types de discrimination commencent à émerger et qu'il y a un manque de transparence", a déclaré Annupam Datta, professeur à Carnegie Mellon, à Technology Review. "C'est préoccupant d'un point de vue sociétal."
Pour arriver à ces conclusions, Datta et ses collègues ont essentiellement construit un outil, appelé Ad Fisher, qui suit comment le comportement des utilisateurs sur Google influence les annonces Google personnalisées que chaque utilisateur voit. Parce que cette relation est compliquée et basée sur de nombreux facteurs, les chercheurs ont utilisé une série de faux comptes : des demandeurs d'emploi théoriques dont ils pouvaient suivre de près le comportement.
[Le pépin de la Maison Blanche de Google Maps, le marquage automatique de Flickr et le cas de l'algorithme raciste]
Ce comportement en ligne - visiter des sites d'emploi et rien d'autre - était le même pour tous les faux comptes. Mais certains ont indiqué leur sexe en tant qu'hommes et d'autres en tant que femmes.
L'équipe d'Ad Fisher a découvert que lorsque Google présumait que les utilisateurs étaient des hommes à la recherche d'un emploi, ils étaient beaucoup plus susceptibles de voir des annonces pour des emplois de direction bien rémunérés. Google a montré les publicités 1 852 fois au groupe masculin, mais seulement 318 fois au groupe féminin.
Ce n'est pas la première fois que les systèmes d'algorithmes semblent sexistes - ou racistes, d'ailleurs. Lorsque Flickr a lancé des outils de reconnaissance d'images en mai, les utilisateurs ont remarqué que l'outil étiquetait parfois les Noirs comme des "singes" ou des "animaux". Une étude historique à Harvard a précédemment révélé une grave discrimination dans la diffusion d'annonces en ligne, comme lorsque la recherche de noms ethniques sur Google a donné plus de résultats concernant les dossiers d'arrestation. Des algorithmes ont engagé par inflexion vocale. La liste se rallonge de plus en plus.
[La vérité inconfortable sur la façon dont nous percevons les femmes qui travaillent, en une simple recherche Google]
Mais quelle part de cela représente-t-elle et quelle part de cela est intégrée à l'algorithme ? C'est une question à laquelle beaucoup de gens ont du mal à répondre.
Après tout, les systèmes de personnalisation algorithmique, comme ceux derrière la plate-forme publicitaire de Google, ne fonctionnent pas dans le vide : ils sont programmés par des humains et apprennent à apprendre du comportement des utilisateurs. Ainsi, plus nous cliquons ou recherchons ou généralement sur Internet de manière sexiste et raciste, les algorithmes apprennent à générer ces résultats et ces publicités (soi-disant les résultats que nous nous attendons à voir).
"Cela fait partie d'un cycle : la façon dont les gens perçoivent les choses affecte les résultats de recherche, qui affectent la façon dont les gens perçoivent les choses", Cynthia Matuszek, professeur d'éthique informatique à l'Université du Maryland et co-auteur d'une étude sur les préjugés sexistes dans les résultats de recherche d'images Google. , a déclaré au Washington Post en avril.
[Ce que nous pouvons apprendre de ces résultats moins que légitimes de Google Knowledge Graph]
Google prévient que d'autres choses pourraient également se produire ici. L'annonceur en question aurait pu spécifier que l'annonce n'était diffusée qu'à certains utilisateurs pour une multitude de raisons, ou l'annonceur aurait pu spécifier que l'annonce ne s'afficherait que sur certains sites tiers.
"Les annonceurs peuvent choisir de cibler le public qu'ils souhaitent atteindre, et nous avons des politiques qui guident le type d'annonces basées sur les intérêts qui sont autorisées", lit-on dans un communiqué de Google.
La chose intéressante à propos des faux utilisateurs dans l'étude d'Ad Fisher, cependant, est qu'ils avaient des historiques de recherche entièrement nouveaux : en fait, les comptes utilisés étaient plus ou moins identiques, à l'exception de leur identité de genre répertoriée. Cela semblerait indiquer soit que les annonceurs demandent que les annonces d'emploi bien rémunérées ne soient diffusées qu'aux hommes (et que Google honore cette demande), soit qu'un certain type de biais a été programmé, par inadvertance, dans le système de personnalisation des annonces de Google.
Dans les deux cas, Datta, le chercheur de Carnegie Mellon, dit qu'il y a de la place pour beaucoup plus d'érudition et d'examen, ici.
"De nos jours, de nombreuses décisions importantes dans la société sont prises par des algorithmes", a-t-il déclaré. "Ces algorithmes fonctionnent à l'intérieur de boîtes dont nous n'avons pas accès aux détails internes. La genèse de ce projet était que nous voulions jeter un coup d'œil à l'intérieur de cette boîte pour voir s'il y avait d'autres conséquences indésirables de cette activité en cours.