Incidents associés
Cependant, le biais apparaît également pour d'autres raisons non liées. Une étude récente sur la façon dont un algorithme diffusait des annonces faisant la promotion d'emplois STEM a montré que les hommes étaient plus susceptibles de voir l'annonce, non pas parce que les hommes étaient plus susceptibles de cliquer dessus, mais parce que les femmes sont plus chères à faire de la publicité. Étant donné que les entreprises fixent un prix plus élevé pour les publicités ciblant les femmes (les femmes représentent 70 % à 80 % de tous les achats des consommateurs), l'algorithme a choisi de diffuser davantage de publicités aux hommes qu'aux femmes, car il a été conçu pour optimiser la diffusion des publicités tout en maintenant les coûts bas.
Mais si un algorithme ne reflète que des modèles dans les données que nous lui fournissons, ce que ses utilisateurs aiment et les comportements économiques qui se produisent sur son marché, n'est-il pas injuste de lui reprocher de perpétuer nos pires attributs ? On s'attend automatiquement à ce qu'un algorithme prenne des décisions sans aucune discrimination alors que c'est rarement le cas chez les humains. Même si un algorithme est biaisé, il peut s'agir d'une amélioration par rapport au statu quo actuel.
Pour tirer pleinement parti de l'utilisation de l'IA, il est important d'étudier ce qui se passerait si nous permettions à l'IA de prendre des décisions sans intervention humaine. Une étude de 2018 a exploré ce scénario avec des décisions de libération sous caution en utilisant un algorithme formé sur des données criminelles historiques pour prédire la probabilité de récidive des criminels. Dans une projection, les auteurs ont pu réduire les taux de criminalité de 25 % tout en réduisant les cas de discrimination chez les détenus incarcérés.
Pourtant, les gains mis en évidence dans cette recherche ne se produiraient que si l'algorithme prenait réellement chaque décision. Il est peu probable que cela se produise dans le monde réel, car les juges préféreraient probablement choisir de suivre ou non les recommandations de l'algorithme. Même si un algorithme est bien conçu, il devient redondant si les gens choisissent de ne pas s'y fier.
Beaucoup d'entre nous comptent déjà sur des algorithmes pour bon nombre de nos décisions quotidiennes, qu'il s'agisse de regarder sur Netflix ou d'acheter sur Amazon. Mais la recherche montre que les gens perdent confiance dans les algorithmes plus rapidement que les humains lorsqu'ils les voient faire une erreur, même lorsque l'algorithme fonctionne mieux dans l'ensemble.
Par exemple, si votre GPS vous suggère d'utiliser un itinéraire alternatif pour éviter le trafic qui finit par prendre plus de temps que prévu, vous cesserez probablement de vous fier à votre GPS à l'avenir. Mais si vous avez décidé d'emprunter l'itinéraire alternatif, il est peu probable que vous cessiez de faire confiance à votre propre jugement. Une étude de suivi sur le dépassement de l'aversion pour les algorithmes a même montré que les gens étaient plus susceptibles d'utiliser un algorithme et d'accepter ses erreurs s'ils avaient la possibilité de modifier l'algorithme eux-mêmes, même si cela impliquait de le rendre imparfaitement performant.
Alors que les humains peuvent rapidement perdre confiance dans les algorithmes défectueux, beaucoup d'entre nous ont tendance à faire davantage confiance aux machines si elles ont des caractéristiques humaines. Selon des recherches sur les voitures autonomes, les humains étaient plus susceptibles de faire confiance à la voiture et pensaient qu'elle fonctionnerait mieux si le système augmenté du véhicule avait un nom, un sexe spécifié et une voix à consonance humaine. Cependant, si les machines deviennent très humaines, mais pas tout à fait, les gens les trouvent souvent effrayantes, ce qui pourrait affecter leur confiance en elles.
Même si nous n'apprécions pas forcément l'image que les algorithmes peuvent refléter de notre société, il semble que nous ayons toujours envie de vivre avec eux et de les faire ressembler et agir comme nous. Et si tel est le cas, les algorithmes peuvent sûrement aussi faire des erreurs ?
Maude Lavanchy est associée de recherche à l'IMD.
Cet article a été publié pour la première fois par The Conversation.