Incidents associés
Signe Amazon, avec mec. David Ryder/Getty Images
Grâce à Amazon, le monde a un nouveau récit édifiant sur les dangers d'apprendre aux ordinateurs à prendre des décisions humaines.
Selon un rapport de Reuters publié mercredi, le géant de la technologie a décidé l'année dernière d'abandonner un "outil d'embauche expérimental" qui utilisait l'intelligence artificielle pour évaluer les candidats à un emploi, en partie parce qu'il était discriminatoire à l'égard des femmes. Les recruteurs auraient examiné les recommandations émises par le programme lors de la recherche de talents, "mais ne se seraient jamais fiés uniquement à ces classements".
La mésaventure a commencé en 2014, lorsqu'un groupe d'ingénieurs d'Amazon en Écosse a entrepris de mécaniser le processus de chasse aux têtes de l'entreprise, en créant un programme qui parcourrait Internet à la recherche de candidats intéressants (et épargnerait vraisemblablement au personnel des ressources humaines d'Amazon des heures écrasantes en cliquant autour de LinkedIn). "Tout le monde voulait ce Saint Graal", a déclaré une source à Reuters. "Ils voulaient littéralement que ce soit un moteur où je vais vous donner 100 CV, il crachera les cinq premiers, et nous les embaucherons."
Cela ne s'est pas déroulé de cette façon. En 2015, l'équipe s'est rendu compte que sa création était biaisée en faveur des hommes lorsqu'il s'agissait d'embaucher des talents techniques, comme les développeurs de logiciels. Le problème était qu'ils entraînaient leurs algorithmes d'apprentissage automatique pour rechercher des prospects en reconnaissant les termes qui étaient apparus sur les CV des anciens candidats à un emploi - et en raison du déséquilibre bien connu entre les sexes dans le monde de la technologie, ces anciens espoirs avaient tendance à être des hommes.
« En effet, le système d'Amazon a appris de lui-même que les candidats masculins étaient préférables. Cela a pénalisé les CV qui incluaient le mot «femmes», comme dans «capitaine de club d'échecs féminin». Et cela a déclassé les diplômés de deux collèges entièrement féminins », a rapporté Reuters. Le programme a également décidé que les compétences techniques de base, comme la capacité d'écrire du code, qui apparaissaient sur toutes sortes de CV, n'étaient pas si importantes, mais ont commencé à aimer les candidats qui jonchaient leur CV de verbes machos tels que "exécuté" et "capturé".
Après des années à essayer de réparer le projet, Amazon Brass aurait "perdu espoir" et a mis fin à l'effort en 2017.
Tout cela est une illustration remarquablement claire de la raison pour laquelle de nombreux experts en technologie craignent que, plutôt que de supprimer les préjugés humains des décisions importantes, l'intelligence artificielle les automatise simplement. Une enquête de ProPublica, par exemple, a révélé que les algorithmes utilisés par les juges dans la détermination de la peine peuvent infliger des peines plus sévères aux accusés noirs qu'aux accusés blancs. Google Traduction a introduit des préjugés sexistes dans ses traductions. Le problème est que ces programmes apprennent à repérer des modèles et à prendre des décisions en analysant des ensembles de données massifs, qui sont eux-mêmes souvent le reflet de la discrimination sociale. Les programmeurs peuvent essayer de modifier l'A.I. pour éviter ces résultats indésirables, mais ils peuvent ne pas y penser ou réussir même s'ils essaient.
Amazon mérite un certain crédit pour avoir réalisé que son outil avait un problème, essayé de le résoudre et finalement passé à autre chose (en supposant qu'il n'ait pas eu d'impact sérieux sur le recrutement de l'entreprise au cours des dernières années). Mais, à une époque où de nombreuses entreprises adoptent l'intelligence artificielle pour des choses comme l'embauche, ce qui s'est passé chez Amazon montre vraiment qu'il est difficile d'utiliser une telle technologie sans conséquences imprévues. Et si une entreprise comme Amazon ne peut pas s'en sortir sans problème, il est difficile d'imaginer que des entreprises moins sophistiquées le puissent.