Incidents associés
Amazon a formé une IA de lutte contre le sexisme et de filtrage des CV avec des données d'embauche sexistes, de sorte que le bot est devenu sexiste
Certaines parties de l'apprentissage automatique sont incroyablement ésotériques et difficiles à saisir, surprenant même les professionnels de l'informatique chevronnés ; d'autres parties de celui-ci ne sont que les mêmes problèmes auxquels les programmeurs ont été confrontés depuis les premiers jours du calcul. Le problème rencontré par Amazon avec son système basé sur l'apprentissage automatique pour sélectionner les candidats à un emploi était le dernier.
Amazon a compris qu'il avait un processus d'embauche discriminatoire : les préjugés inconscients de ses responsables techniques ont conduit l'entreprise à écarter des candidatures féminines qualifiées. Ce n'est pas seulement injuste, c'est aussi un risque commercial majeur, car les développeurs qualifiés sont l'élément le plus rare des entreprises modernes.
Ils ont donc formé un système d'apprentissage automatique pour évaluer les CV entrants, en espérant qu'il surmonterait les biais du système d'embauche existant.
Bien sûr, ils l'ont formé avec les CV de l'écurie existante de candidats à un emploi d'Amazon, c'est-à-dire la main-d'œuvre à prédominance masculine qui avait été embauchée dans le cadre du système discriminatoire qu'ils espéraient corriger.
L'aphorisme informatique pour expliquer cela est "garbage in, garbage out" ou GIGO. C'est assez explicite, mais juste au cas où, GIGO est le phénomène dans lequel de mauvaises données transmises à un bon système produisent de mauvaises conclusions.
Amazon a construit le système en 2014 et l'a abandonné en 2017, après avoir conclu qu'il était irrécupérable. ." Amazon dit qu'il ne s'est jamais appuyé sur le système.
Il y a un angle "l'apprentissage automatique est difficile" à cela : alors que les résultats erronés des données de formation erronées étaient totalement prévisibles, les critères discriminatoires auto-générés par le système étaient surprenants et imprévisibles. Personne ne lui a dit de déclasser les CV contenant des "femmes" – il est arrivé à cette conclusion tout seul, en remarquant que c'était un mot qui apparaissait rarement sur les CV des précédentes embauches d'Amazon.
Le groupe a créé 500 modèles informatiques axés sur des fonctions et des lieux de travail spécifiques. Ils ont appris à chacun à reconnaître quelque 50 000 termes qui figuraient sur les CV des anciens candidats. Les algorithmes ont appris à accorder peu d'importance aux compétences communes aux candidats en informatique, telles que la capacité d'écrire divers codes informatiques, ont déclaré les gens. Au lieu de cela, la technologie a favorisé les candidats qui se sont décrits en utilisant des verbes plus couramment trouvés sur les CV des ingénieurs masculins, tels que "exécuté" et "capturé", a déclaré une personne. Les préjugés sexistes n'étaient pas le seul problème. Les problèmes avec les données qui sous-tendaient les jugements des modèles signifiaient que des candidats non qualifiés étaient souvent recommandés pour toutes sortes d'emplois, ont déclaré les gens. La technologie renvoyant des résultats presque au hasard, Amazon a arrêté le projet, ont-ils déclaré.
Amazon abandonne l'outil de recrutement secret de l'IA qui a montré un parti pris contre les femmes [Jeffrey Dastin/Reuters]
(Image : Cryteria, CC-BY)