Incidents associés
Les algorithmes sont souvent présentés comme étant supérieurs au jugement humain, éliminant les conjectures dans les décisions allant de la conduite à l'écriture d'un e-mail. Mais ils sont toujours programmés par des humains et formés sur les données que les humains créent, ce qui signifie qu'ils sont liés à nous pour le meilleur ou pour le pire. Amazon l'a découvert à ses dépens lorsque le logiciel de recrutement IA de l'entreprise, formé pour examiner les candidatures, s'est avéré discriminatoire à l'égard des candidates.
En place depuis 2014, le logiciel a été conçu pour trouver les meilleurs talents en fouillant dans des montagnes d'applications. L'IA évaluerait les candidats sur une échelle de 1 à 5 étoiles, comme vous pourriez évaluer un produit sur Amazon.
"Tout le monde voulait ce Saint Graal", a déclaré à Reuters une personne impliquée dans l'algorithme. "Ils voulaient littéralement que ce soit un moteur où je vais vous donner 100 CV, il crachera les cinq premiers, et nous les embaucherons."
Le modèle a été formé pour examiner les modèles d'embauche d'Amazon pour les emplois de développeur de logiciels et les postes techniques au cours de la dernière décennie. Alors qu'en surface, cela a du sens - au cours des 10 dernières années, Amazon a énormément grandi, un bon signe qu'il a embauché les bonnes personnes - dans la pratique, cela ne fait que reproduire les préjugés sexistes déjà en place. La plupart des embauches au cours des 10 dernières années étaient en fait des hommes, et l'algorithme a commencé à en tenir compte.
Il a commencé à pénaliser les curriculum vitae qui incluaient le mot "femmes", ce qui signifie que des expressions telles que "volontaire avec Women Who Code" seraient marquées contre la candidate. Il ciblait spécifiquement deux collèges réservés aux femmes, bien que les sources n'aient pas dit à Reuters lesquelles.
L'entreprise a pu modifier l'algorithme pour éliminer ces deux biais particuliers. Mais une question plus large s'est posée : quels autres biais l'IA a-t-elle renforcés qui n'étaient pas si évidents ? Il n'y avait aucun moyen d'en être sûr. Après plusieurs tentatives pour corriger le programme, les dirigeants d'Amazon ont fini par s'en désintéresser en 2017. L'algorithme a été abandonné.
L'incident montre que parce que les humains sont imparfaits, leurs imperfections peuvent être intégrées dans les algorithmes construits dans l'espoir d'éviter de tels problèmes. Les IA peuvent faire des choses que nous n'aurions peut-être jamais rêvé de faire nous-mêmes, mais nous ne pouvons jamais ignorer une vérité dangereuse et inévitable : elles doivent apprendre de nous.
MISE À JOUR, 11 octobre : Amazon a contacté PopMech par l'intermédiaire d'un porte-parole avec une déclaration, disant que "cela n'a jamais été utilisé par les recruteurs d'Amazon pour évaluer les candidats".
Source : Reuters