Incidents associés
Amazon a été contraint d'abandonner son système de recrutement par IA après qu'il a été découvert qu'il était biaisé à l'encontre des candidates.
L'IA a été développée en 2014 par Amazon comme un moyen de filtrer la plupart des candidats pour fournir à l'entreprise les cinq meilleures personnes pour un poste. En 2015, il a été constaté qu'il n'évaluait pas les candidats de manière non sexiste, ce qui est un gros problème et va à l'encontre des tentatives d'Amazon d'uniformiser les règles du jeu en faisant en sorte qu'une IA objective prenne les premières décisions.
En fin de compte, le problème résidait dans la façon dont le système a été formé. Comme pour tout dans l'IA, un manque de diversité dans l'industrie l'a amené à être formé presque entièrement sur des CV masculins. Cela signifiait que, tout en apprenant à détecter les schémas de recrutement sur une période de 10 ans, il apprenait également à dévaluer les CV des femmes.
LIRE SUIVANT : Que pouvons-nous faire face au problème de la diversité de la technologie ?
Selon Reuters, le système a appris de lui-même que les candidats masculins étaient préférables aux femmes. Il a déclassé les CV s'il a trouvé des mots tels que "femmes" et pénalisé les diplômés des collèges entièrement féminins.
Alors qu'Amazon a recodé le logiciel pour rendre l'IA neutre par rapport à ces termes, il s'est rendu compte que cela ne garantissait pas que la technologie trouverait d'autres méthodes de discrimination à l'égard des femmes, selon le rapport.
L'équipe, installée dans le centre d'ingénierie d'Amazon à Édimbourg, a créé 500 modèles concentrés sur des fonctions et des lieux de travail détaillés. Le système a également appris à reconnaître environ 50 000 termes qui figuraient sur les CV des anciens candidats.
La technologie a appris à accorder peu d'importance aux compétences communes aux candidats en informatique, favorisant les termes plus couramment trouvés sur les CV des ingénieurs masculins, tels que "exécuté" et "capturé", selon le rapport.
LIRE SUIVANT : Les quotas de diversité aident-ils ou entravent-ils les femmes dans la technologie ?
Le modèle utilisé dans le système d'IA présentait d'autres problèmes qui ont conduit à recommander des candidats non qualifiés pour une variété d'emplois inadaptés.
Cela a finalement conduit Amazon à mettre fin à l'équipe alors que les dirigeants "perdaient espoir" sur le projet, ont déclaré des sources anonymes à Amazon. L'outil ne pouvait pas être utilisé uniquement pour trier les candidats.
L'entreprise utilise désormais une "version très édulcorée" du moteur de recrutement pour effectuer des "tâches rudimentaires".