Amazon a abandonné un outil interne "sexiste" qui utilisait l'intelligence artificielle pour trier les candidatures.
L'IA a été créée par une équipe du bureau d'Amazon à Édimbourg en 2014 afin de trier automatiquement les CV et de sélectionner les candidats les plus prometteurs.
Cependant, il a rapidement appris à préférer les candidats masculins aux candidats féminins, selon les membres de l'équipe qui se sont entretenus avec Reuters.
Ils ont remarqué que cela pénalisait les CV qui incluaient le mot "femmes", comme "capitaine d'un club d'échecs féminin". Il aurait également déclassé les diplômés de deux collèges réservés aux femmes.
Téléchargez la toute nouvelle application Microsoft News pour recevoir les dernières actualités des meilleures sources du monde - disponible dès maintenant sur iOS et Android
Le problème provenait du fait que le système était formé sur des données soumises par des personnes sur une période de 10 ans, dont la plupart provenaient d'hommes.
© AP Jeff Bezos, fondateur et PDG d'Amazon L'IA a été modifiée pour tenter de corriger le biais. Cependant, l'année dernière, Amazon a perdu confiance en sa capacité à être neutre et a complètement abandonné le projet.
On pense que les recruteurs d'Amazon ont utilisé le système pour examiner les recommandations lors de l'embauche, mais ne se sont pas fiés aux classements. Actuellement, les femmes représentent 40% de la main-d'œuvre d'Amazon.
Stevie Buckley, le co-fondateur du site Web d'emploi britannique Honest Work, qui est utilisé par des entreprises telles que Snapchat pour recruter pour des postes technologiques, a déclaré que «le principe de base consistant à attendre d'une machine qu'elle identifie les candidats solides en fonction des pratiques d'embauche historiques de votre est une méthode infaillible pour faire évoluer rapidement les préjugés inhérents et les pratiques de recrutement discriminatoires. »
Le danger de biais inhérent à l'utilisation d'algorithmes est un problème courant dans l'industrie technologique. On ne dit pas aux algorithmes d'être biaisés, mais ils peuvent devenir injustes à cause des données qu'ils utilisent.
© Getty Amazon logo Jessica Rose, responsable technique de la start-up d'éducation FutureLearn et conférencière technologique, a déclaré que "la valeur de l'IA telle qu'elle est utilisée dans le recrutement aujourd'hui est limitée par les préjugés humains".
"Les développeurs et les spécialistes de l'IA ont les mêmes préjugés que les professionnels du talent, mais on ne nous demande souvent pas de les interroger ou de les tester pendant le processus de développement", a-t-elle déclaré.
Google a dû supprimer la possibilité de rechercher des photos de gorilles dans son application Google Photos après que le service a commencé à suggérer que les photographies de personnes de couleur étaient en fait des photographies de gorilles.
L'échec du logiciel de recrutement d'Amazon et les problèmes avec Google Photos illustrent l'une des plus grandes faiblesses de l'apprentissage automatique, où les ordinateurs apprennent à effectuer des tâches en analysant des données.
Galerie : 24 faits que vous ignorez peut-être sur le fondateur d'Amazon, Jeff Bezos (Photos)
Le mois dernier, IBM a lancé un outil conçu pour détecter les biais dans l'IA. Le kit Fairness 360 permet aux développeurs de voir clairement comment fonctionnent leurs algorithmes et quelles données sont utilisées pour prendre des décisions.
"Compte tenu des ressources exhaustives d'Amazon et de leur équipe d'ingénieurs exceptionnellement talentueux", a déclaré M. Buckley, "le fait que leur outil de recrutement par IA ait lamentablement échoué suggère que nous devrions maintenir un scepticisme par défaut envers toute organisation qui prétend avoir produit un outil d'IA efficace pour le recrutement. .”