Incidents associés
SAN FRANCISCO (Reuters) - Les spécialistes en apprentissage automatique d'Amazon.com Inc. ont découvert un problème majeur : leur nouveau moteur de recrutement n'appréciait pas les femmes.
Depuis 2014, l'équipe développe des programmes informatiques pour analyser les CV des candidats afin de mécaniser la recherche des meilleurs talents, ont déclaré à Reuters cinq personnes au courant du projet.
L'automatisation a joué un rôle clé dans la domination d'Amazon sur le e-commerce, que ce soit au sein des entrepôts ou dans la prise de décisions tarifaires. L'outil de recrutement expérimental de l'entreprise utilise l'intelligence artificielle pour attribuer aux candidats des notes allant de une à cinq étoiles, un peu comme les consommateurs évaluent les produits sur Amazon, ont déclaré certaines personnes.
« Tout le monde voulait ce Saint Graal », a déclaré l'une d'elles. « Ils voulaient littéralement un moteur qui propose 100 CV, sélectionne les cinq meilleurs et recrute. »
Mais en 2015, l'entreprise a réalisé que son nouveau système n'évaluait pas les candidats aux postes de développeurs logiciels et autres postes techniques de manière neutre.
Cela s'explique par le fait que les modèles informatiques d'Amazon étaient entraînés à examiner les candidatures en observant les tendances dans les CV soumis à l'entreprise sur une période de 10 ans. La plupart provenaient d'hommes, ce qui reflète la domination masculine dans le secteur technologique. (Pour un graphique sur la répartition par sexe dans le secteur technologique, voir : tmsnrt.rs/2OfPWoD)
En réalité, le système d'Amazon s'est auto-appris à préférer les candidats masculins. Il a pénalisé les CV comportant la mention « féminin », comme dans « capitaine de club d'échecs féminin ». Et il a rétrogradé les diplômées de deux universités exclusivement féminines, selon des sources proches du dossier. Les noms des établissements n'ont pas été précisés.
Amazon a modifié les programmes pour les rendre neutres vis-à-vis de ces termes. Mais cela ne garantissait pas que les machines ne trouveraient pas d'autres méthodes de tri des candidats, potentiellement discriminatoires, ont indiqué ces sources.
L'entreprise de Seattle a finalement dissous l'équipe au début de l'année dernière, les dirigeants ayant perdu espoir dans le projet, selon ces sources, qui ont requis l'anonymat. Les recruteurs d'Amazon ont examiné les recommandations générées par l'outil lors de la recherche de nouveaux employés, mais ne se sont jamais uniquement basés sur ces classements, ont-ils précisé.
Amazon a refusé de commenter les difficultés liées à la technologie, mais a déclaré que l'outil « n'avait jamais été utilisé par les recruteurs d'Amazon pour évaluer les candidats ». L'entreprise n'a pas donné plus de détails. Elle n'a pas contesté que les recruteurs aient examiné les recommandations générées par le moteur de recrutement.
L'expérience de l'entreprise, dont Reuters est la première à rendre compte, constitue une étude de cas sur les limites de l'apprentissage automatique. Elle constitue également un enseignement pour la liste croissante de grandes entreprises, comme Hilton Worldwide Holdings Inc et Goldman Sachs Group Inc, qui cherchent à automatiser certaines parties de leur processus de recrutement.
Selon une enquête réalisée en 2017 par CareerBuilder, société spécialisée dans les logiciels de gestion des talents, environ 55 % des responsables des ressources humaines américains ont déclaré que l'intelligence artificielle (IA) ferait partie intégrante de leur travail d'ici cinq ans.
Les employeurs rêvent depuis longtemps d'exploiter la technologie pour élargir leur bassin de recrutement et réduire la dépendance à l'opinion subjective des recruteurs. Mais des informaticiens comme Nihar Shah, qui enseigne l'apprentissage automatique à l'université Carnegie Mellon, estiment qu'il reste encore beaucoup à faire.
« Comment garantir l'équité de l'algorithme, comment garantir qu'il soit réellement interprétable et explicable ? On est encore loin du compte », a-t-il déclaré.
LANGAGE MASCULIN
L'expérience d'Amazon a débuté à un moment charnière pour le plus grand détaillant en ligne au monde. L'apprentissage automatique gagnait du terrain dans le monde de la technologie, grâce à l'essor de la puissance de calcul à bas coût. Le service des ressources humaines d'Amazon s'apprêtait à se lancer dans une vague d'embauches : depuis juin 2015, les effectifs mondiaux de l'entreprise ont plus que triplé pour atteindre 575 700 travailleurs, selon les documents réglementaires.
Le logo d'Amazon est visible sur le centre logistique de l'entreprise à Boves, en France, le 8 août 2018. REUTERS/Pascal Rossignol/Files Achat des droits de licence, ouvre un nouvel onglet
L'entreprise a donc mis en place une équipe au sein du pôle d'ingénierie d'Amazon à Édimbourg, qui comptait une douzaine de personnes. Leur objectif était de développer une IA capable d'explorer rapidement le web et d'identifier les candidats intéressants à recruter, selon des sources proches du dossier.
Le groupe a créé 500 modèles informatiques axés sur des fonctions et des lieux de travail spécifiques. Ils ont appris à chacun à reconnaître quelque 50 000 termes figurant sur les CV d'anciens candidats. Les algorithmes ont appris à accorder peu d'importance aux compétences communes aux candidats en informatique, comme la capacité à écrire divers codes informatiques, ont indiqué les personnes interrogées.
Au lieu de cela, la technologie a favorisé les candidats qui se décrivaient à l'aide de verbes plus courants sur les CV d'ingénieurs masculins, tels que « exécuter » et « capturer », a déclaré une personne.
Les préjugés sexistes n'étaient pas le seul problème. Des problèmes liés aux données sur lesquelles reposaient les jugements des modèles impliquaient que des candidats non qualifiés étaient souvent recommandés pour toutes sortes d'emplois, ont indiqué les personnes interrogées. La technologie renvoyant des résultats presque aléatoires, Amazon a abandonné le projet, ont-elles déclaré.
LE PROBLÈME OU LA SOLUTION ?
D'autres entreprises vont de l'avant, soulignant l'empressement des employeurs à exploiter l'IA pour le recrutement.
Kevin Parker, directeur général de HireVue, une startup près de Salt Lake City, a déclaré que l'automatisation aide les entreprises à voir au-delà des réseaux de recrutement sur lesquels elles s'appuient depuis longtemps. Son entreprise analyse le discours et les expressions faciales des candidats lors des entretiens vidéo afin de réduire le recours aux CV.
« On ne retournait pas aux mêmes sources ; on ne se contentait pas de se contenter des universités de l'Ivy League », a déclaré Parker. Son entreprise compte parmi ses clients Unilever PLC et Hilton.
Goldman Sachs a créé son propre outil d'analyse de CV qui tente d'associer les candidats au service qui leur correspond le mieux, a déclaré l'entreprise.
LinkedIn, filiale de Microsoft, le plus grand réseau professionnel mondial, est allé plus loin. Il propose aux employeurs des classements algorithmiques des candidats en fonction de leur adéquation aux offres d'emploi publiées sur son site.
Pourtant, John Jersin, vice-président de LinkedIn Talent Solutions, a déclaré que ce service ne remplace pas les recruteurs traditionnels.
« Je ne ferais certainement pas confiance à un système d'IA aujourd'hui pour prendre seul une décision d'embauche », a-t-il déclaré. « La technologie n'est tout simplement pas encore prête. »
Certains militants s'inquiètent de la transparence de l'IA. L'Union américaine pour les libertés civiles (ACLU) conteste actuellement une loi autorisant les poursuites pénales contre les chercheurs et les journalistes qui testent les algorithmes des sites de recrutement pour discrimination.
« Nous accordons une importance croissante à l'équité algorithmique », a déclaré Rachel Goodman, avocate au sein du programme de justice raciale de l'ACLU.
Malgré cela, Mme Goodman et d'autres critiques de l'IA ont reconnu qu'il pourrait être extrêmement difficile de poursuivre un employeur pour embauche automatisée : les candidats pourraient ne jamais savoir qu'elle est utilisée.
Quant à Amazon, l'entreprise a réussi à tirer parti des enseignements de son échec avec l'IA. Elle utilise désormais une « version très édulcorée » du moteur de recrutement pour l'aider dans certaines tâches rudimentaires, notamment l'élimination des profils de candidats en double dans les bases de données, a déclaré une source proche du projet.
Une autre personne a indiqué qu'une nouvelle équipe à Édimbourg avait été créée pour réessayer la sélection automatisée des candidats, cette fois en mettant l'accent sur la diversité.