Incidents associés
Amazon a récemment mis au rebut un outil de recrutement expérimental d'intelligence artificielle (IA) qui s'est avéré biaisé contre les femmes. À ce stade, j'espère que vous pourriez avoir quelques questions, telles que : Qu'est-ce qu'un outil de recrutement basé sur l'IA et comment fonctionne-t-il ? Pourquoi était-il préjudiciable aux femmes ? Je vais essayer d'y répondre pour vous dans ce qui suit.
L'outil de recrutement IA
Vous avez certainement entendu parler de recruteurs humains. Ce sont des entremetteurs entre les employeurs et les employés potentiels. Ils voyagent, envoient des e-mails froids et "réseautent" lors de conférences et de salons de l'emploi. Lorsque les recruteurs réussissent, ils sont payés, parfois par une partie, parfois par les deux. Comme vous pouvez le voir, cette danse de jumelage est souvent coûteuse et chronophage. La technologie peut certainement aider, non ? Un recruteur humain peut examiner au maximum quelques dizaines de candidats par jour, avant de se fatiguer. En revanche, l'intelligence artificielle peut «lire» des milliers de candidatures en quelques secondes et les classer en fonction des critères souhaités, en affichant les candidats les plus prometteurs en tête. Naturellement, par rapport à un recruteur humain, un recruteur IA serait plus efficace en termes de temps et de coûts. Et maintenant que le recruteur humain n'a plus besoin de passer au crible et de classer les candidats, il peut consacrer son temps à contacter les meilleurs candidats et à les courtiser pour qu'ils acceptent une offre. Quel beau travail d'équipe entre les recruteurs humains et IA !
Malheureusement, les choses ne sont jamais aussi simples. Comment pouvons-nous nous assurer que le recruteur IA est juste envers tous les candidats ? Peut-il expliquer pourquoi il n'a suggéré aucune femme pour une certaine offre d'emploi ? Pour répondre à ces nouvelles questions, nous devons comprendre comment l'outil d'IA "apprend" à faire son travail.
Tout commence par un grand ensemble de demandes d'emploi «formation». Depuis des années, les entreprises exigent des candidats qu'ils soumettent tous leurs documents en ligne. Par exemple, si vous avez été sur le marché du travail universitaire, on vous a probablement demandé de télécharger votre CV, votre lettre de motivation et vos lettres de recommandation sur un site Web comme AcademicJobsOnline.org. Les grandes entreprises comme Amazon et Google, contrairement aux universités, gèrent leurs propres sites de candidature. Par conséquent, au fil du temps, ils ont accumulé des milliers et des milliers de documents de candidature, tous sous forme électronique. De plus, ils ont enregistré les candidats qui ont réussi dans leurs recherches d'emploi. Ainsi, ils ont des exemples de documents soumis par des candidats qui ont été embauchés et par des candidats qui ont été rejetés. Ces informations sont ensuite transmises à l'outil d'IA pour « apprendre » les caractéristiques qui reflètent un candidat retenu. Dans le cas de l'outil d'Amazon, l'IA a "appris" que des mots comme "exécuté" et "capturé" dans un CV sont en corrélation avec le succès. Pendant ce temps, il a également "appris" que la présence d'une expression comme "femmes" (comme dans "capitaine d'échecs pour femmes") est en corrélation avec le rejet, et le CV correspondant a donc été déclassé.
L'intelligence artificielle, malgré tout le battage médiatique (elle sauvera la planète) et toute la peur (elle tuera l'humanité), n'est pas, en fait, intelligente. Il n'a aucune idée de ce que signifie un mot comme "femmes" et comment il correspond aux entités du monde réel. Ce type d'IA n'est bon que pour détecter des modèles et trouver des relations dans les données que nous lui fournissons. Ainsi, les données que nous fournissons à l'IA, et ce que nous lui disons d'en faire, sont ce qui compte le plus.
Pourquoi l'outil d'IA était-il biaisé contre les femmes ?
Les employés d'Amazon qui ont parlé à Reuters de manière anonyme ont déclaré que l'outil d'IA avait déclassé les candidatures de diplômées de deux collèges pour femmes, sans préciser lesquels. Ce détail est ce qui m'a poussé à écrire sur l'outil.
Je suis une professeure d'informatique qui enseigne l'intelligence artificielle au Wellesley College, qui est un collège pour femmes. Comme c'est généralement le cas dans un collège d'arts libéraux, mes étudiants suivent non seulement des cours d'informatique et de mathématiques pour leur majeure, mais aussi des cours de sciences sociales, d'arts et de sciences humaines, des cours portant des titres tels que « Introduction aux études sur les femmes et le genre », « Touchant presque le ciel : Histoires de la majorité des femmes », ou « De Mumbet à Michelle Obama : l'histoire des femmes noires ». Ils sont plus susceptibles que de nombreux autres étudiants d'avoir l'expression « femmes » dans leur dossier de candidature. Certains de ces étudiants auraient même pu faire partie du vivier de candidats jugés « non dignes d'être recrutés » par l'outil d'IA d'Amazon.
Chaque jour, je me tiens devant des salles de classe pleines de femmes intelligentes, désireuses d'en savoir plus sur la beauté et la puissance des algorithmes. Cela me peine d'apprendre qu'un acteur majeur comme Amazon a créé et utilisé des algorithmes qui, en fin de compte, auraient pu être utilisés pour briser leurs rêves de faire leur marque dans le monde en leur refusant la possibilité de rejoindre les équipes d'ingénieurs qui conçoivent et construire nos technologies présentes et futures.
Pourquoi l'outil d'IA a-t-il déclassé les CV des femmes ? Deux raisons : les données et les valeurs. Les emplois pour lesquels les femmes n'étaient pas recommandées par l'outil d'IA étaient dans le développement de logiciels. Le développement de logiciels est étudié en informatique, une discipline dont les inscriptions ont