Incidents associés
Amazon a décidé de supprimer un algorithme d'apprentissage automatique (ML) qu'il était en train de créer pour aider à automatiser le processus de recrutement, car le modèle continuait de favoriser les candidats masculins, a révélé Reuters. La discrimination à l'égard des candidates a été attribuée aux ensembles de données largement dominés par les hommes avec lesquels elles avaient été formées.
Le projet, qui a été abandonné en 2017, devait permettre d'examiner les candidatures et d'attribuer une note à chaque candidat entre une et cinq étoiles. "Ils voulaient littéralement que ce soit un moteur où je vais vous donner 100 CV, il va cracher les cinq meilleurs, et nous allons les embaucher", a déclaré l'un des cinq membres de l'équipe qui avait travaillé sur l'outil qui Reuters a parlé.
Visitez le Machine Learning Innovation Summit d'Innovation Enterprise à New York les 12 et 13 décembre 2018
L'équipe avait travaillé sur l'algorithme de recrutement depuis 2014, en le formant sur des CV couvrant une période de 10 ans. Cependant, comme l'industrie technologique est notoirement dominée par les hommes, la plupart des CV sur lesquels elle a été formée provenaient d'hommes. Cela a conduit l'IA à commencer à favoriser les candidats masculins dans son évaluation simplement parce qu'ils étaient des hommes, pénalisant les CV simplement pour avoir utilisé le mot "femmes".
Les inquiétudes concernant l'impact des ensembles de données biaisés sur la formation à l'IA deviennent de plus en plus problématiques à mesure que la recherche sur l'IA continue de s'accélérer. Plus tôt cette année, des chercheurs du MIT ont tenté d'illustrer l'impact que les ensembles de données peuvent avoir en créant la première IA psychopathe au monde. Cet incident avec Amazon montre à quel point il est facile de transmettre par inadvertance des préjugés à la technologie qu'ils forment dans le but explicite d'être impartial.
Amazon a jusqu'à présent refusé de commenter le rapport de Reuters.