Incidents associés
Au fur et à mesure que l'IA se répandra, cela deviendra une question de plus en plus importante et controversée :
Pour une université britannique, ce qui a commencé comme un exercice de gain de temps s'est terminé en disgrâce lorsqu'un modèle informatique mis en place pour rationaliser son processus d'admission a révélé - puis exacerbé - la discrimination sexuelle et raciale.
Comme détaillé ici dans le British Medical Journal, le personnel de la St George’s Hospital Medical School a décidé d’écrire un algorithme qui automatiserait le premier tour de son processus d’admission. Les formules utilisaient des modèles historiques dans les caractéristiques des candidats dont les candidatures étaient traditionnellement rejetées pour filtrer les nouveaux candidats dont les profils correspondaient à ceux des candidats les moins retenus.
En 1979, la liste des candidats sélectionnés par les algorithmes correspondait à 90-95% à ceux choisis par le jury de sélection, et en 1982, il a été décidé que toute la phase initiale du processus d'admission serait gérée par le modèle. Les candidats se voyaient attribuer un score sans que leurs candidatures aient passé une seule paire d'yeux humains, et ce score était utilisé pour déterminer s'ils seraient ou non interviewés.
Outre les inquiétudes évidentes qu'un étudiant aurait en découvrant qu'un ordinateur rejetait sa candidature, une découverte plus troublante a été faite. Les données sur les admissions qui ont été utilisées pour définir les sorties du modèle ont montré un biais à l'encontre des femmes et des personnes portant des noms d'apparence non européenne.
La vérité a été découverte par deux professeurs de St George's, et l'université a pleinement coopéré à une enquête de la Commission pour l'égalité raciale, prenant toutes deux des mesures pour s'assurer que la même chose ne se reproduirait plus et contactant les candidats qui avaient été injustement éliminés, en certains cas leur offrant même une place.