Incidents associés
Une université a annoncé qu'elle avait abandonné son outil d'apprentissage automatique, utilisé pour filtrer des milliers de demandes de doctorat, alors que les créateurs du logiciel donnaient une conférence sur le code et suscitaient les critiques du public.
L'algorithme GRADE a été développé par une paire d'universitaires de l'Université du Texas à Austin, et il a été utilisé de 2013 à cette année pour évaluer ceux qui postulaient pour un doctorat au département d'informatique respecté du collège américain. Le logiciel a été formé en utilisant les détails des étudiants précédemment acceptés, l'idée étant d'apprendre au système à identifier les personnes que l'école favoriserait et à les mettre en évidence auprès du personnel qui ferait le dernier appel sur les candidatures. Il est probable que le programme ait détecté des préjugés contre les candidats de certains milieux exclus de ces données historiques.
Les espoirs se voyaient attribuer un score de zéro à cinq par le code, et ceux qui avaient des scores élevés étaient poussés vers le personnel universitaire par GRADE. Le logiciel, selon ses créateurs dans un article décrivant la technologie, "a réduit le nombre d'examens complets requis par candidat de 71 % et, selon une estimation prudente, a réduit le temps total consacré à l'examen des dossiers d'au moins 74 %". Cela signifie que les candidats mal notés ont reçu moins d'attention de la part du personnel.
Le département compsci a maintenant pris ses distances avec l'algorithme GRADE, affirmant d'abord que le code avait le potentiel de détecter des biais injustes, puis affirmant qu'il était difficile à maintenir. "Le département d'informatique de l'Université du Texas à Austin a cessé d'utiliser l'évaluateur des admissions aux cycles supérieurs (GRADE) au début de 2020", a déclaré un porte-parole à The Register dans un communiqué lundi.
« Le système a été utilisé pour organiser les admissions aux cycles supérieurs au Département d'informatique entre les années universitaires 2013 et 2019. Les chercheurs ont développé le système statistique en réponse à un volume élevé de candidats aux programmes d'études supérieures du département. Il n'a jamais été utilisé pour prendre des décisions d'admission ou de rejet d'étudiants potentiels, car au moins une personne du département évalue directement les candidats à chaque étape du processus d'examen.
« Les changements dans l'environnement des données et des logiciels ont rendu le système de plus en plus difficile à entretenir et son utilisation a été interrompue. L'école doctorale travaille avec des programmes d'études supérieures et des membres du corps professoral de l'ensemble du campus pour promouvoir des examens holistiques efficaces et efficients des candidatures. »
La décision plus tôt cette année de cesser d'utiliser GRADE pour sélectionner les candidats au doctorat en informatique n'a cependant été annoncée par le département sur Twitter que la semaine dernière après que le physicien des plasmas Yasmeen Musthafa [a attiré l'attention] (https://twitter.com/yasmmeme/status /1333670480574771201) aux failles potentielles du logiciel d'apprentissage automatique statistique. Musthafa a tweeté leurs critiques largement partagées le 30 novembre, la veille de la présentation prévue par les créateurs de GRADE de leur code lors d'un événement virtuel organisé par le département de physique de l'Université du Maryland. Le jour de la conférence, UT Austin a tweeté qu'il avait abandonné le logiciel :
TXCS est profondément engagé à remédier au manque de diversité dans notre domaine. Nous sommes conscients du potentiel d'encodage des biais dans les systèmes basés sur ML comme GRADE, c'est pourquoi nous avons progressivement cessé de nous fier à GRADE et ne l'utilisons plus dans le cadre de notre processus d'admission aux cycles supérieurs.
- Informatique à UT Austin (@UTCompSci) 1er décembre 2020
En fait, cette décision de limitation des dommages a été prise alors que les concepteurs de GRADE – Austin Waters et Risto Miikkulainen – présentaient encore leur travail sur le logiciel à leurs collègues via Zoom. Bien que la présentation ne soit pas généralement disponible, les détails techniques et les effets de GRADE ont été partagés sous la forme d'un article publié dans Magazine IA en 2014.
GRADE est formé sur diverses caractéristiques pour classer les candidats, y compris leur GPA, les universités précédemment fréquentées, les lettres de recommandation, le domaine d'intérêt de recherche et le conseiller pédagogique auprès duquel ils souhaitent étudier. L'algorithme compare ensuite ces informations aux doctorants que le département a précédemment acceptés pour prédire si un candidat est susceptible d'obtenir une place ou non. GRADE est conçu pour éliminer les étudiants potentiels les plus faibles afin que l'université perde moins de temps en devant examiner chaque candidature dans son intégralité. En d'autres termes, il s'agit d'un processus de sélection aidant le département à se concentrer sur les étudiants qui semblent être les plus prometteurs.
"Bien que chaque candidature soit toujours examinée par un examinateur humain", note l'article de 2014, "GRADE rend le processus d'examen beaucoup plus efficace. C'est pour deux raisons. Premièrement, GRADE réduit le nombre total d'examens complets des demandes que le comité doit effectuer. En utilisant les prédictions du système, les examinateurs peuvent rapidement identifier un grand nombre de candidats faibles qui seront probablement rejetés et un plus petit nombre de candidats exceptionnellement forts."
Le département d'informatique de l'UT Austin est classé dans le top dix de son acabit, et des milliers de les étudiants se battent pour une place dans ses programmes d'études supérieures.
Lorsque The Register a demandé si les candidats avaient été explicitement informés que leurs candidatures étaient examinées par un algorithme et que l'université stockait leurs données pour recycler et améliorer son système pour l'année suivante, UT Austin a refusé de répondre à la question. GRADE ne semble pas avoir été déployé pour d'autres départements ni dans d'autres universités.
Le professeur Miikkulainen, qui a aidé à inventer l'algorithme GRADE, a déclaré que l'outil n'était pas biaisé contre la race ou le sexe.
"Dans la mesure où nous pouvions mesurer les biais, nous avons constaté que le processus n'ajoutait pas de biais", a-t-il déclaré à The Register. "En 2013, le biais n'était pas encore un sujet courant dans l'IA, et il y avait peu de techniques disponibles, mais notre choix de méthode d'apprentissage a créé une opportunité : le modèle de régression logistique apprend à attribuer des poids aux caractéristiques en fonction de leur importance dans la décision. fabrication.
"Nous avons fait une expérience distincte où nous avons inclus le sexe et l'origine ethnique, et avons constaté que GRADE ne leur attribuait aucun poids - en d'autres termes, ces caractéristiques n'avaient aucun pouvoir prédictif, c'est-à-dire que les examinateurs ne les avaient pas utilisées pour prendre des décisions. Donc, dans la mesure où il était possible de mesurer alors, GRADE était impartial à ces égards.
Néanmoins, l'université s'est engagée à cesser d'utiliser GRADE dans son processus d'admission aux cycles supérieurs, craignant qu'il ne soit biaisé, et cette opinion est reprise par d'autres universitaires.
"J'écoutais la conférence, et il est vrai que pendant la conférence, le département de compsci de l'UT Austin a tweeté qu'en raison de problèmes d'équité, ils ne l'utiliseraient plus", a déclaré Steve Rolston, professeur de physique à l'Université du Maryland. dit The Register.
Préoccupé par le potentiel de GRADE à endommager la candidature d'un étudiant, il a envoyé un e-mail assurant aux étudiants que le système ne serait pas déployé au Maryland. "Selon les orateurs, le but de GRADE était de reproduire les décisions de leur comité d'admission, et en fait, il a été formé sur les données du comité d'admission précédent", a-t-il déclaré.
"Bien qu'il soit possible qu'il ait réussi cette tâche spécifique, il ne ferait que reproduire les préjugés qui existaient dans les décisions des comités, sans parler du fait que les algorithmes d'apprentissage automatique ne donnent pas vraiment d'indications sur la façon dont ils classent les choses. Lorsqu'ils utilisaient GRADE, ses résultats étaient toujours vérifiés par un humain, mais je craindrais que si l'on vous disait que l'algorithme évaluait quelqu'un de bas, cela colorerait inévitablement votre opinion et n'était donc pas nécessairement un bon contrôle sur le système.
"Bien que le [machine learning] convienne par exemple à la classification d'images, je pense qu'il est très dangereux de l'utiliser pour des choses telles que l'embauche ou les admissions. Lorsque nous admettons quelqu'un au programme d'études supérieures, nous évaluons son potentiel de réussite, compte tenu d'un ensemble limité de données d'entrée, dont une grande partie est subjective, [par exemple] des lettres de recommandation. Il n'y a pas de processus quantitatif pour faire de telles identifications, il est donc peu probable qu'un algorithme soit utile.
Miikkulainen a confirmé à El Reg que UT Austin n'avait pas l'intention de déployer un autre algorithme d'apprentissage automatique pour traiter les applications à l'avenir.