Incidents associés
L'Université du Texas à Austin a cessé d'utiliser un système d'apprentissage automatique pour évaluer les candidats à son doctorat. en informatique. Les critiques disent que le système exacerbe les inégalités existantes dans le domaine.
En 2013, le département d'informatique de l'Université du Texas à Austin a commencé à utiliser un système d'apprentissage automatique appelé GRADE pour aider à prendre des décisions sur qui entre dans son doctorat. programme - et qui ne le fait pas. Cette année, le département l'a abandonné.
Avant l'annonce, que le département a publiée sous la forme d'une réponse à un tweet, peu avaient même entendu parler du programme. Maintenant, ses détracteurs – soucieux de la diversité, de l'équité et de la justice dans les admissions – disent qu'il n'aurait jamais dû être utilisé en premier lieu.
« Les humains codent ces systèmes. Les humains encodent leurs propres biais dans ces algorithmes », a déclaré Yasmeen Musthafa, titulaire d'un doctorat. étudiant en physique des plasmas à l'Université de Californie à Irvine, qui a tiré la sonnette d'alarme sur le système sur Twitter. « À quoi aurait ressemblé le département UT Austin CS sans GRADE ? Nous ne le saurons jamais.
GRADE (qui signifie GRaduate ADmissions Evaluator) a été créé par un membre du corps professoral de l'UT et un étudiant diplômé de l'UT en informatique, à l'origine pour aider le comité d'admission des diplômés du département à gagner du temps. GRADE prédit la probabilité que le comité d'admission approuve un candidat et exprime cette prédiction sous la forme d'un score numérique sur cinq. Le système explique également quels facteurs ont le plus influencé sa décision.
Les chercheurs de l'UT qui ont créé GRADE l'ont formé sur une base de données des décisions d'admission passées. Le système utilise des modèles de ces décisions pour calculer ses scores pour les candidats.
Par exemple, des lettres de recommandation contenant les mots « meilleur », « récompense », « recherche » ou « Ph.D ». sont prédictifs de l'admission - et peuvent conduire à un score plus élevé - tandis que les lettres contenant les mots «bien», «classe», «programmation» ou «technologie» sont prédictives du rejet. Une moyenne pondérée plus élevée signifie qu'un candidat est plus susceptible d'être accepté, tout comme le nom d'un collège ou d'une université d'élite sur le CV. Dans le système, les établissements ont été encodés dans les catégories «élite», «bon» et «autre», sur la base d'une enquête auprès des professeurs d'informatique de l'UT.
Chaque application GRADE notée au cours des sept années d'utilisation était toujours examinée par au moins un membre du comité humain, a déclaré UT Austin, mais parfois un seul. Avant GRADE, les membres du corps professoral effectuaient plusieurs passages en revue sur le pool. Le système a fait gagner du temps au comité, selon ses développeurs, en permettant aux professeurs de se concentrer sur les candidats sur le point d'être admis ou rejetés et d'examiner les candidats par ordre décroissant de qualité.
Pour ce que ça vaut, GRADE a semblé réussir à faire gagner du temps au comité. Au cours des saisons de candidature 2012 et 2013, les développeurs ont déclaré dans un article sur leur travail qu'il avait réduit le nombre d'examens complets par candidat de 71 % et réduit le temps total d'examen des dossiers de 74 %. (Un examen complet prend généralement 10 à 30 minutes.) Entre les années 2000 et 2012, les candidatures au doctorat en informatique. Le programme est passé d'environ 250 à près de 650, bien que le nombre de professeurs capables d'examiner ces demandes soit resté pratiquement constant. Depuis 2012, le nombre de demandes a atteint plus de 1 200.
L'utilisation de la technologie par l'université a échappé à l'attention pendant plusieurs années, jusqu'à ce mois-ci, lorsque le département de physique de l'Université du Maryland à College Park a organisé un colloque avec les deux créateurs de GRADE.
La conférence a attiré l'attention sur Twitter alors que les étudiants diplômés accusaient les créateurs de GRADE de désavantager davantage les groupes sous-représentés dans le processus d'admission en informatique.
«Nous avons mis des lettres de recommandation pour essayer d'élever les gens qui n'ont peut-être pas de bons GPA. Nous avons mis une déclaration personnelle dans le processus de candidature des diplômés pour essayer de donner aux personnes marginalisées une chance de faire entendre leur voix », a déclaré Musthafa, qui est également membre de la Physics and Astronomy Anti-Racism Coalition. "Le pire avec GRADE, c'est qu'il le supprime complètement."
Les partisans s'inquiètent depuis longtemps de la possibilité que les préjugés humains soient intégrés ou exacerbés par les algorithmes d'apprentissage automatique. Les algorithmes sont entraînés sur les données. En ce qui concerne les personnes, l'apparence de ces données est le résultat d'iniquités historiques. Les préférences pour un type de personne plutôt qu'un autre sont souvent le résultat de préjugés conscients ou inconscients.
Cela n'a pas empêché les institutions d'utiliser des systèmes d'apprentissage automatique pour l'embauche, la police et les peines de prison depuis un certain nombre d'années maintenant, souvent à grande controverse.
"Chaque processus va faire des erreurs. La question est, où ces erreurs sont-elles susceptibles d'être commises et qui est susceptible d'en souffrir ? » a déclaré Manish Raghavan, un doctorat en informatique. candidat à l'Université Cornell qui a fait des recherches et écrit sur les biais dans les algorithmes. "Probablement ceux des groupes sous-représentés ou les personnes qui n'ont pas les ressources nécessaires pour fréquenter des institutions d'élite."
Bien que de nombreuses femmes et personnes noires et latines aient eu une carrière réussie en informatique, ces groupes sont sous-représentés dans le domaine en général. En 2017, les Blancs, les Asiatiques et les étrangers non résidents ont reçu 84 % des diplômes décernés en informatique aux États-Unis.
À l'UT, près de 80 % des étudiants de premier cycle en informatique en 2017 étaient des hommes.
Raghavan a déclaré qu'il était surpris qu'il ne semble y avoir aucun effort pour vérifier les impacts de GRADE, comme la façon dont les scores diffèrent selon les groupes démographiques.
Les créateurs de GRADE ont déclaré que le système n'est programmé que pour reproduire ce que le comité d'admission faisait avant 2013, et non pour prendre de meilleures décisions que les humains. Le système n'est pas programmé pour utiliser la race ou le sexe pour faire ses prédictions, ont-ils déclaré. En fait, lorsqu'on lui donne ces fonctionnalités comme options pour l'aider à faire ses prédictions, il choisit de ne leur donner aucun poids. Les créateurs de GRADE ont déclaré que cela prouve que les décisions du comité sont neutres en termes de genre et de race.
Les détracteurs ont contré cela, arguant que la race et le sexe peuvent être encodés dans d'autres fonctionnalités de l'application que le système utilise. Les collèges pour femmes et les universités historiquement noires peuvent être sous-évaluées par l'algorithme, ont-elles déclaré. Les lettres de recommandation sont connues pour refléter les préjugés sexistes, car les recommandataires sont plus susceptibles de décrire les étudiantes comme « attentionnées » plutôt que « affirmées » ou « pionnières ».
Dans le discours du Maryland, les professeurs ont soulevé leurs propres préoccupations. Ce qu'un comité recherche peut changer chaque année. Les lettres de recommandation et les déclarations personnelles doivent être soigneusement examinées et non transformées en un sac de mots, ont-ils déclaré.
"Je suis un peu choqué que vous ayez fait cette expérience sur vos élèves", a déclaré Steve Rolston, directeur du département de physique du Maryland, lors de la conférence. "Vous semblez avoir construit un modèle qui intègre les préjugés de votre comité en 2013 et vous l'utilisez depuis."
Dans une interview, Rolston a déclaré que les admissions aux cycles supérieurs peuvent certainement être un défi. Son département reçoit plus de 800 candidatures de diplômés par an, ce qui prend beaucoup de temps à évaluer par les professeurs. Mais, a-t-il dit, son département n'utiliserait jamais un outil comme celui-ci.
"Si je vous demande de faire un classificateur d'images et que vous cherchez des chiens, je peux vérifier après coup que, oui, il a correctement identifié les chiens", a-t-il déclaré. "Mais quand je demande des décisions concernant des personnes, qu'il s'agisse d'admissions de diplômés, d'embauches ou de peines de prison, il n'y a pas de bonne réponse évidente. Vous l'entraînez, mais vous ne savez pas ce que le résultat vous dit vraiment.
Rolston a déclaré que le fait qu'au moins un membre du corps professoral examine chaque candidature n'était pas une garantie convaincante.
"Si je vous donne un fichier et que je dis:" Eh bien, l'algorithme dit que cette personne ne devrait pas être acceptée ", cela biaisera inévitablement la façon dont vous le regardez", a-t-il déclaré.
UT Austin a déclaré que GRADE était utilisé pour organiser les décisions d'admission plutôt que pour les prendre.
"Il n'a jamais été utilisé pour prendre des décisions d'admission ou de rejet d'étudiants potentiels, car au moins un membre du corps professoral évalue directement les candidats à chaque étape du processus d'examen", a déclaré un porte-parole de la Graduate School par e-mail.
Malgré les critiques concernant la diversité et l'équité, UT Austin a déclaré que GRADE est progressivement supprimé car il est trop difficile à maintenir.
"Les changements dans l'environnement des données et des logiciels ont rendu le système de plus en plus difficile à entretenir et son utilisation a été interrompue", a déclaré le porte-parole par e-mail. "La Graduate School travaille avec des programmes d'études supérieures et des membres du corps professoral sur le campus pour promouvoir un examen holistique des candidatures et réduire les préjugés dans les décisions d'admission."
Pour Musthafa, le fait que GRADE puisse disparaître pour de bon n'a pas d'impact sur l'inégalité existante dans les admissions aux cycles supérieurs.
"L'ensemble du système est imprégné de racisme, de sexisme et de capacitisme", ont-ils déclaré. "Combien d'années d'étudiants en informatique POC ont été refusés [à cause de cela]?"
Remédier à cette iniquité – ainsi qu'à la compétitivité qui a conduit à la création de GRADE – peut signifier élargir les comités, payer les gens pour leur temps et donner aux étudiants diplômés noirs et latinos une voix dans ces décisions, ont-ils déclaré. Mais l'automatisation ne peut pas faire partie de cette prise de décision.
"Si nous automatisons cela dans une certaine mesure, cela va simplement exclure les gens du monde universitaire", a déclaré Musthafa. "Le racisme d'aujourd'hui est immortalisé dans les algorithmes de demain."