Incidents associés
Les grandes universités utilisent la race de leurs étudiants, entre autres variables, pour prédire la probabilité qu'ils abandonnent l'école. Les documents obtenus par The Markup par le biais de demandes d'enregistrements publics montrent que certaines écoles utilisent le logiciel de conseil Navigate de la société de recherche en éducation EAB pour intégrer la race des élèves comme ce que la société appelle un "prédicteur à fort impact" de la réussite des élèves - une inquiétude des experts en pratique pourrait pousser Les étudiants noirs et d'autres minorités dans des classes et des majors «plus faciles». Les documents, appelés «rapports de modèles prédictifs», décrivent comment l'algorithme de risque de chaque université est adapté aux besoins de sa population. Au moins quatre écoles sur sept auprès desquelles The Markup a obtenu de tels documents intègrent la race comme prédicteur, et deux d'entre elles décrivent la race comme un «prédicteur à fort impact». Deux écoles n'ont pas divulgué les variables introduites dans leurs modèles. Plus de 500 universités à travers le pays utilisent les algorithmes de « risque » de Navigate pour évaluer leurs étudiants. En plus des documents sur le fonctionnement des modèles, le balisage a obtenu des données agrégées sur le risque étudiant de quatre grandes universités publiques - l'Université du Massachusetts Amherst, l'Université du Wisconsin-Milwaukee, l'Université de Houston et l'Université Texas A&M - pour l'automne 2020 semestre. Nous avons constaté de grandes disparités dans la façon dont le logiciel traite les étudiants de différentes races, et la disparité est particulièrement marquée pour les étudiants noirs, qui ont été jugés à haut risque jusqu'à quatre fois plus que leurs pairs blancs. À l'Université du Massachusetts à Amherst, par exemple, les femmes noires sont 2,8 fois plus susceptibles d'être étiquetées à haut risque que les femmes blanches, et les hommes noirs sont 3,9 fois plus susceptibles d'être étiquetés à haut risque que les hommes blancs. À l'Université du Wisconsin-Milwaukee, les algorithmes classent les femmes noires à haut risque à 2,2 fois le taux des femmes blanches et les hommes noirs à 2,9 fois le taux des hommes blancs. Et à la Texas A&M University, ils classent les femmes noires à haut risque à 2,4 fois le taux des femmes blanches et les hommes noirs à 2,3 fois le taux des hommes blancs. Les élèves de Latinx se sont également vu attribuer des scores de risque élevés à des taux nettement plus élevés que leurs pairs blancs dans les écoles examinées par The Markup, mais pas au même degré que les élèves noirs. Les algorithmes ont étiqueté les étudiants asiatiques à haut risque à des taux similaires ou inférieurs à ceux des étudiants blancs. Les étudiants noirs sont régulièrement qualifiés de plus à risque d'échec que les étudiants blancs. . "Cela ouvre la porte à un pilotage encore plus pédagogique", a déclaré Ruha Benjamin, professeur d'études afro-américaines à Princeton et auteur de "Race After Technology", après avoir examiné les documents d'EAB. «Les conseillers universitaires disent aux étudiants noirs, latinos et autochtones de ne pas viser certaines majeures. Mais maintenant, ces gardiens sont armés de mathématiques «complexes». Les scores, qui sont l'une des premières choses qu'un professeur ou un administrateur peut voir lorsqu'il dresse une liste d'étudiants, peuvent laisser aux conseillers une impression immédiate et potentiellement bouleversante des étudiants et de leurs perspectives dans une majeure donnée. "Vous pouvez facilement trouver des situations où deux étudiants ont des GPA faibles similaires et des scores de risque différents, et il n'y a aucune explication évidente pour expliquer pourquoi c'est le cas", a déclaré Maryclare Griffin, professeur de statistiques à l'UMass Amherst. "J'ai examiné plusieurs exemples d'étudiants en STEM qui ont un score de risque modéré ; ils sont sous-représentés dans leur majeure, et le Major Explorer [une fonction dans le logiciel] dit que vous devriez les pousser vers une autre majeure où leur score de risque est plus faible. Les scores de risque influencés par la race de Navigate "reflètent les disparités d'équité sous-jacentes qui sont déjà présentes sur ces campus et le sont depuis longtemps", a écrit Ed Venit, qui gère la recherche sur la réussite des étudiants pour EAB, dans un e-mail. "Ce que nous essayons de faire avec nos analyses, c'est mettre en évidence ces disparités et inciter les écoles à prendre des mesures pour briser le schéma." Dans une interview, il a ajouté qu'EAB offre à ses clients jusqu'à 200 heures de formation et de consultation par an, dont certaines sont consacrées à éviter les préjugés. Les étudiants de couleur des écoles clientes de l'EAB examinées par The Markup disent qu'on ne leur a jamais dit qu'ils étaient jugés par des algorithmes et qu'ils ne voient pas la représentation altruiste des scores de l'entreprise. "Je ne pense pas que l'UMass donne assez de ressources aux étudiants de couleur, et je ne pense absolument pas que ce score aiderait à cet égard", a déclaré Fabiellie Mendoza, senior à l'UMass Amherst, qui utilise le logiciel d'EAB depuis 2013. « Vous devriez avoir une ardoise vierge. Si vous arrivez et que vous avez déjà un faible score en raison de vos antécédents, de votre démographie ou de votre origine, c'est tout simplement très décourageant. Aileen Flores, une junior de la Texas A&M University, a également été troublée d'apprendre qu'elle et ses pairs étaient notés par des algorithmes. "Nous travaillons tous aussi dur les uns que les autres", a-t-elle déclaré. "Nous méritons tous d'être respectés et considérés comme un seul et non jugé sur notre score de risque, notre teint de peau ou nos antécédents." L'argumentaire de vente L'essor de l'analyse prédictive a coïncidé avec des réductions importantes du financement public des collèges et universités publics. En 2018, 41 États ont contribué moins d'argent à l'enseignement supérieur - en moyenne 13 % de moins par étudiant - qu'ils ne l'ont fait en 2008. EAB a commercialisé de manière agressive son logiciel Navigate en tant que solution potentielle. Stimuler la rétention n'est «pas seulement la bonne chose à faire pour les étudiants, mais (est) un impératif financier pour préserver ces investissements», a écrit la société dans une présentation préparée pour la Kansas State University. La réponse proposée : Identifiez les élèves à haut risque et ciblez-les avec un « soutien à haut niveau de contact ». Les représentants de l'EAB ont déclaré à The Markup que ses outils devraient être utilisés pour identifier des solutions globales et créer des ressources pour des groupes d'étudiants dans des situations similaires. Mais ces types de changements peuvent être coûteux, et l'utilisation du logiciel pour apporter des changements institutionnels, plutôt que des recommandations individuelles, semble être l'exception et non la règle dans les universités examinées par The Markup. Dans sa documentation marketing, la preuve de concept d'EAB est souvent Georgia State University. C'était l'une des premières écoles à s'associer à l'entreprise, à partir de 2012, et son succès dans l'amélioration des taux de rétention et de diplomation au cours des années suivantes est impressionnant. De l'année scolaire 2010-11 à l'année scolaire 2019-2020, l'État de Géorgie a augmenté le nombre de diplômes qu'il a décernés de 83%, et les groupes qui ont connu la plus grande amélioration étaient les bénéficiaires de la bourse Pell et les étudiants noirs et latinos. L'école a également connu une baisse de 32% du nombre d'étudiants changeant de spécialisation après leur première année, selon Tim Renick, directeur exécutif du National Institute for Student Success de l'État de Géorgie. Mais un examen attentif révèle des différences importantes entre les modèles prédictifs et les efforts de rétention de Georgia State et ceux des autres écoles EAB. Peut-être le plus significatif : l'État de Géorgie n'inclut pas la race dans ses modèles, alors que presque toutes les écoles auprès desquelles The Markup a obtenu la documentation modèle le font. Et beaucoup d'entre eux intègrent la race comme un "prédicteur à fort impact". Les prédicteurs à fort impact "sont responsables de plus de 5% de la variance des scores de tous les étudiants" qui ont obtenu des quantités similaires de crédits, selon le rapport EAB préparé pour l'Université du Wisconsin-Milwaukee. "Cela peut signifier que la variable a un impact modéré sur les scores de nombreux étudiants, ou un impact élevé sur les scores de quelques étudiants seulement." Venit, de l'EAB, a déclaré qu'il appartenait à chaque école de décider des variables à utiliser. Les algorithmes prédictifs qui sont explicitement influencés par la race d'un élève préoccupent particulièrement les experts. «Utiliser la race pour tout type de système, même si c'est dans un contexte très étroit d'essayer de mettre fin aux disparités raciales dans l'enseignement supérieur… vous pouvez y aller avec les meilleures intentions et ensuite il faut très, très peu d'étapes pour vous faire entrer endroit où vous faites plus de mal », a déclaré Hannah Quay-de la Vallée, une technologue senior qui étudie les algorithmes dans l'éducation au Centre pour la démocratie et la technologie. Dans le cas de l'État de Géorgie, a déclaré Renick, la race, l'origine ethnique et le niveau de revenu ne sont pas des facteurs que l'école considère comme utiles pour être incorporés dans un score de risque. "Si quelqu'un est à risque parce qu'il est … d'origine raciale, cela ne sert à rien au conseiller académique" parce que le conseiller ne peut pas le changer, a déclaré Renick. Quelque chose qui est potentiellement réparable, comme les difficultés financières d'un étudiant, surviendra lors de conversations avec des conseillers, a-t-il déclaré, c'est là qu'une autre différence clé entre l'État de Géorgie et les autres écoles EAB entre en jeu. L'école a dépensé 318 000 $ pour son abonnement EAB pour 2020, mais elle a également investi massivement ailleurs afin de gagner sa réputation de modèle national pour la rétention des élèves, dépensant des millions de dollars chaque année en ressources supplémentaires comme des tuteurs et des micro-prêts, et environ 3 millions de dollars depuis 2012 pour embaucher plus de conseillers étudiants, a déclaré Renick. L'État de Géorgie a maintenant un ratio étudiants-conseiller d'environ 350 pour 1. Comparez cela à l'Université du Wisconsin-Milwaukee, une institution publique de taille similaire qui compte également d'importantes populations d'étudiants minoritaires et à faible revenu et accepte presque tous les étudiants qui postulent. . UW-Milwaukee, qui utilise la race comme prédicteur à fort impact, utilise Navigate depuis 2014 et a expressément déclaré qu'il visait à reproduire les succès de Georgia State. Son ratio élèves-conseiller est aussi élevé que 700 pour 1, selon Jeremy Page, le doyen adjoint des services aux étudiants à l'école d'éducation, qui supervise le partenariat avec l'EAB. Intention contre réalité Le balisage a examiné des documents décrivant les modèles prédictifs utilisés dans cinq écoles clientes de l'EAB. Quatre d'entre eux - UW-Milwaukee, Texas A&M, Texas Tech University et South Dakota State University - ont inclus la race comme facteur de risque. Seule l'Université d'État du Kansas ne l'a pas fait. Texas Tech et l'État du Dakota du Sud n'ont pas répondu avant la presse aux questions sur les raisons pour lesquelles ils ont choisi d'incorporer la race comme variable. UMass Amherst et l'Université de Houston, deux des écoles auprès desquelles The Markup a obtenu des données agrégées montrant les disparités raciales dans les scores de risque des étudiants, ont soit rejeté les demandes de documents publics pour leurs résumés de modèles prédictifs, soit fortement expurgé leur réponse. Les administrateurs de certaines écoles clientes de l'EAB ont déclaré qu'ils n'étaient pas au courant des taux disproportionnés auxquels les algorithmes de l'EAB étiquettent les élèves à haut risque de couleur ou que la race était même un facteur dans le calcul des scores. "Je n'ai certainement pas eu beaucoup d'informations derrière les algorithmes propriétaires", a déclaré Carolyn Bassett, vice-présidente associée à la réussite des étudiants à UMass Amherst. Le balisage. "Ce que j'ai appris de l'EAB, à maintes reprises, sur le processus, c'est que l'algorithme permettant de déterminer le risque était propriétaire et protégé", a déclaré Tim Scott, vice-recteur aux affaires académiques et à la réussite des étudiants à Texas A&M, à The Markup. Les conseillers de l'université consultent les scores de risque, mais "très franchement, nous nous sommes demandé et réfléchi si nous devrions l'éteindre complètement." Le contrat de Texas A&M avec EAB court jusqu'en 2022. Page a déclaré qu'il était conscient que le modèle d'UW-Milwaukee intègre la course, mais pas à quel point il est pesé. Le tableau de bord Navigate, qui comprend également des informations telles que le GPA d'un élève, est conçu pour donner aux conseillers surmenés un aperçu de 30 secondes des progrès d'un élève, a-t-il déclaré, mais "il y a d'autres moments où le score du modèle peut sembler faux, et c'est juste le nature de travailler avec des modèles prédictifs. Les algorithmes d'EAB utilisent également d'autres informations pour prédire la réussite des élèves, telles que les scores SAT ou ACT, le centile du lycée, les crédits tentés par rapport aux crédits obtenus et les «compétences estimées». Notamment parmi les écoles examinées par The Markup, seul le modèle de la Kansas State University, qui n'inclut pas la race, prend en compte tous les facteurs liés à la stabilité financière d'un étudiant, bien que le coût de l'université soit l'une des principales raisons pour lesquelles les étudiants abandonnent. Les modèles de la société sont également formés sur les données historiques des étudiants, allant de deux à 10 ans ou plus de résultats des étudiants de chaque école cliente individuelle, un autre aspect des experts en logiciels trouve problématique. "Lorsque vous utilisez d'anciennes données et basez les décisions que vous prenez sur celles-ci maintenant, vous encodez nécessairement de nombreuses pratiques racistes et discriminatoires qui ne font l'objet d'aucune enquête", a déclaré Chris Gilliard, chercheur au Harvard Shorenstein Center qui étudie le redlining numérique dans l'éducation. Une fois que le logiciel produit un score de risque, il appartient généralement aux écoles elles-mêmes de décider quoi en faire, mais les professeurs qui servent de conseillers aux étudiants disent qu'ils reçoivent peu de conseils sur la façon d'utiliser les scores de risque. "A aucun moment de la formation requise, ils n'ont vraiment expliqué ce qu'est réellement ce [score de risque]", a déclaré Griffin, de l'UMass Amherst. D'autres craignent que le fait de voir un élève étiqueté «à haut risque» puisse influencer à tort un enseignant dans l'orientation de ses élèves. "Nous comportons-nous d'une certaine manière dès le départ parce que nous examinons le facteur de risque?" Carol Barr, vice-recteur principal aux affaires académiques pour UMass Amherst, a déclaré. "Nous allons en parler." En particulier, les experts s'inquiètent, les professeurs peuvent guider leurs étudiants vers des majeures moins «risquées», dont ils sont considérés comme plus susceptibles de rester inscrits et d'obtenir leur diplôme. Un aspect de la conception du logiciel Navigate en particulier semble encourager cela : la fonction Major Explorer, qui montre le score de risque prévu d'un étudiant dans une variété de majeures. Dans un document préparé pour l'Université Rutgers, l'EAB indique que les conseillers ne devraient pas dire à tous les étudiants à haut risque de passer à une majeure dans laquelle ils deviendraient immédiatement à faible risque. Mais ils devraient "expliquer aux étudiants leur score de risque pour créer un sentiment d'urgence pour les étudiants résistants" pour "explorer les principales options" et quels cours suivre. "Bien qu'il puisse s'agir d'une mesure de soutien, nous savons que les étiquettes peuvent être stigmatisantes", a déclaré Roxana Marachi, professeur à l'Université d'État de San José qui étudie les mégadonnées et l'analyse prédictive dans l'éducation. "La partie difficile est qu'il est commercialisé comme un indicateur pour fournir des ressources et des soutiens, mais il peut également être transformé en arme et utilisé contre les étudiants." LaToya White, directeur principal chez EAB, a déclaré que l'entreprise avait essayé de s'éloigner de l'utilisation d'expressions telles que "risque élevé" dans les sessions de formation en raison de la façon dont elles peuvent être mal interprétées. "Il y a des préjugés humains que nous avons tous et que nous apportons tous à n'importe quelle situation", a-t-elle déclaré. "Ce que nous avons introduit, c'est que vous devez parler de ces préjugés." Il existe peu de recherches sur l'efficacité de ces outils, mais certaines recherches suggèrent que plus on interagit avec les élèves, moins la notation prédictive du risque apparaît. Une étude réalisée en 2018 par le Community College Resource Center de l'Université de Columbia a révélé que les administrateurs scolaires pensaient positivement aux outils tels que Navigate d'EAB, tandis que «plus les participants étaient étroitement impliqués dans l'utilisation de l'analyse prédictive sur le terrain avec les étudiants, et plus l'institution associée était avancée. avec sa mise en œuvre, plus les participants étaient critiques. Les principales préoccupations soulevées par les conseillers et les professeurs : ils ne croyaient pas à la validité des scores de risque, ils pensaient que les scores dépersonnalisaient leurs interactions avec les étudiants et ils ne comprenaient pas comment les scores étaient calculés. Créer un précédent Aucune des universités que The Markup a contactées pour cet article n'utilise actuellement les algorithmes de notation des risques de l'EAB dans leur processus d'admission, bien qu'elles attribuent aux étudiants des notes de risque avant même qu'ils n'aient suivi un cours. Mais la pression financière exercée sur les universités publiques par des années d'austérité de l'État et la baisse du taux auquel les lycéens choisissent d'aller à l'université font que certains éducateurs craignent que l'analyse prédictive ne devienne bientôt une analyse prescriptive - le facteur décisif pour savoir qui obtient ou n'obtient pas accepté. Il y a déjà des indications que certaines écoles se tournent vers ce type de mesures pour rationaliser leurs effectifs étudiants. En 2015, le président de l'Université Mount St. Mary's, Simon Newman, a proposé d'utiliser les données des étudiants pour éliminer une partie de la classe entrante jugée peu susceptible de réussir. S'adressant à un groupe de professeurs et d'administrateurs, il aurait déclaré: «Vous pensez que les étudiants sont des lapins câlins, mais vous ne pouvez pas. Vous n'avez qu'à noyer les lapins… leur mettre un Glock sur la tête. » Newman a démissionné peu de temps après que le journal étudiant ait publié ses commentaires.