Incidentes Asociados
Las principales universidades están utilizando la raza de sus estudiantes, entre otras variables, para predecir la probabilidad de que abandonen la escuela. Los documentos obtenidos por The Markup a través de solicitudes de registros públicos muestran que algunas escuelas están utilizando el software de asesoramiento Navigate de la empresa de investigación educativa EAB para incorporar la raza de los estudiantes como lo que la empresa llama un "predictor de alto impacto" del éxito de los estudiantes, una práctica que los expertos temen que podría estar impulsando Estudiantes negros y de otras minorías en clases y especializaciones "más fáciles". Los documentos, llamados "informes de modelos predictivos", describen cómo se adapta el algoritmo de riesgo de cada universidad para adaptarse a las necesidades de su población. Al menos cuatro de las siete escuelas de las que The Markup obtuvo dichos documentos incorporan la raza como predictor, y dos de ellas describen la raza como un "predictor de alto impacto". Dos escuelas no revelaron las variables alimentadas en sus modelos. Más de 500 universidades de todo el país utilizan los algoritmos de "riesgo" de Navigate para evaluar a sus estudiantes. Además de los documentos sobre cómo funcionan los modelos, Markup obtuvo datos agregados sobre el riesgo de los estudiantes de cuatro grandes universidades públicas: la Universidad de Massachusetts Amherst, la Universidad de Wisconsin-Milwaukee, la Universidad de Houston y la Universidad de Texas A&M, para el otoño de 2020. semestre. Encontramos grandes disparidades en la forma en que el software trata a los estudiantes de diferentes razas, y la disparidad es particularmente marcada para los estudiantes negros, a quienes se consideró de alto riesgo hasta cuadruplicar la tasa de sus compañeros blancos. En la Universidad de Massachusetts Amherst, por ejemplo, las mujeres negras tienen 2,8 veces más probabilidades de ser etiquetadas como de alto riesgo que las mujeres blancas, y los hombres negros tienen 3,9 veces más probabilidades de ser etiquetados como de alto riesgo que los hombres blancos. En la Universidad de Wisconsin-Milwaukee, los algoritmos califican a las mujeres negras como de alto riesgo con una tasa 2,2 veces mayor que la de las mujeres blancas, y a los hombres negros con una tasa 2,9 veces mayor que la de los hombres blancos. Y en la Universidad de Texas A&M, califican a las mujeres negras como de alto riesgo con una tasa 2,4 veces mayor que la de las mujeres blancas, y a los hombres negros con una tasa 2,3 veces mayor que la de los hombres blancos. A los estudiantes latinos también se les asignaron puntajes de alto riesgo en tasas sustancialmente más altas que sus compañeros blancos en las escuelas que examinó The Markup, aunque no en el mismo grado que a los estudiantes negros. Los algoritmos etiquetaron a los estudiantes asiáticos como de alto riesgo en tasas similares o más bajas que los estudiantes blancos. Los estudiantes negros son etiquetados regularmente como de mayor riesgo de fracaso que los estudiantes blancos. Dicho de otra manera, los estudiantes negros representaron menos del 5 por ciento del alumnado de pregrado de UMass Amherst, pero representaron más del 14 por ciento de los estudiantes considerados de alto riesgo para el semestre de otoño de 2020. . “Esto abre la puerta a una dirección aún más educativa”, dijo Ruha Benjamin, profesora de estudios afroamericanos en Princeton y autora de “Race After Technology”, después de revisar los documentos de EAB. “Los asesores universitarios les dicen a los estudiantes negros, latinos e indígenas que no apunten a ciertas carreras. Pero ahora estos guardianes están armados con matemáticas "complejas". Los puntajes, que son una de las primeras cosas que un profesor o administrador puede ver al obtener una lista de estudiantes, pueden dejar a los asesores con una impresión inmediata y potencialmente transformadora de los estudiantes y sus perspectivas dentro de una especialización determinada. “Puedes encontrar fácilmente situaciones en las que hay dos estudiantes que tienen un GPA bajo similar y diferentes puntajes de riesgo, y no hay una explicación obvia de por qué es así”, dijo Maryclare Griffin, profesora de estadística en UMass Amherst. “He visto varios ejemplos de estudiantes en STEM que tienen un puntaje de riesgo moderado; están subrepresentados en su especialidad, y Major Explorer [una función dentro del software] está diciendo que debería empujarlos a otra especialidad donde su puntaje de riesgo sea más bajo”. Los puntajes de riesgo influenciados por la raza de Navigate “reflejan las disparidades de equidad subyacentes que ya están presentes en estos campus y lo han estado durante mucho tiempo”, escribió Ed Venit, quien administra la investigación de éxito estudiantil para EAB, en un correo electrónico. “Lo que estamos tratando de hacer con nuestros análisis es resaltar estas disparidades y animar a las escuelas a tomar medidas para romper el patrón”. En una entrevista, agregó que EAB brinda a sus clientes hasta 200 horas de capacitación y consultoría por año, algunas de las cuales se dedican a evitar prejuicios. Los estudiantes de color en las escuelas clientes de EAB que examinó The Markup dicen que nunca les dijeron que estaban siendo juzgados por algoritmos y que no ven la descripción altruista de la empresa de los puntajes. “No creo que UMass brinde suficientes recursos para los estudiantes de color, y no creo en absoluto que este puntaje ayude en ese sentido”, dijo Fabiellie Mendoza, estudiante de último año en UMass Amherst, que ha utilizado el software de EAB desde 2013. “Deberías tener una pizarra en blanco. Si ingresa y ya tiene un puntaje bajo debido a sus antecedentes, su demografía o de dónde es, es muy desalentador”. Aileen Flores, estudiante de tercer año en la Universidad de Texas A&M, también se desconcertó al saber que ella y sus compañeros estaban siendo calificados por algoritmos. “Todos trabajamos tan duro como los demás”, dijo. “Todos merecemos ser respetados y vistos como uno solo y no juzgados por nuestro puntaje de riesgo, tono de piel o antecedentes”. El argumento de venta El auge del análisis predictivo ha coincidido con recortes significativos en la financiación gubernamental para colegios y universidades públicas. En 2018, 41 estados contribuyeron menos dinero a la educación superior (en promedio, un 13 % menos por estudiante) que en 2008. EAB ha comercializado agresivamente su software Navigate como una posible solución. Impulsar la retención "no solo es lo correcto para los estudiantes, sino que (es) un imperativo financiero para preservar estas inversiones", escribió la compañía en una presentación preparada para la Universidad Estatal de Kansas. La respuesta propuesta: identifique a los estudiantes de alto riesgo y diríjase a ellos con "apoyo de alto contacto". Los representantes de EAB le dijeron a The Markup que sus herramientas deben usarse para identificar soluciones generales y crear recursos para grupos de estudiantes en situaciones similares. Pero ese tipo de cambios pueden ser costosos, y en realidad usar el software para hacer cambios institucionales, en lugar de recomendaciones de asesoramiento individual, parece ser la excepción, no la regla en las universidades que examinó The Markup. En su literatura de marketing, la prueba de concepto de EAB suele ser la Universidad Estatal de Georgia. Fue una de las primeras escuelas en asociarse con la empresa, a partir de 2012, y su éxito en la mejora de las tasas de retención y graduación en los años siguientes es impresionante. Desde el año escolar 2010-11 hasta el año escolar 2019-20, el estado de Georgia aumentó la cantidad de títulos que otorgaba en un 83 por ciento, y los grupos que vieron la mayor mejora fueron los beneficiarios de la Beca Pell y los estudiantes negros y latinos. La escuela también ha visto una caída del 32 por ciento en los estudiantes que cambian de especialidad después de su primer año, según Tim Renick, director ejecutivo del Instituto Nacional para el Éxito Estudiantil del Estado de Georgia. Pero un examen minucioso revela diferencias importantes entre los modelos predictivos y los esfuerzos de retención del estado de Georgia y los de otras escuelas de EAB. Quizás lo más significativo: el estado de Georgia no incluye la raza en sus modelos, mientras que casi todas las escuelas de las que The Markup obtuvo documentación modelo sí lo hacen. Y muchos de ellos incorporan la raza como un "predictor de alto impacto". Los predictores de alto impacto “son responsables de más del 5 por ciento de la variación en los puntajes de todos los estudiantes” que obtuvieron cantidades similares de créditos, según el informe que preparó la EAB para la Universidad de Wisconsin-Milwaukee. “Esto puede significar que la variable tiene un impacto moderado en los puntajes de muchos estudiantes, o un impacto alto en los puntajes de unos pocos estudiantes”. Venit, de EAB, dijo que depende de cada escuela decidir qué variables usar. Los algoritmos predictivos que están explícitamente influenciados por la carrera de un estudiante son particularmente preocupantes para los expertos. “Usar la raza para cualquier tipo de sistema, incluso si se trata de un contexto muy limitado de tratar de acabar con las disparidades raciales en la educación superior... puedes entrar en eso con las mejores intenciones y luego toma muy, muy pocos pasos para entrar lugar donde estás haciendo más daño”, dijo Hannah Quay-de la Vallee, tecnóloga senior que estudia algoritmos en educación en el Centro para la Democracia y la Tecnología. En el caso del estado de Georgia, dijo Renick, la raza, el origen étnico y el nivel de ingresos no son factores que la escuela considere valiosos para incorporarlos en un puntaje de riesgo. “Si alguien está en riesgo porque es… de origen racial, eso no le sirve de nada al asesor académico” porque el asesor no puede cambiarlo, dijo Renick. Algo que es potencialmente reparable, como las dificultades financieras de un estudiante, surgirá durante las conversaciones con los asesores, dijo, que es donde entra en juego otra diferencia clave entre el estado de Georgia y otras escuelas de EAB. La escuela gastó $318,000 en su suscripción EAB para 2020, pero también ha invertido mucho en otros lugares para ganar su reputación como modelo a seguir nacional para la retención de estudiantes, gastando millones de dólares cada año en recursos adicionales como tutores y micropréstamos, y alrededor de $ 3 millones desde 2012 contratando más asesores estudiantiles, dijo Renick. El estado de Georgia ahora tiene una proporción de estudiantes por asesor de aproximadamente 350 a 1. Compare eso con la Universidad de Wisconsin-Milwaukee, una institución pública de tamaño similar que también tiene una gran población de estudiantes minoritarios y de bajos ingresos y acepta a casi todos los estudiantes que solicitan . UW-Milwaukee, que utiliza la raza como un predictor de alto impacto, ha utilizado Navigate desde 2014 y ha dicho expresamente que su objetivo es replicar los éxitos del estado de Georgia. Su proporción de estudiantes por asesor es tan alta como 700 a 1, según Jeremy Page, decano asistente de servicios estudiantiles en la escuela de educación, quien supervisa la asociación con EAB. Intención vs. Realidad El Markup revisó documentos que describen los modelos predictivos usados en cinco escuelas cliente de EAB. Cuatro de ellos (UW-Milwaukee, Texas A&M, Texas Tech University y South Dakota State University) incluyeron la raza como factor de riesgo. Solo la Universidad Estatal de Kansas no lo hizo. Texas Tech y el estado de Dakota del Sur no respondieron al cierre de esta edición a las preguntas sobre por qué eligieron incorporar la raza como una variable. UMass Amherst y la Universidad de Houston, dos de las escuelas de las que The Markup obtuvo datos agregados que mostraban disparidades raciales en los puntajes de riesgo de los estudiantes, rechazaron las solicitudes de registros públicos para sus resúmenes de modelos predictivos o redactaron en gran medida su respuesta. Los administradores de algunas escuelas clientes de EAB dijeron que no estaban al tanto de las tasas desproporcionadas en las que los algoritmos de EAB etiquetan a los estudiantes de color de alto riesgo o que la raza era incluso un factor en la forma en que se calculan los puntajes. “Ciertamente no he tenido mucha información detrás de los algoritmos patentados”, dijo a The Markup Carolyn Bassett, rectora asociada para el éxito estudiantil en UMass Amherst. “Lo que aprendí de EAB, una y otra vez, sobre el proceso fue que el algoritmo para determinar el riesgo era propietario y estaba protegido”, dijo a The Markup Tim Scott, rector asociado de asuntos académicos y éxito estudiantil en Texas A&M. Los asesores de la universidad ven los puntajes de riesgo, pero "francamente, nos hemos preguntado y pensado si deberíamos apagarlo por completo". El contrato de Texas A&M con EAB se extiende hasta 2022. Page dijo que estaba al tanto de que el modelo de UW-Milwaukee incorpora raza, pero no cuánto pesa. El tablero Navigate, que también incluye información como el GPA de un estudiante, está diseñado para brindarles a los asesores con exceso de trabajo una instantánea de 30 segundos del progreso de un estudiante, dijo, pero "hay otros momentos en los que el puntaje del modelo puede sentirse mal, y ese es solo el naturaleza de trabajar con modelos predictivos”. Los algoritmos de EAB también utilizan otra información para predecir el éxito de los estudiantes, como los puntajes de SAT o ACT, el percentil de la escuela secundaria, los créditos intentados frente a los completados y las "habilidades estimadas". En particular, entre las escuelas que revisó The Markup, solo el modelo de la Universidad Estatal de Kansas, que no incluye la raza, considera cualquier factor relacionado con la estabilidad financiera de un estudiante, a pesar de que el costo de la universidad es una de las razones principales por las que los estudiantes abandonan. Los modelos de la compañía también están entrenados en datos históricos de estudiantes, entre dos y 10 o más años de resultados de estudiantes de cada escuela cliente individual, otro aspecto del software que los expertos encuentran problemático. “Cuando usa datos antiguos y toma decisiones basadas en eso ahora, necesariamente está codificando muchas prácticas racistas y discriminatorias que no se investigan”, dijo Chris Gilliard, investigador del Centro Harvard Shorenstein que estudia las líneas rojas digitales en educación. Una vez que el software produce un puntaje de riesgo, generalmente depende de las propias escuelas decidir qué hacer con ellos, pero los profesores que sirven como asesores de estudiantes dicen que reciben poca orientación sobre cómo usar los puntajes de riesgo. “En ningún momento de la capacitación requerida realmente explicaron qué es realmente este [puntaje de riesgo]”, dijo Griffin, de UMass Amherst. A otros les preocupa que ver a un estudiante etiquetado como de "alto riesgo" pueda influir indebidamente en un maestro para guiar a sus estudiantes. “¿Nos estamos comportando de cierta manera desde el principio porque estamos analizando el factor de riesgo?” Carol Barr, vicerrectora sénior de asuntos académicos de UMass Amherst, dijo. “Estaremos hablando de eso”. En particular, preocupan los expertos, los profesores pueden guiar a sus estudiantes hacia especializaciones menos "arriesgadas", de las cuales se considera que es más probable que permanezcan matriculados y se gradúen. Un aspecto del diseño del software Navigate en particular parece alentar esto: la función Major Explorer, que muestra el puntaje de riesgo previsto de un estudiante en una variedad de carreras. En un documento preparado para la Universidad de Rutgers, EAB dice que los asesores no deben decirles a todos los estudiantes de alto riesgo que cambien a una especialización en la que inmediatamente se convertirían en de bajo riesgo. Pero deberían “explicar a los estudiantes su puntaje de riesgo para crear un sentido de urgencia para los estudiantes que se resisten” a “explorar opciones principales” y qué cursos tomar. “Si bien puede tener la intención de ser un movimiento de apoyo, sabemos que las etiquetas pueden ser estigmatizantes”, dijo Roxana Marachi, profesora de la Universidad Estatal de San José que estudia big data y análisis predictivo en la educación. “La parte desafiante es que se comercializa como un indicador para proporcionar recursos y apoyo, pero también puede convertirse en un arma y usarse contra los estudiantes”. LaToya White, directora sénior de EAB, dijo que la compañía ha estado tratando de alejarse del uso de frases como "alto riesgo" en las sesiones de capacitación debido a cómo pueden malinterpretarse. “Hay prejuicios humanos que todos tenemos y que todos aportamos a cualquier situación”, dijo. “Algo que hemos estado introduciendo es que debes hablar sobre estos sesgos”. Hay poca investigación sobre la eficacia de estas herramientas, pero algunas investigaciones sugieren que cuanto más se interactúa con los estudiantes, menos valiosa aparece la calificación de riesgo predictivo. Un estudio de 2018 realizado por el Community College Resource Center de la Universidad de Columbia encontró que los administradores escolares pensaban positivamente en herramientas como Navigate de EAB, mientras que “cuanto más involucrados estaban los participantes en el uso de análisis predictivos en el terreno con los estudiantes, y más avanzada estaba la institución asociada”. con su implementación, más críticos eran los participantes”. Las principales preocupaciones planteadas por asesores y profesores: no creían en la validez de los puntajes de riesgo, pensaban que los puntajes despersonalizaban sus interacciones con los estudiantes y no entendían cómo se calculaban los puntajes. Sentando el precedente Ninguna de las universidades contactadas por The Markup para este artículo utiliza actualmente los algoritmos de puntuación de riesgo de EAB en su proceso de admisión, aunque asignan puntuaciones de riesgo a los estudiantes antes de que hayan tomado una clase. Pero la presión financiera sobre las universidades públicas por años de austeridad estatal y la tasa decreciente en la que los estudiantes de secundaria eligen ir a la universidad tiene a algunos educadores preocupados de que el análisis predictivo pronto se convierta en análisis prescriptivo, el factor decisivo en quién obtiene o no. aceptado. Ya hay indicios de que algunas escuelas están buscando este tipo de métricas para optimizar sus cuerpos estudiantiles. En 2015, el presidente de la Universidad de Mount St. Mary, Simon Newman, propuso usar los datos de los estudiantes para seleccionar una parte de la clase entrante que se consideraba poco probable que tuviera éxito. Hablando con un grupo de profesores y administradores, dijo: “Piensas en los estudiantes como conejitos de peluche, pero no puedes. Solo tienes que ahogar a los conejitos… ponerles una Glock en la cabeza”. Newman renunció poco después de que el periódico estudiantil publicara sus comentarios.