Incidentes Asociados
ANAHITA NAGPAL, DE DIECIOCHO AÑOS, teme que sus planes de comenzar a entrenarse este otoño para ser doctora hayan sido descarrilados por un modelo estadístico.
A Nagpal, que vive en Göttingen, Alemania, se le ofreció una plaza de premedicina y una beca en la Universidad de Nueva York. Su aceptación dependía de sus resultados en el diploma de Bachillerato Internacional, un programa de escuela secundaria de dos años reconocido por universidades y tomado por más de 170,000 estudiantes este año, la mayoría en los EE. UU. Pero obtuvo una puntuación más baja de lo esperado.
Los arrepentimientos de los adolescentes sobre las calificaciones no son inusuales, pero la forma en que la fundación detrás del Programa del Diploma IB calculó las calificaciones de este año sí lo fue. Los resultados, publicados el lunes, fueron determinados por una fórmula que IB, la fundación detrás del programa, implementó apresuradamente después de cancelar sus exámenes habituales de primavera debido al covid-19. El sistema usó señales que incluían las calificaciones de un estudiante en las tareas y las calificaciones de graduados anteriores en su escuela para predecir qué habrían obtenido si la pandemia no hubiera impedido las pruebas en persona.
Nagpal y muchos otros estudiantes, padres y maestros dicen que esas predicciones fallaron. Muchos estudiantes recibieron puntajes sospechosamente bajos, dicen, arruinando sus planes para el otoño y más allá. El plan de respaldo de Nagpal si se perdía la Universidad de Nueva York era estudiar medicina en Alemania, pero no cree que sus calificaciones más bajas de lo esperado la califiquen para un lugar. "Como tantos, estaba extremadamente sorprendida", dice ella. Más tarde, Nagpal recibió un correo electrónico de NYU que decía que no había tomado una decisión sobre su admisión. NYU dijo que no comenta sobre casos individuales.
Más de 15 000 padres, alumnos y docentes han firmado una petición en línea en la que piden al IB que "adopte un enfoque diferente con su algoritmo de calificación y que lo haga más justo". La fundación se negó a responder preguntas sobre su sistema, pero dijo que había sido verificado con cinco años de resultados anteriores y que los estudiantes decepcionados podrían usar su proceso de apelación existente, que viene con una tarifa. La fundación publicó estadísticas resumidas que muestran que el puntaje promedio de este año fue ligeramente más alto que el del año pasado, y dice que la distribución de calificaciones fue similar.
Un profesor de matemáticas de un colegio de Oriente Medio dice que el IB debería revelar el funcionamiento completo de su modelo para que lo examinen los demás. Él y un colega con un doctorado en matemáticas han estado desconcertados por su diseño desde que varios estudiantes perdieron becas en las mejores universidades, luego de recibir resultados mucho más bajos de lo esperado por sus maestros. Algunos estudiantes atrapados ahora no están seguros de cómo pagarán la universidad. "Mi única conjetura es un modelo defectuoso", dice.
“Básicamente, ya no puedo estudiar lo que quiero en ningún lado”.
ANAHITA NAGPAL, 18, GÖTTINGEN, ALEMANIA
Las preocupaciones sobre los modelos matemáticos defectuosos aumentan a medida que más empresas y gobiernos aplican computadoras a problemas tradicionalmente humanos, como decisiones de fianza, identificación de sospechosos criminales y decidir qué es un discurso de odio. Eliminar el sesgo y la inexactitud en tales sistemas es un campo creciente de activismo y academia.
Las personas que cuestionan las calificaciones derivadas del algoritmo del IB ahora plantean algunos de los mismos problemas. Se preguntan cómo se diseñó y probó el sistema, por qué no se reveló completamente su funcionamiento y si tiene sentido usar una fórmula para determinar las calificaciones que pueden dar forma a las oportunidades de vida de una persona.
Cuando el covid-19 se apoderó del mundo en marzo, muchos adolescentes en su último año de secundaria quedaron en una posición precaria. Las órdenes de refugio en el lugar dificultaron o imposibilitaron completar las tareas o exámenes finales que podrían determinar sus opciones universitarias y de vida.
Los proveedores de pruebas se apresuraron a idear nuevas formas de evaluar a los estudiantes. En los EE. UU., Educational Testing Service, que proporciona el GRE, y College Board, que ejecuta los exámenes AP, trasladaron sus exámenes en línea. Eso trajo peculiaridades y fallas, como exigir a los estudiantes que tomaran sus exámenes simultáneamente sin importar la zona horaria y repeticiones forzadas por errores técnicos, pero mantuvo una apariencia de proceso normal.
IB, con sede en Ginebra, optó por utilizar una fórmula estadística en su lugar, lo que se suma a la creciente lista de soluciones tecnológicas propuestas para automatizar las consecuencias de la pandemia. El funcionamiento del diploma IB, y el momento de los resultados, resultaron particularmente dañinos para los estudiantes del IB que solicitaban ingreso a universidades estadounidenses. A diferencia de las pruebas AP, que generalmente están separadas de las calificaciones de la escuela secundaria, los resultados del IB tienen como objetivo reflejar el trabajo del estudiante durante el año. A los estudiantes del IB a menudo se les otorga la admisión a la universidad en función de las calificaciones previstas, y envían sus resultados finales cuando están disponibles durante el verano. Algunas universidades, incluidas NYU y Northeastern, advierten en sus páginas de admisión que los estudiantes cuyos resultados del IB no se acercan lo suficiente a esas predicciones pueden perder su lugar.
En tiempos normales, los estudiantes del diploma IB seleccionan seis materias, de opciones como física y filosofía, y reciben calificaciones finales determinadas en parte por las tareas, pero principalmente por las pruebas escritas administradas en la primavera. El programa lo ofrecen casi 900 escuelas públicas en los EE. UU. y es común en las escuelas internacionales de todo el mundo. En marzo, IB canceló todas las pruebas y dijo que calcularía las calificaciones finales de cada estudiante utilizando un método desarrollado por una organización educativa no identificada que se especializa en análisis de datos.
La idea era usar patrones previos para inferir qué puntaje habría obtenido un estudiante en un 2020 no dominado por una pandemia mortal. IB no reveló detalles de la metodología, pero dijo que las calificaciones se calcularían en función de los puntajes de las tareas de un estudiante, las calificaciones previstas y los resultados históricos de IB de su escuela. La fundación dijo que los límites de grado se establecieron para reflejar los desafíos del aprendizaje remoto durante una pandemia. Para las escuelas en las que faltaban datos históricos, las predicciones se basarían en datos recopilados de otras escuelas.
En un video que el IB publicó sobre el proceso, Antony Furlong, gerente de investigación y diseño de evaluación de la fundación, dijo que el sistema esencialmente creó "una ecuación a medida" para cada escuela.
Una maestra de artes visuales en una escuela de EE. UU. dice que lo que ella y sus compañeros de trabajo han visto sugiere que no estaba bien diseñado. “Cuando vi las marcas, me quedé anonadada”, dice. “Siempre soy conservador en mis calificaciones previstas, pero todos los estudiantes, excepto uno, fueron degradados”. De los 15 estudiantes con los que trabaja, cuatro tienen que replantearse sus planes para este otoño porque se quedaron sin plazas universitarias, algo que no esperaba para ninguno de ellos.
Determinar si el sistema de IB tenía fallas es un desafío sin conocer su fórmula o las entradas y salidas. El hecho de que a algunas personas no les gusten los resultados de un análisis de datos no significa que sea incorrecto. Pero Suresh Venkatasubramanian, profesor de la Universidad de Utah que estudia las consecuencias sociales de la toma de decisiones automatizada, dice que parece que IB podría haber implementado su sistema de manera más responsable. “Todo esto apunta a lo que sucede cuando intentas instalar algún tipo de proceso automatizado sin transparencia”, dice. “La carga de la prueba debe recaer en el sistema para justificar su existencia”.
El análisis de datos es más poderoso que nunca, pero aún está lejos de poder predecir futuras acciones humanas complejas. Los modelos que extrapolan tendencias estadísticas pasadas pueden terminar tratando a las personas de manera injusta porque sus circunstancias son diferentes, incluso si los resultados coinciden en promedio con patrones pasados.
Venkatasubramanian dice que basar las calificaciones de un estudiante en tendencias pasadas en su escuela, potencialmente no relacionadas con la propia carrera escolar del estudiante, podría ser injusto. El uso de datos de otros colegios, como hizo el IB para colegios con pocos antecedentes, es una "señal de alerta", dice, porque significaría que las calificaciones de algunos alumnos se calcularon de manera diferente a las de otros.
Constance Lavergne, cuyo hijo en el Reino Unido recibió calificaciones del IB inferiores a las esperadas y no pudo asistir a su universidad preferida, es uno de los muchos padres que luchan por comprender lo que sucedió. Ella dice que su experiencia trabajando de cerca con analistas de datos en la industria tecnológica la hace sospechar de la metodología de IB. Naturalmente, generaría resultados más ruidosos para clases más pequeñas, como la de su hijo, porque ofrecen menos puntos de datos anteriores, sugiere. “Hay algo mal con el algoritmo”, dice Lavergne.
El profesor de matemáticas de Oriente Medio dijo que creía que su colegio había sufrido debido a la forma en que el IB anunció y calibró su modelo. Los estudiantes de la escuela enviaron sus tareas antes de que IB dijera que esas tareas ayudarían a guiar el modelo de calificación. Algunos alumnos del IB de otros colegios aún no habían enviado esas tareas, lo que les permitió hacer un esfuerzo adicional, con la ayuda de saber que no tenían que prepararse para los exámenes. Este fin de semana, planea trabajar con su colega de doctorado en matemáticas y un paquete de software para investigar dónde pudo haber fallado la fórmula del IB.
Muchos estudiantes que obtuvieron resultados decepcionantes ahora esperan noviembre, cuando IB generalmente ofrece una segunda ronda de pruebas en persona y pueden tomar la prueba escrita que fue cancelada. Nagpal, el estudiante de medicina frustrado, tiene la intención de participar, a un costo de unos 700 euros (791 dólares). Si el covid-19 también interrumpe esas pruebas, espera que IB las mueva en línea en lugar de intentar más experimentos en la calificación basada en datos.