Incidentes Asociados
Para una cadena tan corta de símbolos algebraicos, podemos aprender mucho del [algoritmo de calificación] de Ofqual (https://www.theguardian.com/education/2020/aug/20/ofqual-chief-to-face-mps -over-exams-fiasco-and-boched-algorithm-grading-system) (aunque en realidad es una ecuación), y podemos aprender mucho sobre lo que salió mal.
Primero y más obvio, el tamaño del algoritmo es un problema. Con solo cuatro términos distintos: Ckj, qkj, pkj y rj, muestra la escasez de las entradas. Esta no es una solución de "grandes datos", que recopila toda la información posible sobre un estudiante en un intento de obtener una visión completa de su capacidad. De hecho, es todo lo contrario: utilizar la menor cantidad de información posible, para que pueda recopilarse rápidamente y estandarizarse fácilmente.
Entonces, ¿cuáles son esos términos? Los primeros son tres distribuciones diferentes de calificaciones, k, en las escuelas, j. Ckj es bastante simple: es la distribución histórica de calificaciones en la escuela durante los últimos tres años, 2017-19.
Eso ya nos dice que la historia de la escuela es muy importante para Ofqual. Las calificaciones que obtuvieron otros alumnos en años anteriores son un gran factor determinante de las calificaciones que recibieron los alumnos de este año en 2020. El regulador argumenta que esta es una suposición plausible, pero para muchos estudiantes también es intrínsecamente injusta: las calificaciones que reciben se deciden. por la capacidad de los alumnos que tal vez nunca hayan conocido.
qkj es donde entra en juego la capacidad de los propios alumnos. Esa es la distribución de calificaciones prevista en función de los logros previos de la clase en los GCSE. Una clase con mayormente 9s (la calificación más alta) en GCSE obtendrá muchas A*s pronosticadas; una clase con mayormente 1s en GCSEs obtendrá muchos Us predichos.
pkj es la distribución de calificaciones prevista de los años anteriores, en función de sus GCSE. Necesita saber eso porque, si se predijo que los años anteriores tendrían un mal desempeño y un buen desempeño, entonces este año podría tener el mismo resultado; y, de nuevo, viceversa.
El término final, rj, es diferente: no se trata de calificaciones en absoluto, de ahí la ausencia de la k. En cambio, se trata de cuántos alumnos de la clase tienen realmente datos históricos disponibles. Si puede rastrear perfectamente todos los resultados de GCSE, entonces es 1; si no puede rastrear ninguno, es 0.
Finalmente, podemos juntar los términos. Primero, la ecuación está dividida en dos mitades, una multiplicada por ese término rj y otra multiplicada por uno menos rj, lo que significa que cuanto mayor sea rj, menor será 1-rj. Lo que dice es: “Si no conocemos las calificaciones de GCSE de este grupo, ignore la mitad derecha de esta ecuación y simplemente base todo en los niveles A del año pasado; en la medida en que sepamos acerca de sus calificaciones de GCSE, use esa información también”.
La mitad izquierda, que solo se usa si no conocemos los datos de GCSE, es así de simple: "Simplemente use los resultados históricos de A-level". Y luego la mitad derecha dice: "Use los resultados históricos de A-level, pero agrégueles las predicciones de los resultados de GCSE de este año, luego bájelos en función de qué tan buenas fueron las últimas predicciones". Eso significa que una escuela que regularmente obtiene buenos resultados de nivel A a pesar de tener malos GCSE recibirá un impulso.
La suma de todos esos términos nos da Pkj, las calificaciones previstas para la escuela.
Incluso en esta breve ecuación, podemos ver las semillas de un fiasco: logro previo basado exclusivamente en los resultados de GCSE; calificaciones históricas que se remontan a solo tres años; y una negativa a permitir que el éxito real del alumno anule la situación.
En un sistema mejor, tal vez el resto del proceso podría haber solucionado estos defectos, pero en realidad los empeoró.
La decisión de dar a las clases pequeñas la capacidad de recibir las calificaciones recomendadas por sus maestros no está en el algoritmo, pero condujo a un impulso para las escuelas privadas de élite.
La elección de tomar los resultados del algoritmo y ajustar aún más los límites de calificación para evitar la inflación general de calificaciones no está en el algoritmo, pero deprimió aún más las clases más grandes a favor de las más pequeñas.
Y la elección de centrarse, no en determinar calificaciones individuales, sino en determinar una distribución para una clase a la que luego se emparejaron los estudiantes en función de su rango en la clase, no es un error en el algoritmo sino un malentendido fundamental de lo que el el objetivo era.
Este artículo fue enmendado el 24 de agosto de 2020. Los términos Ckj, qkj, pkj y rj son distintos, pero no únicos, como se describe en una versión anterior; una referencia a pkj se corrigió a Pkj; y se aclaró la descripción de 1-rj en relación con rj.