Incidentes Asociados
Esta semana se supo que se descubrió un problema con el sistema de calificaciones calculadas del Leaving Certificate, lo que significa que se actualizarán los resultados de miles de estudiantes. ¿Pero qué pasó?
¿Qué es un algoritmo?
Es un código que toma decisiones que afectan lo que haces, ves o experimentas en función de una serie de factores, circunstancias y entradas diferentes.
¿Cómo se utilizó en el proceso de calificación Leaving Cert 2020?
Se suponía que pondría en práctica una fórmula combinada del desempeño anterior de los estudiantes que el Departamento de Educación estaba implementando para obtener calificaciones "calculadas".
Entonces, ¿qué salió mal exactamente?
El Departamento dice que una sola línea de código (de 50,000) tenía dos errores que afectaron negativamente las calificaciones previstas de los estudiantes. Primero, el código sustituyó las dos peores materias de un estudiante por sus dos mejores materias. Luego agregó erróneamente un tema a la ecuación: los resultados de la Educación Cívica, Social y Política del Ciclo Junior. Esto no debería haber sido contado.
¿Cómo no se detectó el problema de la codificación antes de ahora?
Sabemos que el código no se probó lo suficiente, lo que normalmente es una parte crucial de cualquier lanzamiento de software. Los funcionarios del departamento dicen que simplemente no hubo tiempo suficiente para probar todo a fondo debido a la urgencia de la situación y las limitaciones de recursos. Hicieron hincapié en que este no era un paquete de software que ya se estaba utilizando en otros lugares. Fue hecho a la medida de las particularidades de nuestra situación.
“Puedes optimizar por dos: tiempo, costo y calidad”, dijo Brian Caulfield, un experimentado fundador e inversionista irlandés en tecnología. “Nunca los tres. En este caso el tiempo no era negociable. El gobierno y el Departamento estaban en una situación en la que nadie ganaba y se les garantizaba que serían masacrados si gastaban una fortuna”.
¿Cómo sabemos si el error de codificación fue básico o no?
nosotros no El código, y la implementación de los algoritmos, no están disponibles para verificar. En otras palabras, no son de "código abierto" ni revisables como, por ejemplo, el código de la aplicación para teléfonos inteligentes Irish Covid-19 Tracker. Pero sabemos que el Departamento de Educación y Habilidades encontró el segundo error mientras realizaba verificaciones relacionadas con el primero. Ese segundo error, dice la ministra de Educación, Norma Foley, estaba contenido en la misma sección del código.
¿Cómo sabemos que no hay más errores en el código?
Todavía no. Hemos estado confiando en la investigación posterior a los hechos por parte de la empresa contratada, Polymetrika. Fue su auditoría interna la que notificó a los funcionarios del Departamento sobre el error; si se hubieran quedado callados al respecto, es posible que no nos hubiéramos enterado.
Sin embargo, el Departamento ha hecho dos comentarios al respecto. En primer lugar, dice que ha llevado a cabo una serie de controles adicionales y no ha identificado "más errores en la codificación". En segundo lugar, ha contratado a una empresa especializada con sede en EE. UU., Educational Testing Service (ETS), para “revisar los aspectos esenciales de la codificación”. El Departamento dice que se espera que esta revisión tome varios días.
¿Hay algún problema fundamental al confiar en el código para este tipo de situación delicada?
Puede haber. Los expertos en codificación dicen que la decisión de utilizar un proceso de calificación calculado basado en código en primer lugar es controvertida.
“Hay un gran problema abierto con este tipo de sistemas de predicción, ya sean calificaciones, predicción de riesgo hipotecario o cualquier otra cosa”, dijo Andrew Anderson, investigador principal de la Escuela de Ciencias de la Computación y Estadística del Trinity College Dublin.
“Esto suele llamarse el problema de la inescrutabilidad. El algoritmo no puede decirle por qué cualquier predicción debería ser correcta. En una apelación normal, la persona que califica tiene que justificar la calificación que asignó y el estudiante puede ver que se tuvo suficiente cuidado al calcular esa calificación. Con las calificaciones previstas, se sacrifica esta transparencia porque el algoritmo no puede justificar el resultado. Es solo un conjunto de cálculos”.