Problema 1505

Proctorio, una pieza de software de vigilancia de exámenes diseñada para evitar que los estudiantes hagan trampa mientras toman las pruebas, se basa en un software de código abierto que tiene un historial de problemas de prejuicios raciales, según un informe de Motherboard. El problema fue descubierto por un estudiante que descubrió cómo el software realizaba la detección facial y descubrió que no reconoce las caras negras más de la mitad de las veces.

Proctorio, y otros programas similares, están diseñados para vigilar a los estudiantes mientras toman exámenes. Sin embargo, muchos estudiantes de color han informado que tienen problemas para que el software les vea la cara, a veces teniendo que recurrir a medidas extremas para que el software los reconozca. Esto podría causarles problemas a los estudiantes: Proctorio los señalará a los instructores si no detecta su rostro.

Después de escuchar anecdóticamente sobre estos problemas, Akash Satheesan decidió investigar los métodos de detección facial que estaba usando el software. Descubrió que se veía y funcionaba de manera idéntica a OpenCV, un programa de visión por computadora de código abierto que se puede usar para reconocer rostros (que ha tenido problemas con prejuicios raciales en el pasado). Después de aprender esto, realizó pruebas usando OpenCV y un conjunto de datos diseñado para validar qué tan bien los algoritmos de visión artificial se ocupan de diversas caras. Según su segunda publicación de blog, los resultados no fueron buenos.

El software no solo no reconoció rostros negros más de la mitad de las veces, sino que no fue particularmente bueno para reconocer rostros de ninguna etnia: la tasa de aciertos más alta fue inferior al 75 por ciento. En su informe, Motherboard contactó a un investigador de seguridad, quien pudo validar tanto los resultados como el análisis de Satheesan. Proctorio mismo también confirma que usa OpenCV en su página de licencias, aunque no entra en detalles sobre cómo.

En una declaración a Motherboard, un portavoz de Proctorio dijo que las pruebas de Satheesan prueban que el software solo busca detectar rostros, no reconocer las identidades asociadas con ellos. Bueno, eso puede ser un (pequeño) consuelo para los estudiantes que, con razón, pueden estar preocupados por los problemas de privacidad relacionados con la supervisión del software, no aborda en absoluto las acusaciones de prejuicio racial.

Esta no es la primera vez que se llama a Proctorio por no reconocer diversos rostros: una universidad citó los problemas que causó a los estudiantes de color como una razón por la que no renovaría su contrato con la empresa. El senador Richard Blumenthal (D-CT) incluso criticó a la empresa cuando habló sobre el sesgo en la supervisión del software.

Si bien el sesgo racial en el código no es nada nuevo, es especialmente angustiante ver que afecta a los estudiantes que solo intentan hacer su trabajo escolar, especialmente en un año en el que el aprendizaje remoto es la única opción disponible para algunos.