Incidentes Asociados
Los documentos revelan que la tecnología de reconocimiento facial de Lockport Schools ha confundido los mangos de las escobas con armas de fuego y ha identificado erróneamente a los estudiantes negros a tasas mucho más altas.
Desde que supieron que el distrito escolar de la ciudad de Lockport tenía la intención de instalar una red de cámaras de reconocimiento facial en sus edificios, los padres de la comunidad del norte del estado de Nueva York, en particular las familias de color, se han preocupado de que el nuevo sistema conduzca a interacciones trágicas y potencialmente fatales entre sus hijos y la policía.
Ahora, los documentos recién obtenidos por Motherboard acentúan esos temores. Muestran que SN Technologies, la empresa canadiense contratada para instalar el sistema de reconocimiento facial de Lockport, engañó al distrito sobre la precisión del algoritmo que utiliza y minimizó la frecuencia con la que identifica erróneamente las caras negras. Los registros, que comprenden cientos de páginas de correos electrónicos entre el distrito y la empresa, también detallan numerosos problemas técnicos con el sistema de detección de rostros y armas AEGIS de SN Technologies, incluida su propensión a identificar erróneamente objetos como mangos de escoba como armas.
Esas falsas alarmas son particularmente preocupantes para los padres. Según los informes de los medios locales y los documentos obtenidos por Motherboard, cuando se puso a prueba inicialmente, el sistema tenía alertas automáticas cuando detectaba armas o ciertas personas en la "lista caliente" del distrito. Los documentos muestran que su sistema de alerta evolucionó con el tiempo, y SN Technologies dice que hay un ser humano al tanto en todo momento: "Nuestro sistema ha sido diseñado y desarrollado con medidas de seguridad para proteger cualquier detección falsa en la que un ser humano debe verificar cada alerta individual antes de cualquier la alerta está confirmada", dijo la compañía a Motherboard después de la publicación de este artículo.
“La policía ha dicho que si reciben una notificación, la tratarán como un sistema de disparos en vivo, y tienes un sistema que está predispuesto a cometer errores e identificar erróneamente a las personas”, dijo a Motherboard Jim Shultz, un padre de Lockport. “El riesgo de un accidente, el riesgo de que suceda algo horrible porque el sistema está estructurado de la forma en que está, para mí, es 1 millón de veces mayor que [la posibilidad] de que las cámaras eviten una situación real”.
Las escuelas de Lockport son 11 por ciento negras, y Renee Cheatham, miembro de la junta escolar de Lockport y madre, le dijo a Motherboard que la idea de que el reconocimiento facial sesgado desencadene una respuesta policial armada indignó a los padres negros y condujo a un "momento muy, muy oscuro". Tanto Shultz como Cheatham son demandantes en una demanda contra el Departamento de Educación del Estado de Nueva York (NYSED) que busca prohibir el uso del reconocimiento facial en las escuelas.
El distrito escolar de Lockport y el departamento de policía local no respondieron a las repetidas solicitudes de comentarios. SN Technologies no respondió a las repetidas solicitudes de comentarios antes de la publicación, pero envió una carta a Motherboard después de la publicación con más información sobre su tecnología.
Lockport activó el sistema de reconocimiento facial AEGIS en enero, después de varios años de luchar con los padres, los grupos de libertades civiles y el NYSED, que inicialmente se opuso al sistema antes de aprobarlo abruptamente en noviembre de 2019. En ese momento, Lockport fue el primero distrito en el estado que busca utilizar la tecnología de reconocimiento facial en sus edificios.
En los meses inmediatamente anteriores a la decisión del NYSED, los funcionarios de Lockport recibieron una serie de advertencias de que SN Technologies estaba tergiversando un aspecto crucial del sistema AEGIS.
En agosto de 2019, KC Flynn, director ejecutivo de la empresa, envió a los funcionarios del distrito un extenso correo electrónico sobre la precisión general de AEGIS y su tasa de prejuicio racial. Afirmó que SN Technologies estaba licenciando su algoritmo de la firma francesa id3 Technologies, y que este algoritmo en particular ocupaba el puesto 49 de 139 en las pruebas de sesgo racial realizadas por el Instituto Nacional de Estándares y Tecnología (NIST). Las pruebas del NIST demostraron que todos los algoritmos de reconocimiento facial funcionan peor en personas de color.
Pero según Patrick Grother, el científico del NIST que supervisó las pruebas, la agencia nunca probó un algoritmo de id3 Technologies que coincidiera con la descripción que Flynn dio a los funcionarios de Lockport. “Esos números no concuerdan con nuestros números. Ni siquiera están cerca. Lo que id3 envió al NIST no es de lo que está hablando esta gente”, dijo Grother a Motherboard.
Además, describió las declaraciones de Flynn sobre cómo se calcula la precisión del reconocimiento facial como "completamente absurdas". Y Grother dijo que le advirtió a un abogado que representaba a Lockport sobre todos esos problemas cuando compartieron por primera vez el correo electrónico de Flynn con él en 2019.
El distrito recibió aún más pruebas de que SN Technologies estaba mintiendo en octubre, cuando recibió un informe de Freed Maxick, el contador que había contratado para auditar las afirmaciones de SN Technologies. Los auditores escribieron que la compañía había afirmado incorrectamente que, en las pruebas del NIST, su algoritmo identificó erróneamente a los hombres negros dos veces más que a los hombres blancos y identificó erróneamente a las mujeres negras 10 veces más que a los hombres blancos. En realidad, escribieron los auditores, las pruebas del NIST del algoritmo de id3 Technologies que la compañía de Flynn afirmó estar usando en realidad mostraron que identificó erróneamente a los hombres negros cuatro veces más a menudo y a las mujeres negras 16 veces más que a los hombres blancos.
Motherboard obtuvo una copia del informe Freed Maxick de la Unión de Libertades Civiles de Nueva York (NYCLU), que representa a los padres de Lockport en su demanda.
SN Technologies afirma que nunca engañó a Lockport: "Nuestra relación con el Distrito Escolar de la Ciudad de Lockport durante los últimos 4 años se ha basado en la confianza y la transparencia y toda nuestra correspondencia y comunicaciones se encuentran en el registro público. La selección y adopción de AEGIS ha sido objeto de reuniones públicas, debates con varios grupos y publicado en los medios de comunicación locales durante los últimos 4 años", escribió KC Flynn, presidente y director ejecutivo de la empresa, en una carta a Motherboard. "Me gustaría afirmar categóricamente que SN Technologies Corp nunca ha mentido ni engañado al distrito escolar de la ciudad de Lockport, incluido el funcionamiento de nuestra tecnología o los resultados esperados que proporciona".
Flynn también dijo: "No es raro que los algoritmos de reconocimiento facial tengan diferencias en la precisión según la raza y el género. Nuestro sistema AEGIS funciona con un nivel de precisión superior al 99,9 % independientemente de la raza o el género de una persona, según lo verificado por el informe independiente realizado por Freed Maxick, una de las 100 mejores firmas de CPA en los Estados Unidos".
Flynn dijo que la empresa pagó por la revisión de Freed Maxick pero que no participó en ella: "SN Technologies es una empresa experta en desarrollo de software. Cuando el distrito escolar de la ciudad de Lockport nos pidió que enviáramos comentarios sobre el informe del NIST y nuestro software, proporcionamos nuestra interpretación de la información reportada y sugirió que un experto externo revise y evalúe todos los datos y proporcione un informe independiente al distrito escolar. Como es el estándar para este tipo de revisiones, SN Technologies pagó por la revisión pero no participó en la revisión o la evaluación final". No está claro si el sistema AEGIS alguna vez evitó un incidente en las escuelas de Lockport, o si la policía alguna vez respondió a las escuelas como resultado de una falsa alerta. El distrito y el departamento de policía no respondieron a las solicitudes de esos datos.
Los correos electrónicos que Motherboard obtuvo a través de las solicitudes de la Ley de Libertad de Información muestran que, en poco tiempo, el aspecto de detección de armas de AEGIS ha estado activo, ha identificado erróneamente objetos regularmente como armas y ha tenido que ser recalibrado varias veces.
En un correo electrónico enviado a los administradores de la escuela de Lockport a principios de este año, un representante de SN Technologies dice que la compañía está entrenando al sistema para que reconozca los mangos de las escobas en un intento de evitar que los confunda con armas. Al mes siguiente, el sistema aún devolvía una serie de alertas de armas falsas.
Flynn dijo que el sistema ha sido ajustado repetidamente desde que se puso a prueba originalmente: "También se tuvieron que hacer ajustes después de la construcción y las renovaciones en Lockport High School a principios de 2020, ya que la construcción perturbó las cámaras y sus conexiones con el sistema AEGIS. Una vez que la instalación y las configuraciones estaban completas, el sistema funcionaba completamente. Según los comentarios que hemos recibido del distrito escolar, entendemos que la herramienta de detección de armas está a la altura de las expectativas".
Shultz, uno de los padres de Lockport, dijo que la triste ironía de la situación es que, como resultado de la pandemia de COVID-19, el reconocimiento facial se ha vuelto inútil porque todos los que ingresan a las escuelas deben usar una máscara. Mientras tanto, otros distritos en el estado usaron su dinero de Smart Schools para pagar actualizaciones como nuevas computadoras portátiles y mejorar la conectividad a Internet que ahora son aún más vitales para el éxito de los estudiantes.
La búsqueda del reconocimiento facial por parte de Lockport atrajo la atención nacional hacia el distrito y llevó a la legislatura de Nueva York a aprobar un proyecto de ley que prohibiría el uso del reconocimiento facial en las escuelas hasta que se pueda completar un estudio exhaustivo de su efecto en los estudiantes. El gobernador de Nueva York, Andrew Cuomo, aún no ha firmado ese proyecto de ley, pero el senador estatal Brian Kavanagh le dijo a Motherboard que ha hablado con la oficina del gobernador y espera que se convierta en ley este año.
Pero a pesar de la legislación, las demandas, la cobertura de los medios y la reacción local en Lockport, otros distritos de Nueva York han seguido el ejemplo y están buscando dinero estatal para sus propios sistemas de reconocimiento facial.
Desde entonces, al menos otros 11 distritos en el estado han solicitado dinero de Smart Schools para comprar sistemas de reconocimiento facial, según un análisis de las solicitudes realizado por la NYCLU. Las escuelas en otros estados, como Carolina del Sur, también han implementado sistemas similares que afirman tener la capacidad de detectar armas y detener los tiroteos en las escuelas.
“Hay otros distritos que están tratando de obtener tecnología similar sin las garantías que deberían existir”, dijo a Motherboard Stefanie Coyle, la abogada de la NYCLU que lideró la demanda de Lockport. “Estas herramientas no son el camino correcto a seguir... [pero] ahora tenemos empresas que se dirigen a distritos de todo el estado”.
Este artículo ha sido actualizado con comentarios de SN Technologies.