Incidentes Asociados
En una base de datos nacional en Argentina, decenas de miles de entradas detallan los nombres, cumpleaños y documentos de identidad de personas sospechosas de delitos. La base de datos, conocida como Consulta Nacional de Rebeldías y Capturas (Registro Nacional de Fugitivos y Arrestos), o CONARC, comenzó en 2009 como parte de un esfuerzo por mejorar la aplicación de la ley por delitos graves.
Pero hay varias cosas mal sobre CONARC. Por un lado, es un archivo de hoja de cálculo de texto sin formato sin protección de contraseña, que cualquier persona puede encontrar fácilmente a través de la Búsqueda de Google y descargar. Por otro lado, muchos de los presuntos delitos, como los hurtos menores, no son tan graves, mientras que otros no se especifican en absoluto.
Sin embargo, lo más alarmante es la edad del presunto delincuente más joven, identificado solo como M.G., quien es citado por “delitos contra las personas (maliciosos)—lesiones graves”. M.G. Aparentemente nació el 17 de octubre de 2016, lo que significa que le falta una semana para cumplir cuatro años.
Ahora, una nueva investigación de Human Rights Watch descubrió que no solo se agregan niños regularmente a CONARC, sino que la base de datos también alimenta un sistema de reconocimiento facial en vivo en Buenos Aires implementado por el gobierno de la ciudad. Esto hace que el sistema sea probablemente la primera instancia conocida de este tipo que se utiliza para cazar a niños sospechosos de actividades delictivas.
“Es completamente escandaloso”, dice Hye Jung Han, defensora de los derechos del niño en Human Rights Watch, quien dirigió la investigación.
Buenos Aires comenzó a probar el reconocimiento facial en vivo el 24 de abril de 2019. Implementado sin ninguna consulta pública, el sistema provocó una resistencia inmediata. En octubre, una organización nacional de derechos civiles presentó una demanda para impugnarlo. En respuesta, el gobierno redactó un nuevo proyecto de ley, ahora en proceso legislativo, que legalizaría el reconocimiento facial en espacios públicos.
El sistema fue diseñado para vincularse con CONARC desde el principio. Si bien CONARC en sí no contiene ninguna foto de sus presuntos delincuentes, se combina con identificaciones con foto del registro nacional. El software utiliza los disparos a la cabeza de los sospechosos para buscar coincidencias en tiempo real a través de las cámaras del metro de la ciudad. Una vez que el sistema marca a una persona, alerta a la policía para que realice un arresto.
Desde entonces, el sistema ha dado lugar a numerosos arrestos falsos (enlaces en español), que la policía no tiene un protocolo establecido para su manejo. Un hombre que fue identificado por error estuvo detenido durante seis días y estuvo a punto de ser trasladado a una prisión de máxima seguridad antes de que finalmente aclarara su identidad. A otro le dijeron que debería esperar ser señalado repetidamente en el futuro a pesar de que había demostrado que no era a quien la policía estaba buscando. Para ayudar a resolver la confusión, le dieron un pase para mostrárselo al próximo oficial que podría detenerlo.
“Parece que no hay ningún mecanismo que pueda corregir errores en el algoritmo o en la base de datos”, dice Han. “Esa es una señal para nosotros de que aquí hay un gobierno que ha adquirido una tecnología que no comprende muy bien en términos de todas las implicaciones técnicas y de derechos humanos”.
Todo esto ya es profundamente preocupante, pero agregar niños a la ecuación empeora las cosas. Aunque el gobierno ha negado públicamente (enlace en español) que la CONARC incluya a menores, Human Rights Watch encontró al menos 166 niños incluidos en varias versiones de la base de datos entre mayo de 2017 y mayo de 2020. A diferencia de M.G., la mayoría de ellos están identificados por su nombre completo, que es ilegal. De acuerdo con el derecho internacional de los derechos humanos, se debe proteger la privacidad de los niños acusados de un delito durante todo el proceso.
También a diferencia de M.G., la mayoría tenía 16 o 17 años al momento de ingresar, aunque, misteriosamente, ha habido algunos niños de uno a tres años. Las edades no son los únicos errores aparentes en las entradas de los niños. Hay errores tipográficos flagrantes, detalles contradictorios y, a veces, varias identificaciones nacionales enumeradas para la misma persona. Debido a que los niños también cambian físicamente más rápido que los adultos, sus identificaciones con fotografía corren más riesgo de quedar obsoletas.
Además de esto, los sistemas de reconocimiento facial, incluso en condiciones de laboratorio ideales, son notoriamente malos para manejar a los niños porque están entrenados y probados principalmente en adultos. El sistema de Buenos Aires no es diferente. Según documentos oficiales (enlace en español), se probó solo en los rostros adultos de los empleados del gobierno de la ciudad antes de la adquisición. Las pruebas anteriores del gobierno de EE. UU. del algoritmo específico que se cree que está utilizando también sugieren que funciona peor por un factor de seis en niños (de 10 a 16 años) que en adultos (de 24 a 40 años).
Todos estos factores ponen a los niños en mayor riesgo de ser identificados erróneamente y arrestados falsamente. Esto podría crear antecedentes penales injustificados, con repercusiones potencialmente duraderas para su educación y oportunidades de empleo. También podría tener un impacto en su comportamiento.
“El argumento de que el reconocimiento facial produce un efecto escalofriante en la libertad de expresión se amplifica más para los niños”, dice Han. “Puedes imaginarte que un niño [que ha sido arrestado falsamente] sería extremadamente autocensurado o cuidadoso con su comportamiento en público. Y aún es pronto para tratar de descubrir los impactos psicológicos a largo plazo, cómo podría moldear su visión del mundo y su forma de pensar".
Si bien Buenos Aires es la primera ciudad que Han identificó usando el reconocimiento facial en vivo para rastrear a los niños, le preocupa que muchos otros ejemplos estén ocultos a la vista. En enero, Londres anunció que integraría el reconocimiento facial en vivo en sus operaciones policiales. En cuestión de días, Moscú dijo que había implementado un sistema similar en toda la ciudad.
Aunque aún no se sabe si estos sistemas están tratando activamente de emparejar a los niños, los niños ya se están viendo afectados. En el documental Coded Bias de 2020, la policía de Londres detiene falsamente a un niño después de que el reconocimiento facial en vivo lo confunde con otra persona. No está claro si la policía estaba buscando a un menor o a alguien mayor.
Incluso aquellos que no están detenidos están perdiendo su derecho a la privacidad, dice Han: “Están todos los niños que pasan frente a una cámara con reconocimiento facial solo para acceder al sistema de metro”.
A menudo es fácil olvidar en los debates sobre estos sistemas que los niños necesitan una consideración especial. Pero ese no es el único motivo de preocupación, añade Han. "El hecho de que estos niños estarían bajo ese tipo de vigilancia invasiva: aún se desconocen las implicaciones sociales y de derechos humanos de esta tecnología". Dicho de otra manera: lo que es malo para los niños es, en última instancia, malo para todos.