Incidentes Asociados
Era tarde. Después de salir del trabajo, el asistente administrativo Davi esperaba el último viaje del día con un amigo en una parada de autobús en la Avenida Paralela, en Salvador, cuando fue abordado por una guarnición de la policía militar. “Le entregué mi cédula, tomó su celular y fue comparando, mirándome a la cara y mirando la cédula”, recuerda. Luego, la policía le informó que, al pasar por la estación del metro Lapa, las cámaras de reconocimiento facial encontraron similitudes de su rostro con el de un buscado por la justicia que tiene sus datos registrados en la base de datos de la Secretaría de Seguridad Pública. Una vez detectado por el sistema, Davi fue monitoreado por 15 estaciones, desde Lapa hasta Mussurunga, hasta que la policía se le acercó. Davi era inocente, pero no para las cámaras que lo seguían a lo largo del recorrido de 22 kilómetros. Fue liberado tras ser identificado por policías, quienes comprobaron que no era quien señalaban las cámaras y la inteligencia artificial. Pero entró en la estadística como otro caso más de un joven negro identificado erróneamente por las tecnologías de reconocimiento facial adoptadas por la policía. La tasa de acierto es pequeña: en la Micareta da Feira de Santana en 2019, por ejemplo, solo el 3,6% de las 903 alertas generadas se convirtieron en [órdenes de aprehensión](http://www.ssp.ba.gov.br/2019/04 /5613/Facial-Recognition-results-in-33-people-prisons.html). A pesar de eso, el gobierno de Bahía continúa tratando el reconocimiento facial [como una muestra de sus políticas de seguridad pública](https://www.bnews.com.br/noticias/politica/315549,rui-costa-anuncia-investimento-de -r-900-million-in-technology-on-public-security.html). En dos años y medio, se buscan 215 fueron capturados usando tecnología. En julio de este año, el gobernador Rui Costa, del PT, decidió [ampliar el sistema](http://www.bahia.ba.gov.br/2021/07/area-de-imprensa/rui-assina- ordem-de-servico-para-amplir-recognition-facial-e-de-plates-na-bahia/) y firmó una sociedad de R$ 665 millones con el conglomerado Oi y Avantia, que se especializa en tecnologías de seguridad. Así, además de Salvador, otras 77 ciudades [ganarán 4.095 cámaras conectadas](http://www.ssp.ba.gov.br/2021/07/10138/Governador-autoriza-expansao-de-tecnologia-a- mais-77-cidades-bahianas.html) en el estado. “Antes la identificación la hacía la policía, visualmente. Ahora, el propio sistema identifica delincuentes, sospechosos, armas y placas”, declaró el gobernador, sin ocultar su entusiasmo por la tecnología. Más: el gobierno de Bahía también quiere que el sector privado integre el sistema de vigilancia y reconocimiento facial. Agencias bancarias, centros comerciales y condominios, por ejemplo, podrían conectar sus cámaras y entregar a las autoridades los movimientos y rostros de quienes pasan. “[Con esto,] podemos multiplicar los ojos de la seguridad pública en Bahía”, [celebró Costa](https://bahia.ba/bahia/rui-quer-iniciativa-privada-acessando-sistema-de-vigilancia - para-combatir-el-crimen-en-bahia/). La capital, Salvador, fue elegida para albergar el proyecto piloto del nuevo sistema, proporcionado por la española Iecisa en sociedad con Huawei por R$ 18 millones. En Brasil, Huawei también fue responsable de proporcionar la tecnología a Río de Janeiro. El término de servicio que cerró los detalles del sistema adquirido por el gobierno bahiano especifica que debe reconocer a las personas aunque tengan anteojos o barba –aunque no tengan vello facial o accesorios en registros anteriores. También deberás agrupar fotos del mismo rostro “para consulta posterior”. Las imágenes se deben archivar con fecha, hora y ubicación y se pueden buscar por nombre, fechas o incluso a partir de una imagen del propio rostro. Así, en unos pocos clics, al menos técnicamente, las fuerzas de seguridad de Bahía podrían saber no solo quién pasó por un lugar, sino también dónde estuvo esa persona antes. El sistema utiliza inteligencia artificial para comparar los rostros obtenidos por las cámaras con las imágenes disponibles en la base de datos de buscados de la Secretaría de Seguridad Pública, la SSP, alimentada por la Superintendencia de Inteligencia. “Si la persona tiene alguna restricción, como orden de aprehensión o personas desaparecidas, la herramienta envía una alerta al Centro Integrado de Telecomunicaciones, lo que activa un equipo policial más cercano al lugar para realizar un acercamiento”, explicó la SSP en respuesta a solicitud realizada a través de la Ley de Acceso a la Información, la LAI. Pero en un informe complementario de Fantástico, las autoridades bahianas afirmaron ir más allá de las bases de datos oficiales. “Llegué a Bahía y estoy aquí identificado por su sistema?”, pregunta el reportero Murilo Salviano, al coronel Marcos Oliveira. "Absolutamente", le aseguró. En la manifestación, las imágenes de Salviano se comparan en el monitor con fotos suyas publicadas en las redes sociales. Al Intercept, el coronel confirmó que la policía utiliza “imágenes públicas de las redes sociales” para investigar un crimen. La Secretaría de Seguridad señaló que el informe solo habla de la “posibilidad de utilizar fotos extraídas de redes sociales, como Facebook, que tiene código abierto”. A través de su gabinete de prensa, aseguró que el recurso “hasta el momento” solo se utiliza para localizar a personas desaparecidas. Cuando el algoritmo identifica el 90% de similitud del rostro detectado con un sospechoso de la base de datos, se emite una alerta y hay un “análisis humano”, dice la SSP. Si confirman la similitud, se instruye a una guarnición cercana al lugar para que realice la aproximación. En las calles, los policías todavía utilizan una aplicación llamada Sistema de Movilidad en Operaciones Policiales para recopilar información de los ciudadanos. El MOP, como se le conoce, se instala directamente en los celulares de los agentes y permite consultar datos de conductores, vehículos, antecedentes penales e informes policiales. Incluso se puede utilizar en teléfonos móviles privados. El MOP tiene acceso a datos de vehículos, huellas dactilares y antecedentes penales, datos demográficos, de género y de ubicación, incluidos los de niños, niñas y adolescentes, si el propósito es “seguridad pública”, dice la política de privacidad. Con un gobierno elegido por un discurso fuertemente ligado a la lucha contra la violencia, Costa tenía los dispositivos tecnológicos de vigilancia como una de sus promesas de campaña. Las cámaras de reconocimiento facial, que comenzaron a instalarse en diciembre de 2018, se promocionaron como herramientas eficientes para combatir el crimen. La detención de un [delincuente fuera de la ley] -salvador.htm) durante el Carnaval de ese año ayudó a impulsar la opinión pública a favor de la inversión. El nuevo gasto del gobierno bahiano en tecnología para seguridad pública supera los R$ 900 millones, lo que se anuncia como “la mayor inversión en seguridad pública en la historia de Bahía”. Pero a pesar del anuncio masivo del gobierno, el gasto estatal en seguridad pública ha ido cayendo año tras año. Bahía es uno de los estados brasileños con menor gasto en este sector por habitante: R$ 289, [menos de la mitad](https://forumseguranca.org.br/wp-content/uploads/2021/07/anuario-2021 - complete-v6-bx.pdf) de, por ejemplo, Mato Grosso, Minas Gerais o Tocantins. Además, los datos de violencia estatal ponen en entredicho la apuesta del gobierno. En 2019 y 2020, Bahía fue la unidad federativa que registró [el mayor número de muertes violentas](https://g1.globo.com/ba/bahia/noticia/2021/02/12/monitor-da-violencia- bahia -registra-mayor-número-de-muertes-violentas-por-segundo-año-consecutivo.ghtml) en el país. En el primer semestre de 2021, [este índice creció](https://g1.globo.com/ba/bahia/noticia/2021/08/20/monitor-da-violencia-assassinatos-aumentam-71percent-no-primeiro - semestre-de-2021-na-ba.ghtml) más 7,1%. Como no se revela la ubicación exacta de las cámaras de reconocimiento facial, no es posible hacer cruces peatonales para ver su impacto en los índices de violencia. Pero los datos de regiones donde se han instalado cámaras comunes pueden proporcionar algunas pistas. En la región de Lobato, con 10 cámaras, los delitos contra la propiedad aumentaron un 144 % desde 2012, año en que se inició el sistema de vigilancia en la capital, hasta 2019. En la región Cajazeiras, con 22 cámaras, el aumento fue del 71,3 % y , en la región de Sussuarana, con nueve cámaras, fue un 50,8% superior. De hecho, la reducción ocurrió en Barra, un barrio de lujo con 34 cámaras, donde la tasa cayó un 84% en el período. Pero no en la región de Liberdade y Cidade Nova: a pesar de las 34 cámaras instaladas, el índice subió un 12,7% en el período analizado. El Secretario de Seguridad Pública no comentó sobre los números. Para el gobierno, el uso de tecnologías de reconocimiento facial es “saludable para combatir el crimen” y “un instrumento agregador en el mecanismo de prevención del delito cuando se usa junto con procesos y prácticas policiales eficientes”. ### Cuando el robot se equivoca En un país cuya [selectividad criminal es notoria contra los negros y los pobres](https://apublica.org/2019/05/negros-sao-mais-condenados-por-trafico-e -com -menos-drogas-em-sao-paulo/) y en un estado en [donde el 97% de las víctimas de la violencia policial son negros](https://atarde.uol.com.br/bahia/noticias/2149421- bahia-97-de-personas-muertas-por-la-policia-son-puntos-negros-informe), no es difícil imaginar quiénes son los principales objetivos de las operaciones policiales impulsadas por el sistema de caza de sospechosos alimentado por tecnología. Una encuesta de la Red de Observatorios de Seguridad en cinco estados ya mostró que [el 90,5% de los presos por reconocimiento facial en Brasil eran negros](https://theintercept.com/2019/11/21/presos-monitoramento-facial- brazil- negros/). Los algoritmos reproducen los sesgos racistas de la sociedad, y su uso a gran escala es especialmente preocupante en Bahía, estado que tiene [el mayor porcentaje de negros en Brasil](https://g1.globo.com/ba/bahia/noticia/ 2019/ 22/05/una-de-cada-5-personas-en-bahia-se-declara-puntos-negros-ibge.ghtml). Un informe producido en 2019 de la Defensoría Pública de Bahía mostró que el 98,8% de los detenidos en el hecho en Salvador son negros. Si la selectividad penal ya existe en el mundo analógico, el uso de la tecnología puede empeorar este escenario. Además de amplificar el sesgo racial ya presente en las fuerzas de seguridad, también están sujetas a errores, en el caso de Davi. Varios [estudios](https://ieeexplore.ieee.org/document/6327355/citations?tabFilter=papers#citations .) ya han demostrado que [las personas negras y asiáticas](https://nvlpubs.nist.gov/nistpubs / ir/2019/NIST.IR.8280.pdf) se identifican erróneamente con mayor frecuencia por los sistemas de reconocimiento facial, especialmente [mujeres negras] (http://gendershades.org/). La informática e investigadora del Instituto Tecnológico de Massachusetts Joy Buolamwini, de piel negra, identificó la dificultad que tiene el sistema para reconocer los rostros de las personas negras cuando ella se coloca frente a una cámara y su rostro no se identifica de inmediato. por inteligencia artificial. Esto solo sucedió cuando colocó una máscara blanca frente a él. Estos errores ya son inaceptables para fines comerciales, pero, utilizados para la seguridad pública, tienen un potencial devastador. “La población negra ya sufre a diario el estereotipo de los delincuentes, desde microagresiones que implican vigilancia excesiva en establecimientos comerciales, cuya intencionalidad se niega fácilmente, hasta casos de detenciones indebidas e injustas”, escribieron Rosane Leal da Silva y Fernanda dos Santos Rodrigues de Silva. , investigadores en Derecho de la Universidad Federal de Santa María, en artículo académico publicado en 2019. “Con una tecnología en la que el propio algoritmo cumplirá este papel de indicar erróneamente a las personas negras como posibles sospechosos de un delito, nuevamente estarán 'sujetos a la automatización de restricciones y violencia, como enfoques policiales inadecuados y atribución falsa de antecedentes penales'". . Según Luciano Oliveira, Doctor en Ingeniería Eléctrica e Informática de la Universidad de Coimbra, Portugal, y especialista en el campo de la Visión por Computador, es la fase de comparación de las imágenes con la base de datos el mayor desafío de un sistema de este tipo. escribe. “Si entrena el algoritmo con más caras de personas blancas, puede tener más problemas para encontrar personas negras”, explica Oliveira. En el caso de Bahía, como la mayor parte de la base de datos de sospechosos está compuesta por personas negras, el algoritmo debe entrenarse precisamente en esta población para no cometer errores. “Si no entrena, no encontrará caras, o encontrará pocas caras”, dice el investigador. Como la mayoría de la población en Salvador es negra, es probable que la mayor cantidad de errores ocurra con esta porción de la población. Aquí es donde surge otro problema: las bases de datos muy sospechosas utilizadas en la comparación son problemáticas y tienen prejuicios raciales. “Necesitamos cuestionarnos qué garantías tenemos de que este banco de órdenes tiene datos correctos”, me dijo Pedro Diogo, abogado que investiga Tecnologías para Vigilancia y Terror Racial de Estado en la Universidad Federal de Bahía. Según él, hay una gran cantidad de órdenes de arresto que permanecen abiertas, a pesar de que ya no tienen funcionalidad –los errores en los nombres, por ejemplo, son comunes. Entonces, existe una gran posibilidad de que alguien sea identificado por un error en la base de datos de la propia Secretaría de Seguridad Pública. “Uno de los mayores riesgos de la instalación de estos sistemas es la forma en que permite combinar problemas específicos de estas tecnologías, como el sesgo racial, con problemas tradicionales del sistema penal brasileño”, dice Diogo. Según él, ni siquiera se contabiliza la cantidad de identificaciones erróneas en el sistema, como la que le sucedió a Davi. Si el PM identifica el error del sistema, la acción finaliza en el acto sin registro de ocurrencia. “Las instituciones policiales en el país se organizaron desde el principio para perseguir a los negros, tanto esclavizados como libres, a favor de la expropiación del trabajo, el capital, la tierra y la producción para la acumulación de propiedad en un proyecto eugenésico”, dice el investigador Tarcizio Silva, que estudia el llamado racismo algorítmico y trabaja para promover la seguridad digital y defenderse contra el daño algorítmico en la Fundación Mozilla. Como los algoritmos están programados por una estructura racista, la tendencia es que reproduzcan, sin freno, el sesgo de pensar que todo negro es un criminal en potencia. “Los policías que utilizan este sistema realizan masacres, asesinatos y desapariciones, ya sea de manera oficial oa través de milicias y escuadrones de la muerte. Y aquí viene el sistema de reconocimiento facial para instalar y ampliar la capacidad del Estado para promover el terror frente a la población negra de este país”, dice Diogo. A pesar de ser liberado poco después del acercamiento de la policía, las secuelas permanecen en la vida de Davi. “Tenía mucho miedo, porque llevo mucho tiempo tomando el metro y siempre tomo la misma ruta. Las cámaras siempre me han filmado y justo ese día me confundieron”, me dijo. El enfoque policial siempre está al acecho, ahora impulsado por cámaras e inteligencia policial.