Incidentes Asociados
Desde que un oficial de policía de Minneapolis mató a George Floyd en marzo de 2020 y reinició las protestas masivas de Black Lives Matter, las comunidades de todo el país han estado repensando la aplicación de la ley, desde el escrutinio granular de las formas en que la policía usa la fuerza hasta la crítica general de los prejuicios raciales en vigilancia Minneapolis, donde Floyd fue asesinado, incluso realizó una votación sobre si eliminar el departamento de policía y reemplazarlo con una agencia orientada al servicio social. En medio del impulso de la reforma, una tendencia en la vigilancia necesita una revisión urgente: el uso cada vez mayor de la inteligencia artificial por parte de los departamentos de policía, es decir, el reconocimiento facial, para ayudar a combatir el crimen.
Las agencias policiales [están desplegando cada vez más inteligencia artificial avanzada](https://www.msn.com/en-us/news/technology/police-are-investing-in-facial-recognition-and-ai-not-everyone-thinks -que-va-bien/ar-AAOgdc2)-identificación impulsada para combatir el crimen. Los algoritmos de IA ahora se emplean para identificar a las personas por rostro, [huella digital] (http://www.forensicsciencesimplified.org/prints/Fingerprints.pdf) y [ADN] (https://news.mit.edu/2019/record -breaking-dna-comparisons-drive-fast-forensics-idprism-0626), con diversos grados de éxito. Entre estas tecnologías de inteligencia artificial, la tecnología de reconocimiento facial es posiblemente la más preocupante. Los estudios han documentado los sesgos raciales y de género de estos sistemas y, a diferencia de los algoritmos de análisis de huellas dactilares o de ADN, la policía está utilizando el reconocimiento facial en el campo para tomar decisiones sobre el terreno. Ya está teniendo un impacto corrosivo en la sociedad.
Tomemos como ejemplo a Robert Williams, un hombre negro que vive en Detroit, Michigan, a quien la policía de Detroit llamó y le dijo que se entregara por un cargo de hurto. “Supuse que era una llamada de broma”, le dijo a un subcomité del Congreso en julio, pero la policía apareció más tarde en su casa y lo arrestó frente a su esposa e hijos. Lo retuvieron durante 30 horas. ¿La evidencia? Una foto de vigilancia que muestra a otra persona. “Me acerqué ese papel a la cara y dije: 'Espero que no creas que todos los negros se parecen'”, dijo Williams, [según](https://www.detroitnews.com/story/news /politics/2021/07/13/house-panel-hear-michigan-man-wrongfully-accused-facial-recognition/7948908002/) a The Detroit News. En todo el país, 18,000 departamentos de policía están utilizando esta tecnología generalmente no regulada, la presidenta del comité, la representante Sheila Jackson Lee, dijo. “Agregar tecnología de reconocimiento facial no probada ni examinada a nuestra vigilancia solo serviría para exacerbar los problemas sistémicos que aún afectan a nuestro sistema de justicia penal”, dijo.
Williams es libre; se retiraron los cargos en su contra, al igual que los cargos contra Michael Oliver y Nijeer Parks , otros dos hombres negros arrestados sobre la base de coincidencias defectuosas de reconocimiento facial . Pero el tenso encuentro de Williams con la policía podría haber terminado mal, como esos momentos han terminado para otros. “Como cualquier otro hombre negro, tenía que considerar lo que podría pasar si hacía demasiadas preguntas o mostraba mi enojo abiertamente, aunque sabía que no había hecho nada malo”, escribió Williams en The Washington Post. En una era de aplicación de la ley con prejuicios raciales: la policía mató a [más de] (https://www.aljazeera.com/news/2021/5/25/how-many-people-have-police-killed-since-george-floyd) personas en el año posterior al asesinato de Floyd, una cantidad desproporcionada de ellos Negros—la policía continúa recurriendo a la tecnología de reconocimiento facial en gran parte no regulada—software conocido por ser significativamente menos preciso cuando se trata de identificar a los negros y otras minorías—para tomar decisiones con potencialmente letales consecuencias.
Cómo funciona el reconocimiento facial. Para comprender los riesgos del uso policial del reconocimiento facial, es útil comprender cómo funciona la tecnología. Conceptualmente, estos sistemas se pueden dividir en tres partes principales: la base de datos de caras conocidas, el algoritmo y la imagen de consulta.
Las imágenes de rostros conocidos pueden provenir de fotografías de licencias de conducir, fotografías de pasaportes, fotografías policiales, imágenes fijas de cámaras de circuito cerrado de televisión, imágenes de redes sociales y muchos otros lugares.
Los proveedores empaquetan los algoritmos de reconocimiento facial en el software, pero los propios algoritmos pueden provenir de cualquier lugar. La mayoría de las veces, los algoritmos subyacentes son creados por investigadores dentro de universidades, organizaciones gubernamentales y empresas. Pero casi cualquier entidad puede convertirse en proveedor al otorgar licencias, comprar, copiar o desarrollar un algoritmo de reconocimiento facial y empaquetarlo para facilitar su uso.
Las imágenes de consulta suelen ser imágenes capturadas en sistemas de cámaras integrados en vehículos policiales, cámaras de seguridad y cámaras corporales de la policía. La calidad de la imagen depende en gran medida del sistema de captura de imágenes utilizado, las condiciones de iluminación, la distancia e incluso la pose del rostro que se captura. Estas imágenes se pueden comparar con una cara en el conjunto de datos de caras conocidas.
En las circunstancias adecuadas, estos elementos pueden conspirar para producir una coincidencia falsa, lo que subraya el riesgo que la tecnología de reconocimiento facial representa para las libertades civiles.
El peligro de los falsos positivos. Los errores de reconocimiento facial vienen en dos tipos: falsos negativos y falsos positivos. Los falsos negativos son instancias en las que una imagen de consulta, por ejemplo, una capturada en el sistema de cámara de un coche patrulla de la policía, es una imagen de una persona contenida en la base de datos de rostros conocidos, tal vez un sospechoso de un delito, pero el algoritmo del sistema de reconocimiento facial no lo hace. t detectar la coincidencia. Los falsos positivos, por otro lado, son casos en los que el algoritmo hace coincidir erróneamente una imagen de consulta con un rostro de la base de datos de rostros conocidos, lo que podría hacer coincidir el rostro de una persona con el de un delincuente. Estos dos tipos de error podrían tener resultados negativos para el público, pero los errores de falsos negativos no introducen malos resultados que no hubieran ocurrido en ausencia de los sistemas de reconocimiento facial. Los falsos positivos, por el contrario, introducen nuevos peligros tanto para la policía como para la población civil.
Entonces, veamos qué tan malas son estas tasas de falsos positivos y qué variables influyen en estas tasas.
Un [informe] de 2019 (https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software) del Instituto Nacional of Standards and Technology (NIST) sobre la precisión de la tecnología de reconocimiento facial descubrió que la tasa de falsos positivos variaba mucho en función de factores como la calidad de la imagen de la consulta, el conjunto de datos subyacente y la raza de los rostros consultados. El rango de tasas de error de falsos positivos estuvo entre 3 errores de cada 100 000 consultas (0,003 %) en condiciones óptimas y 3 errores de cada 1000 consultas (0,3 %). Además, las fuentes de imágenes de consulta que probó el instituto federal eran de mejor calidad que lo que probablemente procesará la policía en el campo.
En el mismo informe, los investigadores probaron la precisión de los sistemas de reconocimiento facial dadas diferentes variables demográficas, como el sexo, la edad y la raza, y descubrieron que variar la raza de los pares de coincidencias faciales creaba tasas de falsos positivos que a menudo eran dos órdenes de magnitud mayores para los más oscuros. individuos desollados. Las imágenes de mujeres produjeron tasas de falsos positivos más altas que las de los hombres. Las imágenes de mujeres de África Oriental produjeron aproximadamente 100 veces más falsos positivos (3/1000) que las imágenes de hombres blancos (3/100.000).
Estas tasas de error de falsos positivos son especialmente peligrosas cuando se combinan con las diferencias prácticas relacionadas con cuándo y dónde se implementan los sistemas de IA. Para el análisis de huellas dactilares y ADN, los sistemas de IA operan en muestras recolectadas y generalmente se realizan en un entorno de laboratorio donde [expertos humanos] pueden volver a analizar los hallazgos de estos sistemas (http://www.forensicsciencesimplified.org/prints/how.html) ; Los sistemas de reconocimiento facial, por otro lado, pueden ser implementados por oficiales [en el campo] (https://www.nbcnews.com/news/us-news/how-facial-recognition-became-routine-policing-tool -america-n1004251). El juicio final sobre qué tan precisa es una coincidencia puede depender simplemente del discernimiento de un oficial.
Varios grados de precisión, poca supervisión. Por lo general, los proveedores de software combinan algoritmos de detección facial existentes o patentados con interfaces de usuario en paquetes de software para uso de las fuerzas del orden. En total, hay más de 80 proveedores de software con más de 600 algoritmos de detección facial que han sido [probado por el NIST] (https://pages.nist.gov/frvt/html/frvt11.html), muchos de los cuales están disponibles para que los compre la policía local. El rendimiento de estos algoritmos varía ampliamente, y los algoritmos subyacentes a menudo no están disponibles para la inspección de datos de capacitación y código (como ocurre con la mayoría del software propietario) para proteger la propiedad intelectual de los proveedores de software. Además, los proveedores como Clearview AI anuncian directamente a las organizaciones policiales locales, que luego son responsables de examinar y adquirir los sistemas de reconocimiento facial que implementan. Además, sin un marco general para la implementación de estos sistemas, muchas organizaciones encargadas de hacer cumplir la ley no están obligadas a buscar orientación antes de implementar un sistema localmente. Dada la variabilidad en los proveedores y su software y la falta de supervisión de los departamentos que seleccionan proveedores, es No sorprende que la precisión de sus sistemas varíe mucho. Y vale la pena reiterar que la precisión variable de estos sistemas puede, y probablemente resultará, en daños en el mundo real.
Como organizaciones como la Unión Estadounidense de Libertades Civiles, [investigadores académicos](https://www.law.georgetown. edu/privacy-technology-center/publications/garbage-in-garbage-out-face-recognition-on-flawed-data/), y [activistas](https://www.eff.org/deeplinks/2021/10 /face-recognition-isnt-just-face-identification-and-verification) plantean el problema cada vez más urgente de las tecnologías de reconocimiento facial de la policía en el Congreso, las casas estatales y los ayuntamientos, un puñado de ciudades, estados e [incluso algunos países] (https://www.washingtonpost.com/world/2021/09/15/un-ai-moratorium/) se han movido para prohibir el uso del reconocimiento facial por parte de las agencias públicas. Más recientemente, el estado de Maine restringió el uso del reconocimiento facial a un conjunto específico de instancias. En otros lugares, sin embargo, los esfuerzos por dominar la tecnología se han quedado cortos. En West Lafayette, Ind., el alcalde John Dennis recientemente vetó un proyecto de ley escrito para prohibir el uso del reconocimiento facial por agencias públicas. Mientras tanto, la tecnología es cada vez más poderosa. Clearview AI [vende un sistema] (https://www.nytimes.com/2021/10/28/technology/clearview-ai-test.html) que expandió el universo de caras conocidas a unos 10 mil millones de fotos en Internet público .
En testimonio escrito en la audiencia del Congreso con Williams, el profesor de derecho Barry Friedman, de la Universidad de Nueva York, comparó el entorno normativo que rodea al software de reconocimiento facial con el "salvaje oeste". Está claro que la tecnología de reconocimiento facial, por precisa que pueda ser en circunstancias ideales, puede fallar lamentablemente en la práctica. Esta es una falla de la política y la tecnología y es probable que Williams no sea la última persona en asumir los costos.
_Nota del editor: este artículo afirmaba incorrectamente que la policía había matado a más de 1000 personas negras en el año posterior al asesinato de George Floyd. De hecho, según datos del grupo Mapping Police Violence analizados por Al Jazeera, la policía mató a 1.068 personas, no todas negras. Según el grupo de seguimiento, las personas negras tienen tres veces más probabilidades de ser asesinadas por la policía que las personas blancas. _