Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2733

Loading...
¿Puede la policía usar el reconocimiento facial como causa probable? Probablemente no, pero algunos lo están haciendo de todos modos.
grid.news · 2022

El reconocimiento facial se convirtió en una herramienta para las investigaciones policiales ya en 2001, y para 2016, [una de cada dos imágenes de estadounidenses](https: //www.perpetuallineup.org/) estaban en una base de datos de reconocimiento facial de las fuerzas del orden.

El uso del reconocimiento facial se ha disparado a pesar de los estudios que muestran que es más probable que se identifique erróneamente a las personas negras y marrones que a las personas blancas, e incidentes en los que ha conducido a falsos arrestos.

Un nuevo informe de el Centro de Tecnología de Privacidad de Georgetown argumenta que el reconocimiento facial tiene fallas graves que lo hacen poco confiable para su uso en investigaciones, en marcado contraste con las afirmaciones de los defensores de que el reconocimiento facial elimina el sesgo humano del proceso de identificación de sospechosos.

Grid habló con la autora del informe, Clare Garvie, asesora de capacitación y recursos de la Asociación Nacional de Abogados de Defensa Criminal, sobre sus hallazgos. Esta conversación ha sido editada por su extensión y claridad.

Cuadrícula: ¿Qué fue lo más sorprendente que encontró mientras trabajaba en este informe?

Clare Garvie: Lo más sorprendente para mí durante la investigación de este artículo fue que la policía ha utilizado el reconocimiento facial como causa probable para realizar arrestos. Y la mayoría, si no todas las políticas que he leído, establecen muy claramente que el reconocimiento facial es solo una pista de investigación, y se deben tomar medidas de investigación adicionales antes de realizar un arresto. Y, sin embargo, encontramos en media docena de casos en los que sabemos que eso no sucedió: alguien fue arrestado y lo único que lo vinculó con el crimen fue una búsqueda de reconocimiento facial que mostró su rostro.

G: ¿Cuáles son las implicaciones humanas de eso?

CG: En el peor de los casos, esto podría significar que alguien fue identificado erróneamente y arrestado por un delito que no cometió. Sabemos que esto sucedió en tres casos: [Robert Williams y Michel Oliver en Michigan y Nijeer Parks en Nueva Jersey] (https://www.wired.com/story/wrongful-arrests-ai-derailed-3-mens-lives /). Lo que no sabemos es en cuántos otros casos ha sucedido esto, y eso se debe a que el reconocimiento facial y las búsquedas que realiza la policía generalmente no se revelan a la defensa [abogado] como parte de la divulgación regular o de la evidencia Brady \ [de material favorable al acusado], o evidencia que es material para la defensa que presenta un caso para que puedan tener un juicio justo.

G: ¿Hay alguna razón para eso?

CG: El motivo es que, sobre el papel, el reconocimiento facial se considera solo una pista de investigación y se considera confiable. Se considera que no es importante que la policía lo libere. Y lo que este artículo y yo diríamos es que eso no es cierto. Hay tantas oportunidades de errores, de sesgo cognitivo, de que algo salga mal en el proceso de búsqueda, de modo que la divulgación es necesaria para proteger el derecho del acusado a un juicio justo.

G: ¿Cómo ha sido el proceso de revisión de esta tecnología a la hora de determinar su precisión?

CG: A menudo se habla del reconocimiento facial como una tecnología, un algoritmo. Y se han realizado muchas investigaciones sobre cuán precisos o no son estos algoritmos. Ahí es donde el Instituto Nacional de Estándares y Tecnología ha sido muy instrumental. Con sus pruebas continuas de proveedores de reconocimiento facial, han brindado una herramienta muy, muy valiosa a los investigadores y departamentos de policía y al público para comprender las fortalezas y limitaciones de los algoritmos de reconocimiento facial.

Sin embargo, el algoritmo es una pieza de un proceso de búsqueda de varios pasos, que incluye grados significativos de juicio humano, psicología y ciencia forense. Y la literatura en estos campos nos dice que los humanos no son innatamente buenos para identificar a las personas por sus rostros, particularmente rostros desconocidos. El grado de sesgo cognitivo que está presente en una búsqueda de reconocimiento facial dada plantea una seria pregunta sobre el riesgo de identificación errónea y con qué frecuencia las búsquedas, que involucran tanto a humanos como a máquinas, pueden fallar. Lo que hace este informe es enmarcar el reconocimiento facial, no solo como una tecnología, sino como un método de investigación forense y lo analiza desde esa perspectiva, para argumentar que, como herramienta de investigación forense, no se ha establecido como un método forense sólido, empíricamente método válido. Y como consecuencia, se ha confiado en él como si tuviera esta confiabilidad que simplemente no tiene.

G: Sin embargo, los defensores de la tecnología argumentarían que esta herramienta elimina ese sesgo humano en el proceso de toma de decisiones. ¿Cuáles son las formas en que la psicología humana interactúa con esta tecnología?

CG: Históricamente, el "humano en el circuito", por así decirlo, ha sido considerado como un control valioso contra cualquier error que pueda cometer un algoritmo de reconocimiento facial. Pero eso ignora el hecho de que los humanos también cometen errores y esos errores pueden agravarse entre sí. También ignora el hecho de que en cualquier búsqueda de reconocimiento facial dada, no habrá protección contra el sesgo cognitivo, como la motivación para encontrar una coincidencia o información externa como el historial de arresto criminal previo de un individuo, que puede contaminar la revisión biométrica, por así decirlo. que una determinación de identidad no se basa simplemente en las similitudes entre dos caras, sino en si alguien ha sido arrestado anteriormente por un delito similar, si un analista piensa que la persona parece culpable o si el analista está motivado para encontrar una coincidencia.

Una de las investigaciones realmente interesantes que se está explorando en este momento es la relación entre los tipos de errores que cometen los algoritmos y los tipos de errores que cometen los humanos: son muy parecidos. Es más probable que los algoritmos identifiquen erróneamente a alguien dentro de la misma cohorte demográfica que la persona que están buscando. Así son los humanos; es mucho más probable que confundamos a alguien con otra persona de la misma raza, sexo y edad que la persona que estamos buscando o tratando de identificar. Los algoritmos hacen lo mismo, lo que significa que, dado que el ser humano en el ciclo cometerá los mismos tipos de errores, no es un paso valioso para corregir los errores que pueda cometer el algoritmo.

G: ¿Cuál fue el razonamiento para producir este informe ahora?

CG: En respuesta a los informes que el Centro para la Privacidad y la Tecnología estaba publicando sobre el reconocimiento facial, muchos abogados defensores se comunicaron con nosotros diciendo: "Oye, creo que tengo reconocimiento facial en mi caso, pero no No sé cómo argumentar en contra”, o “¿Cómo sé si se utilizó el reconocimiento facial en mi caso?”. Esto se debió a que, en primer lugar, se estaba utilizando en muchos casos y todavía se utiliza en muchos casos y, en segundo lugar, no se ha revelado a la defensa como algo natural. Sin embargo, los abogados defensores leyeron correctamente estos informes y supusieron que podrían cuestionar la identificación de su cliente como el principal sospechoso, utilizando esta tecnología.

Los abogados defensores comenzaron a señalar esto como un problema potencial en sus casos y preguntaron: “¿Qué podrían hacer al respecto? ¿Cuál fue la relación entre el reconocimiento facial y el derecho al debido proceso?”

Me quedó claro que había mucha literatura sobre cómo responder a esta pregunta, ya sea con otras ciencias forenses como huellas dactilares latentes, genotipado probabilístico o microscopía capilar. Estaba analizando las limitaciones de estas ciencias forenses, la informática, analizando los algoritmos de reconocimiento facial y la psicología cognitiva, analizando las limitaciones de la identificación humana. Pero nadie había ensamblado todas las piezas y observado cómo se ejecutan las búsquedas de reconocimiento facial en condiciones operativas y el grado en que los psicólogos cognitivos, los informáticos y los científicos forenses estaban descubriendo las tasas de precisión y las tasas de identificación errónea, en qué medida. encontraríamos esos problemas en la forma en que las fuerzas del orden realizaron las búsquedas de reconocimiento facial.

G: ¿Cuál cree que es la magnitud de este problema, particularmente en relación con el debido proceso?

CG: Creo que es un gran problema. El reconocimiento facial se ha utilizado en investigaciones policiales que se remontan a 2001. Son 100.000 casos, tal vez más, pero simplemente no lo sabemos, porque esta información no se revela a la defensa. Yo diría que esto significa que hay 21 años y contando de violaciones al debido proceso en los libros en muchas jurisdicciones de los Estados Unidos. Eso es una crisis constitucional. Esa es una crisis, ante todo, para las personas que son identificadas o mal identificadas mediante la tecnología, pero también es una crisis para los tribunales, que ciertamente no quieren perpetuar o dejar de detectar las violaciones de Brady al derecho al debido proceso. ¿Qué sucede en una jurisdicción cuando un tribunal dice que sí, el reconocimiento facial debe revelarse a la defensa? ¿Qué significa eso para los miles de otros casos que se han procesado en esa jurisdicción donde la defensa nunca tuvo la oportunidad de impugnar el reconocimiento facial? Así que veo esto como una cuestión constitucional y de debido proceso muy importante para el país.

G: ¿Cuáles son algunas de las diferentes herramientas que los abogados tienen a su disposición para abordar esto?

CG: La audiencia principal de este documento son los abogados defensores, pero en términos más generales, los jueces y los fiscales también para enmarcar el reconocimiento facial no solo como un problema tecnológico o policial, sino como una ciencia forense y un problema de evidencia. En primer lugar, los abogados defensores deben sentirse facultados para solicitar el descubrimiento en el reconocimiento facial. Deben tener derecho a información sobre cómo su cliente llegó a ser identificado como el principal sospechoso en un caso. Después de esto, puede ser apropiado argumentar a favor de la supresión para argumentar que la búsqueda no fue confiable, fue indebidamente sugerente u otras deficiencias en la búsqueda, de modo que la identificación de su cliente como el principal sospechoso debe ser suprimida.

Otra audiencia para este documento es la comunidad de investigadores. El documento no responde de manera definitiva a la pregunta fundamental formulada, que es, ¿qué tan confiable es una pista generada por una búsqueda de reconocimiento facial? Lo que hace es, con suerte, proporcionar una hoja de ruta para que los investigadores y usuarios de reconocimiento facial observen de cerca las vías a través de las cuales los errores pueden colarse en una búsqueda de reconocimiento facial y comenzar a pensar en qué hace un estudio que generaría una métrica de confiabilidad. para estas búsquedas parecen? ¿Es siquiera posible crear tal estudio? ¿O necesitamos establecer parámetros como eliminar el [uso de Photoshop en búsquedas de reconocimiento facial](https://www.law.georgetown.edu/privacy-technology-center/publications/garbage-in-garbage-out- reconocimiento facial en datos defectuosos/) [como lo ha hecho el Departamento de Policía de Nueva York] antes de que podamos comenzar a comprender qué tan confiable es este método de investigación forense?

G: ¿Cuáles son sus preocupaciones en el futuro de esta área?

CG: Lo que me quita el sueño es que creo que nos faltan unos meses o unos años para que el reconocimiento facial se presente como prueba de identidad en los tribunales. Eso para mí es el peor de los casos. El reconocimiento facial no es necesariamente una forma confiable de identificar a alguien. Y en el momento en que un tribunal lo acepta como evidencia, eso significa que hemos perdido la capacidad de argumentar que no es confiable, porque independientemente de lo que diga la ciencia, los tribunales seguirán el precedente del caso, eso se llama una especie de certificación judicial de mala ciencia.

Estoy muy preocupado por esto, porque creo que una vez que la ley lo certifica, se vuelve mucho más difícil retractarse de nuestro análisis y se vuelve mucho más peligroso, de modo que tendremos personas arrestadas injustamente, aceptando acuerdos de culpabilidad, aunque son inocentes, o condenados injustamente por delitos, porque fueron identificados erróneamente mediante el reconocimiento facial.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd