Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2027

Incidentes Asociados

Incidente 7411 Reportes
Detroit Police Wrongfully Arrested Black Man Due To Faulty FRT

Loading...
La policía de Detroit admite el primer error de reconocimiento facial después de un arresto falso
techrepublic.com · 2020

El miércoles por la mañana, la ACLU anunció que presentaría una denuncia contra el Departamento de Policía de Detroit en nombre de Robert Williams, un residente negro de Michigan a quien el grupo dijo que es una de las primeras personas arrestadas falsamente debido al software de reconocimiento facial.

Williams y los abogados de la ACLU dijeron que la policía de Detroit estaba buscando a alguien que irrumpió en una tienda de relojes Shinola. Tomaron imágenes de la cámara de seguridad del dueño de la tienda y las pusieron en el software de reconocimiento facial de la ciudad, obteniendo como coincidencia a Williams, de 42 años.

La policía lo arrestó en enero frente a su esposa, hijos y vecinos, dijo Williams en un relato en primera persona del incidente [publicado por The Washington Post] (https://www.washingtonpost.com/opinions/2020/06 /24/fui-arrestado-injustamente-por-reconocimiento-facial-por-que-la-policia-permite-usar-esta-tecnologia/). Después de retenerlo durante 16 horas en una celda abarrotada del Centro de Detención de Detroit, un oficial lo llevó a una sala de interrogatorios y le mostró las fotos de seguridad.

Según Williams, sostuvo la foto junto a su rostro para demostrar que no era él, y uno de los oficiales se volvió hacia otro y dijo: "La computadora debe haberse equivocado". Más tarde, su abogado descubrió que las imágenes de la cámara de seguridad se enviaron a la Policía del Estado de Michigan, y su software de reconocimiento facial sacó la foto de la licencia de conducir de Williams.

El Departamento de Policía de Detroit no respondió a las solicitudes de comentarios, pero en un comunicado a NPR dijo: “Después del caso de Williams, el departamento promulgó nuevas reglas. Ahora, solo las fotos fijas, no las imágenes de seguridad, se pueden usar para el reconocimiento facial y solo en el caso de delitos violentos”.

Durante años, los investigadores de la ACLU, el MIT y otras instituciones [han demostrado constantemente que el software de reconocimiento facial sigue siendo muy inexacto] (https://www.techrepublic.com/article/study-finds-amazons-face-recognition-incorrectly- matches-105-us-and-uk-politicians/), particularmente cuando se trata de [personas con piel más oscura](https://www.aclu.org/news/privacy-technology/how-is-face-recognition- vigilancia-tecnología-racista/). A pesar de la inexactitud y las preocupaciones de muchos, cientos de departamentos de policía y el FBI usan el software a diario base para identificar a las personas durante las investigaciones.

Pero en un comunicado, la ACLU dijo que las fuerzas del orden público nunca les dicen a las personas si han sido identificadas usando software de reconocimiento facial, y esta es [la primera instancia documentada donde la policía admitió] (https://www.aclu.org/news/privacy- tecnología/arrestado-injustamente-porque-el-reconocimiento-de-rostros-no-puede-distinguir-a-las-personas-negras/) que su uso del software es lo que causó el error. Según la ACLU, el error solo se reveló porque Williams escuchó lo que dijeron los oficiales durante su interrogatorio y sus abogados pudieron presionar para obtener más información sobre cómo fue identificado.

“Hemos advertido durante mucho tiempo que una coincidencia falsa puede conducir a un interrogatorio, arresto y, especialmente para hombres negros como Robert, incluso un encuentro policial mortal. Dadas las fallas de la tecnología y cuán ampliamente la utilizan las fuerzas del orden en la actualidad, es probable que Robert no sea la primera persona arrestada injustamente debido a esta tecnología”, dijo la ACLU en un comunicado.

“Es solo la primera persona de la que estamos aprendiendo”.

Aumentan los pedidos de prohibiciones

Varias ciudades de EE. UU., como San Francisco, han prohibido rotundamente que la policía use software de reconocimiento facial, pero Williams, la ACLU y otros expertos ahora piden una prohibición nacional del uso del software, al menos hasta que pueda perfeccionarse.

Josh Bohls, director ejecutivo y fundador de Inkscreen, una empresa de captura de contenido, dijo que no se puede confiar únicamente en la tecnología de reconocimiento facial para tomar determinaciones de arresto y la calificó como "demasiado nueva y no probada para ser determinante en la identificación de un sospechoso".

Agregó que la policía aún no ha desarrollado completamente las implicaciones legales y de privacidad de su uso y dijo que, como mucho, la policía de Detroit simplemente debería haberlo usado para entrevistar a Williams, no para arrestarlo.

Según James McQuiggan, defensor de la conciencia de seguridad en KnowBe4, el reconocimiento facial utiliza [inteligencia artificial] (https://www.techrepublic.com/resource-library/downloads/cheat-sheet-artificial-intelligence-free-pdf/) (AI ) y delinea un rostro mediante la creación de vectores y matrices, pero puede estar limitado por la calidad de la luz sobre el sujeto.

“Las personas con tonos de piel más oscuros y una imagen con poca calidad de luz presenta una complicación que no parece ser abordada adecuadamente por el software de reconocimiento facial. Más preocupante es que no existe un sistema de auditoría adecuado para estos sistemas cuando se trata de falsos positivos o uso indebido”, dijo McQuiggan, y agregó que todo lo que produzcan estos sistemas debe usarse como puntos de referencia y no como única razón para arrestar a las personas.

El software de reconocimiento facial solo debe usarse con cámaras de alta definición y sensores de coincidencia de profundidad a corta distancia, según Chris Clements, vicepresidente de arquitectura de soluciones de Cerberus Sentinel.

Dijo que el uso de la tecnología aún estaba en pañales y debería tratarse con poca confianza hasta que pueda ser corroborado por otra evidencia. Es probable que intentar hacer coincidir un cuadro fijo de una cámara de video de baja calidad a varios pies de distancia produzca coincidencias de muy baja confianza, agregó.

Hace solo tres semanas, Paul Bischoff de Comparitech.com publicó un estudio del software de reconocimiento facial de Amazon que descubrió que tenía problemas para identificar incluso las fotografías de los rostros de los políticos, que son mucho más claras que cualquier tipo de video de seguridad que esté usando la policía. Incluso con fotos nítidas, el software coincidió incorrectamente con un promedio de 32 congresistas estadounidenses con fotografías policiales en una base de datos de arrestos.

Bischoff dijo que instancias como esta son excelentes ejemplos de por qué se necesita una moratoria en el uso policial del software de reconocimiento facial hasta que se establezcan regulaciones para restringir cómo se puede usar.

“La policía de Detroit ingresó imágenes de video granuladas a una herramienta de reconocimiento facial, herramientas que pueden identificar erróneamente a las personas incluso cuando se usan disparos claros a la cabeza. El sospechoso era negro, lo que refuerza el hecho de que el reconocimiento facial identifica erróneamente a las personas de color a un ritmo más alto que a las personas blancas y, por lo tanto, afecta de manera desproporcionada a las personas de color”, dijo Bischoff.

“Lo peor de todo es que la falta de coincidencia llevó a la policía a sacar conclusiones precipitadas y realizar un arresto sin la diligencia debida adecuada. Este es solo un caso que se hizo público, pero la policía usa el reconocimiento facial a puerta cerrada todo el tiempo, y seguiremos viendo los mismos errores y abusos del reconocimiento facial hasta que se establezca la regulación adecuada”.

Múltiples grupos de defensa ahora están presionando a los legisladores para que al menos establezcan algunas leyes para regular cómo se usa el software. Al igual que los cambios que el Departamento de Policía de Detroit describió en su declaración, las organizaciones de derechos civiles quieren que se establezcan límites sobre los delitos para los que se puede usar el reconocimiento facial y qué umbrales de precisión se deben implementar.

“Lo que le sucedió a Robert Williams y su familia debería ser una llamada de atención para los legisladores. El reconocimiento facial está haciendo daño en este momento. Este es solo el primer caso que ha salido a la luz. Casi sin duda, hay personas sentadas en la cárcel en este momento que fueron puestas allí porque fueron acusadas falsamente por un algoritmo informático racista. Suficiente es suficiente. Es hora de que el Congreso haga su trabajo y prohíba la vigilancia de reconocimiento facial en los Estados Unidos”, dijo Evan Greer, subdirector del grupo de derechos Fight for the Future.

Incluso las empresas que venden software de reconocimiento facial están pidiendo legislación para regular la tecnología. A la luz de las recientes protestas en todo el mundo, Amazon, IBM y otras empresas tecnológicas importantes [acordaron una moratoria de al menos un año] (https://www.techrepublic.com/article/amazon-puts-one-year-moratorium -on-police-use-of-facial-recognition-software/) sobre permitir que la policía utilice sus programas de reconocimiento facial. Una declaración de Amazon dijo que ha "abogado por que los gobiernos establezcan regulaciones más estrictas para regir el uso ético de la tecnología de reconocimiento facial" y dijo que el Congreso de EE. UU. "parece estar listo para asumir este desafío".

“Esperamos que esta moratoria de un año le dé al Congreso suficiente tiempo para implementar las reglas apropiadas, y estamos listos para ayudar si se solicita”, dijo el comunicado.

Pero para Williams, el daño ya está hecho. En su relato de lo sucedido, habló sobre el horror de que sus hijos lo vieran arrestado y su temor de que él fuera uno de los afortunados.

“Nunca pensé que tendría que explicarles a mis hijas por qué arrestaron a papá. ¿Cómo explicarle a dos niñas pequeñas que una computadora se equivocó, pero la policía la escuchó de todos modos? ¿Por qué se permite que las fuerzas del orden usen tal tecnología cuando obviamente no funciona? Me enfado cuando escucho a empresas, políticos y policías hablar de que esta tecnología no es peligrosa ni defectuosa”, escribió Williams.

“No me sorprendería si otros como yo se convirtieran en sospechosos pero no supieran que una tecnología defectuosa los hizo culpables ante los ojos de la ley. No habría sabido que se utilizó el reconocimiento facial para arrestarme si no hubiera sido por los policías que lo dejaron escapar mientras me interrogaban. Sigo pensando en la suerte que tuve de haber pasado solo una noche en la cárcel, por traumático que fuera. Muchos negros no tendrán tanta suerte. Mi familia y yo no queremos vivir con ese miedo. No quiero que nadie viva con ese miedo”.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd