Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1336

Incidentes Asociados

Incidente 7411 Reportes
Detroit Police Wrongfully Arrested Black Man Due To Faulty FRT

Loading...
Acusado injustamente por un algoritmo
nytimes.com · 2020

"Nota: en respuesta a este artículo, la oficina del fiscal del condado de Wayne dijo que Robert Julian-Borchak Williams podría borrar el caso y sus datos de huellas dactilares. "Pedimos disculpas", dijo el fiscal, Kym L. Worthy, en un comunicado, y agregó , “Esto de ninguna manera compensa las horas que el Sr. Williams pasó en la cárcel”.

Un jueves por la tarde de enero, Robert Julian-Borchak Williams estaba en su oficina en una empresa de suministros para automóviles cuando recibió una llamada del Departamento de Policía de Detroit diciéndole que fuera a la comisaría para que lo arrestaran. Al principio pensó que era una broma.

Una hora más tarde, cuando llegó a la entrada de su casa en una subdivisión tranquila en Farmington Hills, Michigan, un auto de la policía se detuvo detrás y lo bloqueó. Dos oficiales se apearon y esposaron al Sr. Williams en el jardín delantero, frente a su esposa y dos hijas pequeñas, que estaban angustiadas. La policía no dijo por qué estaba siendo arrestado, solo le mostró un papel con su foto y las palabras “orden de arresto” y “robo”.

Su esposa, Melissa, preguntó a dónde lo llevaban. “Búscalo en Google”, recuerda que le respondió un oficial.

La policía llevó al Sr. Williams a un centro de detención. Le tomaron una foto policial, le tomaron huellas dactilares y ADN, y lo retuvieron durante la noche. Alrededor del mediodía del viernes, dos detectives lo llevaron a una sala de interrogatorios y colocaron tres hojas de papel sobre la mesa, boca abajo.

"¿Cuándo fue la última vez que fuiste a una tienda Shinola?" preguntó uno de los detectives, según recuerda el Sr. Williams. Shinola es una boutique de lujo que vende relojes, bicicletas y artículos de cuero en el moderno barrio de Midtown de Detroit. Williams dijo que él y su esposa lo habían visto cuando la tienda abrió por primera vez en 2014.

El detective dio la vuelta al primer trozo de papel. Era una imagen fija de un video de vigilancia que mostraba a un hombre fornido, vestido de negro y con una gorra roja de los St. Louis Cardinals, parado frente a la pantalla de un reloj. Se robaron cinco relojes por valor de 3.800 dólares.

"¿Este Eres tu?" preguntó el detective.

La segunda hoja de papel era un primer plano. La foto estaba borrosa, pero claramente no era el Sr. Williams. Cogió la imagen y la sostuvo junto a su cara.

“No, este no soy yo”, dijo Williams. "¿Crees que todos los hombres negros se parecen?"

El Sr. Williams sabía que no había cometido el crimen en cuestión. Lo que no podía haber sabido, mientras estaba sentado en la sala de interrogatorios, es que su caso puede ser el primer relato conocido de un estadounidense arrestado injustamente en base a una coincidencia defectuosa de un algoritmo de reconocimiento facial, según expertos en tecnología y derecho. .

Un sistema defectuoso

Un debate nacional se está librando sobre el racismo en la aplicación de la ley. En todo el país, millones protestan no solo por las acciones de los oficiales individuales, sino también por el sesgo en los sistemas utilizados para vigilar a las comunidades e identificar a las personas para su enjuiciamiento.

Los sistemas de reconocimiento facial han sido utilizados por las fuerzas policiales durante más de dos décadas. Estudios recientes del M.I.T. y el Instituto Nacional de Estándares y Tecnología, o NIST, descubrieron que si bien la tecnología funciona relativamente bien en hombres blancos, los resultados son menos precisos para otros datos demográficos, en parte debido a la falta de diversidad en las imágenes utilizadas para desarrollar el subyacente. bases de datos

El año pasado, durante una audiencia pública sobre el uso del reconocimiento facial en Detroit, un asistente del jefe de policía estuvo entre los que expresaron su preocupación. “Sobre la cuestión de los falsos positivos, eso es absolutamente real y está bien documentado”, dijo James White. “Así que eso me preocupa como hombre afroamericano”.

Este mes, Amazon, Microsoft e IBM anunciaron que detendrían o pausarían sus ofertas de reconocimiento facial para las fuerzas del orden. Los gestos fueron en gran medida simbólicos, dado que las empresas no son grandes actores en la industria. La tecnología que utilizan los departamentos de policía es suministrada por empresas que no son conocidas, como Vigilant Solutions, Cognitec, NEC, Rank One Computing y Clearview AI.

Clare Garvie, abogada del Centro de Privacidad y Tecnología de la Universidad de Georgetown, ha escrito sobre los problemas con el uso del reconocimiento facial por parte del gobierno. Ella argumenta que las imágenes de búsqueda de baja calidad, como una imagen fija de un video de vigilancia granulado, deben prohibirse, y que los sistemas actualmente en uso deben probarse rigurosamente para determinar su precisión y sesgo.

“Hay algoritmos mediocres y buenos, y las fuerzas del orden solo deberían comprar los buenos”, dijo la Sra. Garvie.

Sobre la experiencia del Sr. Williams en Michigan, agregó: “Sospecho firmemente que este no es el primer caso en el que se identifica erróneamente a alguien para arrestarlo por un delito que no cometió. Esta es solo la primera vez que lo sabemos”.

En una alineación perpetua

El caso del Sr. Williams combina tecnología defectuosa con un trabajo policial deficiente, lo que ilustra cómo el reconocimiento facial puede fallar.

El robo en Shinola ocurrió en octubre de 2018. Katherine Johnston, investigadora de Mackinac Partners, una firma de prevención de pérdidas, revisó el video de vigilancia de la tienda y envió una copia a la policía de Detroit, según su informe.

Cinco meses después, en marzo de 2019, Jennifer Coulson, examinadora de imágenes digitales de la Policía Estatal de Michigan, subió una “imagen de prueba”, una imagen fija del video que muestra al hombre con la gorra de los Cardinals, a la base de datos de reconocimiento facial del estado. El sistema habría mapeado el rostro del hombre y buscado otros similares en una colección de 49 millones de fotos.

La tecnología del estado es suministrada por $5.5 millones por una empresa llamada DataWorks Plus. Fundada en Carolina del Sur en 2000, la compañía ofreció por primera vez un software de gestión de fotografías policiales, dijo Todd Pastorini, gerente general. En 2005, la firma comenzó a expandir el producto, agregando herramientas de reconocimiento facial desarrolladas por proveedores externos.

Cuando uno de estos subcontratistas desarrolla un algoritmo para reconocer rostros, DataWorks intenta juzgar su eficacia realizando búsquedas utilizando imágenes de baja calidad de personas que sabe que están presentes en un sistema. “Hemos analizado mucha basura”, dijo Pastorini. Estos controles, agregó, no son "científicos": DataWorks no mide formalmente la precisión o el sesgo de los sistemas.

“Nos hemos convertido en un pseudoexperto en la tecnología”, dijo Pastorini.

En Michigan, el software DataWorks utilizado por la policía estatal incorpora componentes desarrollados por el gigante tecnológico japonés NEC y por Rank One Computing, con sede en Colorado, según Pastorini y una vocera de la policía estatal. En 2019, los algoritmos de ambas compañías se incluyeron en un estudio federal de más de 100 sistemas de reconocimiento facial que descubrió que estaban sesgados, identificando falsamente rostros afroamericanos y asiáticos de 10 a 100 veces más que rostros caucásicos.

El director ejecutivo de Rank One, Brendan Klare, dijo que la compañía había desarrollado un nuevo algoritmo para que el NIST revisara que "reduce las diferencias de precisión entre diferentes cohortes demográficas".

Después de que la Sra. Coulson, de la policía estatal, realizó su búsqueda de la imagen de la sonda, el sistema habría proporcionado una fila de resultados generados por NEC y una fila de Rank One, junto con puntajes de confianza. La foto de la licencia de conducir del Sr. Williams estaba entre las coincidencias. La Sra. Coulson lo envió a la policía de Detroit como un "Informe principal de investigación".

“Este documento no es una identificación positiva”, dice el archivo en letras mayúsculas y negritas en la parte superior. “Es solo una pista de investigación y no es causa probable de arresto”.

Esto es lo que los proveedores de tecnología y las fuerzas del orden siempre enfatizan cuando defienden el reconocimiento facial: se supone que solo es una pista en el caso, no una prueba irrefutable. Antes de arrestar al Sr. Williams, los investigadores podrían haber buscado otras pruebas de que cometió el robo, como el testimonio de un testigo presencial, datos de ubicación de su teléfono o pruebas de que era dueño de la ropa que vestía el sospechoso.

En este caso, sin embargo, según el informe de la policía de Detroit, los investigadores simplemente incluyeron la foto del Sr. Williams en una "alineación de fotos de 6 paquetes" que crearon y le mostraron a la Sra. Johnston, la contratista de prevención de pérdidas de Shinola, y ella lo identificó. (La Sra. Johnston se negó a comentar).

"Supongo que la computadora se equivocó"

El Sr. Pastorini quedó desconcertado cuando se le describió el proceso. “Suena delgado en todos los sentidos”, dijo.

El Sr. Klare, de Rango Uno, encontró fallas en el papel de la Sra. Johnston en el proceso. “No estoy seguro de si esto los califica como testigos oculares o si le da más peso a su experiencia que a otras personas que pudieron haber visto el mismo video después del hecho”, dijo. John Wise, un vocero de NEC, dijo: “Una coincidencia usando solo reconocimiento facial no es un medio para una identificación positiva”.

El viernes que el Sr. Williams se sentó en una sala de interrogatorios de la policía de Detroit fue el día antes de cumplir 42 años. Esa mañana, su esposa le envió un correo electrónico a su jefe para decirle que faltaría al trabajo debido a una emergencia familiar; rompió su récord de cuatro años de asistencia perfecta.

Según recuerda el Sr. Williams, después de sostener el video de vigilancia junto a su rostro, los dos detectives se reclinaron en sus sillas y se miraron. Un detective, que parecía disgustado, le dijo a su compañero: "Supongo que la computadora se equivocó".

Volcaron una tercera hoja de papel, que era otra foto del hombre de la tienda Shinola junto a la licencia de conducir del Sr. Williams. El Sr. Williams volvió a señalar que no eran la misma persona.

El Sr. Williams preguntó si estaba libre para irse. “Desafortunadamente no”, dijo un detective.

El Sr. Williams estuvo bajo custodia hasta esa noche, 30 horas después de ser arrestado, y fue liberado con una fianza personal de $1,000. Esperó afuera bajo la lluvia durante 30 minutos hasta que su esposa pudo recogerlo. Cuando llegó a casa a las 10 de la noche, su hija de cinco años todavía estaba despierta. Ella dijo que lo estaba esperando porque él había dicho, mientras lo arrestaban, que regresaría enseguida.

Desde entonces, ha comenzado a jugar a "policías y ladrones" y acusa a su padre de robar cosas, insistiendo en "encerrarlo" en la sala de estar.

Obteniendo ayuda

La familia Williams se puso en contacto con los abogados defensores, la mayoría de los cuales, dijeron, asumieron que el Sr. Williams era culpable del delito y cotizaron precios de alrededor de $ 7,000 para representarlo. La Sra. Williams, directora de marketing de bienes raíces y bloguera de alimentos, también tuiteó a la Unión Estadounidense de Libertades Civiles de Michigan, que se interesó de inmediato.

“Hemos estado activos tratando de hacer sonar las alarmas sobre el reconocimiento facial, tanto como una amenaza a la privacidad cuando funciona como una amenaza racista para todos cuando no funciona”, dijo Phil Mayor, abogado de la organización. "Sabemos que estas historias existen, pero es difícil escucharlas porque las personas generalmente no se dan cuenta de que han sido víctimas de una mala búsqueda de reconocimiento facial".

Dos semanas después de su arresto, el Sr. Williams se tomó un día de vacaciones para comparecer ante un tribunal del condado de Wayne para una lectura de cargos. Cuando se llamó al caso, el fiscal decidió desestimar, pero "sin perjuicio", lo que significa que el Sr. Williams podría ser acusado nuevamente más tarde.

Maria Miller, una vocera del fiscal, dijo que un segundo testigo había estado en la tienda en 2018 cuando ocurrió el robo, pero no se le pidió que mirara una fila de fotos. Si el individuo realiza una identificación en el futuro, dijo, la oficina decidirá si emite cargos.

Una portavoz de la policía de Detroit, Nicole Kirkwood, dijo que, por ahora, el departamento “aceptó la decisión del fiscal de desestimar el caso”. También dijo que el departamento actualizó su política de reconocimiento facial en julio de 2019 para que solo se use para investigar delitos violentos.

El departamento, dijo en otro comunicado, “no realiza arrestos basados únicamente en el reconocimiento facial. El investigador revisó el video, entrevistó a los testigos y realizó una serie de fotografías”.

El miércoles, la A.C.L.U. de Michigan presentó una queja ante la ciudad, solicitando la desestimación absoluta del caso, una disculpa y la eliminación de la información del Sr. Williams de las bases de datos criminales de Detroit.

El Departamento de Policía de Detroit “debería dejar de usar la tecnología de reconocimiento facial como herramienta de investigación”, escribió Mayor en la denuncia, y agregó, “ya que los hechos del caso del Sr. Williams prueban que la tecnología es defectuosa y que los investigadores del Departamento de Policía no son competentes. en hacer uso de tal tecnología.”

La abogada de Williams, Victoria Burton-Harris, dijo que su cliente tiene “suerte”, a pesar de lo que pasó.

“Está vivo”, dijo Burton-Harris. “Es un hombre muy grande. Mi experiencia ha sido, como abogado defensor, que cuando los oficiales interactúan con hombres muy grandes, hombres negros muy grandes, inmediatamente actúan por miedo. No saben cómo desescalar una situación”.

'Fue humillante'

El Sr. Williams y su esposa no han hablado con sus vecinos sobre lo sucedido. Se preguntan si necesitan poner a sus hijas en terapia. El jefe del Sr. Williams le aconsejó que no le dijera a nadie en el trabajo.

“Mi madre no lo sabe. No es algo de lo que esté orgulloso”, dijo Williams. “Es humillante”.

Desde entonces ha descubierto lo que estaba haciendo la noche en que ocurrió el robo. Conducía a casa desde el trabajo y había publicado un video en su Instagram privado porque apareció una canción que amaba: "We Are One" de 1983, de Maze y Frankie Beverly. La letra dice:

no puedo entender

¿Por qué nos tratamos de esta manera?

Tomando tiempo

Con los tontos juegos tontos que jugamos

Tenía una coartada, hizo que la policía de Detroit buscara una".

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd