Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2122

Incidentes Asociados

Incidente 3358 Reportes
UK Visa Streamline Algorithm Allegedly Discriminated Based on Nationality

Loading...
El Ministerio del Interior elimina el algoritmo 'racista' de las decisiones de visa
bbc.com · 2020

El Ministerio del Interior acordó dejar de usar un algoritmo informático para ayudar a decidir las solicitudes de visa después de las acusaciones de que contenía "racismo arraigado".

El Consejo Conjunto para el Bienestar de los Inmigrantes (JCWI) y el grupo de derechos digitales Foxglove lanzaron un desafío legal contra el sistema.

Foxglove lo caracterizó como "embarque rápido para los blancos".

Sin embargo, el Ministerio del Interior dijo que no aceptaba esa descripción.

"Hemos estado revisando cómo funciona la herramienta de transmisión de solicitudes de visa y rediseñaremos nuestros procesos para hacerlos aún más ágiles y seguros", dijo en un comunicado.

La controversia se centró en el uso de la nacionalidad del solicitante como parte del sistema automático.

El uso del controvertido algoritmo se suspenderá el viernes 7 de agosto y se espera que un sistema rediseñado esté listo para el otoño.

Foxglove dijo que el sistema "se ha utilizado durante años para procesar todas las solicitudes de visa para el Reino Unido".

¿Qué hizo el algoritmo?

El Ministerio del Interior caracterizó el algoritmo como un sistema de "racionalización".

El sistema tomó parte de la información proporcionada por los solicitantes de visa y la procesó automáticamente, dando a cada persona un código de color basado en un sistema de "semáforo": verde, ámbar o rojo.

Una métrica utilizada fue la nacionalidad, y FoxGlove alegó que el Ministerio del Interior mantenía una "lista secreta de nacionalidades sospechosas" a la que automáticamente se le daría una calificación roja.

Es probable que a esas personas se les niegue una visa, dijo el grupo.

"El algoritmo de visa discriminaba en función de la nacionalidad, por diseño", agregó JCWI.

Las personas de los países con bandera roja, dijo, "recibieron un escrutinio intensivo por parte de los funcionarios del Ministerio del Interior, fueron abordadas con más escepticismo, tomaron más tiempo para determinar y era mucho más probable que fueran rechazadas".

El grupo argumentó que este proceso equivalía a discriminación racial, lo que violaba la Ley de Igualdad.

Hubo otro factor en juego, que el JCWI y Foxglove llamaron un "bucle de retroalimentación".

Las tasas de decisión de visa se usarían para decidir qué países estaban en la lista de "nacionalidades sospechosas", dijeron.

Pero el algoritmo usó esa lista, y las aplicaciones marcadas con bandera roja tenían menos probabilidades de tener éxito. Esos resultados se utilizaron luego para reforzar la lista.

El JCWI dijo que era "un círculo vicioso".

'Institucionalmente racista'

"Estamos encantados de que el Ministerio del Interior haya encontrado sentido y haya descartado la herramienta de transmisión. Los bucles de comentarios racistas significaron que lo que debería haber sido un proceso de migración justo fue, en la práctica, solo un embarque rápido para los blancos", dijo Cori Crider, fundadora de Foxglove. .

Chai Patel, director de política legal de JCWI, dijo que el escándalo de Windrush había demostrado que el Ministerio del Interior "no se daba cuenta de las suposiciones y los sistemas racistas que opera".

“Esta herramienta de transmisión tomó décadas de prácticas institucionalmente racistas, como atacar nacionalidades particulares para redadas de inmigración, y las convirtió en software”, dijo.

El Ministerio del Interior dijo que no podía hacer más comentarios mientras el litigio aún estaba en curso.

Hasta que se implemente el nuevo sistema, la transmisión de solicitudes de visa se basará en información sobre la persona específica, como su viaje anterior, y no se tendrá en cuenta la nacionalidad.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd