Incidentes Asociados
Estamos encantados de anunciar que el Ministerio del Interior acordó eliminar su algoritmo de 'transmisión de visas', en respuesta a la acción legal que iniciamos con el grupo de justicia tecnológica Foxglove.
A partir del viernes 7 de agosto, la ministra del Interior, Priti Patel, suspenderá el algoritmo de "transmisión de visas" "en espera de un rediseño del proceso", que considerará "problemas relacionados con el sesgo inconsciente y el uso de la nacionalidad" en las solicitudes de visas automatizadas.
“La propia revisión independiente del Ministerio del Interior sobre el escándalo de Windrush encontró que no tenía en cuenta las suposiciones y los sistemas racistas que opera. Esta herramienta de transmisión tomó décadas de prácticas institucionalmente racistas, como atacar nacionalidades particulares para redadas de inmigración, y las convirtió en software. El sistema de inmigración debe reconstruirse desde cero para monitorear ese sesgo y erradicarlo”.
Chai Patel, Director de Política Legal de JCWI
La victoria de hoy representa el primer desafío judicial exitoso del Reino Unido a un sistema de decisión algorítmica. Le habíamos pedido al Tribunal que declarara ilegal el algoritmo de transmisión y ordenara detener su uso para evaluar las solicitudes de visa, en espera de una revisión. La decisión del Ministerio del Interior efectivamente concede el reclamo.
“Estamos encantados de que el Ministerio del Interior haya tenido sentido y haya descartado la herramienta de transmisión. Los circuitos de retroalimentación racistas significaron que lo que debería haber sido un proceso de migración justo fue, en la práctica, solo un "embarque rápido para los blancos". Lo que necesitamos es democracia, no un gobierno basado en algoritmos. Antes de que se implementen más sistemas, preguntemos a los expertos y al público si la automatización es apropiada y cómo se pueden detectar y desenterrar los sesgos históricos”.
Cori Crider, fundadora y directora de Foxglove
¿Qué hace el algoritmo?
Desde 2015, el algoritmo del Ministerio del Interior ha utilizado un sistema de semáforos para calificar cada solicitud de visa de entrada al Reino Unido. La herramienta, que el Ministerio del Interior describió como una "herramienta de transmisión" digital, asigna una calificación de riesgo roja, ámbar o verde a los solicitantes. Una vez asignada por el algoritmo, esta calificación juega un papel importante en la determinación del resultado de la solicitud de visa.
El algoritmo de visa discriminaba en función de la nacionalidad, por diseño. Las solicitudes realizadas por personas con nacionalidades "sospechosas" recibieron una puntuación de riesgo más alta. Sus solicitudes recibieron un escrutinio intensivo por parte de los funcionarios del Ministerio del Interior, se abordaron con más escepticismo, tomó más tiempo determinarlas y era mucho más probable que fueran rechazadas. Argumentamos que esto era discriminación racial y violaba la Ley de Igualdad de 2010.
El prejuicio y el racismo arraigados en el sistema de visas rompen corazones y separan familias, como los [cuatro hermanos de Nigeria que no pudieron viajar al Reino Unido para la boda de su hermana] (https://www.theguardian.com/uk-news/2018/ jul/06/lawyer-blames-visitor-visa-negals-on-deep-underlying-racism), o los innumerables profesionales calificados que se negaron a contribuir a conferencias y eventos en el Reino Unido solo porque no provienen de un blanco rico país, incluidos [decenas de académicos y artistas africanos a los que se les negó la entrada sin una buena razón]. -visa-system-daños-africa-relaciones)
La herramienta de transmisión era opaca. Además de admitir la existencia de una lista secreta de nacionalidades sospechosas, el Ministerio del Interior se negó a proporcionar información significativa sobre el algoritmo. No está claro qué otros factores se usaron para calificar las solicitudes.
El algoritmo sufrió un ciclo de retroalimentación, un círculo vicioso en el que las estadísticas sesgadas de aplicación y visas refuerzan qué países permanecen en la lista de nacionalidades sospechosas. En resumen, era más probable que se rechazara la solicitud de visa de los solicitantes de nacionalidades sospechosas. Estos rechazos de visa luego informaron qué nacionalidades aparecían en la lista de naciones "sospechosas". Este error, combinado con el sesgo preexistente en la aplicación del Ministerio del Interior (en el que algunas nacionalidades son objeto de aplicación porque se cree que son más fáciles de eliminar), aceleró el sesgo en el proceso de visa del Ministerio del Interior. Tales ciclos de retroalimentación son un problema bien documentado con los sistemas de decisión automatizados.
El Ministro del Interior está poniendo en marcha un proceso provisional para las solicitudes de visa y ha acordado poner en marcha las protecciones legales esenciales que exigimos: una Evaluación de impacto de igualdad y una Evaluación de impacto de protección de datos para el nuevo sistema.