Incidentes Asociados
Los recién casados podrían ser deportados si son señalados como sospechosos por un nuevo algoritmo del Ministerio del Interior que puede discriminar según la nacionalidad, puede revelar la Oficina. El sistema, descrito en un documento interno del gobierno obtenido por Public Law Project, se basa en información potencialmente sesgada que también incluye la diferencia de edad entre los socios.
El Ministerio del Interior introdujo un sistema automatizado para detectar matrimonios falsos en marzo de 2015 como parte de la política de inmigración de “ambiente hostil”. Su iteración actual es un sistema de clasificación implementado en abril de 2019 y se desarrolló a través del aprendizaje automático, un proceso mediante el cual un algoritmo informático encuentra patrones en los datos de origen y los aplica a nuevos datos. La información histórica utilizada en este caso provino de las referencias de matrimonio recibidas por el Ministerio del Interior durante un período no especificado de tres años; Es probable que el algoritmo proyecte cualquier sesgo que pueda existir dentro de esta fuente de datos.
Una evaluación de impacto de igualdad (EIA) realizada por el Ministerio del Interior reveló una serie de problemas de derecho público con el proceso, incluida la posibilidad de "discriminación indirecta" basada en la edad. Los activistas advierten que su uso de datos deja el proceso abierto a una discriminación similar en torno a la nacionalidad, haciéndose eco de las preocupaciones anteriores sobre los sistemas utilizados por el departamento en los últimos años.
“Es probable que los datos del Ministerio del Interior sobre la aplicación anterior estén sesgados porque la aplicación del Ministerio del Interior está sesgada contra personas de ciertas nacionalidades”, dijo Chai Patel, director de política legal del Consejo Conjunto para el Bienestar de los Inmigrantes (JCWI).
Incluso en tiempos de crisis, seguiremos escudriñando, cuestionando y exigiendo decisiones y acciones responsables a quienes están en el poder.
El año pasado, JCWI y el grupo sin fines de lucro Foxglove emprendieron acciones legales exitosas contra el “algoritmo racista” utilizado por el Ministerio del Interior para su sistema de visas. Los grupos argumentaron que, debido a su dependencia de los datos históricos de visas, el sistema automatizado perpetuó la discriminación contra ciertas nacionalidades. Al suspender el sistema en agosto, el Ministerio del Interior dijo que realizaría una revisión de su funcionamiento.
El Ministerio del Interior le dijo a la Oficina: “El propósito de la EIA como parte del sistema de clasificación es garantizar que podamos identificar cualquier riesgo potencial de discriminación y evaluar el impacto. Luego se considera si la discriminación es justificable para lograr los objetivos del proceso”.
En 2020, una revisión independiente del escándalo de Windrush informó que el Ministerio del Interior demostró "ignorancia institucional e irreflexión hacia el tema de la raza... consistente con algunos elementos de la definición de racismo institucional".
Está bien establecido que las tecnologías de IA y el aprendizaje automático a menudo reflejan sesgos sociales. Como explicó la directora de Foxglove, Martha Dark, con respecto al proceso de visa: “Un problema conocido que afecta a los sistemas algorítmicos es el ciclo de retroalimentación: si el algoritmo rechazó a los solicitantes en el pasado, esos datos se usarán para justificar mantener a ese país en la lista. de naciones indeseables, y calificar a los ciudadanos de ese país con rojo, negándoles visas nuevamente”.
En el caso de los matrimonios falsos, el sistema de clasificación del Ministerio del Interior entra en juego una vez que la pareja ha notificado al registrador. En caso de que una o ambas partes sean de un país fuera del Reino Unido, Suiza y el espacio económico europeo, o tengan un estatus de asentado insuficiente o carezcan de una visa válida, la pareja se remitirá al sistema de triaje.
Luego, el sistema procesa sus datos y les asigna una luz verde o roja. Una referencia de luz roja, lo que significa que la pareja debe ser investigada más a fondo, puede poner en riesgo el estado de inmigración y visa de una persona y podría conducir a acciones legales y deportación.
La EIA enumera ocho criterios que el sistema tiene en cuenta cuando se marca un matrimonio para su análisis, pero esta lista ha sido redactada por el Ministerio del Interior.
Un gráfico incluido en el documento muestra la cantidad de matrimonios que pasan por el sistema que involucra nacionalidades específicas y el porcentaje de esos matrimonios que se les da una luz roja. Según el gráfico, las nacionalidades con mayor índice de fracaso en el triage -entre el 20% y el 25%- son Bulgaria, Grecia, Rumanía y Albania. Los remitidos con mayor frecuencia al sistema de triaje incluyen Albania, India, Pakistán y Rumania.
“Claramente, hay algunos clientes cuyo matrimonio tiene más probabilidades de ser investigado que otros ”, dijo Nath Gbikpi, abogado de inmigración del Islington Law Centre. “Obviamente, una de las ‘señales de alerta’ es el estado migratorio, pero claramente ese no es el único indicador, ya que he tenido clientes con el mismo estado migratorio: algunos son investigados y otros no. No me sorprendió escuchar que hay un algoritmo y no me sorprendió escuchar que algunas nacionalidades son más molestas que otras”.
Martha Dark de Foxglove dijo: "Es preocupante que la nacionalidad pueda usarse de una manera similar [a cómo se usó en la herramienta de visas] en el algoritmo para detectar matrimonios falsos".
La EIA establece que, si bien los datos de nacionalidad se utilizan en el proceso de clasificación, la nacionalidad por sí sola no determina el resultado. Del mismo modo, la edad no es un factor determinante, sino que alguien “en los tramos de [edad] más jóvenes o mayores” tiene más probabilidades de formar parte de una pareja con una mayor diferencia de edad, lo que a su vez es un criterio considerado por el sistema de triaje.
Para confirmar si el sistema es discriminatorio o no, es necesaria una mayor transparencia en torno a los datos subyacentes y los ocho criterios de selección.
Chai Patel del JCWI dijo: “Hasta que no haya una revisión completa de todos los sistemas y datos, podemos suponer que cualquier sistema que opere el Ministerio del Interior no está libre de sesgos”.
La EIA sugiere que el Ministerio del Interior ha realizado una revisión por separado del impacto del sistema en diferentes nacionalidades, pero ha rechazado las solicitudes de FOI para obtener más información.
Jack Maxwell, investigador del Public Law Project, dijo: “Por lo que hemos visto, el análisis interno de estos riesgos por parte del Ministerio del Interior fue inadecuado. El algoritmo parece haber sido desarrollado e implementado sin transparencia ni supervisión independiente.
“Hasta ahora, el Ministerio del Interior se ha negado a revelar todos los 'factores de riesgo' utilizados por el algoritmo para evaluar un caso. En ausencia de tal divulgación, es imposible saber si esos factores de riesgo están contribuyendo a una discriminación indirecta injustificada.
“El Ministerio del Interior debe permitir la transparencia, la supervisión independiente y el monitoreo y la evaluación continuos de su uso de algoritmos para garantizar que sus sistemas sean justos y legales”.
El Ministerio del Interior le dijo a la Oficina: “Aquellos que abusan del matrimonio para ingresar ilegalmente al Reino Unido sentirán toda la fuerza de la ley y es correcto que tengamos un sistema para evitar esto. Nuestro sistema de clasificación no está indirectamente sesgado, y nuestra EIA está ahí para detectar cualquier posible sesgo y al mismo tiempo garantizar que podamos investigar e interrumpir los matrimonios falsos de manera efectiva.
Dark pidió que se divulguen los detalles de cómo funciona este sistema. “Las decisiones tomadas por estos sistemas pueden cambiar la vida: quién puede viajar o casarse”, dijo. “Sin embargo, nunca se ha consultado ni preguntado al público sobre el uso de este sistema”.