Incidents associés
Les jeunes mariés pourraient être expulsés s'ils sont signalés comme suspects par un nouvel algorithme du ministère de l'Intérieur qui peut discriminer en fonction de la nationalité, peut révéler le Bureau. Le système, décrit dans un document gouvernemental interne obtenu par le Public Law Project, est construit sur des informations potentiellement biaisées qui incluent également l'écart d'âge entre les partenaires.
Le ministère de l'Intérieur a introduit un système automatisé pour détecter les faux mariages en mars 2015 dans le cadre de la politique d'immigration « en milieu hostile ». Son itération actuelle est un système de tri mis en œuvre en avril 2019 et a été développé par apprentissage automatique, un processus par lequel un algorithme informatique trouve des modèles dans les données sources et les applique à de nouvelles données. Les informations historiques utilisées dans ce cas provenaient des demandes de mariage reçues par le ministère de l'Intérieur sur une période non précisée de trois ans ; tout biais qui pourrait exister dans ces données source est susceptible d'être projeté vers l'avant par l'algorithme.
Une évaluation de l'impact sur l'égalité (EIA) menée par le ministère de l'Intérieur a révélé un certain nombre de problèmes de droit public liés au processus, notamment la possibilité d'une "discrimination indirecte" fondée sur l'âge. Les militants avertissent que son utilisation des données laisse le processus ouvert à une discrimination similaire autour de la nationalité, faisant écho aux préoccupations précédentes concernant les systèmes utilisés par le département ces dernières années.
"Les données du ministère de l'Intérieur sur l'application passée sont susceptibles d'être biaisées parce que l'application du ministère de l'Intérieur est biaisée contre les personnes de certaines nationalités", a déclaré Chai Patel, directeur de la politique juridique du Conseil conjoint pour le bien-être des immigrés (JCWI).
Même en temps de crise, nous continuerons à scruter, remettre en question et exiger des décisions et des actions responsables de la part des personnes au pouvoir.
L'année dernière, une action en justice réussie a été intentée par JCWI et le groupe à but non lucratif Foxglove contre «l'algorithme raciste» utilisé par le ministère de l'Intérieur pour son système de visa. Les groupes ont fait valoir qu'en raison de sa dépendance aux données historiques sur les visas, le système automatisé perpétuait la discrimination contre certaines nationalités. Lors de la suspension du système en août, le ministère de l'Intérieur a déclaré qu'il procéderait à un examen de son fonctionnement.
Le ministère de l'Intérieur a déclaré au Bureau: «Le but de l'EIA dans le cadre du système de triage est de garantir que nous sommes en mesure d'identifier tout risque potentiel de discrimination et d'évaluer l'impact. Il est ensuite examiné si la discrimination est justifiable pour atteindre les objectifs du processus.
En 2020, un examen indépendant du scandale Windrush a rapporté que le ministère de l'Intérieur avait fait preuve «d'ignorance institutionnelle et d'insouciance face à la question de la race… conformément à certains éléments de la définition du racisme institutionnel».
Il est bien établi que les technologies d'IA et l'apprentissage automatique reflètent souvent des préjugés sociétaux. Comme l'a expliqué la directrice de Foxglove, Martha Dark, en ce qui concerne le processus de visa : « Un problème connu des systèmes algorithmiques est la boucle de rétroaction : si l'algorithme a refusé des candidats dans le passé, ces données seront alors utilisées pour justifier le maintien de ce pays sur la liste. des nations indésirables, et classe les citoyens de ce pays en rouge, leur refusant à nouveau les visas.
Dans le cas de mariages fictifs, le système de triage du ministère de l'Intérieur entre en jeu une fois qu'un couple a avisé un officier de l'état civil. Si l'une ou les deux parties sont originaires d'un pays en dehors du Royaume-Uni, de la Suisse et de l'espace économique européen, ou si leur statut d'établissement est insuffisant ou si elles n'ont pas de visa valide, le couple est référé au système de triage.
Le système traite ensuite leurs données et leur attribue un feu vert ou rouge. Un renvoi au feu rouge, ce qui signifie que le couple doit faire l'objet d'une enquête plus approfondie, peut mettre en danger le statut d'immigration et de visa d'une personne et pourrait entraîner des poursuites judiciaires et une expulsion.
L'EIA énumère huit critères que le système prend en compte lorsqu'un mariage est signalé pour analyse, mais cette liste a été expurgée par le ministère de l'Intérieur.
Un graphique inclus dans le document montre le nombre de mariages qui passent par le système impliquant des nationalités spécifiques et le pourcentage de ces mariages qui reçoivent un feu rouge. Selon le graphique, les nationalités avec le taux d'échec au triage le plus élevé – entre 20% et 25% – sont la Bulgarie, la Grèce, la Roumanie et l'Albanie. Les pays les plus fréquemment renvoyés au système de triage sont l'Albanie, l'Inde, le Pakistan et la Roumanie.
"Il y a très clairement certains clients dont le mariage est plus susceptible de faire l'objet d'une enquête que d'autres", a déclaré Nath Gbikpi, avocat spécialisé en droit de l'immigration au Islington Law Centre. "L'un des" drapeaux rouges "est évidemment le statut d'immigration, mais ce n'est clairement pas le seul indicateur, car j'ai eu des clients avec le même statut d'immigration - certains font l'objet d'une enquête tandis que d'autres non. Je n'ai pas été surpris d'apprendre qu'il existe un algorithme et je n'ai pas été surpris d'apprendre que certaines nationalités sont plus choisies que d'autres.
Martha Dark de Foxglove a déclaré: "Il est préoccupant que la nationalité puisse être utilisée de la même manière \ [à la façon dont elle a été utilisée dans l'outil de visa ] dans l'algorithme pour détecter les faux mariages."
L'EIA indique que si les données sur la nationalité sont utilisées dans le processus de triage, la nationalité seule ne détermine pas le résultat. De même, l'âge n'est pas un facteur déterminant mais une personne « plus jeune ou plus âgée [âge] » est plus susceptible de faire partie d'un couple avec une différence d'âge plus importante, ce qui est à son tour un critère pris en compte par le système de triage.
Afin de confirmer si le système est discriminatoire ou non, une plus grande transparence autour des données sous-jacentes et des huit critères de sélection est nécessaire.
Chai Patel du JCWI a déclaré: "Jusqu'à ce qu'il y ait eu un examen complet de tous les systèmes et données, nous pouvons supposer que tout système exploité par le ministère de l'Intérieur n'est pas exempt de biais."
L'EIA suggère que le ministère de l'Intérieur a mené un examen séparé de l'impact du système sur différentes nationalités, mais il a rejeté les demandes de FOI pour plus d'informations.
Jack Maxwell, chercheur au Public Law Project, a déclaré: «D'après ce que nous avons vu, l'analyse interne de ces risques par le ministère de l'Intérieur était inadéquate. L'algorithme semble avoir été développé et déployé sans aucune transparence ni surveillance indépendante.
«Le ministère de l'Intérieur a jusqu'à présent refusé de divulguer tous les« facteurs de risque »utilisés par l'algorithme pour évaluer un cas. En l'absence d'une telle divulgation, il est impossible de dire si ces facteurs de risque contribuent à une discrimination indirecte injustifiée.
"Le ministère de l'Intérieur doit permettre la transparence, une surveillance indépendante et un suivi et une évaluation continus de son utilisation des algorithmes pour garantir que ses systèmes sont justes et légaux."
Le ministère de l'Intérieur a déclaré au Bureau: «Ceux qui abusent du mariage pour entrer illégalement au Royaume-Uni ressentiront toute la force de la loi et il est juste que nous ayons mis en place un système pour empêcher cela. Notre système de triage n'est pas biaisé indirectement, et notre EIA est là pour détecter tout biais possible tout en garantissant que nous sommes en mesure d'enquêter et de perturber efficacement les mariages fictifs.
Dark a demandé que les détails du fonctionnement de ce système soient divulgués. "Les décisions prises par ces systèmes peuvent changer la vie - qui peut voyager ou se marier", a-t-elle déclaré. "Pourtant, le public n'a jamais été consulté ni interrogé sur l'utilisation de ce système."