Incidents associés
Nous sommes ravis d'annoncer que le ministère de l'Intérieur a accepté de supprimer son algorithme de « diffusion des visas », en réponse à une action en justice que nous avons lancée avec le groupe de justice technologique Foxglove.
À partir du vendredi 7 août, le ministre de l'Intérieur Priti Patel suspendra l'algorithme de "visa streaming" "en attendant une refonte du processus", qui prendra en compte "les problèmes liés aux préjugés inconscients et à l'utilisation de la nationalité" dans les demandes de visa automatisées.
"L'examen indépendant du ministère de l'Intérieur sur le scandale Windrush a révélé qu'il était inconscient des hypothèses racistes et des systèmes qu'il exploite. Cet outil de streaming a pris des décennies de pratiques institutionnellement racistes, telles que le ciblage de nationalités particulières pour les raids d'immigration, et les a transformés en logiciels. Le système d'immigration doit être reconstruit à partir de zéro pour surveiller ces préjugés et les éliminer.
Chai Patel, directeur de la politique juridique de JCWI
La victoire d'aujourd'hui représente la première contestation judiciaire réussie du Royaume-Uni contre un système de décision algorithmique. Nous avions demandé à la Cour de déclarer l'algorithme de streaming illégal et d'ordonner l'arrêt de son utilisation pour évaluer les demandes de visa, dans l'attente d'un examen. La décision du ministère de l'Intérieur concède effectivement la demande.
"Nous sommes ravis que le ministère de l'Intérieur ait vu le sens et abandonné l'outil de streaming. Les boucles de rétroaction racistes signifiaient que ce qui aurait dû être un processus de migration équitable n'était, en pratique, qu'un "embarquement rapide pour les Blancs". Ce dont nous avons besoin, c'est de la démocratie, pas d'un gouvernement par algorithme. Avant que d'autres systèmes ne soient déployés, demandons aux experts et au public si l'automatisation est appropriée et comment les biais historiques peuvent être repérés et creusés à la racine.
Cori Crider, fondatrice et directrice de Foxglove
A quoi sert l'algorithme ?
Depuis 2015, l'algorithme du Home Office utilise un système de feux tricolores pour noter chaque demande de visa d'entrée au Royaume-Uni. L'outil, que le ministère de l'Intérieur a décrit comme un "outil de diffusion en continu" numérique, attribue une cote de risque rouge, orange ou verte aux candidats. Une fois attribuée par l'algorithme, cette note joue un rôle majeur dans la détermination du résultat de la demande de visa.
L'algorithme de visa discriminait sur la base de la nationalité - par conception. Les demandes faites par des personnes détenant des nationalités « suspectes » ont reçu un score de risque plus élevé. Leurs demandes ont fait l'objet d'un examen minutieux de la part des responsables du ministère de l'Intérieur, ont été abordées avec plus de scepticisme, ont pris plus de temps à déterminer et étaient beaucoup plus susceptibles d'être refusées. Nous avons fait valoir qu'il s'agissait de discrimination raciale et que nous enfreignions la loi de 2010 sur l'égalité.
Les préjugés et le racisme enracinés dans le système des visas brisent les cœurs et déchirent les familles, comme les [quatre frères et sœurs du Nigéria incapables de se rendre au Royaume-Uni pour le mariage de leur sœur] (https://www.theguardian.com/uk-news/2018/ jul/06/lawyer-blames-visitor-visa-refusals-on-deep-underlying-racism), ou les innombrables professionnels qualifiés refusés incapables de contribuer à des conférences et événements au Royaume-Uni simplement parce qu'ils ne viennent pas d'un blanc riche pays - y compris [des dizaines d'universitaires et d'artistes africains se sont vu refuser l'entrée sans raison valable.](https://www.theguardian.com/global-development/2019/jul/17/mps-say-embarrassing-and-insulting-uk -visa-system-dommages-africa-relations)
L'outil de streaming était opaque. En plus d'admettre l'existence d'une liste secrète de nationalités suspectes, le ministère de l'Intérieur a refusé de fournir des informations significatives sur l'algorithme. On ne sait toujours pas quels autres facteurs ont été utilisés pour classer les candidatures.
L'algorithme a souffert d'une boucle de rétroaction - un cercle vicieux dans lequel des statistiques biaisées sur l'application de la loi et les visas renforcent les pays qui restent sur la liste des nationalités suspectes. En bref, les demandeurs de nationalités suspectes étaient plus susceptibles de voir leur demande de visa rejetée. Ces refus de visa ont ensuite informé les nationalités qui figuraient sur la liste des nations « suspectes ». Cette erreur, combinée au biais préexistant dans l'application des lois par le ministère de l'Intérieur (dans lequel certaines nationalités sont ciblées pour l'application parce qu'elles sont considérées comme plus faciles à supprimer), a accéléré le biais dans le processus de visa du ministère de l'Intérieur. De telles boucles de rétroaction sont un problème bien documenté avec les systèmes de décision automatisés.
Le ministre de l'Intérieur met en place un processus provisoire pour les demandes de visa et a accepté de mettre en place les protections juridiques essentielles que nous avons exigées - une évaluation de l'impact sur l'égalité et une évaluation de l'impact sur la protection des données pour le nouveau système.