Incidents associés
Le gouvernement britannique suspend l'utilisation d'un algorithme utilisé pour diffuser les demandes de visa après que des inquiétudes ont été exprimées quant à la technologie qui alimente les préjugés inconscients et le racisme.
L'outil avait fait l'objet d'une contestation judiciaire. Le Joint Council for the Welfare of Immigrants (JCWI) et la campagne Le cabinet d'avocats Foxglove avait demandé à un tribunal de déclarer illégal l'algorithme de streaming de demande de visa et d'ordonner l'arrêt de son utilisation, dans l'attente d'un contrôle judiciaire.
L'action en justice n'avait pas suivi son cours complet mais semble avoir forcé la main du ministère de l'Intérieur alors qu'il s'est engagé à repenser le système.
Un porte-parole du Home Office nous a confirmé qu'à partir du 7 août, l'utilisation de l'algorithme sera suspendue, en nous envoyant cette déclaration par e-mail : sécurisé."
Bien que le gouvernement n'ait pas accepté les allégations de partialité, écrivant dans une lettre au cabinet d'avocats : "Le fait de la refonte ne signifie pas que le [secrétaire d'État] accepte les allégations de votre formulaire de réclamation [c'est-à-dire. autour des préjugés inconscients et de l'utilisation de la nationalité comme critère dans le processus de diffusion ].
La lettre du ministère de l'Intérieur affirme également que le ministère s'était déjà éloigné de l'utilisation de l'outil de diffusion en continu "dans de nombreux types d'applications". Mais il ajoute qu'il abordera la refonte "avec un esprit ouvert en tenant compte des préoccupations que vous avez soulevées".
La refonte devrait être achevée d'ici l'automne, et le ministère de l'Intérieur indique qu'un processus provisoire sera mis en place entre-temps, excluant l'utilisation de la nationalité comme critère de tri.
GRANDE nouvelle. A partir de ce vendredi, l'algorithme de visa raciste du Home Office n'est plus ! 💃🎉 Grâce à notre action en justice (avec @JCWI_UK) contre ce système obscur et informatisé de filtrage des demandes de visa, le ministère de l'Intérieur a accepté de « cesser d'utiliser l'outil de diffusion en continu ».
— Foxglove (@Foxglovelegal) 4 août 2020
Le JCWI a remporté une victoire contre ce qu'il décrit comme un système de filtrage des personnes "obscur, piloté par ordinateur" - écrivant sur son [site Web] (https://www.jcwi.org.uk/news/we-won-home -office-to-stop-using-racist-visa-algorithm): "La victoire d'aujourd'hui représente la première contestation judiciaire réussie du Royaume-Uni contre un système de décision algorithmique. Nous avions demandé à la Cour de déclarer l'algorithme de streaming illégal et d'ordonner l'arrêt de son utilisation pour évaluer les demandes de visa, dans l'attente d'un examen. La décision du ministère de l'Intérieur concède effectivement la demande.
Le ministère n'a pas répondu à un certain nombre de questions que nous lui avons posées concernant l'algorithme et ses processus de conception, notamment s'il a demandé ou non un avis juridique avant de mettre en œuvre la technologie afin de déterminer si elle était conforme à la loi britannique sur l'égalité.
"Nous n'acceptons pas les allégations formulées par le Conseil mixte pour le bien-être des immigrés dans leur demande de contrôle judiciaire et, bien que le litige soit toujours en cours, il ne serait pas approprié que le Département fasse d'autres commentaires", a ajouté le communiqué du ministère de l'Intérieur.
La plainte du JCWI portait sur l'utilisation, depuis 2015, d'un algorithme avec un "système de feux de circulation" pour noter chaque demande de visa d'entrée au Royaume-Uni.
«L'outil, que le ministère de l'Intérieur a décrit comme un« outil de streaming »numérique, attribue une cote de risque rouge, orange ou verte aux candidats. Une fois attribuée par l'algorithme, cette note joue un rôle majeur dans la détermination du résultat de la demande de visa », écrit-il (https://www.jcwi.org.uk/news/we-won-home-office-to -stop-using-racist-visa-algorithm), qualifiant la technologie de « raciste » et discriminatoire par conception, compte tenu de son traitement de certaines nationalités.
"L'algorithme de visa discriminait sur la base de la nationalité - par conception. Les demandes faites par des personnes détenant des nationalités « suspectes » ont reçu un score de risque plus élevé. Leurs demandes ont fait l'objet d'un examen minutieux de la part des responsables du ministère de l'Intérieur, ont été abordées avec plus de scepticisme, ont pris plus de temps à déterminer et étaient beaucoup plus susceptibles d'être refusées.
"Nous avons fait valoir qu'il s'agissait de discrimination raciale et que nous avions enfreint la loi de 2010 sur l'égalité", ajoute-t-il. "L'outil de streaming était opaque. En plus d'admettre l'existence d'une liste secrète de nationalités suspectes, le ministère de l'Intérieur a refusé de fournir des informations significatives sur l'algorithme. On ne sait toujours pas quels autres facteurs ont été utilisés pour classer les candidatures.
Depuis 2012, le ministère de l'Intérieur applique ouvertement une politique d'immigration connue sous le nom d '«environnement hostile» - appliquant des processus administratifs et législatifs destinés à rendre aussi difficile que possible le séjour des personnes au Royaume-Uni.
Cette politique a conduit à un certain nombre de scandales des droits de l'homme. (Nous avons également couvert l'impact sur le secteur technologique local en racontant l'histoire du [cauchemar de visa d'une startup britannique l'année dernière](https://techcrunch.com/2019/05/17/how-an-immigration-crackdown-is- blesser-uk-startups/).) Donc, appliquer l'automatisation au sommet d'une politique déjà très problématique ressemble à une formule pour être traduit en justice.
La préoccupation du JCWI concernant l'outil de diffusion en continu était exactement qu'il était utilisé pour automatiser le racisme et la discrimination qui, selon de nombreux arguments, sous-tendent la politique «d'environnement hostile» du ministère de l'Intérieur. En d'autres termes, si la politique elle-même est raciste, tout algorithme va le détecter et le refléter.
"L'examen indépendant du ministère de l'Intérieur sur le scandale Windrush a révélé qu'il était inconscient des hypothèses racistes et des systèmes qu'il applique", a déclaré Chai Patel, directeur de la politique juridique du JCWI, dans un communiqué. «Cet outil de streaming a pris des décennies de pratiques institutionnellement racistes, telles que le ciblage de nationalités particulières pour les raids d'immigration, et les a transformés en logiciels. Le système d'immigration doit être reconstruit à partir de zéro pour surveiller ces préjugés et les éliminer.
«Nous sommes ravis que le ministère de l'Intérieur ait vu le sens et abandonné l'outil de streaming. Les boucles de rétroaction racistes signifiaient que ce qui aurait dû être un processus de migration équitable n'était, en pratique, qu'un "embarquement rapide pour les Blancs". Ce dont nous avons besoin, c'est de la démocratie, pas d'un gouvernement par algorithme", a ajouté Cori Crider, fondatrice et directrice de Foxglove. "Avant que d'autres systèmes ne soient déployés, demandons aux experts et au public si l'automatisation est appropriée et comment les biais historiques peuvent être repérés et creusés à la racine."
Dans sa [lettre à Foxglove](https://www.foxglove.org.uk/news/home-office-says-it-will-abandon-its-racist-visa-algorithm-nbsp-after-we-sued- eux), le gouvernement s'est engagé à entreprendre des évaluations d'impact sur l'égalité et des évaluations d'impact sur la protection des données pour le processus provisoire auquel il passera à partir du 7 août – lorsqu'il écrit qu'il utilisera «des attributs centrés sur la personne (tels que des preuves de voyages antérieurs»). pour aider à passer au crible certaines demandes de visa, s'engageant en outre à ce que "la nationalité ne soit pas utilisée".
Certains types d'applications seront complètement retirés du processus de filtrage pendant cette période.
"L'intention est que la refonte soit achevée le plus rapidement possible et au plus tard le 30 octobre 2020", ajoute-t-il.
Interrogé sur ce à quoi pourrait ressembler un algorithme de diffusion de visas légalement acceptable, l'expert en droit de l'Internet Lilian Edwards a déclaré à TechCrunch : "C'est difficile... Je ne suis pas assez avocat spécialisé en immigration pour savoir si les critères originaux appliqués aux nationalités suspectes auraient été illégaux selon la norme de contrôle judiciaire de toute façon, même s'ils n'étaient pas implémentés dans un algorithme de tri. Si oui, il est clair qu'un algorithme de nouvelle génération ne devrait aspirer qu'à discriminer pour des motifs légalement acceptables.
"Le problème, comme nous le savons tous, est que l'apprentissage automatique peut reconstruire des critères illégaux - bien qu'il existe maintenant des techniques bien connues pour échapper à cela."
Les principes éthiques doivent s'appliquer à la politique d'immigration, pas seulement à l'algorithme des visas. Le problème, c'est le système d'immigration raciste habillé d'une fausse objectivité informatisée
— Javier Ruiz (@javierruiz) 4 août 2020
«On pourrait dire que le système algorithmique nous a rendu service en confrontant des critères illégaux utilisés qui auraient pu rester enterrés au niveau informel des agents d'immigration individuels. Et en effet, l'un des arguments en faveur de tels systèmes était la «cohérence et la nature non arbitraire». C'est difficile", a-t-elle ajouté.
Plus tôt cette année le gouvernement néerlandais a reçu l'ordre d'arrêter utilisation d'un système algorithmique de notation des risques pour prédire la probabilité que les demandeurs de sécurité sociale commettent des prestations ou une fraude fiscale - après qu'un tribunal local a conclu qu'il avait enfreint le droit des droits de l'homme.
Dans un autre cas intéressant, un groupe de chauffeurs britanniques Uber conteste le la légalité de leur gestion algorithmique par la plate-forme de concerts dans le cadre du cadre européen de protection des données – qui prévoit des droits d'accès aux données, y compris des dispositions attachées aux décisions automatisées juridiquement significatives.