Incidents associés
Les avocats du Home Office nous ont écrit hier pour répondre à la contestation judiciaire sur laquelle nous travaillons avec le Joint Council for the Welfare of Immigrants (JCWI).
Nous demandions à la Cour de déclarer l'algorithme de streaming illégal et d'ordonner l'arrêt de son utilisation pour évaluer les demandes de visa.
Avant que l'affaire ne puisse être entendue, le ministère de l'Intérieur a cédé. Ils ont convenu qu'à partir de ce vendredi 7 août, ils se débarrasseraient de "l'algorithme de streaming".
Le ministre de l'Intérieur, Priti Patel, s'est engagé à procéder à un examen complet du système, y compris pour les problèmes de «préjugés inconscients» et de discrimination.
Cela marque la fin d'un système informatique qui avait été utilisé pendant des années pour traiter chaque demande de visa pour le Royaume-Uni. C'est une excellente nouvelle, car l'algorithme a ancré le racisme et les préjugés dans le système des visas.
Le ministère de l'Intérieur a tenu une liste secrète des nationalités suspectes automatiquement attribuées à un score de risque de feu rouge - les personnes de ces nationalités risquaient de se voir refuser un visa. La situation s'était tellement détériorée que des organisations universitaires et à but non lucratif nous ont dit ** qu'elles n'essayaient même plus de faire venir des collègues de certains pays au Royaume-Uni pour travailler avec elles. **
Nous avons également découvert que l'algorithme souffrait de problèmes de «boucle de rétroaction» connus pour affliger de nombreux systèmes automatisés de ce type - où les biais et la discrimination passés, introduits dans un programme informatique, renforcent les biais et la discrimination futurs. Les chercheurs ont documenté ce problème avec les systèmes de police prédictive aux États-Unis et nous avons réalisé que le même problème s'était glissé ici.
C'est également une excellente nouvelle car il s'agissait du premier examen judiciaire réussi d'un système de prise de décision algorithmique du gouvernement britannique.
De plus en plus de ministères parlent du potentiel d'utilisation de l'apprentissage automatique et de l'intelligence artificielle pour faciliter les décisions. ** Ne vous méprenez pas : c'est là que se dirige le gouvernement, de votre conseil local jusqu'au numéro 10. **
Mais pour le moment, il y a un manque alarmant de transparence sur l'endroit où ces outils sont utilisés et un manque encore plus alarmant de garanties pour empêcher les logiciels biaisés et injustes de ruiner la vie des gens.
Il y a eu des discussions sur la correction des algorithmes biaisés, mais le débat est loin d'être suffisant pour donner au public son mot à dire s'il veut ou non un gouvernement par algorithme en premier lieu. Chez Foxglove, nous croyons en la démocratie, et non en une technocratie opaque et irresponsable.
Foxglove existe pour contester de tels abus de la technologie. Il y a fort à parier que ce ne sera pas la dernière fois que nous devrons contester un algorithme gouvernemental devant les tribunaux.