Incidents associés
Kate Osamor, députée travailliste d'Edmonton, a récemment reçu un courriel d'un organisme de bienfaisance au sujet d'un de ses électeurs dont les prestations avaient été suspendues, apparemment sans raison.
« Depuis plus d'un an maintenant, elle essaie de contacter le DWP [le ministère du Travail et des Retraites] et d'en savoir plus sur la raison de la suspension de son UC [Crédit universel], mais ni elle ni notre travail l’équipe est allée quelque part », indique l’e-mail. « On ne sait toujours pas pourquoi DWP a suspendu sa demande, sans parler du bien-fondé de cette décision… elle est incapable de payer son loyer depuis 18 mois et fait donc face à une procédure d'expulsion. »
Osamor a été confronté à des dizaines de cas de ce type ces derniers temps. années, impliquant souvent des ressortissants bulgares. Elle pense qu’ils ont été victimes d’un système semi-automatisé qui utilise un algorithme pour signaler une fraude potentielle aux prestations avant de renvoyer ces cas à des humains afin de prendre la décision finale de suspendre ou non les demandes des personnes.
"J'ai été contacté par des dizaines d'électeurs vers le début de l'année 2022, tous de nationalité bulgare, dont les prestations ont été suspendues", a déclaré Osamor. « Leurs cas ont été identifiés par le service intégré de gestion des risques et du renseignement du DWP comme présentant un risque élevé après avoir effectué des analyses automatisées de données.
« Ils sont restés dans le dénuement pendant des mois, sans aucun moyen de recours. Pourtant, dans presque tous les cas, aucune preuve de fraude n’a été trouvée et leurs prestations ont finalement été rétablies. Il n’y avait aucune responsabilité pour ce processus.
Le DWP utilise l’IA pour détecter la fraude aux prestations depuis 2021. L’algorithme détecte les cas qui méritent une enquête plus approfondie par un humain et les transmet pour examen.
En réponse à une demande d'accès à l'information du Guardian, le DWP a déclaré qu'il ne pouvait pas révéler de détails sur le fonctionnement de l'algorithme au cas où il aiderait les gens à jouer avec le système.
Le ministère a déclaré que l’algorithme ne prend pas en compte la nationalité. Mais comme ces algorithmes s’auto-apprennent, personne ne peut savoir exactement comment ils équilibrent les données qu’ils reçoivent.
Le DWP a déclaré dans [ses derniers comptes annuels](https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1167946/annual-report-accounts-2022-23-web -ready.pdf) qu'il surveillait le système à la recherche de signes de biais, mais était limité dans sa capacité à le faire lorsqu'il ne disposait pas de données utilisateur suffisantes. L’organisme de surveillance des dépenses publiques l’a exhorté à publier des résumés de toute évaluation interne en matière d’égalité.
Shameem Ahmad, directeur général du Public Law Project, a déclaré : « En réponse aux nombreuses demandes du Freedom of Information Act, et malgré les risques évidents, le DWP continue de refuser de fournir même des informations de base sur le fonctionnement de ces outils d'IA, tels que sur qui ils sont testés ou si les systèmes fonctionnent correctement.
Le DWP n’est pas le seul ministère à utiliser l’IA d’une manière qui peut avoir un impact majeur sur la vie quotidienne des gens. Une enquête du Guardian a révélé que de tels outils étaient utilisés dans au moins huit départements de Whitehall et dans une poignée de forces de police à travers le Royaume-Uni.
Le ministère de l’Intérieur dispose d’un outil similaire pour détecter d’éventuels mariages simulés. Un algorithme signale les demandes de licence de mariage pour examen à un assistant social qui peut ensuite approuver, retarder ou rejeter la demande.
Cet outil a permis au ministère de traiter les demandes beaucoup plus rapidement. Mais sa propre évaluation d’impact sur l’égalité a révélé qu’elle mettait en évidence un nombre disproportionné de mariages dans quatre pays : la Grèce, l’Albanie, la Bulgarie et la Roumanie.
L’évaluation, qui a été consultée par le Guardian, conclut : « Lorsqu’il peut y avoir une discrimination indirecte, elle est justifiée par les objectifs et les résultats généraux du processus. »
Plusieurs forces de police utilisent également des outils d’IA, notamment pour analyser les schémas de criminalité et pour la reconnaissance faciale. La police métropolitaine a introduit des caméras de reconnaissance faciale en direct dans tout Londres afin d'aider les agents à détecter les personnes figurant sur sa « liste de surveillance ».
Mais tout comme d’autres outils d’IA, il existe des preuves que les systèmes de reconnaissance faciale du Met peuvent conduire à des biais. Un examen réalisé cette année par le Laboratoire National de Physique a révélé que dans la plupart des conditions, les caméras avaient une très grande les taux d’erreur étaient faibles et les erreurs étaient réparties uniformément sur différents groupes démographiques.
Cependant, lorsque les paramètres de sensibilité ont été réduits, dans le but d'attraper plus de personnes, ils ont détecté à tort au moins cinq fois plus de Noirs que de Blancs.
Le Met n'a pas répondu à une demande de commentaire.
La police des West Midlands, quant à elle, utilise l’IA pour prédire les points chauds potentiels des crimes au couteau et des vols de voitures, et développe un outil distinct pour prédire quels criminels pourraient devenir des « délinquants très dangereux ».
Ces exemples sont ceux sur lesquels le Guardian a pu trouver le plus d’informations.
Dans de nombreux cas, les services et les forces de police ont eu recours à toute une série d’exemptions aux règles en matière de liberté d’information pour éviter de publier les détails de leurs outils d’IA.
Certains craignent que le Royaume-Uni ne se dirige vers un scandale similaire à celui des Pays-Bas, où les autorités fiscales [ont été trouvées](https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for -europe-over-risks-of-using-algorithms/) pour avoir enfreint les règles européennes en matière de données, ou en Australie, où 400 000 personnes [ont été accusées à tort](https://www.reuters.com/article/australia-tech- ai-idUKL8N3340SN) de donner aux autorités des informations incorrectes sur leurs revenus.
John Edwards, le commissaire à l'information du Royaume-Uni, a déclaré qu'il avait examiné de nombreux outils d'IA utilisés dans le secteur public, y compris les systèmes de détection de fraude du DWP, et qu'il n'en avait trouvé aucun qui enfreignait les règles de protection des données : « Nous avons examiné les Les applications DWP et ont examiné l’IA utilisée par les autorités locales en termes d’avantages. Nous avons constaté qu’ils ont été déployés de manière responsable et qu’il y a eu suffisamment d’interventions humaines pour éviter tout risque de préjudice.
Il a toutefois ajouté que les caméras de reconnaissance faciale étaient une source d’inquiétude. « Nous suivons avec intérêt les développements de la reconnaissance faciale en direct », a-t-il déclaré. "C'est potentiellement intrusif et nous surveillons cela."
Certains ministères tentent d’être plus ouverts sur la manière dont l’IA est utilisée dans la sphère publique. Le Cabinet Office est en train de constituer une base de données centrale de ces outils, mais il appartient à chaque département d'inclure ou non ses systèmes.
Dans le même temps, les militants craignent que ceux qui bénéficient de la prise de décision éclairée par l’IA subissent un préjudice sans même s’en rendre compte.
Ahmad a mis en garde : « Des exemples venus d’autres pays illustrent les conséquences catastrophiques pour les individus, les gouvernements et la société dans son ensemble touchés. Compte tenu du manque de transparence et de réglementation, le gouvernement met en place les conditions précises pour que cela se produise ici aussi.»