Incidents associés
Le ministère du Travail et des Retraites (DWP) a révélé son intention d'élargir son utilisation de la technologie pour lutter contre la fraude.
Les militants affirment que davantage d’informations sont nécessaires pour garantir que le système ne fasse pas de renvois biaisés vers des enquêtes sur les prestations.
Le ministère insiste sur le fait qu’il a mis en place des mesures de protection et prévoit de partager davantage d’informations avec les députés.
Le DWP a placé la nouvelle technologie au cœur de son plan de lutte contre la fraude, qui a augmenté pendant Covid lorsque certains contrôles en personne ont été suspendus.
On estime que 8,3 milliards de livres sterling ont été payés en trop en prestations cette année, en baisse par rapport à l’année précédente, mais le double des 4,1 milliards de livres sterling de l’année précédente avant la pandémie.
Depuis l’année dernière, il utilise un algorithme pour signaler les demandes potentiellement frauduleuses d’avances de crédit universel (UC). Il s’agit de paiements provisoires pour ceux qui en ont un besoin urgent, qui sont ensuite remboursés mensuellement.
Il utilise l'apprentissage automatique, une forme largement utilisée d'intelligence artificielle (IA), pour analyser les données historiques sur les prestations afin de prédire la probabilité qu'une nouvelle demande soit frauduleuse ou incorrecte.
Les réclamations jugées à risque sont ensuite transmises aux fonctionnaires pour enquête, les paiements étant suspendus jusqu'à ce que la saisine soit traitée.
Dans ses comptes annuels la semaine dernière, le DWP a révélé son intention de tester des modèles « similaires » pour examiner les cas dans quatre domaines présentant des taux de trop-payés élevés, notamment les revenus non déclarés provenant d'un travail indépendant et les coûts de logement incorrects.
Aucune date pour le déploiement complet des modèles n’a été donnée par le ministère.
Le ministère affirme qu'il surveille continuellement les algorithmes pour se prémunir contre le « risque inhérent » de biais involontaire, et affirme que les travailleurs sociaux ne sont pas informés lorsque les cas ont été signalés par le modèle.
Mais le groupe de campagne Privacy International a déclaré qu'il avait des « inquiétudes persistantes » concernant un « manque persistant de transparence » sur la manière dont il était utilisé.
Le groupe a déclaré à la BBC que le DWP n'avait pas fourni « d'informations substantielles » sur les outils qu'il utilise.
Il a ajouté qu'un organisme extérieur devrait se voir confier un rôle de surveillance, étant donné les « risques sérieux et bien documentés pour les droits fondamentaux » liés aux décisions éclairées par des algorithmes.
Le Child Poverty Action Group s'est dit alarmé par les projets visant à accroître l'utilisation de l'apprentissage automatique, ajoutant que les "défauts clés" de l'approche numérique du DWP n'avaient pas encore été corrigés.
"Développer la technologie tout en ignorant les appels à la transparence, à une surveillance rigoureuse et à des protections contre les préjugés risquerait de nuire gravement aux familles vulnérables", a ajouté la directrice générale Alison Garnham.
Gareth Davies, le patron du National Audit Office, l'organisme de surveillance des dépenses du Royaume-Uni, a également exhorté le ministère à publier des détails sur tout biais potentiel dans ses outils d'apprentissage automatique afin « d'améliorer la confiance du public » dans les systèmes.
Dans sa déclaration sur les comptes, il a déclaré que le DWP avait reconnu que sa capacité à tester l'injustice liée aux caractéristiques protégées - telles que l'âge, la race et le handicap - était "actuellement limitée".
Cela était dû en partie au fait que les demandeurs ne répondaient pas toujours aux questions facultatives sur leurs antécédents, mais aussi au fait que certaines informations avaient été supprimées des systèmes pour des raisons de sécurité, a-t-il écrit.
Le ministère affirme qu'il prend bientôt des mesures pour intégrer les données dans ses systèmes et s'est engagé à rendre compte chaque année aux députés de la manière dont les outils basés sur l'IA affectent différents groupes de demandeurs.
Il affirme également qu'il est confronté à un « défi » : trouver un équilibre entre les appels à plus de transparence et le désir de ne pas « avertir » les fraudeurs potentiels en révélant trop d'informations sur la manière dont il identifie les fraudes potentielles.
Le ministère devrait répondre aux recommandations du NAO plus tard dans l'année.
Les travaillistes ont également soutenu l'utilisation de l'IA pour lutter contre la fraude, le secrétaire au travail parallèle et aux retraites, Jonathan Ashworth, affirmant que cela pourrait aider à lutter contre les criminels qui « emmènent le contribuable faire un tour ».
Dans un discours prononcé mardi devant la Fondation du marché social, il a ajouté que l'utilisation de la technologie par le département n'avait pas encore été « correctement dimensionnée ».
Le parti affirme qu’il s’engage à prendre des mesures de protection pour éviter les biais dans l’utilisation des algorithmes, même s’il n’a pas encore présenté de propositions détaillées.