Incidents associés
Dans un récent rapport du National Audit Office (NAO) (https://www.nao.org.uk/wp-content/uploads/2023/07/dwp-report-on-accounts-2022-23.pdf) concernant Dans les comptes financiers du ministère du Travail et des Retraites (DWP), il est apparu que le DWP étendait son utilisation de l'apprentissage automatique pour identifier les fraudes potentielles aux prestations.
Depuis 2021, le DWP utilise un modèle d’apprentissage automatique pour signaler les demandes potentiellement frauduleuses d’avances de crédits universitaires (UC). Le modèle a été créé en entraînant un algorithme utilisant des références frauduleuses et des données historiques sur les demandeurs, et il permet de prédire quelles nouvelles demandes de prestations pourraient être frauduleuses ou contenir des erreurs.
Lorsqu’une réclamation dépasse un certain seuil, elle est renvoyée à un assistant social pour examen. Le travailleur social effectue ensuite un examen manuel de la réclamation.
En réponse en 2021, Big Brother Watch, l'organisation de campagne pour les libertés civiles et la vie privée, a déclaré(https://bigbrotherwatch.org.uk/campaigns/welfare-data-watch/#GUIDE) que « Laisser un ordinateur décider de quels avantages la demande doit être examinée constitue une atteinte à la vie privée et ouvre la porte à l’injustice et à la discrimination dans le système de protection sociale.
Le rapport du NAO publié jeudi dernier a souligné que le DWP devrait investir environ 70 millions de livres sterling entre les exercices 2022-23 et 2024-25 dans des « analyses avancées » afin d’approfondir ses capacités technologiques anti-fraude.
En outre, il a souligné que depuis l’année dernière, des modèles d’apprentissage automatique similaires ont été conçus et testés pour prévenir la fraude dans quatre domaines de risque « clés » du crédit universel : les personnes vivant ensemble, le travail indépendant, le capital et le logement.
Bien que le DWP s’attende à ce que les « analyses avancées » l’aident à générer des économies de 1,6 milliard de livres sterling d’ici 2031, le rapport indique qu’il existe un « risque inhérent » que les algorithmes qui signalent les demandes de prestations pour examen soient biaisés « en raison d’un biais imprévu dans le données d’entrée ou la conception du modèle lui-même.
Bien que le rapport indique que le DWP a « une gouvernance et un contrôle stricts » de son apprentissage automatique et a mis en place des garanties, la capacité du DWP à tester les impacts injustes sur les caractéristiques protégées est « actuellement limitée ». Cela est dû au fait que les demandeurs ne répondent pas toujours aux questions facultatives axées sur les données démographiques lorsqu’ils présentent une demande de prestations.
Alison Garnham, directrice générale du Child Poverty Action Group, a déclaré que « développer la technologie tout en ignorant les appels à la transparence, à une surveillance rigoureuse et à des protections contre les préjugés risquerait de nuire gravement aux familles vulnérables », dans un commentaire fait à la BBC.
Malgré le « défi d’équilibrer la transparence sur la façon dont il utilise l’apprentissage automatique pour donner confiance au public dans le système de prestations sociales et protéger ses capacités en n’informant pas les fraudeurs sur la façon dont il lutte contre la fraude », le rapport suggère que le DWP « devrait être capable de fournir l’assurance qu’il ne traite injustement aucun groupe de clients.