Incidents associés
Plus de 200 000 personnes ont fait l’objet d’une enquête à tort pour fraude et erreur en matière d’aide au logement après que les performances d’un algorithme gouvernemental se soient révélées bien en deçà des attentes, peut révéler le Guardian.
Les deux tiers des réclamations signalées comme potentiellement à haut risque par un système automatisé du ministère du Travail et des Retraites (DWP) au cours des trois dernières années étaient en fait légitimes, selon les chiffres officiels publiés dans le cadre des lois sur la liberté d'information.
Cela signifie que des milliers de ménages britanniques font chaque mois l’objet d’une enquête inutile sur leurs demandes d’aide au logement, sur la base du jugement erroné d’un algorithme qui a identifié à tort leurs demandes comme étant à haut risque.
Cela signifie également qu’environ 4,4 millions de livres sterling ont été dépensés pour que les fonctionnaires effectuent des contrôles qui n’ont pas permis d’économiser de l’argent.
Les chiffres ont été obtenus pour la première fois par Big Brother Watch, un groupe de défense des libertés civiles et de la vie privée, qui a déclaré : « La dépendance excessive du DWP à l’égard des nouvelles technologies met au second plan les droits de personnes qui sont souvent déjà défavorisées, marginalisées et vulnérables. »
Le DWP a déclaré qu'il n'était pas en mesure de commenter la situation pendant la période préélectorale. Les travaillistes, qui pourraient prendre en charge le système dans moins de deux semaines, ont été contactés pour commentaires.
Une enquête du commissaire à l'information sur les algorithmes et systèmes similaires utilisés par un échantillon de 11 autorités locales l'année dernière [rapporté](https://ico.org.uk/about-the-ico/media-centre/news-and-blogs/2023 /01/blog-addressing-concerns-on-the-use-of-ai-by-local-authorities/) : « Nous n’avons trouvé aucune preuve suggérant que les demandeurs subissent des préjudices ou des préjudices financiers du fait de l’utilisation d’algorithmes ou de technologies similaires dans le secteur de la protection sociale et des services sociaux.
Mais Turn2us, une organisation caritative qui soutient les personnes qui dépendent des allocations, a déclaré que les chiffres montraient qu'il était temps pour le gouvernement de « travailler en étroite collaboration avec les utilisateurs réels afin que l'automatisation fonctionne pour les gens plutôt que contre eux ».
Pour déterminer le risque qu’une réclamation soit erronée ou frauduleuse, la technologie prend en compte les caractéristiques personnelles des demandeurs, notamment leur âge, leur sexe, le nombre d’enfants et le type de contrat de location dont ils disposent.
Une fois que le système automatisé signale une demande d'allocation de logement comme potentiellement frauduleuse ou erronée, le personnel du conseil est chargé d'examiner et de valider si les détails de la demande sont corrects, ce qui implique de rechercher des preuves auprès des demandeurs par téléphone ou par voie numérique. Ils doivent identifier les changements de circonstances et éventuellement recalculer les allocations de logement accordées aux demandeurs.
Le DWP a décidé de déployer l'outil automatisé, qui n'utilise ni l'intelligence artificielle ni l'apprentissage automatique, après qu'un projet pilote a montré que 64 % des cas signalés comme à haut risque par le modèle DWP bénéficiaient effectivement d'un mauvais droit aux prestations.
Mais les résultats des examens ultérieurs des dossiers auxquels les demandeurs ont ensuite été confrontés ont révélé beaucoup moins de fraudes et d’erreurs. Seuls 37 % des cas suspects étaient erronés en 2020-21, 34 % en 2021-22 et 37 % en 2022-23. C’est presque deux fois moins efficace que la prédiction.
Néanmoins, le système a permis d'économiser de l'argent aux contribuables, chaque livre dépensée pour entreprendre des examens complets des dossiers suspects rapportant 2,71 £ d'économies, selon les chiffres pour 2021/22 publiés par le DWP.
L'année dernière, le DWP [élargi](https://www.theguardian.com/society/2023/jul/11/use-of-artificial-intelligence-widened-to-assess-universal-credit-applications-and-tackle# :~:text=In%20a%20%C2%A370m%20investment,scrutinized%20by%20the%20Guardian%20reveal.) son déploiement de l'intelligence artificielle pour découvrir la fraude et les erreurs dans le système de crédit universel – qui [a coûté 6,5 milliards de livres sterling ](https://www.gov.uk/government/statistics/fraud-and-error-in-the-benefit-system-financial-year-2023-to-2024-estimates/fraud-and-error-in- le-système-de-prestations-fin-de-l'exercice-financier-2024#:~:text=Fraud%20and%20error%20measures%20%E2%80%93%20rates%20and%20monetary%20values&text=For%20example%3A %20Le%20total%20taux,5%2C500m%20in%20FYE%202023.) au cours du dernier exercice – malgré les avertissements de biais algorithmiques contre des groupes de demandeurs vulnérables. Il a été critiqué pour son manque de transparence sur la manière dont il utilise les outils d’apprentissage automatique. En janvier, il [est apparu](https://www.bbc.co.uk/news/uk-politics-68030762#:~:text=It%20employs%20an%20algorithm%20powered,referred%20for%20investigation%20by% 20fonctionnaires.) le DWP avait cessé de suspendre systématiquement les demandes de prestations signalées par son détecteur de fraude alimenté par l'IA. Cette décision fait suite aux commentaires des demandeurs et des représentants élus.
Susannah Copson, responsable juridique et politique chez Big Brother Watch, a déclaré : « Il s'agit encore d'un autre exemple de DWP se concentrant sur la perspective d'une détection des fraudes basée sur des algorithmes qui est sérieusement sous-performante dans la pratique. En réalité, la dépendance excessive du DWP à l’égard des nouvelles technologies met au second plan les droits de personnes qui sont souvent déjà défavorisées, marginalisées et vulnérables.
Elle a mis en garde contre « un danger réel que le DWP répète ce modèle d’affirmations audacieuses et de mauvaises performances avec les futurs outils de saisie de données ».
« Ce n’est que récemment que le gouvernement a tenté – et échoué – d’imposer des mesures intrusives pour forcer les banques à effectuer une surveillance algorithmique de masse de tous les comptes clients dans le but de lutter contre la fraude et les erreurs en matière de sécurité sociale. Bien que ces pouvoirs n’aient pas réussi à passer à travers le nettoyage législatif, les inquiétudes concernant la poursuite incessante du DWP en matière de technologie portant atteinte à la vie privée demeurent.
Cet article a été modifié le 24 juin 2024 pour supprimer la référence à un système numérique fourni par D4S DigiStaff. Le système n'est pas utilisé pour identifier les cas potentiels de fraude et d'erreur à examiner comme nous l'avons suggéré ; il est plutôt utilisé pour traiter de tels cas après identification.