Incidents associés
De hauts fonctionnaires ont déclaré à une commission de députés qu'une IA développée par le ministère du Travail et des Pensions (DWP) pour détecter les fraudes et les erreurs est toujours en cours. les étapes d'apprentissage de son développement et fait preuve de préjugés à l'égard de certains demandeurs. Faisant partie d’un projet visant à cibler davantage de cas de surpaiements et de sous-paiements, les systèmes ne seront pas prêts à être déployés avant plusieurs années, ont-ils été informés aux députés.
DWP témoignait devant PAC sur des préoccupations concernant la détection de fraudes et d’erreurs et les préjugés de l’IA à la suite du rapport de NAO. (Photo de TK Kurikawa/Shutterstock).
Les responsables du DWP ont été interrogés par la Commission des comptes publics (PAC) du Parlement suite à la publication plus tôt cette année d’un rapport du National Audit Office (NAO) examinant le développement du système. Tel que rapporté par _Tech M_onitor, le NAO a révélé que le DWP investirait 70 millions de livres sterling au cours des deux prochaines années dans les domaines avancés. des analyses pour faire face aux niveaux croissants de fraude et d’erreurs. Le ministère estime que cet investissement générera pour le contribuable des économies d’environ 1,6 milliard de livres sterling d’ici 2031.
DWP était représenté par Bozena Hillyer, directrice de la lutte contre la fraude et de la dette ; Peter Schofield CB, secrétaire permanent ; et Catherine Vaughan, directrice générale des finances. Richard Hawthorn, directeur de l'excellence opérationnelle du groupe de service client, représentait le HMRC.
La session a examiné pourquoi la fraude et les erreurs – qui couvrent les trop- et sous-paiements, délibérés ou non, de l'aide sociale – avaient augmenté au sein du système de prestations sociales. Les députés ont soulevé des questions et des inquiétudes concernant les sous-paiements des crédits de pension, l’augmentation de la « fraude » au crédit universel et les sous-paiements des paiements d’indépendance personnelle (PIP) en raison de changements de circonstances et de la suspension des évaluations de santé automatisées.
Dans le cadre de la session, le DWP a expliqué les progrès qu'il a réalisés avec son projet d'examen ciblé des cas et son système d'IA, qui sera utilisé pour identifier les cas de fraude en utilisant les détails des cas historiques. Cependant, le comité a soulevé des préoccupations quant à la partialité de l’IA quant à savoir si l’IA choisirait inconsciemment des cas affectant des caractéristiques protégées. DWP a admis qu’il existait des préjugés au sein de l’IA, mais qu’elle en était encore aux premiers stades de l’apprentissage.
Les députés se demandent si le DWP a besoin de l'IA pour la détection des fraudes
Au début de la session, les députés ont interrogé Neil Couling, directeur général du changement et de la résilience au DWP, sur l'efficacité du projet d'IA pour la détection des fraudes. Il est l'officier supérieur responsable du projet
"L'examen ciblé des cas produit aujourd'hui un effet [mais] il ne sera pas suffisamment important pour être réellement pris en compte dans l'échantillonnage, à moins que vous n'ayez vraiment de la chance dans les cas que vous avez échantillonnés", a déclaré Couling. « Nous évaluons quelque 3 000 cas de crédit universel. Cela prendra deux ans avant que cela commence à avoir un effet mesurable.
Le député Jonathan Djanogly a demandé si l'investissement dans le projet était rentable étant donné qu'il générait le même pourcentage de réclamations incorrectes (30 %) que l'échantillonnage aléatoire.
« Évidemment, ma question est : pourquoi ce projet ? Pourquoi devez-vous dépenser tout cet argent si le résultat est le même que si vous le gardiez au hasard ? » il a demandé à Couling.
Le responsable du DWP a déclaré que l’IA pourrait obtenir un « taux de réussite plus élevé ». Couling a également souligné la pression du gouvernement pour que son équipe accélère le développement de l'IA : « Je résiste aux envies de beaucoup de gens autour de moi d'aller plus vite et de remporter le succès ici, parce que ce que je ne veux pas qu'elle fasse est de se transformer en un processus », a-t-il déclaré.
Couling a déclaré qu'il était important que le ministère dispose de temps et de ressources pour garantir que le système fonctionne dès son lancement. "Cela dépend de moi pour maintenir la qualité là-bas, et nous sommes encore en train d'apprendre", a-t-il expliqué. « Nous sommes encore en train de développer le service et je ne l'aurai pas terminé tant que nous ne serons pas prêts à le commercialiser. »
Un biais lié à l'IA existe au sein du projet DWP
Le NAO a noté dans son rapport que le DWP utilise l'apprentissage automatique depuis 2021 pour signaler les demandes potentiellement frauduleuses de paiements anticipés du crédit universel. Il a depuis été testé dans d'autres parties du système de protection sociale, notamment pour les personnes vivant ensemble, les travailleurs indépendants, et pour les demandes de logement.
Mais les députés ont fait craindre que l’utilisation des données historiques des demandeurs et des signalements de fraude par l’IA puisse conduire à des résultats biaisés. Couling a déclaré qu'il partageait ces préoccupations : « Je ne veux pas présider un système qui fait cela », a-t-il déclaré, expliquant ensuite que le DWP faisait deux choses pour atténuer le risque.
« La première est que nous plaçons toujours un être humain au moment de prendre la décision concernant une réclamation, et si nous utilisons l'une de ces informations, nous soumettons aux décideurs des faux positifs, ainsi que des cas que nous pensons signalés. pour attirer l'attention », a-t-il déclaré. « La deuxième chose que nous faisons est de prendre cela avec précaution… avec de petits chiffres au départ afin que vous puissiez observer ce qui se passe. Vous pouvez ensuite exécuter des analyses par rapport à cela pour vérifier les biais.
Lorsqu'on lui a demandé comment le DWP enseignait au système les dangers de la discrimination et de la mauvaise interprétation des informations, Couling a répondu qu'il ne pouvait pas divulguer les modèles utilisés, mais que le département prenait des mesures pour corriger les problèmes liés à l'IA.
L'organisme de surveillance des données, le Bureau du commissaire à l'information, est en liaison avec le DWP sur le développement du système d'IA, et le département prévoit de remettre aux députés un rapport annuel sur l'avancement du projet.