Incidents associés
Le gouvernement a élargi son déploiement de l’intelligence artificielle pour découvrir la fraude sociale, malgré les avertissements concernant les biais algorithmiques à l’encontre des groupes de demandeurs vulnérables.
Dans le cadre d'un investissement de 70 millions de livres sterling appliquant des « analyses avancées » aux demandes de crédit universel (UC), le ministère du Travail et des Retraites (DWP) a étendu l'utilisation de l'apprentissage automatique alors qu'il tente d'économiser plus d'un milliard de livres sterling sur les 8 milliards de livres sterling. perdu à cause de la fraude et des erreurs l'année dernière, [documents d'audit](https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1167946/annual-report-accounts-2022-23 -web-ready.pdf) scruté par le Guardian.
Le projet ne semble pas avoir été officiellement annoncé par le gouvernement, accusé de garder le secret sur l’IA dans le système de protection sociale. S'il est étendu, il a le potentiel d'atteindre une grande partie des 5,9 millions de personnes qui réclament des soins de CU.
Après un essai l'année dernière utilisant un logiciel automatisé pour signaler les fraudeurs potentiels cherchant des avances de fonds UC, une technologie similaire a été développée et testée pour analyser les demandes d'aide sociale déposées par les personnes vivant ensemble, les travailleurs indépendants et ceux souhaitant une aide au logement, ainsi que pour évaluer les affirmations des gens sur leur capital personnel, comme leur épargne.
Les organisations de défense des droits sociaux et les experts de l’ONU ont déjà déclaré que l’extension du système de protection sociale britannique « numérique par défaut » avec l’apprentissage automatique sans une plus grande transparence risquait de créer de graves problèmes pour certains demandeurs de prestations.
Big Brother Watch, un groupe britannique de défense des libertés civiles, a déclaré qu'il était « inquiétant » que le gouvernement « poursuive des modèles d'IA encore plus opaques alors qu'il admet que sa capacité à surveiller les injustices est limitée ».
"Le DWP refuse systématiquement de publier des informations sur son fonctionnement, à l'exception des détails les plus vagues", a déclaré Jake Hurfurt, responsable de la recherche et des enquêtes.
L’extension de l’automatisation de l’aide sociale est résumée dans la déclaration du contrôleur et auditeur général dans le dernier rapport annuel du DWP. Il affirme que le DWP a « une gouvernance et un contrôle stricts sur son utilisation de l’apprentissage automatique », mais il révèle que les responsables ont détecté « des preuves de préjugés envers les demandeurs plus âgés ».
Un algorithme testé l’année dernière a été alimenté avec des données sur la fraude des précédents demandeurs pour lui apprendre à prédire quels nouveaux demandeurs de prestations pourraient tricher. Les décisions finales sont prises par un humain.
Le vérificateur général a mis en garde contre « un risque inhérent que les algorithmes soient biaisés en faveur de la sélection des réclamations à examiner émanant de certaines personnes ou groupes vulnérables présentant des caractéristiques protégées ».
Le DWP a admis que sa « capacité à tester les impacts injustes sur les caractéristiques protégées est actuellement limitée », ont-ils déclaré.
Le gouvernement est sous pression pour accroître la confiance du public dans son utilisation de l’IA, et le vérificateur général l’a exhorté à publier son évaluation des biais dans les modèles d’apprentissage automatique.
Le DWP a jusqu’à présent refusé de divulguer des informations sur le fonctionnement de son algorithme d’apprentissage automatique. Il a bloqué les demandes d'accès à l'information du Guardian sollicitant le nom de toute entreprise impliquée dans l'essai de détection de fraude concernant les avances sur le crédit universel, car « les détails des contrats sont commercialement sensibles ». Il refuse également de publier les résultats du procès de l’année dernière, notamment l’évaluation des préjugés à l’encontre de certains groupes de demandeurs.
Le mois dernier, Tom Pursglove, ministre des Personnes handicapées, de la Santé et du Travail, a déclaré au Parlement que le gouvernement ne publier une évaluation de l’égalité des essais d’algorithmes d’apprentissage automatique, car cela permettrait de détecter les fraudeurs « conduisant à de nouvelles fraudes et à des pertes plus importantes pour le trésor public ».
Le DWP a déclaré à l'auditeur qu'il « s'efforce de développer sa capacité à effectuer une analyse d'équité plus complète sur un plus large éventail de caractéristiques protégées ».
Un porte-parole du DWP a déclaré : « Nous continuons à explorer le potentiel des nouvelles technologies dans la lutte contre la fraude et à déployer des garanties complètes ce faisant. L’IA ne remplace pas le jugement humain lors d’enquêtes sur des fraudes et des erreurs afin de déterminer ou de refuser un paiement à un demandeur.