Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1609

Incidents associés

Incident 1896 Rapports
Opaque Fraud Detection Algorithm by the UK’s Department of Work and Pensions Allegedly Discriminated against People with Disabilities

Loading...
Le DWP est invité à révéler un algorithme qui « cible » les personnes handicapées pour fraude aux prestations
amp-theguardian-com.cdn.ampproject.org · 2021

Un groupe de Manchester lance une action après que des personnes handicapées ont signalé un nombre élevé de contrôles stressants pour des escroqueries potentielles

Les personnes handicapées sont soumises à des contrôles stressants et à des mois de bureaucratie frustrante après avoir été identifiées comme des fraudeurs potentiels des prestations par un algorithme que le gouvernement refuse de divulguer, selon une nouvelle contestation judiciaire.

Un groupe de Manchester a lancé l'action après avoir recueilli des témoignages de personnes handicapées de la région selon lesquelles elles étaient ciblées de manière disproportionnée pour des enquêtes sur les fraudes aux prestations. Certains ont dit qu'ils vivaient dans la "peur de l'enveloppe brune" montrant que leur cas faisait l'objet d'une enquête. D'autres ont déclaré avoir reçu un appel téléphonique, sans expliquer pourquoi ils avaient été signalés.

Le ministère du Travail et des Pensions (DWP) a précédemment admis qu'il utilise une "intelligence artificielle de pointe" pour suivre d'éventuelles fraudes, mais a jusqu'à présent repoussé les tentatives d'expliquer comment l'algorithme derrière le système a été compilé. Les militants disent qu'une fois signalés, les personnes examinées peuvent faire face à une enquête invasive et humiliante pouvant durer jusqu'à un an.

Une lettre légale a été envoyée au DWP demandant des détails sur le processus automatisé qui déclenche les enquêtes. La Greater Manchester Coalition of Disabled People (GMCDP), qui a envoyé la lettre avec l'aide du groupe de campagne Foxglove, a déclaré qu'un « énorme pourcentage » du groupe a été affecté par le système. Le groupe estime que le gouvernement a l'obligation légale d'être transparent sur le fonctionnement de l'algorithme.

Des inquiétudes ont été exprimées par l'organisation caritative Privacy International, qui a d'abord trouvé des références dans un rapport du DWP à son utilisation de "l'intelligence artificielle de pointe pour réprimer les gangs criminels organisés qui commettent des fraudes à grande échelle". Un rapport de l'ONU de 2019 sur «l'État-providence numérique» a déclaré que les algorithmes étaient «très susceptibles» de répéter les biais reflétés dans les données existantes et de les aggraver encore. Il a ajouté : « Les formes de discrimination intrinsèques peuvent porter un coup fatal au droit à la protection sociale de groupes et d'individus clés.

Le gouvernement a jusqu'à vendredi pour répondre à la lettre légale.

"Nous sommes fatigués de la peur de l'enveloppe brune et fatigués d'être forcés à plusieurs reprises par les responsables du DWP juste pour justifier qui nous sommes", a déclaré Rick Burgess du GMCDP. « Il est temps pour le DWP de clarifier le fonctionnement de cet algorithme et d'expliquer pourquoi tant de personnes handicapées sont signalées pour enquête. Les personnes handicapées ont besoin de soutien – ne pas être écrasées par un système brutal qui suppose que nous sommes frauduleux jusqu'à preuve du contraire.

Foxglove a déclaré: «L'algorithme DWP semble envoyer des personnes pauvres et handicapées au centre d'appels depuis l'enfer. Le DWP doit expliquer exactement comment fonctionne son algorithme et ce qui est fait pour éliminer les préjugés – ou être traduit en justice.

Les responsables ont souligné que du personnel spécialisé était impliqué dans tous les cas de suspicion de fraude et d'erreur et qu'un soutien était offert à ceux qui en avaient besoin. Un porte-parole du DWP a déclaré: "Le DWP répondra à la lettre écrite par les représentants du GMCDP en temps voulu."

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd