Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1672

Incidents associés

Incident 1896 Rapports
Opaque Fraud Detection Algorithm by the UK’s Department of Work and Pensions Allegedly Discriminated against People with Disabilities

Les personnes handicapées «forcées de faire appel à une roue de hamster exténuante et envahissante»
theoldhamtimes.co.uk · 2021

Le gouvernement "oblige les personnes handicapées à mener des enquêtes exténuantes et envahissantes sur les fraudes aux prestations", a déclaré un groupe de personnes handicapées.

Un groupe de personnes handicapées de Manchester a adressé au ministère du Travail et des Pensions du gouvernement une lettre juridique contestant la manière dont il sélectionne les candidats pour des enquêtes visant à prévenir la fraude aux prestations, en utilisant un algorithme.

Un porte-parole du DWP a expliqué qu'un membre spécialisé du personnel analyse et examine tous les cas potentiels suspectés de fraude et d'erreur.

Le groupe, la Greater Manchester Coalition of Disabled People (GMCDP), a déclaré que les gens vivent désormais « dans la peur de l'enveloppe brune » qu'ils pourraient recevoir et qui pourrait « jeter leur vie dans la tourmente ».

Les membres ont déclaré avoir également reçu des appels téléphoniques demandant leur statut, sans expliquer pourquoi ils étaient signalés pour enquête.

Une fois signalé, le système "oblige les personnes ciblées à expliquer à plusieurs reprises pourquoi elles ont besoin de paiements dans le cadre d'un processus agressif et humiliant qui peut durer jusqu'à un an", a déclaré le GMCDP.

Le GMCDP a déclaré qu'un "énorme pourcentage" du groupe a été "ciblé" par le système DWP.

Certains membres ont déclaré avoir dû passer des appels longs et frustrants aux centres d'appels, faire face à des menus téléphoniques déroutants et à des opérateurs inutiles sans formation pour aider les personnes handicapées et vulnérables.

D'autres ont dit qu'on leur avait demandé de remplir des formulaires de plus de 80 pages qui posaient encore et encore les mêmes questions, les faisant trébucher.

Le groupe a maintenant envoyé une lettre juridique, soutenue par le groupe à but non lucratif de justice technologique Foxglove, demandant au gouvernement d'expliquer comment fonctionne l'algorithme du DWP et ce qu'il a fait, le cas échéant, pour éliminer les préjugés.

Le DWP a jusqu'au 15 décembre pour répondre à cette lettre.

Charity Privacy International a trouvé un rapport du DWP indiquant qu'il utilisait "une intelligence artificielle de pointe pour sévir contre les gangs criminels organisés qui commettent une fraude aux avantages à grande échelle" et c'est cet algorithme que le GMCDP veut contester.

Le groupe souhaite que le DWP démontre si les personnes ciblées pour enquête sont ou non des personnes handicapées de manière disproportionnée, des femmes, des Noirs, des Asiatiques ou des minorités ethniques et appelle à la transparence afin que les gens aient la possibilité de dire s'ils sont ou non traités injustement.

Rick Burgess du GMCDP a déclaré: «Je soupçonne que j'ai été signalé par cet algorithme dans le passé. Un pourcentage énorme de personnes handicapées est également passé par là. Cela nous entraîne dans une enquête invasive et très stressante, et franchement, nous en avons assez.

«Nous sommes fatigués de la peur de l'enveloppe brune et fatigués d'être forcés à plusieurs reprises par les responsables du DWP juste pour justifier qui nous sommes.

« Il est temps pour le DWP de clarifier le fonctionnement de cet algorithme et d'expliquer pourquoi tant de personnes handicapées continuent d'être signalées pour enquête. Les personnes handicapées ont besoin de soutien – ne pas être écrasées par un système brutal qui suppose que nous sommes frauduleux jusqu'à preuve du contraire.

Un porte-parole de Foxglove a déclaré: «L'algorithme du DWP semble envoyer des personnes pauvres et handicapées au centre d'appels depuis l'enfer. Le DWP doit expliquer exactement comment fonctionne son algorithme et ce qu'il a fait pour éliminer les préjugés - ou être traduit en justice.

« Une machine à Whitehall crache votre nom. Il vous accuse de mentir sur le fait d'être handicapé et vous pousse dans une roue de hamster bureaucratique de retards, de menus téléphoniques en boucle et de formulaires sans fin conçus pour vous faire trébucher. Et cela ne dit rien sur la raison pour laquelle cela vous arrive.

« Cela semble être un autre cas où le gouvernement a créé un algorithme qui exerce un pouvoir terrifiant sur la vie des gens sans aucune contribution des personnes qu'il affecte. Le résultat est que des personnes vulnérables sont piégées, humiliées et blessées. Nous sommes fiers de travailler avec GMCDP pour remédier à cette situation. »

Un porte-parole du DWP a déclaré: "Le DWP répondra à la lettre écrite par les représentants de la Coalition des personnes handicapées du Grand Manchester en temps voulu."

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • a9df9cf