Incidents associés
Les militants handicapés ont envoyé une lettre juridique au Département du travail et des pensions (DWP) pour se demander comment son utilisation d'un algorithme secret pourrait être discriminatoire à l'égard des personnes handicapées dans la manière dont il sélectionne les demandeurs pour faire face aux enquêtes sur les fraudes aux prestations.
La Greater Manchester Coalition of Disabled People (GMCDP), qui est soutenue par le groupe de campagne de justice technologique Foxglove, estime que l'algorithme "sur-sélectionne" les personnes handicapées pour ses enquêtes sur les fraudes au profit.
Il a maintenant envoyé une lettre officielle au DWP pour demander des informations sur la manière dont l'algorithme est utilisé et des preuves qu'il ne discrimine pas les personnes handicapées, et pour avertir d'éventuelles poursuites judiciaires.
Jusqu'à présent, le DWP refuse de dire comment les personnes sont ciblées, comment il s'assure que les droits des personnes handicapées sont protégés et quels freins et contrepoids sont en place pour s'assurer que les demandeurs de prestations ne sont pas injustement et illégalement harcelés.
Rick Burgess (photo), de GMCDP, a déclaré lors d'un événement en ligne la semaine dernière que les algorithmes "ont tendance à reproduire les préjugés et les discriminations dans la société et la culture au sens large".
Il a déclaré que GMCDP et Foxglove soupçonnent que l'algorithme de DWP "sur-sélectionne les personnes handicapées pour les enquêtes sur les fraudes", ce qui entraîne une détresse extrême pour les demandeurs qui ont été sélectionnés.
Burgess a déclaré que cette détresse peut être particulièrement grave si le demandeur souffre déjà de paranoïa ou d'anxiété.
Il a déclaré: «Cela peut être extrêmement débilitant. Je sais que des gens se sont retirés de la vie à cause de cela. Je sais qu'il y a eu des suicides à cause de ça. C'est extrêmement nocif pour les gens.
"Pour que ces enquêtes aient lieu, je pense qu'il doit y avoir un niveau de preuve et de suspicion extrêmement élevé avant même de pouvoir commencer ce processus, car le risque pour les personnes est potentiellement mortel."
Il a déclaré que l'utilisation de l'algorithme par DWP était devenue une nouvelle barrière pour les personnes handicapées.
Il a déclaré: "Les personnes handicapées doivent toujours être testées, doivent toujours faire leurs preuves, doivent toujours remplir des formulaires, doivent toujours passer des tests, vous êtes toujours interrogé sur votre identité."
GMCDP a lancé un crowdfunder pour collecter des fonds pour tous les frais juridiques auxquels il pourrait être confronté dans l'affaire contre DWP, et est presque à mi-chemin de son objectif de 15 000 £.
Burgess a déclaré que la manière dont les enquêtes sur les fraudes sont menées par le DWP est "absolument, classiquement kafkaïenne".
Il a dit : « Vous ne savez pas qui est votre accusateur. Vous ne savez pas pourquoi vous avez soudainement été choisi.
"Généralement, il s'agit soit d'une enveloppe, soit d'un appel téléphonique, soit d'un e-mail. C’est extrêmement bouleversant quand les gens comprennent cela.
Il a dit que le "schéma étrange" des personnes handicapées faisant l'objet d'une enquête soudaine sans raison apparente suggérait un système qui "créait en quelque sorte ses propres règles".
Il a ajouté: "Dans une enquête, avant que quoi que ce soit ne soit prouvé, vos prestations peuvent être arrêtées afin que vous soyez traité comme coupable jusqu'à ce que votre innocence soit prouvée."
Burgess a déclaré que l'idée que la fraude aux prestations d'invalidité était répandue était un «chef-d'œuvre de propagande», car le taux de fraude réel pour certaines prestations d'invalidité était aussi bas que 0,5%, mais le DWP «traite toujours tout le monde comme un suspect».
Laura Lazaro Cabrera, juriste chez Privacy International, qui fait campagne contre les entreprises et les gouvernements exploitant la technologie des données, a déclaré qu'ils avaient initialement découvert des preuves de l'utilisation d'algorithmes en 2019 dans un manuel de formation du personnel anti-fraude du DWP et dans le rapport annuel et les comptes du DWP pour 2017-18.
Le rapport annuel indique que le DWP développe "une intelligence artificielle de pointe pour sévir contre les gangs criminels organisés qui commettent une fraude à grande échelle".
DWP a admis plus tard avoir utilisé "la correspondance et l'analyse des données pour aider à identifier les personnes qui n'ont peut-être pas déclaré leur situation correctement".
Mais il a jusqu'à présent refusé de divulguer toute information sur son utilisation d'algorithmes à Privacy International, arguant que cela « nuirait à la prévention et à la détection de la fraude et du crime ».
Will Perry, avocat à Monckton Chambers, qui travaille sur l'affaire judiciaire GMCDP, a déclaré que DWP semblait "expérimenter un large éventail de technologies différentes".
Il a déclaré que l'affaire portait sur le manque de transparence de DWP et faisait valoir des violations potentielles des droits en vertu de la Convention européenne des droits de l'homme et du règlement général sur la protection des données (RGPD), ainsi que des obligations de DWP en vertu de l'obligation d'égalité dans le secteur public de la loi sur l'égalité.
Il a déclaré qu'ils s'attendaient à une réponse officielle à leur lettre juridique le mois prochain, mais il a averti qu'il s'agissait d'un "territoire inexploré" pour les avocats, car les quelques affaires précédentes au Royaume-Uni ont été réglées avant d'être portées devant les tribunaux.
Rosa Curling, directrice de Foxglove, a déclaré qu'elle espérait que l'action en justice montrerait que des algorithmes tels que ceux utilisés par DWP pourraient être contestés devant les tribunaux et qu'elle encouragerait d'autres groupes à envisager de saisir les tribunaux.
Elle a déclaré que les algorithmes semblent être utilisés secrètement dans les gouvernements locaux et nationaux, "sans examen ni responsabilité appropriés, et... prennent des décisions qui affectent la vie de chacun d'une manière absolument profonde".
Un porte-parole du DWP a déclaré: "Le DWP répondra à la lettre écrite par les représentants de la Coalition des personnes handicapées du Grand Manchester en temps voulu."