Incidents associés
Peut-être que le mois prochain, les plus de 34 000 personnes accusées à tort de fraude au chômage dans le Michigan d’octobre 2013 à septembre 2015 apprendront enfin qu’elles recevront une rémunération bien méritée pour le traitement sévère infligé par le Michigan Integrated Data Automated System (MiDAS). Les législateurs du Michigan ont promis de réclamer au moins 30 millions de dollars américains en compensation pour les personnes faussement accusées.
C’est une somme dérisoire, compte tenu du nombre de personnes qui ont subi des traumatismes personnels pénibles, qui ont engagé des avocats pour se défendre, qui ont vu leur crédit et leur réputation ruinés, qui ont déposé le bilan, qui ont vu leur maison saisie ou qui se sont retrouvées sans abri. Une somme plus proche de 100 millions de dollars, comme le préconisent certains est probablement justifiée.
Le fiasco est trop familier : une agence gouvernementale souhaite remplacer un système informatique existant pour gagner en efficacité opérationnelle et en coûts, mais hélas, l'effort tourne mal en raison d'une mauvaise gestion des risques.
Cette fois, c’était l’Agence d’assurance chômage du Michigan (UIA) qui souhaitait remplacer un système mainframe vieux de 30 ans fonctionnant en COBOL. Les objectifs du nouveau système étaient triples et raisonnables. Premièrement, s’assurer que les chèques de chômage ne soient versés qu’aux personnes qui les méritaient. Deuxièmement, accroître l’efficacité et la réactivité de l’UIA aux demandes de chômage. Et troisièmement, grâce à ces gains d’efficacité, réduire les coûts opérationnels de l’UIA en éliminant plus de 400 travailleurs, soit environ un tiers du personnel de l’agence. Après avoir dépensé 44 400 558 $ et 26 mois sur cet effort, l’UIA a lancé MiDAS, et l’a rapidement proclamé comme un énorme succès [PDF], en respectant le budget et les délais, et en découvrant les demandes de chômage frauduleuses précédemment manquées.
Découverte de fausses fraudes
Peu de temps après la mise en service du MiDAS, le nombre de personnes soupçonnées de fraude au chômage a été multiplié par cinq par rapport au nombre moyen découvert à l'aide de l'ancien système [PDF]. La fraude nouvellement découverte et les amendes imposées ont généré d'énormes sommes d'argent pour l'UIA, faisant passer ses caisses d'environ 3 millions de dollars à plus de 69 millions de dollars en un peu plus d'un an.
Une étude a révélé que le MiDAS avait jugé – par algorithme seul – 40 195 cas de fraude, dont 85 % aboutissaient à des décisions de fraude erronées.
Cette manne financière était due en partie aux sanctions sévères imposées aux accusés, comme l’imposition d’une pénalité de 400 pour cent sur le montant de la fraude [PDF], la plus élevée du pays.
En outre, une fois la réclamation justifiée, l’État pouvait immédiatement saisir le salaire d’une personne et les remboursements d’impôts sur le revenu fédéraux et étatiques, et faire une saisine pénale si les paiements n’étaient pas effectués.
Alors que l’UIA se félicitait d’un travail bien fait, les avocats et les défenseurs du chômage ont constaté une forte augmentation des appels des personnes accusées de fraude. Dans chaque cas, les accusations de fraude ont ensuite été rejetées en appel. En creusant plus profondément, les avocats et les défenseurs ont découvert [PDF] qu'un grand nombre d'accusations de fraude étaient générées de manière algorithmique par MiDAS, sans intervention humaine ni examen de l'accusation possible, comme l'exigeait l'ancien système.
En outre, les avis de fraude générés par MiDAS auxquels les demandeurs devaient répondre étaient conçus de manière à garantir presque que quelqu'un admettrait par inadvertance une fraude. MiDAS a également accusé certaines personnes de fraude même si elles n'avaient jamais perçu d'allocations chômage. De plus, MiDAS a apparemment fondé certaines de ses conclusions sur des données manquantes ou corrompues. En effet, MiDAS a été construit sur l’hypothèse que quiconque réclamait une assurance chômage essayait de frauder l’UIA et qu’il appartenait aux demandeurs de prouver le contraire.
Les manquements de MiDAS sont trop nombreux pour être répétés ici ; Je vous suggère de lire les nombreux et excellents articles publiés tels que ceux-ci (ici et ici) du Detroit MetroTimes et ici du Center of Michigan pour plus de détails et des liens vers d'autres articles qui vous feront secouer la tête avec incrédulité face à l'insensibilité dont fait preuve l'UIA.
Ce qui est également inexcusable, c'est que, bien que 64 % des plaintes pour fraude étaient en cours d'examen ou d'annulation en appel devant un tribunal administratif, l'UIA a obstinément défendu MiDAS (et tout l'« argent excédentaire » qu'il générait pour couvrir les dépenses de l'État) contre [les avertissements internes selon lesquels quelque chose n'allait pas [https://www.freep.com/story/news/local/michigan/2017/07/02/judges-michigan-jobless-agency/423502001/] sur la façon dont MiDAS déterminait la fraude. Cependant, le tollé public et politique a finalement forcé l'UIA à admettre qu'il y avait peut-être effectivement un problème important avec MiDAS, en particulier son processus de « robo-adjudication » et l'absence de contrôle humain. L'UIA a décidé de cesser d'utiliser MiDAS pour une évaluation purement automatisée des fraudes en septembre 2015, après la pression du gouvernement fédéral et le dépôt d'une plainte fédérale contre l'agence le même mois.
Le procès fédéral contre l’État s’est terminé en janvier 2017, l’UIA s’excusant enfin pour les fausses allégations de fraude au chômage. Un examen approfondi a révélé que d’octobre 2013 à septembre 2015, MiDAS a jugé – par algorithme seul – 40 195 cas de fraude, dont 85 % ont abouti à des déterminations de fraude incorrectes. 22 589 autres cas ayant impliqué un certain niveau d’interaction humaine dans une détermination de fraude ont révélé un taux de fausses réclamations pour fraude de 44 %, ce qui était une « amélioration » mais un résultat tout de même incroyablement médiocre. Il est intéressant, mais pas surprenant, que l'UIA ait obstinément refusé d'expliquer exactement pourquoi MiDAS a échoué de manière aussi spectaculaire, ou pourquoi elle a ignoré tous les signes avant-coureurs indiquant que quelque chose n'allait pas du tout.
Alors que l'UIA dit sympathiser avec ceux qu'elle a faussement accusés de fraude et qu'elle a soi-disant remboursé toutes les amendes qu'elle avait perçues, l'UIA s'est également battue avec acharnement contre le recours collectif [PDF] intenté contre elle pour les dommages personnels et financiers causés par ces fausses accusations. L'UIA a vivement salué la décision de la cour d'appel de l'État en juillet 2017 rejetant la plainte parce que les personnes accusées à tort n'avaient pas respecté le délai pour déposer leurs demandes d'indemnisation.
Étant donné que l'UIA a fait obstruction à toutes les tentatives visant à découvrir la profondeur, l'ampleur et les raisons des accusations de fraude frauduleuse, la décision est peut-être juridiquement correcte, mais elle est moralement ridicule. La décision, qui fait l’objet d’un appel devant la Cour suprême du Michigan, a tellement fait honte aux législateurs et au gouverneur de l’État qu’ils ont accepté de modifier la loi sur le chômage de l’État et, au moins, en principe, la création d’un fonds d’indemnisation des victimes du MiDAS. Nous verrons le mois prochain si un tel fonds sera effectivement créé.
Le Michigan n’est pas le seul
Le fiasco du MiDAS n’est pas le seul cas où la robotisation a été utilisée pour rechercher une fraude potentielle aux prestations sociales. Le phénomène est toujours d’actualité en Australie, où le programme gouvernemental Centrelink a mis en place une approche similaire en 2016, avec des résultats similaires. Des dizaines de milliers de bénéficiaires de prestations sociales ont reçu des courriers de Centrelink leur indiquant qu’ils devaient prouver qu’ils n’avaient pas demandé des prestations qu’ils ne méritaient pas, et plus de 20 % d’entre eux ont reçu des avis par erreur ou avec des montants de dettes nettement supérieurs à ce qu’ils devaient réellement. Le gouvernement australien a insisté dès le début sur le fait que le système automatisé Centrelink fonctionne comme prévu, qui selon au moins un rapport, fonctionne mal de par sa conception comme un moyen de réduire les coûts opérationnels, voire de générer de l’argent qui n’est pas légalement dû. Lorsqu'un groupe parlementaire a recommandé que le processus de robo-adjudication soit interrompu, le gouvernement a refusé d'en entendre parler.
Alors que les algorithmes prennent de plus en plus de décisions, il est impératif que les personnes concernées puissent comprendre et remettre en question la manière dont ces décisions sont prises.
Dans un article réfléchi du juge de la Cour suprême de Californie Mariano-Florentino Cuéllar intitulé « Cyberdélégation et l’État administratif », il souligne qu’un véritable problème avec les décisions bureaucratiques prises uniquement par algorithme est l’hésitation des superviseurs humains à remettre en question les résultats générés par l’algorithme. Le juge Cuéllar cite le cas de la mise en œuvre par l’administration des anciens combattants des États-Unis d’un système automatisé d’évaluation du handicap pour réduire les formalités administratives et les coûts de personnel et augmenter la productivité, qui a considérablement surestimé les prestations d’invalidité que les anciens combattants auraient dû recevoir par rapport à ce qu’un évaluateur humain aurait approuvé. En fait, sur 1,4 million d'évaluations de notation effectuées par algorithme, seuls 2 pour cent ont été ultérieurement annulées. La même hésitation à voir quelque chose d'anormal dans les décisions automatisées s'est produite avec MiDAS et Centrelink.
Alors que les algorithmes prennent de plus en plus de décisions dans le système de justice pénale, dans le recrutement des entreprises et des gouvernements, dans l’approbation des crédits, etc., il est impératif que les personnes concernées puissent comprendre et contester la manière dont ces décisions sont prises. Espérons que l’Initiative mondiale de l’IEEE sur l’éthique des systèmes autonomes et intelligents contribuera à garantir que les risques liés aux systèmes de prise de décision automatisée ne soient pas occultés au profit de leurs avantages, qui peuvent potentiellement être immenses. Je ne pense pas qu’aucun d’entre nous ne souhaite se retrouver dans le même type de cauchemar que celui de la procédure de robo-adjudication, comme c’est malheureusement le cas pour ceux qui se sont retrouvés dans la situation de MiDAS.
Cet article a été mis à jour le 16 février 2018 pour fournir des chiffres actuels et clarifier le pourcentage de demandes annulées. Une version abrégée apparaît dans le numéro imprimé de mars 2018 sous le titre « Robo-Adjudication and Fake Fraud Reports » (Rapports de fraude robo-adjudication et fausses fraudes).