Incidents associés
Bonjour les amis,
Cette semaine, l'administration Biden a publié son Blueprint for an AI Bill of Rights, une liste de souhaits de principes qui "devraient guider le conception, utilisation et déploiement de systèmes automatisés.
Les principes stipulent que les Américains devraient :
- Soyez protégé contre les systèmes dangereux ou inefficaces.
- Ne pas faire face à la discrimination par des algorithmes.
- Soyez protégé contre les pratiques abusives en matière de données.
- Soyez informé lorsqu'un système automatisé est utilisé.
- Pouvoir se retirer des systèmes automatisés "le cas échéant" et avoir accès à un décideur humain.
Ces principes, bien que louables, ne disent pas grand-chose sur la façon dont nous y parviendrons. La Maison Blanche n'a pas proposé de législation, la création d'une nouvelle agence ou toute autre mesure holistique pour réglementer les systèmes automatisés. Il a publié une liste des [actions entreprises par les agences](https://www.whitehouse.gov/ostp/news-updates/2022/10/04/fact-sheet-biden-harris-administration-announces-key-actions -pour-faire progresser-la-responsabilité-technologique-et-protéger-les-droits-du-public-américain/) dans le cadre de leurs mandats actuels, comme un effort du Département américain du logement et du développement urbain pour établir [des normes pour la maison algorithmes d'évaluation] (https://pave.hud.gov/sites/pave.hud.gov/files/documents/PAVEActionPlan.pdf).
Pendant ce temps, il y a des gens qui se battent pour la responsabilité algorithmique partout dans le monde sans aucun de ces droits pour les sauvegarder. J'ai donc pensé que ce serait un bon moment pour mettre en lumière l'une des luttes les plus horribles qui soient : l'histoire du système automatisé incontrôlable qui a été infligé aux habitants du Michigan.
En 2013, le Michigan a licencié la plupart des personnes qui travaillaient pour identifier les demandes de chômage frauduleuses et a plutôt installé un système automatisé pour les remplacer. Mais il s'avère que le système s'est trompé la grande majorité des fois où il a signalé une réclamation comme frauduleuse. En conséquence, l'État a saisi à tort des millions de dollars à des dizaines de milliers de personnes au cours des deux années de fonctionnement du système.
Ce sont les types de pratiques dangereuses et inefficaces que la Charte des droits de l'IA cherche à prévenir. Mais il n'y a pas encore de responsabilité indépendante pour les erreurs du Michigan. En 2017, l'État a adopté une loi obligeant l'agence à déterminer manuellement la fraude et a déclaré qu'elle rembourserait 20,8 millions de dollars aux résidents qui étaient accusé à tort de fraude. Mais les avocats disent que ce n'est pas le montant total des remboursements dus et ne tient pas compte des dommages subis par les personnes qui ont perdu leur emploi, leur maison et ont déposé le bilan à cause de ce système.
Pour comprendre le cas du système de détection de fraude escroc du Michigan, j'ai parlé à Jennifer Lord, avocate des droits civils et de l'emploi et associée chez Pitt, McGehee, Palmer, Bonanni & Rivers dans le Michigan, qui se bat depuis sept ans pour obtenir cet argent. retour pour ceux qui sont accusés à tort. En juillet de cette année, la Cour suprême du Michigan a finalement statué que les travailleurs faussement accusés de fraude au chômage peuvent poursuivre l'État pour [violation de leurs droits constitutionnels](https://www.mlive.com/public-interest/2022/07 /travailleurs-faussement-accusés-de-fraude-au-chômage-peuvent-poursuivre-les-règles-de-la-cour-suprême-de-l-état-du-michigan.html). Elle et ses collègues procèdent maintenant à un procès pour obtenir des dommages-intérêts.
Notre conversation, éditée pour plus de clarté et de brièveté, est ci-dessous.
Angwin : Commençons par le début. Qu'est-ce que MiDAS et que s'est-il passé en 2013 lorsque le Michigan a mis en œuvre cette technologie ?
** Seigneur : ** En 2013, notre bureau, qui s'occupe du droit du travail et des droits civils, a commencé à recevoir une tonne d'appels de nos clients actuels disant que l'agence d'assurance-chômage du [Michigan] leur facturait un montant obscène, 10 000 $ ou 25 000 $, parce qu'ils auraient commis une fraude lorsqu'ils ont demandé leurs prestations de chômage.
Nous avons parlé avec d'autres avocats des droits civils et du travail dans l'État du Michigan, et nous avons tous commencé à creuser, et nous avons trouvé un communiqué de presse dans lequel l'État du Michigan s'était nominé pour ce prix technologique pour avoir déployé ce tout nouveau système informatique, un système de 46 millions de dollars appelé MiDAS. Le MiDAS était chargé de déterminer si quelqu'un avait commis une fraude dans le cadre de sa demande d'allocations de chômage. Par exemple, si quelqu'un faisait une demande d'assurance-chômage mais qu'il avait quand même un emploi, ce serait de la fraude et cette personne aurait des ennuis. Ce qui s'est passé ici, c'est que MiDAS s'est trompé 93 % du temps, et dans environ 40 000 cas, il a mal trouvé une fraude.
Angwin : Pouvez-vous m'expliquer exactement ce qui s'est passé pour les personnes accusées à tort ?
** Seigneur : ** Disons qu'une personne est exclue des allocations de chômage sur la base d'une fraude. Le problème numéro un est que la lettre de détermination qu'ils vous envoient ne dit pas ce que l'État pense que vous avez fait. Il n'y a pas de détails, donc vous ne savez pas contre quoi vous vous défendez. La personne est censée savoir ce qu'elle a fait de mal, puis elle a 30 jours pour rédiger une protestation manuscrite et la renvoyer par fax à l'agence. Disons qu'il est reçu dans les 30 jours, dans un monde parfait qui ira devant un juge de droit administratif qui déciderait alors si vous avez droit ou non aux prestations.
Le problème est que MiDAS n'envoyait pas de copies papier de ces avis de détermination de fraude. Ils envoyaient des pings à un portail électronique. Pour compliquer cela, MiDAS a fait un audit de six ans afin que des personnes soient accusées d'avoir commis une fraude en 2015 alors qu'elles n'avaient pas perçu de prestations depuis 2010 ou 2009. Revenant au problème des notifications en ligne, les gens n'allaient pas sur leurs portails plus. Les gens ne répondaient pas à ces décisions dans les 30 jours, puis elles devenaient définitives et sans appel.
Si MiDAS découvrait que vous avez commis une fraude, vous devrez récupérer les prestations que vous avez déjà reçues et une pénalité quadruple. Le gouvernement prenait cet argent aux gens de deux façons : la saisie des remboursements d'impôts et la saisie-arrêt administrative. MiDAS s'est connecté avec le Trésor public et fédéral, de sorte qu'il saisirait les remboursements d'impôts des gens pour rembourser la dette.
Deuxièmement, l'État a utilisé ce qu'on appelle une saisie-arrêt administrative. Avec une saisie-arrêt traditionnelle, il y a un processus judiciaire avant que les salaires ne soient prélevés. Avec la saisie-arrêt administrative de l'État, il n'y a pas de processus. C'est automatique et non soumis à un contrôle judiciaire. Cela signifie que la première fois que quelqu'un découvre ce qui se passe, c'est lorsqu'il trouve un nouvel emploi, puis 25% de son nouveau salaire est saisi, et la saisie se poursuit jusqu'à ce que la dette soit payée.
** Angwin : ** Cela semble être financièrement dévastateur. Pouvez-vous parler de la façon dont cela a affecté les gens?
Lord : Nous savons pertinemment qu'au moins 11 000 familles de l'État du Michigan ont déposé leur bilan. C'est un mal très réel, et cette famille ne pourra pas obtenir d'hypothèque, ou ce sera à un taux beaucoup plus élevé, ou s'ils ont besoin de louer une nouvelle voiture, ils auront un taux ridicule.
Il apparaît également sur les vérifications des antécédents des personnes. Une femme que j'ai rencontrée avait terminé sa formation pour devenir policière dans la ville de Détroit, puis avait échoué à la vérification des antécédents et n'avait pas obtenu le poste parce que MiDAS l'avait signalée comme ayant commis une fraude.
Angwin : Vous représentez les personnes lésées par MiDAS depuis sept ans maintenant. Pouvez-vous nous donner un aperçu des allégations que vous avez portées contre l'État et de ce qui s'est passé ?
** Seigneur : ** Notre procès, [Bauserman c. Agence d'assurance-chômage] (https://www.courts.michigan.gov/4a1c19/siteassets/case-documents/opinions-orders/msc-term-opinions-(manually -curated)/21-22/bauserman-op.pdf), affirme que l'État du Michigan a violé la constitution du Michigan lorsqu'il a saisi la propriété des gens sans procédure régulière. Pendant les trois premières années et demie, le problème juridique était qu'au Michigan, si vous poursuivez l'État, il existe des règles de procédure supplémentaires avec des délais distincts. L'État a fait valoir que nous n'avions pas respecté ce délai très précis – que nous avions intenté une action trop tard. Cela est allé jusqu'à la Cour suprême du Michigan, qui a statué que nous n'avions pas poursuivi trop tard. C'était le problème numéro un. Le problème numéro deux, qui étonnamment n'avait jamais été clarifié dans le Michigan, était la question de savoir si quelqu'un peut poursuivre l'État pour dommages et intérêts lorsque l'État viole la constitution. Cette décision [vient d'arriver en juillet](https://www.mlive.com/public-interest/2022/07/workers-falsely-accused-of-unemployment-fraud-can-sue-the-state-michigan-supreme -court-rules.html) et était en notre faveur.
Angwin : Maintenant que vous avez cette décision de la Cour suprême du Michigan, quelles sont les prochaines étapes et combien de temps cela prendra-t-il ?
** Seigneur : ** La réponse courte est que nous devons commencer la découverte comme nous étions prêts à le faire il y a sept ans. Nous devons également faire certifier cette classe; en ce moment, nous représentons deux individus au nom d'une classe putative de dizaines de milliers. L'une des premières choses à l'ordre du jour sera de s'assurer que nous représentons officiellement et légalement toute personne ayant une réclamation.
Puisqu'il s'agit d'un délit, nous plaiderons pour des dommages indirects, donc au minimum, un remboursement plus des intérêts, mais il doit également y avoir une certaine reconnaissance qu'il s'agissait d'un préjudice réel. Même si vous n'avez pas déclaré faillite, le stress d'apprendre que vous devez 40 000 $ ou 20 000 $ peu de temps après avoir été renvoyé de votre emploi, il n'y aura pas de formule pour cela.
On ne sait jamais avec les litiges, mais il n'y a aucune raison inhérente pour que cela prenne plus de temps que n'importe quel autre cas. Nous devons commencer à faire prêter serment aux gens et à entendre ce qu'ils ont à dire et ce dont ils se souviennent. J'ai l'impression que l'agence a su que c'était un problème presque dès le départ, et la vraie chose intéressante sera de savoir qui savait quoi, quand.
Angwin : Qu'avez-vous appris sur le fait de demander des comptes à ce type de système d'IA ? Que faut-il faire à l'avenir pour prévenir ce type d'événement, et qu'est-ce que d'autres avocats pourraient vouloir rechercher lors de l'enquête ?
** Seigneur : ** J'ai été surpris de voir à quel point cela inquiète la plupart des gens. Je ne sais pas si c'est le fait qu'au Michigan cette histoire éclatait en même temps que la crise de l'eau de Flint, donc si vous regardez deux débâcles, celle avec le verre d'eau marron est très dérangeante. MiDAS n'a tout simplement pas semblé enflammer l'imagination comme je le pensais. L'État du Michigan volait essentiellement des dizaines de millions de dollars à ses citoyens !
Comment y remédier à l'avenir ? Une idée consiste à disposer d'une technologie de vérification de groupe indépendante, compétente et interdisciplinaire avant tout achat. Je ne peux qu'imaginer un vendeur qualifié vendre l'agence sur des promesses d'efficacité, de réduction des coûts et d'augmentation des bénéfices. Quel politicien va dire non à ça ?
Je pense que le problème est qu'il y a des tâches que les ordinateurs et les algorithmes ne peuvent pas et ne devraient pas faire, comme déterminer si quelqu'un a commis une fraude ou non. C'est une erreur que nous ayons demandé à l'ordinateur de faire tout cela tout seul, sans intervention humaine. C'est une chose si un ordinateur le signale et qu'un humain y jette un coup d'œil plus approfondi. Ce n'est pas ce qui s'est passé car en même temps que l'Agence d'assurance-chômage a acheté MiDAS, elle a licencié un tiers de ses effectifs, soit la quasi-totalité de son unité de détection des fraudes.
L'algorithme prétend que ces 40 000 personnes ont intentionnellement fraudé l'agence d'assurance-chômage. Je pense qu'un juge ou un jury devrait trancher la question de l'intention. Lors de l'évaluation de la crédibilité, cela ne devrait pas être fait par un algorithme. Je ne pense pas qu'un ordinateur regardant une série de nombres soit capable de déterminer l'intention.
Comme toujours, merci d'avoir lu.
Meilleur,
Julia Angvin