Incidents associés
Sommaire
Cette soumission examine les implications sur les droits de l'homme de l'intelligence artificielle (IA) et d'autres technologies basées sur les données dans les programmes d'aide sociale, tels que les programmes d'aide alimentaire et en espèces. À travers une série d'études de cas, cette communication explique comment les États délèguent des fonctions de bien-être clés, telles que la détermination des niveaux d'éligibilité et de prestations, à des modèles de prise de décision automatisés, dont certains reposent sur l'exploration de données, l'apprentissage automatique et d'autres processus ou technologies généralement associés. avec le domaine de l'IA. Il évalue également comment la prise de décision automatisée interfère avec les droits à la vie privée et à la sécurité sociale, et les obligations des États de garantir l'exercice de ces droits sans discrimination ni ingérence privée indue.
Détection, enquête et répression de la fraude à l'aide sociale
Michigan Integrated Data Automated System (Michigan, États-Unis)
En octobre 2013, l'Agence d'assurance-chômage du Michigan (UIA) a lancé le Michigan Integrated Data Automated System (MiDAS) pour juger et imposer des sanctions en cas de fraude aux allocations de chômage. Entre octobre 2013 et août 2015, MiDAS a été programmé pour traiter automatiquement les différences entre les revenus déclarés par les bénéficiaires et leurs employeurs comme des preuves de fraude. Le système n'était pas en mesure d'enquêter sur les raisons légitimes de ces écarts, telles qu'une erreur de l'employeur ou des conflits salariaux. Comme OCI, MiDAS n'a pas non plus été en mesure de déterminer si ces écarts sont attribuables aux fluctuations du revenu d'un bénéficiaire.
Sur la base de ses évaluations initiales, MiDAS a envoyé aux bénéficiaires soupçonnés de fraude des questionnaires à choix multiples en ligne leur demandant s'ils "fournissent intentionnellement de fausses informations pour obtenir des prestations auxquelles vous n'aviez pas droit" et "\ [w]pourquoi ... vous pensez avoir droit à des prestations. » L'absence de réponse dans les dix jours, ou une réponse jugée insatisfaisante par MiDAS, déclencherait automatiquement des déterminations concluantes de fraude. Sur la base de ces déterminations, MiDAS mettrait fin aux prestations des bénéficiaires concernés et engagerait une procédure pour saisir leurs remboursements d'impôt ou saisir leur salaire.
L'UIA a ensuite constaté qu'entre octobre 2013 et août 2015, environ 44 000 des 62 784 déterminations de fraude générées par MiDAS étaient erronées. Dans une action en justice intentée par un groupe de bénéficiaires contre l'UIA, la Cour d'appel fédérale des États-Unis pour la région a conclu que MiDAS "n'a pas permis une décision fondée sur des faits ni donné au demandeur la possibilité de présenter des preuves pour prouver qu'il ou elle a fait ne pas se livrer à une conduite disqualifiante.
Malgré ces échecs, l'UIA continue d'exploiter MiDAS. Il s'est engagé à effectuer des analyses de données supplémentaires pour détecter les paiements de prestations nécessitant un « examen plus approfondi » et pour améliorer le processus d'appel. Cependant, il n'est pas clair si l'UIA a apporté des modifications à l'algorithme de correspondance des données sous-jacent ou intégré un examen humain significatif dans les fonctions de détection de fraude du système.