Incidents associés
Jusqu'à récemment, il n'était pas possible de dire que l'IA avait contribué à forcer un gouvernement à démissionner. Mais c'est précisément ce qui s'est passé aux Pays-Bas en janvier 2021, lorsque le cabinet sortant a démissionné suite à la soi-disant affaire kinderopvangtoeslag : l'affaire des allocations de garde d'enfants.
Lorsqu'une famille aux Pays-Bas cherchait à réclamer son allocation gouvernementale de garde d'enfants, elle devait déposer une demande auprès de l'administration fiscale néerlandaise. Ces réclamations sont passées par le gant d'un algorithme d'auto-apprentissage, initialement déployé en 2013. Dans le flux de travail de l'administration fiscale, l'algorithme examinerait d'abord les réclamations pour détecter des signes de fraude, et les humains examineraient les réclamations qu'il a signalées comme à haut risque.
En réalité, l'algorithme a développé un modèle consistant à étiqueter à tort les réclamations comme frauduleuses, et des fonctionnaires harcelés ont approuvé les étiquettes de fraude. Ainsi, pendant des années, l'administration fiscale a ordonné sans fondement à des milliers de familles de rembourser leurs créances, poussant beaucoup d'entre elles à s'endetter lourdement et détruisant des vies dans le processus.
«Lorsqu'il y a un impact disparate, il doit y avoir une discussion sociétale à ce sujet, pour savoir si c'est juste. Nous devons définir ce qu'est "juste" », déclare Yong Suk Lee, professeur de technologie, d'économie et d'affaires mondiales à l'Université de Notre Dame, aux États-Unis. "Mais ce processus n'existait pas."
Les autopsies de l'affaire ont montré des preuves de partialité. De nombreuses victimes avaient des revenus inférieurs et un nombre disproportionné étaient issus de minorités ethniques ou d'immigrants. Le modèle considérait le fait de ne pas être citoyen néerlandais comme un facteur de risque.
"Les performances du modèle, de l'algorithme, doivent être transparentes ou publiées par différents groupes", explique Lee. Cela inclut des choses comme le taux de précision du modèle, ajoute-t-il.
L'algorithme de l'administration fiscale a échappé à un tel examen ; c'était une boîte noire opaque, sans transparence dans son fonctionnement interne. Pour les personnes concernées, il pourrait être presque impossible de dire exactement pourquoi elles ont été signalées. Et ils n'avaient aucune sorte de procédure régulière ou de recours sur lesquels se rabattre.
"Le gouvernement avait plus confiance en son algorithme défectueux qu'en ses propres citoyens, et les fonctionnaires travaillant sur les dossiers se sont simplement déchargés de leur responsabilité morale et juridique en pointant du doigt l'algorithme", explique Nathalie Smuha, juriste technologique à la KU Leuven. , en Belgique.
Alors que la poussière retombe, il est clair que l'affaire ne fera pas grand-chose pour arrêter la propagation de l'IA dans les gouvernements - 60 pays ont déjà des initiatives nationales d'IA. Les entreprises du secteur privé voient sans aucun doute une opportunité à aider le secteur public. Pour tous, l'histoire de l'algorithme néerlandais, déployé dans une U.E. pays doté de réglementations strictes, d'un état de droit et d'institutions relativement responsables – sert d'avertissement.
"Si même dans ces circonstances favorables, un système aussi dangereusement erroné peut être déployé sur une si longue période, il faut s'inquiéter de la situation dans d'autres juridictions moins réglementées", déclare Lewin Schmitt, chercheur prédoctoral en politiques à l'Institut Barcelona d'Estudis Internacionals, en Espagne.
Alors, qu'est-ce qui pourrait empêcher les futures implémentations capricieuses de l'IA de causer des dommages ?
Aux Pays-Bas, les quatre mêmes partis qui étaient au gouvernement avant la démission sont maintenant revenus au gouvernement. Leur solution consiste à placer toutes les IA destinées au public, tant au gouvernement que dans le secteur privé, sous l'œil d'un régulateur de l'autorité nationale des données, qui, selon un ministre, garantirait que les humains soient tenus au courant.
À plus grande échelle, certains mordus de la politique placent leurs espoirs dans la loi sur l'IA du Parlement européen, qui place l'IA du secteur public sous un contrôle plus strict. Dans sa forme actuelle, la loi sur l'IA interdirait purement et simplement certaines applications, telles que les systèmes gouvernementaux de crédit social et l'utilisation par les forces de l'ordre de la reconnaissance faciale.
Quelque chose comme l'algorithme de l'administration fiscale serait respecté, mais en raison de son rôle d'interface avec le public dans les fonctions gouvernementales, la loi sur l'IA l'aurait marqué comme un système à haut risque. Cela signifie qu'un large ensemble de réglementations s'appliquerait, y compris un système de gestion des risques, une surveillance humaine et un mandat visant à éliminer les biais des données concernées.
"Si la loi sur l'IA avait été mise en place il y a cinq ans, je pense que nous aurions repéré [l'algorithme fiscal] à l'époque", déclare Nicolas Moës, chercheur en politique de l'IA à Bruxelles pour le groupe de réflexion Future Society.
Moës estime que la loi sur l'IA fournit un système d'application plus concret que ses homologues étrangers, comme celui qui est récemment entré en vigueur en Chine, qui se concentre moins sur l'utilisation par le secteur public et davantage sur la limitation de l'utilisation des données des clients par les entreprises privées. - et les réglementations américaines proposées qui flottent actuellement dans l'éther législatif.
"L'U.E. AI Act est vraiment une sorte de police de tout l'espace, tandis que d'autres s'attaquent encore en quelque sorte à une seule facette du problème, en traitant très doucement un seul problème », explique Moës.
Les lobbyistes et les législateurs sont toujours occupés à donner à la loi sur l'IA sa forme finale, mais tout le monde ne pense pas que la loi, même si elle est renforcée, ira assez loin.
"Nous constatons que même le [Règlement général sur la protection des données], qui est entré en vigueur en 2018, n'est toujours pas correctement mis en œuvre", déclare Smuha. « La loi ne peut vous emmener que si loin. Pour que l'IA du secteur public fonctionne, nous avons également besoin d'éducation. »
Cela, dit-elle, devra passer par une information appropriée des fonctionnaires sur les capacités, les limites et les impacts sociétaux d'une mise en œuvre de l'IA. En particulier, elle estime que les fonctionnaires doivent pouvoir remettre en question ses résultats, quelles que soient les pressions temporelles ou organisationnelles auxquelles ils pourraient être confrontés.
« Il ne s'agit pas seulement de s'assurer que le système d'IA est éthique, légal et robuste ; il s'agit également de s'assurer que le service public dans lequel le système d'IA [fonctionne] est organisé de manière à permettre une réflexion critique », dit-elle.