Incidents associés
La vie de Chermaine Leysner a changé en 2012, lorsqu'elle a reçu une lettre de l'administration fiscale néerlandaise lui demandant de rembourser son allocation de garde d'enfants remontant à 2008. Leysner, alors étudiante en travail social, avait trois enfants de moins de 6 ans. la facture dépassait 100 000 €.
"Je me suis dit : 'Ne t'inquiète pas, c'est une grosse erreur.' Mais ce n'était pas une erreur. C'était le début de quelque chose de grand », a-t-elle déclaré.
L'épreuve a pris neuf ans de la vie de Leysner. Le stress causé par la facture d'impôt et le diagnostic de cancer de sa mère a conduit Leysner à la dépression et à l'épuisement professionnel. Elle finit par se séparer du père de ses enfants. « Je travaillais comme une folle pour pouvoir encore faire quelque chose pour mes enfants, comme leur donner de bonnes choses à manger ou leur acheter des bonbons. Mais j'ai eu des moments où mon petit garçon a dû aller à l'école avec un trou dans sa chaussure », a déclaré Leysner.
Leysner est l'une des dizaines de milliers de victimes de ce que les Néerlandais ont surnommé la « toeslagenaffaire », ou le scandale des prestations de garde d'enfants.
En 2019, il a été révélé que les autorités fiscales néerlandaises avaient utilisé un algorithme d'auto-apprentissage pour créer des profils de risque dans le but de détecter la fraude aux allocations de garde d'enfants.
Les autorités ont sanctionné les familles pour un simple soupçon de fraude sur la base des indicateurs de risque du système. Des dizaines de milliers de familles - souvent à faible revenu ou appartenant à des minorités ethniques - ont été plongées dans la pauvreté en raison de dettes exorbitantes envers l'administration fiscale. Certaines victimes se sont suicidées. Plus d'un mille enfants ont été placés en famille d'accueil.
Le fisc néerlandais encourt désormais une nouvelle amende de 3,7 millions d'euros de la part du régulateur de la vie privée du pays. Dans une déclaration publiée le 12 avril, l'agence a décrit plusieurs violations du règlement de l'UE sur la protection des données, le General Data Règlement de protection, y compris ne pas avoir de base légale pour traiter les données des personnes et accroché trop longtemps à l'information.
Aleid Wolfsen, le chef de l'autorité néerlandaise chargée de la protection de la vie privée, a qualifié ces violations de sans précédent.
"Pendant plus de 6 ans, les gens ont souvent été étiquetés à tort comme des fraudeurs, avec des conséquences désastreuses... certains n'ont pas reçu d'arrangement de paiement ou vous n'étiez pas éligible à une restructuration de dettes. Le fisc a bouleversé des vies", a-t-il déclaré, selon à la déclaration.
Alors que les gouvernements du monde entier se tournent vers les algorithmes et l'IA pour automatiser leurs systèmes, le scandale néerlandais montre à quel point les systèmes automatisés peuvent être complètement dévastateurs sans les bonnes garanties. L'Union européenne, qui se positionne comme le premier régulateur mondial des technologies, travaille sur un projet de loi visant à limiter les méfaits algorithmiques.
Mais les critiques disent que le projet de loi rate la cible et ne protégerait pas les citoyens contre des incidents tels que ce qui s'est passé aux Pays-Bas.
Pas de freins et contrepoids
Le système néerlandais - qui a été lancé en 2013 - visait à éliminer la fraude aux prestations à un stade précoce. Les critères du profil de risque ont été élaborés par l'administration fiscale, rapporte le journal néerlandais [Trouw](https://www.trouw.nl/politiek/hoe-de-belastingdienst-lage-inkomens-profileerde-in-de-jacht- op-fraude~bbb66add/). Le fait d'avoir la double nationalité est considéré comme un grand indicateur de risque, tout comme un faible revenu.
Pourquoi Leysner s'est retrouvé dans la situation n'est pas clair. Une des raisons pourrait être qu'elle avait des jumeaux, ce qui signifiait qu'elle avait besoin de plus de soutien de la part du gouvernement. Leysner, qui est né aux Pays-Bas, a également des racines surinamaises.
En 2020, Trouw et un autre média néerlandais, RTL Nieuws revealed que les autorités fiscales ont également conservé des listes noires secrètes de personnes pendant deux décennies, qui traquaient des « signaux » crédibles et non fondés de fraude potentielle. Les citoyens n'avaient aucun moyen de savoir pourquoi ils figuraient sur la liste ou de se défendre.
Un audit a montré que les autorités fiscales se concentraient sur les personnes avec « une apparence non occidentale », tout en ayant la nationalité turque ou marocaine était un objectif particulier. Le fait d'être sur la liste noire a également conduit à un score de risque plus élevé dans le système de prestations de garde d'enfants.
Un [rapport] parlementaire (https://www.tweedekamer.nl/nieuws/kamernieuws/eindverslag-onderzoek-kinderopvangtoeslag-overhandigd) sur le scandale des allocations de garde d'enfants a révélé plusieurs graves lacunes, notamment des préjugés institutionnels et des autorités cachant des informations ou trompeuses le parlement sur les faits. Une fois que toute l'ampleur du scandale a été révélée, [le gouvernement a démissionné] du Premier ministre Mark Rutte (https://www.politico.eu/article/dutch-government-resigns-over-childcare-benefit-scandal/), uniquement pour se regrouper 225 jours plus tard.
En plus de la sanction annoncée le 12 avril, l'agence néerlandaise de protection des données a également condamné à une amende le fisc néerlandais 2,75 millions d'euros en décembre 2021 pour la "manière illégale, discriminatoire et donc abusive" dont l'administration fiscale a traité les données sur la double nationalité des demandeurs d'allocations familiales.
"Il y avait un manque total de freins et contrepoids au sein de chaque organisation pour s'assurer que les gens réalisent ce qui se passait", a déclaré Pieter Omtzigt, un membre indépendant du parlement néerlandais qui a joué un rôle central dans la découverte du scandale et la grillade des autorités fiscales.
"Ce qui m'inquiète vraiment, c'est que je ne suis pas sûr que nous ayons pris, même vaguement, suffisamment de mesures préventives pour renforcer nos institutions afin de faire face au prochain déraillement", a-t-il poursuivi.
Le nouveau gouvernement Rutte s'est engagé à créer un nouveau régulateur d'algorithmes sous l'autorité de protection des données du pays. La ministre néerlandaise du numérique, Alexandra van Huffelen – qui était auparavant ministre des Finances en charge de l'administration fiscale – a déclaré à POLITICO que le rôle de l'autorité des données sera « de superviser la création d'algorithmes et d'IA, mais aussi comment cela se passe quand il est là, comment il est traité, assurez-vous qu'il est centré sur l'humain et qu'il s'applique à toutes les réglementations en vigueur. Le régulateur examinera les algorithmes dans les secteurs public et privé.
Van Huffelen a souligné la nécessité de s'assurer que les humains sont toujours au courant. "Ce que je trouve très important, c'est de s'assurer que les décisions, les décisions gouvernementales basées sur l'IA sont également toujours traitées par la suite par une personne humaine", a-t-elle déclaré.
Un avertissement au reste de l'Europe
La plus haute responsable européenne du numérique, la vice-présidente exécutive de la Commission européenne, Margrethe Vestager, a déclaré que le scandale néerlandais était exactement ce dont chaque gouvernement devrait avoir peur.
« Nous avons d'énormes secteurs publics en Europe. Il y a tellement de services différents où la prise de décision assistée par l'IA pourrait être vraiment utile, si vous lui faites confiance », a déclaré Vestager au Parlement européen en mars. La nouvelle loi sur l'IA de l'UE vise à créer cette confiance, a-t-elle expliqué, "afin que ce grand marché du secteur public soit également ouvert à l'intelligence artificielle".
La proposition de la Commission relative à la loi IA limite l'utilisation des appelés systèmes d'IA à haut risque et interdit certaines utilisations "inacceptables". Les entreprises fournissant des systèmes d'IA à haut risque doivent répondre à certaines exigences de l'UE. La loi sur l'IA crée également un registre public européen de ces systèmes dans le but d'améliorer la transparence et de contribuer à l'application.
Ce n'est pas suffisant, soutient Renske Leijten, membre socialiste du parlement néerlandais et autre politicien clé qui a aidé à découvrir la véritable ampleur du scandale. Leijten soutient que la loi sur l'IA devrait également s'appliquer à ceux qui utilisent des systèmes d'IA à haut risque dans les secteurs privé et public.
Dans la loi sur l'IA, "nous voyons qu'il y a plus de garanties pour vos droits lorsque des entreprises et des entreprises privées travaillent avec l'IA. Mais la chose importante que nous devons apprendre du scandale des allocations pour la garde d'enfants, c'est qu'il ne s'agissait pas d'une entreprise ou du secteur privé… C'était le gouvernement », a-t-elle déclaré.
Dans l'état actuel des choses, la loi sur l'IA ne protégera pas les citoyens de dangers similaires, a déclaré l'eurodéputé vert néerlandais Kim van Sparrentak, membre de l'équipe de négociation de la loi sur l'IA du Parlement européen au sein de la commission du marché intérieur. Van Sparrentak fait pression pour que la loi sur l'IA comporte des évaluations d'impact sur les droits fondamentaux qui seront également publiées dans le registre de l'IA de l'UE. Le Parlement [propose] également(https://www.politico.eu/newsletter/ai-decoded/the-tech-policy-fight-of-the-decade-begins-ai-bias-improving-twitters-algorithm-2 /) ajoutant des obligations aux utilisateurs de systèmes d'IA à haut risque, y compris dans le secteur public.
« La prédiction de la fraude et la police prédictive basée sur le profilage devraient simplement être interdites. Parce que nous n'avons vu que de très mauvais résultats et qu'aucune personne ne peut être déterminée sur la base de certaines de leurs données », a déclaré van Sparrentak.
Dans un rapport détaillant comment le gouvernement néerlandais a utilisé le profilage ethnique dans le scandale des allocations familiales, Amnesty International appelle les gouvernements à interdire "l'utilisation de données sur la nationalité et l'ethnicité lors de la notation des risques à des fins d'application de la loi dans la recherche de suspects potentiels de crime ou de fraude".
Les Pays-Bas comptent toujours sur les conséquences du scandale. Le gouvernement a promis de rembourser les victimes de l'incident € 30 000. Mais pour ceux comme Leysner, cela ne commence même pas à couvrir les années qu'elle a perdues – la justice semble être encore loin.
« Si vous traversez des choses comme celle-ci, vous perdez également votre confiance dans le gouvernement. Il est donc très difficile de faire confiance à ce que disent les [autorités] en ce moment », a déclaré Leysner.
Cet article a été mis à jour avec les résultats de l'enquête des autorités fiscales néerlandaises publiés en avril.