Incidents associés
Une coalition de groupes de défense des droits de l’homme a lancé aujourd’hui une action en justice contre le gouvernement français pour son utilisation d’algorithmes pour détecter les prestations sociales mal calculées, alléguant qu’ils discriminent les personnes handicapées et les mères célibataires.
L’algorithme, utilisé depuis les années 2010, viole à la fois les règles européennes de confidentialité et les lois françaises anti-discrimination, affirment les 15 groupes impliqués dans l’affaire, dont le groupe de défense des droits numériques La Quadrature du Net, Amnesty International et le Collectif Changer de Cap, un groupe français qui fait campagne contre les inégalités.
« C’est la première fois qu’un algorithme public fait l’objet d’une contestation judiciaire en France », déclare Valérie Pras du Collectif Changer de Cap, ajoutant qu’elle souhaite que ce type d’algorithmes soit interdit. « D’autres organisations sociales en France utilisent des algorithmes de notation pour cibler les pauvres. Si nous parvenons à faire interdire cet algorithme, il en sera de même pour les autres. »
La CNAF analyse les données personnelles de plus de 30 millions de personnes, qu’il s’agisse des bénéficiaires d’aides sociales, des personnes avec qui elles vivent ou des membres de leur famille, selon le procès, déposé devant le tribunal administratif de Paris le 15 octobre.
À partir de leurs informations personnelles, l’algorithme attribue à chaque personne un score compris entre 0 et 1, en fonction de la probabilité qu’elle reçoive des paiements auxquels elle n’a pas droit, soit par fraude, soit par erreur.
La France est l’un des nombreux pays qui utilisent des algorithmes pour rechercher des erreurs ou des fraudes dans leur système de protection sociale. L’année dernière, l’enquête en trois parties de WIRED avec Lighthouse Reports sur les algorithmes de détection de fraude dans les systèmes de protection sociale européens s’est concentrée sur leur utilisation aux Pays-Bas, au Danemark et en Serbie.
Les personnes présentant des scores de risque plus élevés peuvent alors faire l’objet de ce que les bénéficiaires de l’aide sociale de l’ensemble de l’Union ont décrit comme des enquêtes stressantes et intrusives, qui peuvent également entraîner la suspension de leurs prestations sociales.
« Le traitement mis en œuvre par la Cnaf constitue une surveillance massive et une atteinte disproportionnée au droit à la vie privée », peut-on lire dans les documents juridiques de l’algorithme français. « Les effets de ce traitement algorithmique touchent particulièrement les personnes les plus précaires. »
La Cnaf n’a pas rendu public le code source du modèle qu’elle utilise actuellement pour détecter les versements d’aides sociales erronés. Mais en se basant sur l’analyse d’anciennes versions de l’algorithme, soupçonné d’avoir été utilisé jusqu’en 2020, La Quadrature du Net affirme que le modèle discrimine les groupes marginalisés en classant par exemple les personnes handicapées comme plus à risque que les autres.
« Les personnes bénéficiant d’une allocation sociale réservée aux personnes handicapées [l’Allocation Adulte Handicapé, ou AAH] sont directement ciblées par une variable de l’algorithme », explique Bastien Le Querrec, juriste à La Quadrature du Net. « Le score de risque pour les bénéficiaires de l’AAH et qui travaillent est augmenté. »
Comme il attribue également un score plus élevé aux familles monoparentales qu’aux familles biparentales, les groupes affirment qu’il discrimine indirectement les mères célibataires, qui sont statistiquement plus susceptibles d’être les seules à s’occuper de leurs enfants. « Dans les critères de la version 2014 de l’algorithme, le score des bénéficiaires divorcés depuis moins de 18 mois est plus élevé », explique Le Querrec.
Changer de Cap dit avoir été contacté à la fois par des mères célibataires et des personnes handicapées en quête d’aide, après avoir fait l’objet d’une enquête.
La CNAF, qui est en charge de la distribution des aides financières, notamment les allocations logement, handicap et enfant à charge, n’a pas immédiatement répondu à une demande de commentaires ni à la question de WIRED sur le fait de savoir si l’algorithme actuellement utilisé avait considérablement changé depuis la version 2014.
Tout comme en France, les groupes de défense des droits de l’homme dans d’autres pays européens affirment qu’ils soumettent les membres les plus pauvres de la société à une surveillance intense, souvent avec de profondes conséquences.
Lorsque des dizaines de milliers de personnes aux Pays-Bas – dont beaucoup sont issues de la communauté ghanéenne – ont été faussement accusées d’avoir fraudé le système d’allocations familiales, elles n’ont pas seulement été sommées de rembourser l’argent que l’algorithme leur aurait volé. Beaucoup d’entre elles affirment qu’elles se sont également retrouvées avec une dette croissante et une cote de crédit détruite.
Le problème ne réside pas dans la manière dont l’algorithme a été conçu, mais dans son utilisation dans le système de protection sociale, explique Soizic Pénicaud, maître de conférences en politique de l’IA à Sciences Po Paris, qui a précédemment travaillé pour le gouvernement français sur la transparence des algorithmes du secteur public. « L’utilisation d’algorithmes dans le contexte de la politique sociale comporte bien plus de risques que d’avantages », dit-elle. « Je n’ai vu aucun exemple en Europe ou dans le monde où ces systèmes ont été utilisés avec des résultats positifs. »
L’affaire a des ramifications au-delà de la France. Les algorithmes d’aide sociale devraient constituer un premier test de la manière dont les nouvelles règles de l’UE en matière d’IA seront appliquées une fois qu’elles entreront en vigueur en février 2025. À partir de cette date, le « social scoring » (l’utilisation de systèmes d’IA pour évaluer le comportement des personnes et soumettre certaines d’entre elles à un traitement préjudiciable) sera interdit dans tout le bloc.
« Beaucoup de ces systèmes d’aide sociale qui détectent les fraudes peuvent, à mon avis, être des systèmes de notation sociale dans la pratique », déclare Matthias Spielkamp, cofondateur de l’association à but non lucratif Algorithm Watch. Pourtant, les représentants du secteur public ne seront probablement pas d’accord avec cette définition, et les arguments sur la manière de définir ces systèmes finiront probablement devant les tribunaux. « Je pense que c’est une question très difficile », déclare Spielkamp.