Incidents associés
Les autorités françaises doivent immédiatement mettre un terme à l’utilisation d’un algorithme discriminatoire de notation des risques utilisé par la Caisse nationale d’allocations familiales (CNAF), qui permet de détecter les trop-perçus et les erreurs dans le versement des prestations, a déclaré Amnesty International aujourd’hui.
Le 15 octobre, Amnesty International et quatorze autres partenaires de la coalition dirigée par La Quadrature du Net (LQDN) ont déposé une plainte auprès du Conseil d’État, la plus haute juridiction administrative française, exigeant que le système algorithmique de notation des risques utilisé par la CNAF soit arrêté.
« Dès le départ, le système de notation des risques utilisé par la CNAF traite avec suspicion les personnes en situation de marginalité – les personnes handicapées, les parents isolés, qui sont principalement des femmes, et les personnes vivant dans la pauvreté. « Ce système fonctionne en opposition directe avec les normes relatives aux droits humains, violant le droit à l’égalité et à la non-discrimination et le droit à la vie privée », a déclaré Agnès Callamard, secrétaire générale d’Amnesty International.
En 2023, La Quadrature du Net (LQDN) a eu accès à des versions du code source de l’algorithme – un ensemble d’instructions écrites par des programmeurs pour créer un logiciel – exposant ainsi le caractère discriminatoire du système.
Depuis 2010, la CNAF utilise un algorithme de notation des risques pour identifier les personnes qui commettent potentiellement des fraudes aux prestations sociales en recevant des trop-perçus. L’algorithme attribue un score de risque compris entre zéro et un à tous les bénéficiaires d’aides familiales et d’aides au logement. Plus le score est proche de un, plus la probabilité d’être signalé pour enquête est élevée.
En France, 32 millions de personnes vivent dans des foyers bénéficiant d’une allocation de la CNAF. Leurs données personnelles sensibles, ainsi que celles de leur famille, sont traitées périodiquement et un score de risque est attribué.
Les critères qui augmentent le score de risque comprennent des paramètres qui discriminent les foyers vulnérables, notamment le fait d’avoir de faibles revenus, d’être au chômage, de vivre dans un quartier défavorisé, de consacrer une part importante de ses revenus au loyer et de travailler tout en étant handicapé. Les informations sur les personnes signalées en raison d’un score de risque élevé sont compilées dans une liste qui fait l’objet d’une enquête plus approfondie par un enquêteur anti-fraude.
« Alors que les autorités vantent le déploiement de technologies algorithmiques dans les systèmes de protection sociale comme un moyen d’accroître l’efficacité et de détecter les fraudes et les erreurs, dans la pratique, ces systèmes aplatissent la réalité de la vie des gens. Ils fonctionnent comme des outils d’exploration de données extensifs qui stigmatisent les groupes marginalisés et envahissent leur vie privée », a déclaré Agnès Callamard.
Amnesty International n’a pas enquêté sur les cas spécifiques de personnes signalées par le système de la CNAF. Cependant, nos enquêtes aux Pays-Bas et en Serbie suggèrent que l’utilisation de systèmes basés sur l’IA et l’automatisation dans le secteur public permet une surveillance de masse : la quantité de données collectées est disproportionnée par rapport à l’objectif déclaré du système. En outre, les éléments recueillis par Amnesty International ont également révélé que bon nombre de ces systèmes se sont révélés assez inefficaces pour faire ce qu’ils prétendent faire, qu’il s’agisse d’identifier les fraudes ou les erreurs dans le système de prestations sociales.
Alors que les autorités vantent le déploiement de technologies algorithmiques dans les systèmes de protection sociale comme un moyen d’accroître l’efficacité et de détecter les fraudes et les erreurs, dans la pratique, ces systèmes aplatissent la réalité de la vie des gens. Ils fonctionnent comme des outils d’exploration de données à grande échelle qui stigmatisent les groupes marginalisés et envahissent leur vie privée.
Agnès Callamard, Secrétaire générale d’Amnesty International
Il a également été avancé que l’ampleur des erreurs ou des fraudes dans les systèmes de prestations sociales a été exagérée pour justifier le développement de tels systèmes technologiques, conduisant souvent à des comportements discriminatoires, racistes ou sexistes à l’encontre de groupes particuliers, notamment les migrants et les réfugiés.
Au cours de l’année écoulée, la France s’est activement promue à l’international comme le prochain pôle des technologies d’intelligence artificielle (IA), avec pour point d’orgue un sommet prévu en février 2025. Dans le même temps, la France a également légalisé les technologies de surveillance de masse et a constamment sapé la loi sur l’IA de l’UE.
« La France s’appuie sur un système algorithmique de notation des risques pour les prestations sociales qui met en évidence, entretient et consacre les préjugés et la discrimination de la bureaucratie. La France devrait plutôt s’assurer qu’elle respecte ses obligations en matière de droits humains, en premier lieu celle de non-discrimination. « Les autorités doivent remédier aux préjudices actuels et existants liés à l’IA dans le cadre de la quête du pays pour devenir un pôle mondial de l’IA », a déclaré Agnès Callamard.
En vertu du nouveau règlement européen sur l’intelligence artificielle (AI Act), les systèmes d’IA utilisés par les autorités pour déterminer l’accès aux services et avantages publics essentiels sont considérés comme présentant un risque élevé pour les droits, la santé et la sécurité des personnes. Par conséquent, ils doivent respecter des règles techniques, de transparence et de gouvernance strictes, y compris l’obligation pour les déployeurs de procéder à une évaluation des risques pour les droits de l’homme et de garantir des mesures d’atténuation avant le déploiement.
En attendant, certains systèmes, tels que ceux utilisés pour la notation sociale, sont considérés comme présentant un niveau de risque inacceptable et doivent donc être interdits.
Il est regrettable que les législateurs de l’UE aient été vagues en définissant explicitement la notation sociale dans la loi sur l’IA. La Commission européenne doit s’assurer que ses prochaines lignes directrices fournissent une interprétation claire et applicable de l’interdiction de la notation sociale, en particulier en ce qui concerne les systèmes de détection des fraudes discriminatoires et de notation des risques.
Agnès Callamard
Il n’est pas encore certain que le système utilisé par la CNAF soit qualifié de système de notation sociale en raison du manque de clarté de la loi sur l’IA sur ce qui constitue un tel système.
« Il est regrettable que les législateurs européens aient été vagues dans la définition explicite de la notation sociale dans la loi sur l’IA. La Commission européenne doit s’assurer que ses prochaines lignes directrices fournissent une interprétation claire et applicable de l’interdiction de la notation sociale, en particulier en ce qui concerne les systèmes discriminatoires de détection des fraudes et de notation des risques », a déclaré Agnès Callamard.
Quelle que soit sa classification au regard de la loi sur l’IA, tout porte à croire que le système utilisé par la CNAF est discriminatoire. Il est essentiel que les autorités cessent de l’utiliser et examinent de près les pratiques biaisées qui sont intrinsèquement préjudiciables, en particulier pour les communautés marginalisées qui recherchent des prestations sociales.
Contexte
La Commission européenne publiera des orientations sur la manière d’interpréter les interdictions prévues par la loi sur l’IA avant leur entrée en vigueur le 2 février 2025, y compris ce qui pourrait être qualifié de systèmes de notation sociale.
En août 2024, la loi sur l’IA est entrée en vigueur. Amnesty International, dans le cadre d’une coalition de la société civile dirigée par le Réseau européen des droits numériques (EDRi), a appelé à une réglementation européenne de l’intelligence artificielle qui protège et promeut les droits humains.
En mars 2024, un briefing d’Amnesty International a souligné comment les technologies numériques, notamment l’intelligence artificielle, l’automatisation et la prise de décision algorithmique, exacerbent les inégalités dans les systèmes de protection sociale à travers le monde.
En 2021, le rapport d’Amnesty International [Xenophobic Les machines ont révélé comment le profilage racial a été intégré dans la conception du système algorithmique des autorités fiscales néerlandaises qui ont signalé les demandes d’allocations de garde d’enfants comme potentiellement frauduleuses.