Incident 822: Les biais algorithmiques du système de protection sociale français discrimineraient les groupes marginalisés
Description: Une coalition de 15 associations de défense des droits humains a intenté une action en justice contre le gouvernement français, alléguant qu'un algorithme utilisé pour détecter les fraudes aux aides sociales discrimine les mères célibataires et les personnes handicapées. Cet algorithme attribue des scores de risque basés sur des données personnelles. Ce processus soumettrait les bénéficiaires vulnérables à des enquêtes intrusives, violerait les lois sur la protection de la vie privée et la lutte contre la discrimination, et affecterait de manière disproportionnée les groupes marginalisés.
Editor Notes: Reconstructing the timeline of events: (1) Since the 2010s: The algorithm has been in use to detect errors and fraud in France’s welfare system. (2) 2014: One version of the algorithm scored single-parent families, particularly those recently divorced, and disabled individuals receiving the Allocation Adulte Handicapé (AAH) as higher risk. (3) 2020: A suspected update to the algorithm took place, though the CNAF has not publicly shared the source code of the current model. (4) October 15, 2024: A coalition of 15 human rights groups, including La Quadrature du Net and Amnesty International, filed a legal challenge in France’s top administrative court, arguing the algorithm discriminates against marginalized groups.
Entités
Voir toutes les entitésAlleged: Government of France developed an AI system deployed by Caisse Nationale des Allocations Familiales (CNAF), which harmed Allocation Adulte Handicapé recipients , Disabled people in France , Single mothers in France et French general public.
Statistiques d'incidents
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.1. Unfair discrimination and misrepresentation
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Intentional
Rapports d'incidents
Chronologie du rapport
Une coalition de groupes de défense des droits de l’homme a lancé aujourd’hui une action en justice contre le gouvernement français pour son utilisation d’algorithmes pour détecter les prestations sociales mal calculées, alléguant qu’ils di…
Les autorités françaises doivent immédiatement mettre un terme à l’utilisation d’un algorithme discriminatoire de notation des risques utilisé par la Caisse nationale d’allocations familiales (CNAF), qui permet de détecter les trop-perçus e…
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?