Incidente 822: El sesgo algorítmico en el sistema de bienestar francés supuestamente discrimina a los grupos marginados
Descripción: Una coalición de 15 organizaciones de derechos humanos ha interpuesto acciones legales contra el gobierno francés, alegando que un algoritmo utilizado para detectar el fraude a la asistencia social discrimina a madres solteras y personas con discapacidad. El algoritmo asigna puntuaciones de riesgo basadas en datos personales. El proceso presuntamente somete a los beneficiarios vulnerables a investigaciones invasivas, viola las leyes de privacidad y antidiscriminación, y afecta desproporcionadamente a los grupos marginados.
Editor Notes: Reconstructing the timeline of events: (1) Since the 2010s: The algorithm has been in use to detect errors and fraud in France’s welfare system. (2) 2014: One version of the algorithm scored single-parent families, particularly those recently divorced, and disabled individuals receiving the Allocation Adulte Handicapé (AAH) as higher risk. (3) 2020: A suspected update to the algorithm took place, though the CNAF has not publicly shared the source code of the current model. (4) October 15, 2024: A coalition of 15 human rights groups, including La Quadrature du Net and Amnesty International, filed a legal challenge in France’s top administrative court, arguing the algorithm discriminates against marginalized groups.
Herramientas
Nuevo InformeNueva RespuestaDescubrirVer Historial
El Monitor de Incidentes y Riesgos de IA de la OCDE (AIM) recopila y clasifica automáticamente incidentes y riesgos relacionados con la IA en tiempo real a partir de fuentes de noticias reputadas en todo el mundo.
Entidades
Ver todas las entidadesAlleged: Government of France developed an AI system deployed by Caisse Nationale des Allocations Familiales (CNAF), which harmed Women , Single mothers in France , Privacy , General public of France , General public , Allocation Adulte Handicapé recipients y People with disabilities in France.
Sistemas de IA presuntamente implicados: Welfare fraud detection algorithms , Public benefits risk-scoring systems y CNAF risk-scoring algorithm
Estadísticas de incidentes
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.1. Unfair discrimination and misrepresentation
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Intentional
Informes del Incidente
Cronología de Informes
Loading...
Una coalición de grupos de derechos humanos ha iniciado hoy una acción legal contra el gobierno francés por el uso de algoritmos para detectar pagos de asistencia social mal calculados (https://www.wired.com/story/welfare-state-algorithms/)…
Loading...
Las autoridades francesas deben detener de inmediato el uso de un algoritmo discriminatorio de puntuación de riesgo utilizado por la Caja Nacional de Subsidios Familiares (CNAF) de la Agencia de Seguridad Social francesa, que se utiliza par…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?