概要: A coalition of 15 human rights groups has launched legal action against the French government alleging that an algorithm used to detect welfare fraud discriminates against single mothers and disabled people. The algorithm assigns risk scores based on personal data. The process allegedly subjects vulnerable recipients to invasive investigations, violates privacy and anti-discrimination laws, and disproportionately affects marginalized groups.
Editor Notes: Reconstructing the timeline of events: (1) Since the 2010s: The algorithm has been in use to detect errors and fraud in France’s welfare system. (2) 2014: One version of the algorithm scored single-parent families, particularly those recently divorced, and disabled individuals receiving the Allocation Adulte Handicapé (AAH) as higher risk. (3) 2020: A suspected update to the algorithm took place, though the CNAF has not publicly shared the source code of the current model. (4) October 15, 2024: A coalition of 15 human rights groups, including La Quadrature du Net and Amnesty International, filed a legal challenge in France’s top administrative court, arguing the algorithm discriminates against marginalized groups.
Alleged: Government of France developed an AI system deployed by Caisse Nationale des Allocations Familiales (CNAF), which harmed Allocation Adulte Handicapé recipients , Disabled people in France , Single mothers in France と French general public.
インシデントのステータス
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.1. Unfair discrimination and misrepresentation
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Intentional
インシデントレポート
レポートタイムライン
人権団体連合は本日、フランス政府が誤算された福祉給付金の検出にアルゴリズムを使用していることをめぐり、障害者やシングルマザーを差別しているとして訴訟を起こした。
2010年代から使用されているこのアルゴリズムは、欧州のプライ バシー規則とフランスの差別禁止法の両方に違反していると、デジタル権利団体La Quadrature du Net、アムネスティ・インターナショナル、不平等に反対するキャンペーンを展開するフランスの団体Collectif Changer de Capなど、こ…
フランス当局は、フランス社会保障庁の国民家族手当基金（CNAF）が給付金支払いに関する過払いや誤りを検出するために使用している差別的なリスクスコアリングアルゴリズムの使用を直ちに停止しなければならないと、アムネスティ・インターナショナルは本日発表した。
10月15日、アムネスティ・インターナショナルと、La Quadrature du Net（LQDN）が率いる他の14の連合パートナーは、フランスの最高行政裁判所である国務院に苦情を提出し、CNAFが使用しているリスクスコアリ…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください