フランス当局は、フランス社会保障庁の国民家族手当基金（CNAF）が給付金支払いに関する過払いや誤りを検出するために使用している差別的なリスクスコアリングアルゴリズムの使用を直ちに停止しなければならないと、アムネスティ・インターナショナルは本日発表した。
10月15日、アムネスティ・インターナショナルと、La Quadrature du Net（LQDN）が率いる他の14の連合パートナーは、フランスの最高行政裁判所である国務院に苦情を提出し、CNAFが使用しているリスクスコアリングアルゴリズムシステムの停止を要求した。 「CNAFが使用するリスクス コアリングシステムは、最初から、障害者、主に女性のひとり親、貧困層など、疎外感を経験する個人を疑いの目で見ています。このシステムは人権基準に真っ向から反し、平等と差別禁止の権利、プライバシーの権利を侵害しています」と、アムネスティ・インターナショナルの事務総長アニエス・カラマールは述べています。
2023年、La Quadrature du Net（LQDN）は、アルゴリズムのソースコードのバージョン（ソフトウェアを作成するためにプログラマーが書いた一連の命令）にアクセスし、システムの差別的性質を明らかにしました。
CNAF は 2010 年以来、リスク スコアリング アルゴリズムを使用して、過払い金の受け取りによる給付金詐欺の可能性がある人々を特定しています。このアルゴリズムは、家族手当および住宅手当の受給者全員に 0 から 1 までのリスク スコアを割り当てます。スコアが 1 に近いほど、調査対象としてフラグが付けられる可能性が高くなります。
フランス全体では、CNAF から給付金を受け取る世帯に 3,200 万人が住んでいます。彼らの個人情報と家族の個人情報は定期的に処理され、リスク スコアが割り当てられます。
リスク スコアを上げる基準には、低所得、失業中、恵まれない地域に住んでいる、収入のかなりの割合を家賃に費やしている、障害を持ちながら働いているなど、脆弱な世帯を差別するパラメーターが含まれます。高リスク スコアのためにフラグが付けられた人々の詳細は、詐欺調査員によってさらに調査されるリストにまとめられます。
「当局は、 効率性を高め、詐欺や誤りを検出する方法として社会保障制度にアルゴリズム技術を導入することを大々的に宣伝しているが、実際には、こうしたシステムは人々の生活の現実を平板化している。こうしたシステムは、疎外された集団に汚名を着せ、プライバシーを侵害する大規模なデータマイニングツールとして機能している」とアニエス・カラマール氏は述べた。
アムネスティ・インターナショナルは、CNAFシステムによってフラグが付けられた人々の具体的な事例を調査しなかった。しかし、オランダとセルビアでの調査では、公共部門でAI搭載システムと自動化を使用すると、大規模な監視が可能になることが示唆されています。収集されるデータの量は、システムの目的とされているものに比べて不釣り合いです。さらに、アムネスティ・インターナショナルの証拠は、これらのシステムの多くが、給付制度における詐欺や誤りの特定など、本来の目的を実際に果たすのに非常に効果がないということも明らかにしました。
当局は、効率性を高め、詐欺や誤りを検出する方法として社会保障制度におけるアルゴリズム技術の導入を歓迎しているが、実際には、これらのシステムは人々の生活の現実を平板化している。これらは、疎外されたグループに汚名を着せ、プライバシーを侵害する大規模なデータマイニングツールとして機能している。
アムネスティ・インターナショナル事務局長、アニエス・カラマール
また、給付制度における誤りや詐欺の規模が このような技術システムの開発を正当化するために 誇張されており、特定のグループ、特に移民や難民に対する差別的、人種差別的、性差別的な標的化につながることが多いと主張されている。
フランスは過去1年間、次世代の人工知能（AI）技術の拠点として積極的に国際的にアピールし、2025年2月にサミットを開催する予定です。同時に、フランスは大規模監視技術を合法化し、一貫してEUのAI法交渉を弱体化させてきた。
「フランスは、官僚の偏見と差別を強調し、維持し、固定化する社会保障のためのリスクスコアリングアルゴリズムシステムに依存している。代わりに、フランスは、まず第一に、差別禁止という人権義務を遵守するようにすべきだ。」 「当局は、国が世界的なAIハブを目指す中で、現在および既存のAI関連の危害に対処しなければならない」とアニエス・カラマール氏は述べた。
新たに採択された欧州人工知能規制（AI法）では、重要な公共サービスや給付へのアクセスを決定するために当局が使用するAIシステムは、人々の権利、健康、安全に高いリスクをもたらすとみなされている。したがって、それらは、導入前に人権リスクの評価を実施し、緩和策を保証するという導入者の義務を含む、厳格な技術、透明性、ガバナンスのルールを満たす必要がある。
一方、ソーシャルスコアリングに使用されるシステムなど、特定のシステムは、許容できないレベルのリスクをもたらすとみなされており、禁止する必要がある。
EUの立法者がAI法におけるソーシャルスコアリングを明確に定義するのに曖昧なのは残念だ。欧州委員会は、今後のガイドラインが、特に差別的な詐欺検出およびリスクスコアリングシステムに適用されるソーシャルスコアリング禁止の明確で強制力のある解釈を提供するようにしなければならない。 > アグネス・カラマール
AI 法では、このようなシステムを構成するものについて明確に規定されていないため、CNAF が使用しているシステムがソーシャル スコアリング システムとして適格かどうかは現時点では不明です。
「EU の立法者が AI 法でソーシャル スコアリングを明確に定義していないのは残念です。欧州委員会は、今後のガイドラインでソーシャル スコアリング禁止の明確で強制力のある解釈を提供しなければなりません。特に、差別的な詐欺検出およびリスク スコアリング システムに適用されるためです」と、アグネス・カラマールは述べています。
AI 法での分類にかかわらず、すべての証拠から、CNAF が使用しているシステムは差別的であることがわかります。当局は、このシステムの使用を中止し、特に社会福祉を求める疎外さ れたコミュニティに本質的に有害な偏った慣行を精査することが不可欠です。
背景
欧州委員会は、2025年2月2日の発効前に、AI法の禁止事項の解釈方法に関するガイダンスを発行します。これには、ソーシャルスコアリングシステムとみなされるものも含まれます。
2024年8月、AI法は発効しました。(https://www.amnesty.eu/news/statement-eu-takes-modest-step-as-ai-law-comes-into-effect/)。アムネスティ・インターナショナルは、欧州デジタル権利ネットワーク (EDRi) が主導する市民社会連合の一員として、人権を保護し促進するEUの人工知能規制を求めてきました。
2024年3月、アムネスティ・インターナショナルのブリーフィングでは、人工知能、自動化、アルゴリズムによる意思決定などのデジタル技術が、世界中の社会保障制度における不平等を悪化させていることが概説されました。
2021年、アムネスティ・インターナショナルの報告書_[外国人嫌悪オランダ税務当局が児童手当の請求を不正の可能性があるとフラグ付けするアルゴリズムシステムの設計に人種プロファイリングが組み込まれていたことを暴露した。