人権団体連合は本日、フランス政府が誤算された福祉給付金の検出にアルゴリズムを使用していることをめぐり、障害者やシングルマザーを差別しているとして訴訟を起こした。
2010年代から使用されているこのアルゴリズムは、欧州のプライバシー規則とフランスの差別禁止法の両方に違反していると、デジタル権利団体La Quadrature du Net、アムネスティ・インターナショナル、不平等に反対するキャンペーンを展開するフランスの団体Collectif Changer de Capなど、この訴訟に関与する15団体が主張している。
「フランスで公的アルゴリズムが訴訟の対象になったのは今回が初めてです」とCollectif Changer de Capのヴァレリー・プラス氏は述べ、 こうしたタイプのアルゴリズムを禁止してほしいと付け加えた。 「フランスの他の社会組織は、貧困層をターゲットにするためにスコアリングアルゴリズムを使用しています。このアルゴリズムを禁止することに成功すれば、他の組織にも同じことが適用されます。」
10月15日にフランスの最高行政裁判所に提出された訴訟によると、フランスの福祉機関であるCNAFは、政府の支援を申請している人だけでなく、一緒に暮らす人や家族など、3,000万人以上の個人データを分析しています。
アルゴリズムは、個人情報を使用して、詐欺または間違いにより、権利のない支払いを受けている可能性を推定し、各人に0〜1のスコアを与えます。
フランスは、福祉制度のエラーや詐欺を探すためにアルゴリズムを使用している多くの国の一つです。昨年、WIRED は Lighthouse Reports と共同で、欧州の福祉制度における不正検出アルゴリズムに関する 3 部構成の調査 を実施し、オランダ、デンマーク、セルビア での使用に焦点を当てました。
リスク スコアが高い人は、EU 全体の福祉受給者が ストレスの多い、押し付けがましい と表現する調査の対象となる可能性があり、福祉給付の停止も伴う可能性があります。
「CNAF が実施した処理は、大規模な 監視であり、プライバシー権に対する不当な攻撃である」とフランスのアルゴリズムに関する法的文書には記されている。「このアルゴリズム処理の影響は、特に最も不安定な立場にある人々に影響を及ぼす」
CNAF は、誤って支給された福祉給付金を検出するために現在使用しているモデルのソースコードを公表していない。しかし、2020 年まで使用されていたとみられるアルゴリズムの 旧バージョンの分析 に基づき、La Quadrature du Net は、このモデルは、たとえば障害を持つ人々を他の人たちよりも高いリスクと評価することで、疎外されたグループを差別していると主張している。
「障害者向けの社会手当（Allocation Adulte Handicapé、略してAAH）を受給している人は、アルゴリズムの変数によって直接ターゲットにされます」と、La Quadrature du Netの法律専門家、バスティアン・ル・ケレック氏は言う。「AAHを受給していて働いている人のリスクスコアは高くなります。」
また、このアルゴリズムは、ひとり親家庭を両親がいる家庭よりも高く評価しているため、統計的にひとり親になる可能性が高いシングルマザーを間接的に差別していると、同団体は主張している。「2014年版のアルゴリズムの基準では、離婚後18か月未満の受給者のスコアが高くなっています」とル・ケレック氏は言う。
Changer de Capは、調査を受けた後、シングルマザーと障害者の両方から支援を求める相談を受けていると述べている。
住宅、障害、児童手当などの財政援助の分配を担当するCNAFは、コメントの要請や、現在使用されているアルゴリズムが2014 年版から大幅に変更されたかどうかについてのWIREDの質問にすぐには応じなかった。
フランスと同様に、他のヨーロッパ諸国の人権団体は、社会の最低所得層を厳しい監視下に置き、しばしば深刻な結果をもたらしていると主張している。
オランダで数万人の人々（その多くは同国のガーナ人コミュニティ出身者）が児童手当制度を詐取したと誤って告発されたとき、彼らはアルゴリズムが盗んだとしている金銭を返済するよう命じられただけではない。彼らの多くは、借金が膨らみ、信用格付けが損なわれたと主張している。
問題はアルゴリズムの設計方法ではなく、福祉制度での使用だと、パリ政治学院のAI政策講師で、以前はフランス政府で公共部門のアルゴリズムの透明性について働いていたソイジック・ペニカ氏は言う。「社会政策の文脈でアルゴリズムを使用すると、メリットよりもはるかに多くのリスクが伴います」と同氏は言う。「ヨーロッパでも世界でも、これらのシステムが肯定的な結果で使用された例を私は見たことがありません。」
この事件はフランス以外にも波及効果をもたらす。福祉アルゴリズムは、2025年2月に施行されたEUの新しいAI規則がどのように施行されるかの早期テストになると予想されている。それ以降、「ソーシャルスコアリング」、つまり人々の行動を評価し、一部の人に不利益な扱いをするためにAIシステムを使用する行為は、EU全体で禁止される。
「こう した不正検出を行う福祉システムの多くは、私の意見では、実際には社会スコアリングである可能性があります」と非営利団体アルゴリズムウォッチの共同設立者マティアス・シュピールカンプ氏は言う。しかし、公共部門の代表者はその定義に同意しない可能性が高く、これらのシステムをどのように定義するかに関する議論は法廷に持ち込まれる可能性が高い。「これは非常に難しい問題だと思います」とシュピールカンプ氏は言う。