政府のアルゴリズムの性能が期待を大きく下回ったため、20万人以上が住宅手当の詐欺や誤りで不当に調査を受けたとガーディアンが明らかにした。
情報公開法に基づいて公表された公式データによると、過去3年間に労働年金省（DWP）の自動システムによって潜在的に高リスクとフラグが付けられた申請の3分の2は実際には正当なものだった。
これは、毎月何千もの英国世帯が、申請を高リスクと誤って特定したアルゴリズムの誤った判断に 基づいて、住宅手当の申請を不必要に調査されたことを意味する。
また、約440万ポンドが、お金を節約しないチェックを行う職員に費やされたことも意味する。
この数字は、市民の自由とプライバシーのキャンペーングループであるビッグブラザーウォッチによって最初に入手され、同団体は「DWPが新しいテクノロジーに過度に依存することで、すでに不利な立場にあり、疎外され、脆弱であることが多い人々の権利が後回しにされている」と述べた。
DWPは、選挙前の期間にコメントできないと述べた。 2週間以内にこのシステムを担当する可能性がある労働党にコメントが求められている。
昨年、11の地方自治体で使用されたアルゴリズムや類似のシステムに関する情報コミッショナーの調査で報告、「福祉および社会福祉分野でアルゴリズムや類似の技術が使用された結果、請求者が何らかの損害や経済的損失を被ったことを示す証拠は見つかっていない」と報告されている。
しかし、給付金に頼る人々を支援する慈善団体Turn2usは、これらの数字は、政府が「自動化が人々に不利に働くのではなく、人々のために働くように、実際のユーザーと緊密に協力する」時期が来たことを示していると述べた。
請求が間違っているか不正であるリスクを判断するために、この技術は、年齢、性別、子供の数、および彼らが締結している賃貸契約の種類を含む請求者の個人特性を考慮に入れます。
自動化されたシステムが住宅手当請求を不正または誤りの可能性があるとフラ グ付けすると、市議会のスタッフは請求の詳細が正しいかどうかを確認し、検証する任務を負います。これには、電話またはデジタルで請求者から証拠を求めることが含まれます。彼らは状況の変化を特定し、場合によっては請求者の住宅手当の支給額を再計算する必要があります。
DWPは、DWPモデルによって高リスクとしてフラグ付けされたケースの64％が実際に誤った給付資格を受け取っていたことを示すパイロットテストの後、人工知能や機械学習を使用しない自動化ツールを導入することを決定しました。
しかし、請求者がその後直面したその後のケースレビューの結果は、詐欺やエラーがはるかに少ないことを明らかにしました。2020〜21年には疑わしいケースの37％、2021〜22年には34％、2022〜23年には37％のみが間違っていました。これは予測のほぼ半分の効果です。
それでも、このシステムは納税者のお金を節約しました。DWPが発表した2021/22年の数字によると、疑わしい請求の完全なケースレビューに費やされた1ポンドごとに2.71ポンドの節約がもたらされました。
昨年、DWPは、ユニバーサルクレジットシステムにおける詐欺やエラーを発見するための人工知能の展開を拡大しました。これには政府は、脆弱な請求者グループに対するアルゴリズムの偏りについての警告にもかかわらず、前会計年度で65億ポンドの損失を被った。機械学習ツールの使用方法に関する透明性が欠如していると批判されている。 1月には、DWPがAI搭載の不正検出機能によってフラグが付けられた給付金請求の定期的な停止を停止したことが明らかになった。この措置は、請求者と選出議員からのフィードバックに応えて行われた。
ビッグ・ブラザー・ウォッチの法務・政策担当官であるスザンナ・コプソン氏は、「これは、DWPがアルゴリズム主導の不正検出の可能性に焦点を当てているが、実際には大幅に期待外れであることを示すもう1つの例です。実際には、DWPが新しいテクノロジーに過度に依存しているため、すでに不利な立場に置かれた、疎外された、脆弱な人々の権利が後回しにされています。」と述べた。
彼女は「DWP が今後、データ取得ツールで大胆な主張と不十分なパフォーマンスというパターンを繰り返すという真の危険」について警告した。
「つい最近、政府は社会保障の詐欺や誤りに対処するという名目で、銀行にすべての顧客口座の大規模なアルゴリズム監視を強制する侵入的な措置を強行しようとしたが失敗した。この権限は立法の混乱を乗り切ることはできなかったが、DWP がプライバシーを侵害する技術を執拗に追求していることに対する懸念は残っている。」
この記事は 2024 年 6 月 24 日に修正され、D4S DigiStaff が提供するデジタル システムへの言及が削除されました。このシステムは、私たちが示唆したように、潜在的な詐欺や誤りのケースを特定して検討するために使用されるのではなく、特定後にそのようなケースを処理するために使用されます。