おそらく来月には、2013年10月から2015年9月までミシガン州で失業詐欺の容疑で不当に告発された34,000人以上の人々は、ミシガン州統合データ自動システム(MiDAS)による厳しい処遇に対して、当然の補償を受けることができるとようやく聞かされるだろう。ミシガン州の議員らは、不当に告発された人々への補償として少なくとも3,000万ドルを求めると約束している。
どれだけ多くの人が厳しい個 人的なトラウマを経験し、弁護のために弁護士を雇い、信用と評判を台無しにし、破産を申請し、住宅を差し押さえられ、あるいはホームレスになったかを考えると、これはけちな金額だ。 一部の人が主張しているように、1億ドルに近い金額がおそらく正当化されるでしょう。
この大失敗はあまりにもよく知られているです。政府機関は、コストと運用の効率を上げるために、レガシーITシステムを置き換えたいと考えていましたが、残念ながら、リスク管理の重大なミスにより、その取り組みはひどく失敗しました。
今回、COBOL を実行する 30 年前のメインフレーム システムを置き換えたいと考えていたのは、ミシガン州失業保険庁 (UIA) でした。新しいシステムの目的は 3 つあり、妥当なものでした。まず、失業手当がそれに値する人にのみ支給されるようにすること。次に、失業保険申請に対する UIA の効率性と応答性を高めること。そして 3 番目に、効率性の向上により、400 人以上の従業員、つまり機関のスタッフの約 3 分の 1 を削減して UIA の運用コストを削減すること。この取り組みに 44,400,558 ドルと 26 か月を費やした後、UIA は MiDAS を立ち上げ、すぐに大成功であると宣言しました [PDF]。予算内で予定通りに完了し、これまで見逃されていた不正な失業申請を発見しました。
偽りの詐欺の発見
MiDAS が運用を開始して間もなく、失業詐欺の疑 いのある人の数は 旧システムで発見された平均数と比較して 5 倍に増加しました [PDF]。新たに発見された詐欺と課された罰金により、UIA は巨額の資金を獲得し、1 年余りでその財源はおよそ 300 万ドルから 6,900 万ドル以上に増加しました。
調査の結果、MiDAS はアルゴリズムのみで 40,195 件の詐欺事件を裁定し、そのうち 85% が誤った詐欺判定に至ったことが判明しました
現金が急増した一因は、告発された人々に課せられた厳しい罰則、たとえば 詐欺の申し立て額の 400% の罰金 [PDF] の課税などによるもので、これは国内最高額です。
さらに、申し立てが立証されると、州は直ちに個人の賃金と連邦および州の所得税還付金を差し押さえ、支払いが行われない場合は刑事告発を行うことができます。
UIA がうまくやったと自画自賛する一方で、失業弁護士や支援者は詐欺の告発を受けた人々による控訴が急増していることに気付きました。次々と、控訴で詐欺の告発が却下されました。さらに詳しく調査した結果、弁護士と支援者は、MiDAS によって大量の詐欺の告発がアルゴリズム的に生成されており、従来のシステムで求められていたような人間による介入や告発の見直しは不可能であることが判明しました。
さらに、請求者が対応する必要があった MiDAS が生成した詐欺の通知は、誰かがうっかり詐欺を認めてしまうような設計になっていました。MiDAS はまた、失業手当を一度も受け取ったことがない人でも詐欺の告発をし ていました。さらに、MiDAS は明らかに、その調査結果の一部を 欠落または破損したデータ に基づいていた。実質的に、MiDAS は 失業保険を請求する人は誰でも UIA を騙そうとしている という仮定に基づいて構築されており、そうでないことを証明するのは請求者の責任だった。
MiDAS の欠点はここで繰り返すには多すぎる。 Detroit MetroTimes の こちら とこちら) や Center of Michigan のこちらなど、多くの優れた記事を読んで、UIA の冷酷さに信じられない思いで首をかしげてしまうような詳細と他の記事へのリンクを確認することをお勧めします。
また、64パーセントの詐欺請求が行政裁判所での上訴により審査中または覆されているにもかかわらず、UIAはMiDAS（および州の支出を賄うために）を何かが起こっているという内部警告に対して頑固に擁護した。当初、UIA は MiDAS が不正行為を判断する方法について誤った見解を示していましたが、国民や政治家の激しい抗議により、最終的に UIA は MiDAS、特にその「ロボットによる裁定」プロセスと人間によるレビューの欠如に重大な問題がある可能性があることを認めざるを得ませんでした。連邦政府からの圧力と、同月に UIA に対して 連邦訴訟の提起 があったことを受けて、2015 年 9 月に UIA は MiDAS を純粋に自動化された不正行為評価に使用しないことを決定しました。
州に対する連邦の訴訟は、UIAが失業保険詐欺の虚偽請求について最終的に謝罪したことで、2017年1月に終結しました。徹底的な調査によると、2013年10月から2015年9月までの間に、MiDASはアルゴリズムのみで40,195件の詐欺事件を裁定し、そのうち85パーセントが誤った詐欺判定につながりました。詐欺判定に何らかのレベルの人間による介入が関与した別の22,589件では、44パーセントの虚偽詐欺請求率が見つかりました。これは「改善」ではありますが、それでも非常に悪い結果です。興味深いことに、しかし驚くことではないが、UIA は、MiDAS がなぜこれほどまでに大失敗したのか、あるいは何かが根本的に間違っているという初期の警告サインをすべて無視した理由について、頑なに説明を拒否している。
UIA は、詐欺の罪で誤って告発された人々に同情し、徴収した 罰金をすべて返還したとされている と述べているが、UIA は、これらの偽りの告発によって生じた個人的および経済的損害に対して、UIA に対して提起された 集団訴訟 [PDF] に対しても精力的に戦ってきた。 UIA は、誤って告発された人々が補償請求の期限を過ぎたため、訴訟を却下した 2017 年 7 月の州控訴裁判所の判決を強く称賛しました。
UIA が詐欺的詐欺告発の深さ、広さ、および理由を明らかにする試みをすべて阻止したことを考えると、判決は法的には正しいかもしれませんが、道徳的には滑稽です。ミシガン州最高裁判所に上訴中のこの判決は、州議会議員と州知事に大いなる恥辱を与えたため、彼らは州の失業法の改正に同意した](https://www.freep.com/story/news/local/michigan/2017/12/01/after-midas-false-fraud-fiasco-jobless-reform-bills-getting-speedy-passage-michigan-unemployment/908315001/)。そして、少なくとも原則的には、MiDAS被害者補償基金の創設に同意した。実際に基金が創設されるかどうかは来月わかるだろう。
ミシガン州だけではない
MiDASの大失敗は、潜在的な給付金詐欺を追及するためにロボット裁定が使用された唯一の事例ではない。この制度はオーストラリアでも健在で、政府のセンターリンク プログラムが2016年に同様のアプローチを導入し、同様の結果をもたらしました。何万人もの給付金受給者がセンターリンクから手紙を受け取っており、その内容には、受給資格のない給付金を申請していないことを証明する必要があると記載されています。20%以上が誤って通知を受け取ったり、実際に負ってい る金額を大幅に上回る債務額を受け取ったりしています。オーストラリア政府は当初から、自動化システムであるセンターリンクは意図したとおりに機能していると主張してきたが、少なくとも1つの報告書によると、このシステムは運用コストを削減する手段として設計上うまく機能していない、法的に支払われるべきではないお金を生み出すものではないという。議会グループがロボットによる裁定プロセスを停止するよう 勧告 したとき、政府は それを聞くことを拒否 しました。
アルゴリズムがより多くの決定を下すようになると、影響を受ける人々がこれらの決定がどのようになされているかを理解し、異議を申し立てることが不可欠になります。
カリフォルニア州最高裁判所判事のマリアーノ・フロレンティーノ・クエヤル氏は、「サイバー委任と行政国家」という思慮深い論文の中で、純粋にアルゴリズムによってなされる官僚的な決定の本当の問題は、アルゴリズムによって生成された結果に疑問を呈することを人間の監督者が躊躇することであると指摘しています。クエヤル判事は、米国退役軍人局が書類作成と人件費を削減し、生産性を向上させるために自動化され た 障害 評価システムを導入した事例を挙げている。このシステムでは、人間の評価者が承認したであろうものと比較して、退役軍人が受け取るべき障害給付金が大幅に過大評価されていた。実際、アルゴリズムで作成された 140 万件の評価評価のうち、わずか 2 パーセント が後に無効にされた。自動化された決定に何か問題があると認めることに対する同様の躊躇は、MiDAS と Centrelink の両方で見られた。 アルゴリズムが刑事司法制度、企業や政府の雇用、信用の承認などでさらに多くの決定を下す [PDF]につれて、影響を受ける人々がこれらの決定がどのように行われているかを理解し、異議を申し立てることができることが必須になります。IEEE Global Initiative on Ethics of Autonomous and Intelligent Systemsが、自動化された意思決定システムのリスクが、その潜在的に莫大なメリットの追求の中で軽視されることのないよう支援してくれることを願っています。残念ながら MiDAS のケースで起きたような悪夢のようなロボット裁定プロセスに陥りたい人は誰もいないと思います。
この投稿は 2018 年 2 月 16 日に更新され、最新の数字が示され、請求が却下された割合が明確になりました。要約版は 2018 年 3 月の印刷版に「ロボット裁定と偽造詐欺報告」として掲載されていま す。