324。これは、AI を活用した入居審査ツールによってメアリー ルイスに与えられたスコアです。SafeRent というソフトウェアは、11 ページのレポートで、スコアの計算方法やさまざまな要素の重み付けについて説明していませんでした。スコアが実際に何を意味するのかは述べていませんでした。ルイスのスコアを表示し、低すぎると判断しただけです。結果の横のボックスには、「ス コア推奨: 拒否」と書かれていました。
警備員として働くルイスは、東部 マサチューセッツ州 郊外のアパートに申し込んでいました。彼女がその部屋を見学したとき、管理会社は彼女の申し込みが受け入れられるのに問題はないだろうと言いました。彼女の信用スコアは低く、クレジットカードの借金もありましたが、17 年間住んでいる大家からは、家賃を常に期日通りに支払っているという素晴らしい推薦状をもらっていました。彼女はまた、低所得者向けのバウチャーも使用し、管理会社が毎月の家賃の少なくとも一部を政府から受け取ることを保証していました。バウチャーにも名前が記載されている彼女の息子は、高いクレジットスコアを持っており、支払い遅延に対するバックストップとして機能できることを示していました。
しかし、彼女がアパートに申し込んでから2か月以上経った2021年5月、管理会社はルイに電子メールを送り、コンピュータープログラムが彼女の申し込みを拒否したことを知らせました。彼女の申し込みが受け入れられるには、少なくとも443のスコアが必要でした。それ以上の説明はなく、決定に異議を申し立てる方法もありませんでした。
「メアリー、残念ながら、すべての入居希望者の審査に使用しているサードパーティサービスがあなたの入居を拒否しました」と電子メールには書かれていました。「残念ながら、サービスのSafeRent賃貸スコアは、当社の賃貸基準で許容されるよりも低いものでした。」
入居者が訴訟を起こす
ルイは、より高価なアパートを借りざるを得ませんでした。そこの経営 陣は、彼女にアルゴリズムによるスコアを付けなかった。しかし、彼女は、SafeRent での自分の経験が特別なことではないことを知った。彼女は、住宅バウチャーを使用するマサチューセッツ州の 400 人以上の黒人およびヒスパニック系の入居者の 1 人であり、SafeRent スコアが原因で賃貸申請が却下されたと語った。
2022 年、彼らは公正住宅法に基づいて同社を訴え、SafeRent が差別したと主張した。ルイスともう 1 人の原告であるモニカ・ダグラスは、同社のアルゴリズムが、住宅バウチャーを使用する黒人およびヒスパニック系の入居者に、白人の申請者よりも不釣り合いに低いスコアを付けたと主張した。彼らは、ソフトウェアが、彼らが良い入居者になるかどうかに関する無関係なアカウント情報 (信用スコア、住宅に関連しない負債) を不正確に評価したが、住宅バウチャーを使用することは考慮に入れなかったと主張した。研究によると、黒人やヒスパニック系の賃貸希望者は白人の希望者よりも信用スコアが低く、住宅バウチャーを使用する可能性が高い。
「却下されるまで待つのは時間の無駄でした」とルイス氏は言う。「自分の信用が良くないことはわかっていました。しかし、AIは私の行動を知りません。クレジットカードの支払いが遅れていることは知っていましたが、家賃をいつも払っていることは知りませんでした。」
グループが最初にセーフレントを訴えてから2年が経ちました。あまりにも長いため、ルイス氏は人生をやり直し、訴訟のことをほとんど忘れてしまったと言いますが、彼女はわずか2人の原告のうちの1人でした。しかし、彼女の行動は、米国連邦法典でセクショ ン8バウチャーとして知られている同様の住宅プログラムを利用している他の賃借人が、アルゴリズムで決定されたスコアのために住宅を失うことからまだ保護する可能性があります。
セーフレントはルイス氏とダグラス氏と和解しました。同社は230万ドルの支払いに加え、5年間住宅バウチャーを使用した入居希望者に対しては、スコアリングシステムの使用をやめ、いかなる種類の勧告も行わないことに同意した。SafeRentは法的に不正行為を認めていないが、テクノロジー企業が和解の一環として自社の主要製品の変更を受け入れることはまれであり、そのような合意のより一般的な結果は金銭的合意である。
「SafeRentは引き続きSRSスコアがすべての適用法に準拠していると信じていますが、訴訟は時間がかかり、費用もかかります」と同社の広報担当者ヤズミン・ロペスは声明で述べた。「今回の訴訟でSRSスコアを擁護することは、住宅提供者に申請者の審査に必要なツールを提供するというSafeRentの主要使命にもっと有効に活用できる時間とリソースをそらすことになることがますます明らかになりました。」
あなたの新しい AI 家主
SafeRent のような入居審査システムは、申請者と直接関わるのを避け、却下の責任をコンピューター システムに転嫁する手段としてよく使用される、とルイス氏と同社を訴えた原告団を代表する弁護士の 1 人であるトッド カプラン氏は述べた。
不動産管理会社はルイス氏に対し、ソフトウェアだけで却下を決定したと伝えたが、SafeRent の報告書には、申請が承認されるために必要なスコアのしきい値を設定したのは管理会社だったことが示された。
AI は私の行動を知らない。クレジットカードの支払いが遅れていることは知っていたが、家賃を常に支払っていることは知らなかった。
メアリー ルイス
それでも、申請プロセスに関与する人々にとってさえ、アルゴリズムの仕組みは不透明である。ルイス氏にアパートを見せた不動産管理人は、ルイス氏がアパートを借りるのに問題が生じる理由がわからないと述べた。
「彼らは大量の情報を入力し、SafeRent は独自のスコアリング システムを開発している」とカプラン氏は述べた。 「SafeRent が自分たちをどう見ているかを予測することが難しくなります。申請する入居者だけでなく、家主でさえ SafeRent スコアの詳細を知りません。」
11 月 20 日に承認された Louis と SafeRent の和解の一環として、同社はスコアリング システムを使用したり、住宅バウチャーを使用している入居者を受け入れるか拒否するかを推奨したりすることができなくなりました。同社が新しいスコアリング システムを開発する場合、第三者の公正住宅組織によって独立して検証される義務があります。
「親指を立てるか下げるかの判断をなくすことで、入居者は『私は素晴らしい入居者です』と言えるようになります」と Kaplan 氏は言います。「より個別化された判断になります。」
AI は生活の基本的な部分にまで広がっている
米国で低所得と見なされる 9,200 万人のほぼ全員が、雇用、住宅、医療、学校教育、政府援助など、生活の基本的な部分で AI による意思決定にさらされていると、法律扶助協会の一員として低所得者の代理人を務めた弁護士ケビン・デ・リバン氏が発表し た AI の害に関する新しいレポート は述べている。TechTonic Justice という新しい AI 司法組織の創設者であるデ・リバン氏は、2016 年にアーカンソー州の障害を持つ患者から相談を受けたときに初めてこれらのシステムの調査を開始した。そのきっかけとなったのは、人間の入力を削減する自動意思決定が原因で、州が資金提供する在宅介護の時間が突然減ってしまったという話だった。ある例では、州のメディケイド給付は、患者が足を切断したため足に問題はないと判断するプログラムに依存していた。
「このことから、AIシステムを、ある種の極めて合理的な意思決定方法として頼るべきではないと気付いた」とデ・リバン氏は述べた。同氏は、これらのシステムは「ジャンク統計科学」に基づいてさまざまな仮定を立て、同氏が「不条理」と呼ぶものを生み出すと述べた。
2018年、デ・リバン氏がこれらの患者を代表してアーカンソー州福祉局を同局の意思決定プロセスに関して訴えた後、州議会は、同局が患者の在宅ケアの割り当ての決定を自動化できなくなったと裁定した。デ・リバン氏の勝利は、アルゴリズムによる意思決定によって引き起こされる害との戦いにおける初期の勝利だったが、雇用など他の分野では全国的にその使用が続いている。
欠陥があるにもかかわらず、AIの普及を抑制する規制はほとんどない
特に人の生活の質に影響を与える可能性のある重大な決定を下す際にAIの使用を制限する法律はほとんどな く、自動化された決定によって被害を受けた人々に対する説明責任の手段もほとんどない。
7月に発表されたコンシューマー・レポートが実施した調査によると、アメリカ人の大多数は「住宅、雇用、医療に関連する人生の重要な瞬間にAIとアルゴリズムによる意思決定技術を使用することに不安を感じている」ことがわかった。回答者は、AIシステムが自分たちを評価するためにどのような情報を使用したかがわからないことに不安を感じていると述べた。
ルイのケースとは異なり、アルゴリズムが自分たちの生活に関する決定を下すために使用されたときに人々に通知されないことが多く、その決定に異議を申し立てたり、異議を申し立てたりすることが困難になっている。
「既存の法律は役に立つかもしれないが、得られるものは限られている」とデ・リバン氏は述べた。「貧しい人々に関しては、市場の力は機能しない。基本的に、すべてのインセンティブはより多くの悪い技術を生み出すことであり、企業が低所得者に良い選択肢を生み出すインセンティブはない。」
ジョー・バイデン政権下の連邦規制当局は、急速に進化するAI業界に追いつこうと何度も試みてきた。大統領は、国家安全保障とAIシステムにおける差別関連のリスクに対処することを目的とした枠組みを含む大統領令を発令した。しかし、ドナルド・トランプは、バイデンのAIに関する大統領令を含め、その作業を元に戻し、規制を大幅に削減すると約束している。
そのため、ルイのような訴訟は、これまで以上 にAIの説明責任を果たすための重要な手段となるかもしれない。すでにこの訴訟は、保護対象層に影響を及ぼす差別的な住宅政策を扱う米国司法省と住宅都市開発省の関心を集めている。
「これは画期的な訴訟である限り、こうした訴訟をどう見るか、また他の訴訟をどう促進するかのロードマップとなる可能性がある」とカプラン氏は述べた。
それでも、規制がなければこれらの企業に責任を負わせるのは難しいだろうとデ・リバン氏は述べた。訴訟には時間と費用がかかり、企業は集団訴訟の対象とならない人々のために回避策や類似の製品を開発する方法を見つけるかもしれない。「この種の訴訟を毎日起こすことはできない」と同氏は述べた。