Incidents associés
Trois cent vingt-quatre. C’est le score que Mary Louis a obtenu grâce à un outil de sélection de locataires basé sur l’IA. Le logiciel, SafeRent, n’a pas expliqué dans son rapport de 11 pages comment le score a été calculé ou comment il a pondéré divers facteurs. Il n’a pas dit ce que le score signifiait réellement. Il a juste affiché le numéro de Louis et a déterminé qu’il était trop bas. Dans une case à côté du résultat, le rapport indiquait : « Recommandation de score : REFUS ».
Louis, qui travaille comme agent de sécurité, avait postulé pour un appartement dans une banlieue de l’est du Massachusetts. Au moment où elle a visité le logement, la société de gestion a déclaré qu’elle ne devrait pas avoir de problème à ce que sa demande soit acceptée. Bien qu’elle ait un score de crédit faible et des dettes de carte de crédit, elle avait une excellente référence de son propriétaire depuis 17 ans, qui a déclaré qu’elle payait systématiquement son loyer à temps. Elle utiliserait également un bon pour les locataires à faible revenu, garantissant que la société de gestion recevrait au moins une partie du loyer mensuel en paiements gouvernementaux. Son fils, également nommé sur le bon, avait un score de crédit élevé, indiquant qu'il pouvait servir de filet de sécurité en cas de non-paiement.
Mais en mai 2021, plus de deux mois après avoir postulé pour l'appartement, la société de gestion a envoyé un e-mail à Louis pour l'informer qu'un programme informatique avait rejeté sa demande. Elle devait avoir un score d'au moins 443 pour que sa demande soit acceptée. Il n'y avait aucune autre explication et aucun moyen de faire appel de la décision.
« Mary, nous regrettons de vous informer que le service tiers que nous utilisons pour filtrer tous les locataires potentiels a refusé votre location », peut-on lire dans l'e-mail. « Malheureusement, le score de location SafeRent du service était inférieur à ce qui est autorisé par nos normes de location. »
Un locataire intente un procès
Louis a dû louer un appartement plus cher. La direction ne l'a pas notée de manière algorithmique. Mais, a-t-elle appris, son expérience avec SafeRent n'était pas unique. Elle faisait partie d’une classe de plus de 400 locataires noirs et hispaniques du Massachusetts qui utilisent des bons de logement et ont déclaré que leurs demandes de location avaient été rejetées en raison de leur score SafeRent.
En 2022, ils se sont réunis pour poursuivre l’entreprise en vertu de la loi Fair Housing Act, affirmant que SafeRent les discriminait. Louis et l’autre plaignante nommée, Monica Douglas, ont allégué que l’algorithme de l’entreprise notait de manière disproportionnée les locataires noirs et hispaniques qui utilisent des bons de logement en dessous de ceux des candidats blancs. Ils ont allégué que le logiciel évaluait de manière inexacte des informations de compte non pertinentes pour savoir s’ils seraient de bons locataires – cotes de crédit, dettes non liées au logement – mais ne tenait pas compte du fait qu’ils utiliseraient un bon de logement. Des études ont montré que les candidats noirs et hispaniques à la location sont plus susceptibles d’avoir des cotes de crédit inférieures et d’utiliser des bons de logement que les candidats blancs.
« C’était une perte de temps d’attendre d’obtenir un refus », a déclaré Louis. « Je savais que mon crédit n’était pas bon. Mais l’IA ne connaît pas mon comportement – elle savait que j’avais pris du retard dans le paiement de ma carte de crédit, mais elle ne savait pas que je payais toujours mon loyer. »
Deux ans se sont écoulés depuis que le groupe a intenté son premier procès contre SafeRent – si longtemps que Louis dit qu’elle a repris le cours de sa vie et qu’elle a presque oublié le procès, bien qu’elle soit l’une des deux seules plaignantes nommées. Mais ses actions peuvent encore protéger d’autres locataires qui utilisent des programmes de logement similaires, connus sous le nom de bons Section 8 pour leur place dans le code juridique fédéral américain, contre la perte de logement en raison d’un score déterminé par un algorithme.
SafeRent a conclu un accord avec Louis et Douglas. En plus d’effectuer un paiement de 2,3 millions de dollars, la société a accepté de cesser d’utiliser un système de notation ou de faire toute sorte de recommandation aux locataires potentiels qui ont utilisé des bons de logement pendant cinq ans. Bien que SafeRent n’ait légalement admis aucun acte répréhensible, il est rare qu’une entreprise technologique accepte des modifications de ses produits de base dans le cadre d’un règlement ; le résultat le plus courant de tels accords serait un accord financier.
« Bien que SafeRent continue de croire que les scores SRS sont conformes à toutes les lois applicables, les litiges prennent du temps et coûtent cher », a déclaré Yazmin Lopez, porte-parole de la société, dans un communiqué. « Il est devenu de plus en plus évident que défendre le score SRS dans cette affaire détournerait du temps et des ressources que SafeRent pourrait mieux utiliser pour remplir sa mission principale, qui consiste à donner aux fournisseurs de logements les outils dont ils ont besoin pour filtrer les candidats. »
Votre nouveau propriétaire IA
Les systèmes de filtrage des locataires comme SafeRent sont souvent utilisés comme un moyen « d'éviter de s'engager » directement avec les candidats et de rejeter la responsabilité d'un refus sur un système informatique, a déclaré Todd Kaplan, l'un des avocats représentant Louis et le groupe de plaignants qui ont poursuivi la société.
La société de gestion immobilière a déclaré à Louis que le logiciel avait décidé seul de la rejeter, mais le rapport de SafeRent a indiqué que c'était la société de gestion qui avait fixé le seuil du score qu'une personne devait obtenir pour que sa demande soit acceptée.
L’IA ne connaît pas mon comportement – elle savait que j’avais pris du retard dans le paiement de ma carte de crédit, mais elle ne savait pas que je payais toujours mon loyer.
Mary Louis
Pourtant, même pour les personnes impliquées dans le processus de candidature, le fonctionnement de l’algorithme est opaque. La gestionnaire immobilière qui a montré l’appartement à Louis a déclaré qu’elle ne voyait pas pourquoi Louis aurait des problèmes à louer l’appartement.
« Ils entrent un tas d’informations et SafeRent met au point son propre système de notation », a déclaré Kaplan. « Il est plus difficile pour les gens de prédire comment SafeRent va les considérer. Non seulement pour les locataires qui postulent, mais même les propriétaires ne connaissent pas les tenants et aboutissants du score SafeRent. »
Dans le cadre de l’accord de Louis avec SafeRent, qui a été approuvé le 20 novembre, la société ne peut plus utiliser de système de notation ni recommander d’accepter ou de refuser un locataire s’il utilise un bon de logement. Si l’entreprise propose un nouveau système de notation, elle est obligée de le faire valider de manière indépendante par un organisme tiers de logement équitable.
« Supprimer la détermination du pouce vers le haut ou vers le bas permet vraiment au locataire de dire : « Je suis un excellent locataire », a déclaré Kaplan. « Cela rend la détermination beaucoup plus individualisée. »
L’IA s’étend à des aspects fondamentaux de la vie
Presque la totalité des 92 millions de personnes considérées comme à faible revenu aux États-Unis ont été exposées à la prise de décision de l’IA dans des aspects fondamentaux de la vie tels que l’emploi, le logement, la médecine, l’éducation ou l’aide gouvernementale, selon un nouveau rapport sur les méfaits de l’IA de l’avocat Kevin de Liban, qui représentait les personnes à faible revenu au sein de la Legal Aid Society. Fondateur d’une nouvelle organisation de justice par l’IA appelée TechTonic Justice, De Liban a commencé à enquêter sur ces systèmes en 2016 lorsqu’il a été contacté par des patients handicapés de l’Arkansas qui ont soudainement cessé de bénéficier d’autant d’heures de soins à domicile financés par l’État en raison d’une prise de décision automatisée qui réduisait l’intervention humaine. Dans un cas, la dispense Medicaid de l’État s’est appuyée sur un programme qui a déterminé qu’un patient n’avait aucun problème avec son pied parce qu’il avait été amputé.
« Cela m’a fait comprendre que nous ne devrions pas nous en remettre aux [systèmes d’IA] comme à une sorte de moyen suprêmement rationnel de prendre des décisions », a déclaré De Liban. Il a déclaré que ces systèmes font diverses hypothèses basées sur une « science statistique bidon » qui produisent ce qu’il appelle des « absurdités ».
En 2018, après que De Liban a poursuivi le département des services sociaux de l’Arkansas au nom de ces patients concernant le processus décisionnel du département, la législature de l’État a statué que l’agence ne pouvait plus automatiser la détermination des allocations de soins à domicile des patients. De Liban a remporté une première victoire dans la lutte contre les dommages causés par la prise de décision algorithmique, bien que son utilisation à l’échelle nationale persiste dans d’autres domaines tels que l’emploi.
Peu de réglementations freinent la prolifération de l’IA malgré ses défauts
Les lois limitant l’utilisation de l’IA, en particulier dans la prise de décisions conséquentes qui peuvent affecter la qualité de vie d’une personne, sont rares, tout comme les voies de responsabilisation des personnes lésées par des décisions automatisées.
Une enquête menée par Consumer Reports, publiée en juillet, a révélé qu’une majorité d’Américains étaient « mal à l’aise avec l’utilisation de l’IA et des technologies de prise de décision algorithmique autour des grands moments de la vie en ce qui concerne le logement, l’emploi et les soins de santé ». Les personnes interrogées ont déclaré qu’elles étaient inquiètes de ne pas savoir quelles informations les systèmes d’IA utilisaient pour les évaluer.
Contrairement à ce qui s’est passé dans le cas de Louis, les gens ne sont souvent pas informés lorsqu’un algorithme est utilisé pour prendre une décision concernant leur vie, ce qui rend difficile de faire appel ou de contester ces décisions.
« Les lois existantes dont nous disposons peuvent être utiles, mais elles sont limitées dans ce qu’elles peuvent vous apporter », a déclaré De Liban. « Les forces du marché ne fonctionnent pas lorsqu’il s’agit des personnes pauvres. Tout l’intérêt est de produire davantage de mauvaises technologies, et les entreprises n’ont aucune incitation à proposer de bonnes options aux personnes à faible revenu. »
Les régulateurs fédéraux sous Joe Biden ont fait plusieurs tentatives pour rattraper le retard de l’industrie de l’IA en évolution rapide. Le président a publié un décret exécutif qui comprenait un cadre destiné, en partie, à répondre aux risques liés à la sécurité nationale et à la discrimination dans les systèmes d’IA. Cependant, Donald Trump a promis d’annuler ce travail et de réduire les réglementations, y compris le décret exécutif de Biden sur l’IA.
Cela pourrait faire des poursuites comme celle de Louis un moyen plus important que jamais pour la responsabilité de l’IA. Déjà, le procès a suscité l’intérêt du ministère américain de la Justice et du ministère du Logement et du Développement urbain – tous deux chargés des politiques de logement discriminatoires qui affectent les catégories protégées.
« Dans la mesure où il s’agit d’une affaire historique, elle a le potentiel de fournir une feuille de route sur la manière d’examiner ces affaires et d’encourager d’autres contestations », a déclaré Kaplan.
Néanmoins, il sera difficile de tenir ces entreprises responsables en l’absence de réglementation, a déclaré De Liban. Les poursuites judiciaires prennent du temps et coûtent cher, et les entreprises peuvent trouver un moyen de créer des solutions de contournement ou des produits similaires pour les personnes non couvertes par les recours collectifs. « On ne peut pas intenter ce genre de procès tous les jours », a-t-il déclaré.