Incidents associés
Les partisans de la justice algorithmique ont commencé à voir leurs proverbiales « journées devant les tribunaux » avec des enquêtes judiciaires sur des entreprises comme [UHG](https://www.wsj.com/articles/new-york-regulator-probes-unitedhealth-algorithm-for -racial-bias-11572087601) et [Apple Card](https://techcrunch.com/2021/03/23/new-yorks-department-of-financial-services-says-apple-card-program-didnt-violate -fair-lending-laws/#:~:text=The%20New%20York%20State%20Department,complaints%20back%20in%20November%202019.). L'affaire Apple Card est un exemple frappant de la façon dont les lois anti-discrimination actuelles ne parviennent pas à suivre le rythme rapide de la recherche scientifique dans le domaine émergent de l'équité quantifiable.
S'il est peut-être vrai qu'Apple et ses souscripteurs ont été reconnus innocents des violations des prêts équitables, la décision s'accompagne de mises en garde claires qui devraient être un signal d'avertissement pour les entreprises utilisant l'apprentissage automatique dans tout espace réglementé. À moins que les dirigeants ne commencent à prendre [plus au sérieux] l'équité algorithmique (https://www.pewresearch.org/internet/2021/06/16/experts-doubt-ethical-ai-design-will-be-broadly-adopted-as- la-norme-dans-la-prochaine-décennie/), leurs jours à venir seront pleins de contestations judiciaires et d'atteintes à leur réputation.
Que s'est-il passé avec l'Apple Card ?
Fin 2019, le leader d'une startup et célébrité des médias sociaux David Heinemeier Hansson a soulevé une question importante sur Twitter, avec beaucoup de fanfare et d'applaudissements. Avec près de 50 000 likes et retweets, il a demandé à Apple et à leur partenaire de souscription, Goldman Sachs, d'expliquer pourquoi lui et sa femme, qui partagent la même capacité financière, se verraient accorder des limites de crédit différentes. Pour beaucoup dans le domaine de l'équité algorithmique, ce fut un moment décisif de voir les problèmes que nous défendons se généraliser, aboutissant à [une enquête](https://www.nytimes.com/2019/11/10/business/Apple- credit-card-investigation.html) du Département des services financiers de New York (DFS).
À première vue, il peut sembler encourageant pour les souscripteurs de crédit que le DFS ait conclu en mars que l'algorithme de souscription de Goldman ne violait pas les règles strictes d'accès financier créées en 1974 pour protéger les femmes et les minorités contre la discrimination de prêt. Bien que décevant pour les militants, ce résultat n'a pas surpris ceux d'entre nous qui travaillaient en étroite collaboration avec les équipes de données en finance.
Il existe certaines applications algorithmiques pour les institutions financières où les risques de l'expérimentation l'emportent de loin sur tout avantage, et la souscription de crédit en fait partie. Nous aurions pu prédire que Goldman serait déclaré innocent, car les lois sur l'équité des prêts (si elles sont obsolètes) sont claires et [strictement appliquées](https://www.nytimes.com/2020/10/07/business/citigroup- fine-risk-management.html).
Et pourtant, il ne fait aucun doute dans mon esprit que l'algorithme Goldman/Apple est discriminatoire, ainsi que tous les autres algorithmes de notation et de souscription de crédit sur le marché aujourd'hui. Je ne doute pas non plus que ces algorithmes s'effondreraient si les chercheurs avaient jamais accès aux modèles et aux données dont nous aurions besoin pour valider cette affirmation. Je le sais parce que NY DFS a partiellement publié sa méthodologie pour vérifier l'algorithme de Goldman, et comme vous pourriez attendez-vous, leur audit était bien en deçà des normes détenues par les auditeurs d'algorithmes modernes aujourd'hui.
Comment DFS (en vertu de la loi actuelle) a-t-il évalué l'équité d'Apple Card ?
Afin de prouver que l'algorithme d'Apple était "juste", DFS a d'abord examiné si Goldman avait utilisé des "caractéristiques interdites" des candidats potentiels comme le sexe ou l'état matrimonial. Celui-ci était facile à passer pour Goldman – ils n'incluent pas la race, le sexe ou l'état matrimonial comme entrée dans le modèle. Cependant, nous savons depuis des années que certaines fonctionnalités du modèle peuvent agir comme des "proxies" pour les classes protégées.
Si vous êtes Noir, une femme et enceinte, par exemple, votre probabilité d'obtenir un crédit peut être inférieure à la moyenne des résultats parmi chaque catégorie protégée globale.
La méthodologie DFS, basée sur 50 ans de jurisprudence, a omis de mentionner s'ils ont considéré cette question, mais nous pouvons deviner qu'ils ne l'ont pas fait. Parce que s'ils l'avaient fait, ils auraient rapidement découvert que le pointage de crédit est si étroitement lié à la race que certains États envisagent d'interdire son utilisation pour l'assurance dommages . Les fonctionnalités proxy n'ont fait leur apparition que récemment sur le devant de la scène de la recherche, ce qui nous donne notre premier exemple de la façon dont la science a dépassé la réglementation.
En l'absence d'éléments protégés, DFS a alors recherché des profils de crédit dont le contenu était similaire mais qui appartenaient à des personnes appartenant à des classes protégées différentes. Dans un certain sens imprécis, ils ont cherché à savoir ce qu'il adviendrait de la décision de crédit si nous « retournions » le sexe sur la demande. Une version féminine du candidat masculin recevrait-elle le même traitement ?
Intuitivement, cela semble être une façon de définir « juste ». Et c'est - dans le domaine de l'équité de l'apprentissage automatique, il existe un concept appelé "test de retournement" et c'est l'une des nombreuses mesures d'un concept appelé "équité individuelle" qui est exactement ce à quoi cela ressemble. J'ai interrogé Patrick Hall, scientifique principal chez bnh.ai, un cabinet d'avocats spécialisé dans l'IA, sur l'analyse la plus courante dans les enquêtes sur les cas de prêt équitable. Se référant aux méthodes utilisées par DFS pour auditer Apple Card, il l'a appelée régression de base, ou "une version des années 1970 du flip test", nous apportant l'exemple numéro deux de nos lois insuffisantes.
Un nouveau vocabulaire pour l'équité algorithmique
Depuis l'article fondateur de Solon Barocas « Big Data's Disparate Impact » en 2016, les chercheurs ont travaillé dur pour travailler à définir les concepts philosophiques de base en termes mathématiques. Plusieurs conférences ont vu le jour, avec de nouvelles pistes d'équité émergeant lors des événements d'IA les plus notables. Le domaine est dans une période d'hypercroissance, où la loi n'a pas encore suivi le rythme. Mais tout comme ce qui est arrivé à l'industrie de la cybersécurité, ce sursis légal ne sera pas ça dure éternellement.
Peut-être pouvons-nous pardonner à DFS son audit de softball étant donné que les lois régissant les prêts équitables sont nées du mouvement des droits civiques et n'ont pas beaucoup évolué au cours des 50 années et plus depuis leur création. Les précédents juridiques ont été établis bien avant que la recherche sur l'équité en matière d'apprentissage automatique ne décolle vraiment. Si DFS avait été correctement équipé pour relever le défi d'évaluer l'équité de la carte Apple, ils auraient utilisé le [vocabulaire robuste] (https://www.frontiersin.org/articles/10.3389/frai.2021.695301/full) pour l'évaluation algorithmique qui s'est épanouie au cours des cinq dernières années.
Le rapport DFS, par exemple, ne fait aucune mention de la mesure des « cotes égalisées », une piste d'enquête notoire rendue célèbre pour la première fois en 2018 par Joy Buolamwini, Timnit Gebru et Deb Raji. Leur article "Gender Shades" a prouvé que les algorithmes de reconnaissance faciale se trompent plus souvent sur les visages féminins foncés que sur les sujets à la peau plus claire, et ce raisonnement est valable pour de nombreuses applications de prédiction. au-delà de la seule vision par ordinateur.
Les cotes égalisées demanderaient à l'algorithme d'Apple : à quelle fréquence prédit-il correctement la solvabilité ? Combien de fois se trompe-t-il ? Existe-t-il des disparités dans ces taux d'erreur entre les personnes de sexe, de race ou de statut d'invalidité différents ? Selon Hall, ces mesures sont importantes, mais tout simplement trop nouvelles pour avoir été entièrement codifiées dans le système juridique.
S'il s'avère que Goldman sous-estime régulièrement les candidates dans le monde réel ou attribue des taux d'intérêt plus élevés que ce que les candidats noirs méritent vraiment, il est facile de voir comment cela nuirait à ces populations mal desservies à l'échelle nationale.
Catch-22 des services financiers
Les auditeurs modernes savent que les méthodes dictées par la jurisprudence ne parviennent pas à saisir les nuances d'équité pour les combinaisons intersectionnelles au sein des catégories minoritaires - un problème exacerbé par la complexité des modèles d'apprentissage automatique. Si vous êtes Noir, une femme et enceinte, par exemple, votre probabilité d'obtenir un crédit peut être inférieure à la moyenne des résultats parmi chaque catégorie protégée globale.
Ces groupes sous-représentés ne bénéficieront peut-être jamais d'un audit holistique du système sans une attention particulière portée à leur unicité, étant donné que la taille de l'échantillon des minorités est par définition un plus petit nombre dans l'ensemble. C'est pourquoi les auditeurs modernes préfèrent "l'équité par la sensibilisation" approches qui nous permettent de mesurer les résultats avec une connaissance explicite de la démographie des individus de chaque groupe.
Mais il y a un Catch-22. Dans les services financiers et d'autres domaines hautement réglementés, les auditeurs ne peuvent souvent pas utiliser «l'équité par la sensibilisation», car ils peuvent être empêchés de collecter des informations sensibles dès le départ. Le but de cette contrainte légale était d'empêcher les prêteurs de faire l'objet de discrimination. Dans un cruel coup du sort, cela couvre à l'algorithme discrimination, ce qui nous donne notre troisième exemple d'insuffisance juridique.
Le fait que nous ne puissions pas collecter ces informations entrave notre capacité à découvrir comment les modèles traitent les groupes mal desservis. Sans cela, nous pourrions ne jamais prouver ce que nous savons être vrai dans la pratique - les mères à temps plein, par exemple, auront de manière fiable des dossiers de crédit plus minces, car elles n'exécutent pas tous les achats à crédit sous les deux noms de conjoint. Les groupes minoritaires peuvent être beaucoup plus susceptibles d'être des travailleurs à la demande, des employés à pourboire ou de participer à des industries en espèces, ce qui entraîne des points communs entre leurs profils de revenu qui s'avèrent moins courants pour la majorité.
Il est important de noter que ces différences dans les dossiers de crédit des candidats ne se traduisent pas nécessairement par une véritable responsabilité financière ou solvabilité. Si votre objectif est de prédire avec précision la solvabilité, vous voudriez savoir où la méthode (par exemple, un pointage de crédit) tombe en panne.
Ce que cela signifie pour les entreprises utilisant l'IA
Dans l'exemple d'Apple, il convient de mentionner un épilogue plein d'espoir à l'histoire où Apple a fait une [mise à jour consécutive](https://techcrunch.com/2021/04/20/apple-announces-apple-card-family-for-spouses- to-build-credit-together-and-over-13s-to-use-it-too/) à leur politique de crédit pour lutter contre la discrimination protégée par nos lois désuètes. Dans l'annonce du PDG d'Apple, Tim Cook, il n'a pas tardé à souligner un "manque d'équité dans la manière dont l'industrie [calcule] les cotes de crédit".
Leur nouvelle politique permet aux conjoints ou aux parents de combiner les dossiers de crédit de sorte que le dossier de crédit le plus faible puisse bénéficier du plus fort. C'est un excellent exemple d'une entreprise qui réfléchit à des mesures susceptibles de réduire la discrimination qui existe structurellement dans notre monde. En mettant à jour ses politiques, Apple a devancé la réglementation qui pourrait résulter de cette enquête.
C'est un avantage stratégique pour Apple, car NY DFS a fait mention exhaustive de l'insuffisance des lois actuelles régissant cet espace, ce qui signifie que des mises à jour de la réglementation pourraient être plus proche que beaucoup ne le pensent. Pour citer la surintendante des services financiers Linda A. Lacewell : « L'utilisation de la cote de crédit dans sa forme actuelle et les lois et réglementations interdisant la discrimination dans les prêts doivent être renforcées et modernisées. D'après ma propre expérience de travail avec les régulateurs, c'est quelque chose que les autorités d'aujourd'hui sont très désireuses pour explorer.
Je ne doute pas que les régulateurs américains s'efforcent d'améliorer les lois qui régissent l'IA, en profitant de ce vocabulaire robuste pour l'égalité en automatisation et en mathématiques. La Réserve fédérale, OCC, CFPB, [FTC](https://www.natlawreview.com/article/ftc-issues-new -guidance-warning-bias-artificial-intelligence-could-create-potential) et [Congrès](https://www.markey.senate.gov/news/press-releases/senator-markey-rep-matsui-introduce- législation-pour-combattre-les-algorithmes-nuisibles-et-créer-un-nouveau-régime-de-transparence-en-ligne) sont tous désireux de lutter contre la discrimination algorithmique, même si leur rythme est lent.
En attendant, nous avons toutes les raisons de croire que [la discrimination est rampante] algorithmique (https://www.partnershiponai.org/aiincidentdatabase/), en grande partie parce que l'industrie a également mis du temps à adopter le langage universitaire que ces dernières années années ont apporté. Il reste peu d'excuses pour que les entreprises ne profitent pas de ce nouveau champ d'équité, et pour éradiquer la discrimination prédictive qui est en quelque sorte garantie. Et l'UE [accepte](https://digital-strategy.ec.europa.eu/en/news/europe-fit-digital-age-commission-proposes-new-rules-and-actions-excellence-and-trust -artificiel), avec des projets de loi qui s'appliquent spécifiquement à l'IA et qui devraient être adoptés au cours des deux prochaines années.
Le domaine de l'équité en matière d'apprentissage automatique a mûri rapidement, avec de nouvelles techniques découvertes chaque année et une myriade [d'outils](https://techcrunch.com/2020/12/09/arthur-ai-snags-15m-series-a-to- grow-machine-learning-monitoring-tool/) pour vous aider. Le domaine atteint seulement maintenant un point où cela peut être prescrit avec un certain degré d'automatisation. Les organismes de normalisation sont intervenus pour fournir des conseils afin de réduire la fréquence et la gravité de ces problèmes, même si la législation américaine tarde à être adoptée.
Car si la discrimination par algorithme est intentionnelle, elle est illégale. Ainsi, toute personne utilisant des analyses avancées pour des applications liées à la santé, au logement, à l'embauche, aux services financiers, à l'éducation ou au gouvernement enfreint probablement ces lois sans le savoir.
Jusqu'à ce que des orientations réglementaires plus claires soient disponibles pour la myriade d'applications de l'IA dans des situations sensibles, l'industrie est seule à déterminer quelles sont les meilleures définitions de l'équité.