Incidents associés
Introduction
En 2017, les créateurs de l'Allegheny Family Screening Tool (AFST) ont publié un rapport décrivant le processus de développement d'un outil prédictif utilisé pour informer les réponses aux appels adressés à l'agence de protection de l'enfance du comté d'Allegheny, en Pennsylvanie, concernant des allégations de négligence envers les enfants. (L'outil n'est pas utilisé pour prendre des décisions de filtrage pour les allégations d'abus ou de négligence grave, qui doivent faire l'objet d'une enquête par la loi de l'État.) "
Dans une note de bas de page à la page 14 de ce rapport, les créateurs de l'outil ont décrit leurs décisions dans un élément clé du processus de sélection des variables - la sélection d'un seuil pour la sélection des fonctionnalités - comme "plutôt arbitraires" et basées sur des "essais et erreurs". Dans ce court aparté se trouve une évaluation honnête de la façon dont les créateurs d'outils prédictifs voient souvent le processus de développement : un processus dans lequel ils ont toute latitude pour faire des choix qu'ils considèrent comme purement techniques, même si ces choix sont faits de manière arbitraire. En réalité, les décisions de conception prises lors du développement d'outils algorithmiques ne sont pas seulement des processus techniques - elles incluent également des choix éthiques, des jugements de valeur et des décisions politiques. Par exemple, le seuil «plutôt arbitraire» utilisé dans la sélection des caractéristiques aurait pu déterminer si les diagnostics de santé comportementale d'une famille ou ses antécédents d'éligibilité aux programmes d'intérêt public auraient un impact sur sa probabilité d'être examiné par l'agence de protection de l'enfance du comté. Lorsque les développeurs présentent ces types de décisions de conception comme des questions principalement techniques, ils peuvent les déguiser en objectifs, même si elles peuvent être prises de manière arbitraire, par commodité ou basées sur une logique erronée.
Dans ce travail, nous démontrons comment les choix de conception algorithmique fonctionnent comme des décisions politiques à travers un audit de l'AFST. Nous mettons en évidence trois valeurs intégrées dans l'AFST à travers une analyse des décisions de conception prises dans le processus de développement du modèle et discutons de leurs impacts sur les familles évaluées par l'outil. plus précisément, nous explorons les décisions de conception suivantes :
- Risqué par association : La méthode de regroupement des scores de risque de l'AFST présente une image trompeuse des familles évaluées par l'outil et traite les familles comme "à risque" par association.
- Plus il y a de données, mieux c'est : L'objectif déclaré du comté de "prendre des décisions sur la base d'autant d'informations que possible" se fait au détriment des communautés déjà touchées et marginalisées, comme le montre l'utilisation des données du système judiciaire pénal et les systèmes de santé comportementale malgré les disparités historiques et actuelles dans les communautés ciblées par ces systèmes.
- Marqué à perpétuité : En utilisant des caractéristiques que les familles ne peuvent pas changer, l'AFST n'offre effectivement aux familles aucun moyen d'échapper à leur passé, aggravant les impacts des dommages systémiques et n'offrant aucune possibilité de recours significative.
Conclusion
Une analyse éthique de 2017 de l'AFST a décrit les «outils de modélisation prédictive des risques» en général comme «plus précis que toute alternative» et «plus transparents que les alternatives». Dans sa réponse à cette analyse, le comté a également qualifié l'AFST de "plus précis" et "intrinsèquement plus transparent" que les stratégies de prise de décision actuelles. Mais lorsque des outils comme l'AFST sont créés avec des décisions de conception arbitraires, ne donnent aux familles aucune possibilité de recours, perpétuent les préjugés raciaux et classent les personnes susceptibles d'avoir un handicap comme intrinsèquement "plus risquées", cette hypothèse par défaut de l'objectivité inhérente des outils algorithmiques - et le l'utilisation totale des outils - doit être sérieusement remise en question. Ici, nous nous sommes concentrés sur un ensemble limité de décisions de conception liées à une version particulière de l'AFST. À notre connaissance, plusieurs de ces décisions de conception façonnent encore la version déployée de l'outil, même si nous n'avons pu analyser les impacts de ces décisions que pour la V2.1 de l'outil. Nous espérons que les travaux futurs développeront cette analyse pour améliorer notre compréhension de l'AFST ainsi que d'autres outils algorithmiques utilisés dans ces contextes, y compris des outils de prise de décision structurés.
Contrairement aux débats sur la façon de fabriquer des algorithmes qui fonctionnent dans des contextes marqués par une discrimination omniprésente et enracinée « juste » ou « exacte », Green et Mohamed et al. proposent de nouveaux cadres qui se concentrent plutôt sur la connexion de notre compréhension de l'oppression algorithmique aux contextes sociaux et économiques plus larges dans lesquels les algorithmes fonctionnent pour évaluer si les algorithmes peuvent réellement être conçus pour promouvoir la justice. Au cours des années qui ont suivi le développement initial de l'AFST, les membres de la communauté touchés et d'autres personnes qui interagissent avec l'AFST ont exprimé des préoccupations concernant les préjugés raciaux et ont suggéré des alternatives à l'AFST, y compris des changements non techniques aux pratiques du comté telles que l'amélioration des conditions d'embauche et de formation. pour les travailleurs, les modifications des lois des États qui affectent le système de régulation de la famille et la réinvention des relations entre les membres de la communauté et l'agence. Pourtant, des outils similaires créés en grande partie par la même équipe de chercheurs qui ont créé l'AFST ont récemment été déployés dans le comté de Douglas, au Colorado, et le comté de Los Angeles, en Californie. Les développeurs de l'AFST continuent de proposer des cas d'utilisation supplémentaires pour ces types d'outils prédictifs qui s'appuient sur des sources de données biaisées, affirmant même qu'ils peuvent être utilisés pour réduire les préjugés raciaux dans le système de régulation familiale dans le cadre de «boucles de rétroaction sur l'équité raciale». Mais comme le pose Sasha Costanza-Chock dans son livre Design Justice de 2020, « pourquoi continuons-nous à concevoir des technologies qui reproduisent les systèmes existants d'inégalité de pouvoir alors qu'il est si clair pour tant de personnes que nous devons démanteler ces systèmes de toute urgence ?