Incidents associés
Vous entendez frapper à votre porte. Attendant un voisin ou peut-être une livraison, vous l'ouvrez, seulement pour trouver un travailleur de la protection de l'enfance exigeant l'entrée. Il semble que vous ne puissiez pas refuser, alors vous les laissez entrer et regardez-les fouiller chaque pièce, fouillant dans les placards, les tiroirs, les armoires, le réfrigérateur - le tout [sans mandat](https://www.propublica.org/ article/aide-a-l'enfance-perquisition-saisie-sans-mandat). Ils posent des questions donnant l'impression que vous êtes un mauvais parent et, enfin, disent qu'ils doivent faire une inspection visuelle de vos enfants, déshabillés, sans vous dans la pièce, et prendre des photos.
L'agence reçoit de nombreux rapports de négligence ordinaire, qui sont distincts des allégations de violence physique ou de négligence grave, mais il n'enquête pas sur chacun d'eux. Au lieu de cela, l'agence avait commencé à utiliser un algorithme pour aider à décider qui frappe à la porte et qui ne le fait pas. Mais vous ne pouvez pas obtenir d'informations sur ce qu'il a dit sur vous ou votre enfant, ou comment cela a joué un rôle dans la décision pour vous enquêter.
Bien qu'un algorithme puisse sembler neutre, les outils prédictifs sont conçus par des personnes. Et les choix que les gens font lors de la création de l'outil ne sont pas seulement des décisions sur la meilleure méthode statistique ou sur les données nécessaires pour effectuer ses calculs. Les mêmes personnes peuvent être signalées comme ayant plus ou moins besoin d'enquête en fonction de la façon dont un outil a été conçu. Une préoccupation récurrente est que l'utilisation de ces outils dans des systèmes marqués par un traitement et des résultats discriminatoires entraînera la reproduction de ces résultats. Mais cette fois, si cette histoire se répète, les résultats disparates seront considérés comme des vérités incontestables soutenues par la science et les mathématiques, et non le résultat d'une discrimination résiduelle ou continue, sans parler des décisions politiques qui ont résulté lorsque les concepteurs d'outils ont décidé de choisir le modèle A à la place. du modèle B.
Pour mieux comprendre si cette préoccupation est justifiée, il y a deux ans, l'ACLU a demandé des données et des documents au comté d'Allegheny, en Pennsylvanie, liés à l'outil de dépistage familial d'Allegheny (AFST) afin que nous, en collaboration avec des chercheurs du groupe d'analyse des données sur les droits de l'homme, puissions indépendamment évaluer sa conception et son impact pratique. Nous avons constaté, entre autres, que l'AFST pouvait entraîner des inégalités dans les taux de filtrage - le pourcentage de signalements (c'est-à-dire les allégations de négligence reçues par l'agence de protection de l'enfance du comté) qui sont transmis pour enquête ("filtrés") hors de le nombre total de rapports reçus. Nous avons constaté que l'outil pourrait entraîner des disparités de taux de sélection entre les familles noires et non noires (c'est-à-dire que le pourcentage de familles noires signalées pour enquête sur toutes les allégations reçues concernant les familles noires pourrait être supérieur au même pourcentage pour les familles non noires des familles). Nous avons également constaté que les ménages où vivent des personnes handicapées pouvaient être qualifiés de plus à risque que les ménages sans résident handicapé. Ce qui ressort vraiment, c'est que nous avons découvert que l'algorithme de l'AFST, ou la façon dont ses conclusions sur une famille étaient transmises à un examinateur, aurait pu être construit de différentes manières qui auraient pu avoir un impact moins discriminatoire. Et cette méthode alternative n'a pas changé la "précision" de l'algorithme de manière significative, même si nous acceptons la définition de ce terme par le développeur de l'outil. Nous avons demandé au comté et aux concepteurs d'outils des commentaires sur un article décrivant notre analyse, mais nous n'avons jamais reçu de réponse. Nous partageons nos découvertes pour la première fois aujourd'hui. Mais d'abord, un bref aperçu du fonctionnement de l'AFST.
Le comté d'Allegheny utilise l'AFST pour aider les agents de contrôle à décider d'enquêter ou de rejeter les allégations de négligence. (L'AFST n'est pas utilisé pour prendre des décisions de sélection concernant les allégations de violence physique ou de négligence grave, car la loi de l'État exige que celles-ci fassent l'objet d'une enquête.) L'outil calcule un «score de risque» de 0 à 20 en fonction de l'estimation par l'algorithme sous-jacent de la probabilité le comté retirera, dans un délai de deux ans, un enfant de la famille concernée par le rapport. En d'autres termes, l'outil génère une prédiction du « risque » que l'agence place l'enfant en famille d'accueil. Le comté et les concepteurs d'outils traitent le retrait comme un signe que l'enfant peut être blessé, de sorte que plus la probabilité de retrait est élevée, plus le score est élevé et plus le besoin présumé d'intervention de protection de l'enfance est grand. Les agents de contrôle sur appel sont chargés de considérer les résultats de l'AFST comme un facteur parmi d'autres pour décider de transmettre ou non le rapport à l'action de l'agence.
Cependant, dans un système de protection de l'enfance déjà en proie par des inégalités fondées sur la race, [genre](https://www.thenation.com/article/archive/for-women-of-color-the-child -welfare-system-functions-like-the-criminal-justice-system/), revenu et [handicap](https ://ncd.gov/sites/default/files/Documents/NCD_Parenting_508_0.pdf), l'utilisation de données historiques pour prédire les actions futures par l'agence ne sert qu'à renforcer ces disparités. Et lorsqu'ils renaissent grâce à un algorithme, les gens sont susceptibles d'interpréter les disparités comme de dures vérités parce que, eh bien, une équation mathématique nous l'a dit.
De cette façon, les créateurs de l'AFST font plus que des maths lors de la construction d'un outil. Ils ont également la capacité de devenir des décideurs de l'ombre - car à moins que l'impact pratique de leurs décisions de conception ne soit évalué et rendu public, ce pouvoir peut être exercé avec peu de transparence ou de responsabilité, même si ce sont deux des raisons pour lesquelles le comté a adopté l'outil .
Voici un résumé des décisions de conception et des politiques et jugements de valeur qui en résultent que nous avons partagés avec le comté comme source de préoccupation :
"Risqué" par association
Lorsque le comté d'Allegheny reçoit un rapport alléguant la négligence d'un enfant, l'AFST génère un «score de risque» individualisé pour chaque enfant du ménage. Cependant, les filtres d'appels ne voient pas les scores au niveau individuel. Au lieu de cela, l'AFST affiche un résultat basé uniquement sur le score le plus élevé de tous les enfants du ménage. Pour les références dont le score maximum se situe entre 11 et 18, l'AFST affiche la valeur numérique du score. Pour les scores maximum de 18 ans et plus, l'AFST affiche une étiquette "Protocole à haut risque" tant qu'au moins un enfant dans le ménage a moins de 17 ans. Ce sous-ensemble de renvois est soumis à une enquête obligatoire, que seul un superviseur peut annuler. Pour les références avec un score maximum inférieur à 11 et aucun enfant de moins de 7 ans, les agents de dépistage voient une étiquette « Protocole à faible risque ».
Nous avons constaté que la décision de ne communiquer que les prédictions de l'AFST concernant l'enfant ayant obtenu le score le plus élevé aurait pu créer des résultats inéquitables. Nous disons «pourrait avoir» parce que nous ne pouvions pas exécuter notre analyse sur le nombre réel de familles noires et non noires, donc à la place, comme c'est la pratique courante, y compris par le comté et ses développeurs d'outils, nous avons examiné les données du comté d'Allegheny collectées avant l'AFST a été déployé pour modéliser ce qu'auraient été les scores de risque.
Par rapport à d'autres moyens de transmettre les scores de l'AFST, la méthode utilisée aurait pu amener l'AFST à classer les familles noires comme ayant un plus grand besoin d'un examen minutieux par l'agence que les familles non noires. Grâce à notre analyse des données de 2010 à 2014, nous avons constaté que la méthode de l'AFST consistant à n'afficher qu'un seul score aurait abouti à ce qu'environ 33 % des ménages noirs soient étiquetés "à haut risque", déclenchant ainsi le protocole de sélection obligatoire, mais seulement 20 % % des ménages non noirs auraient été ainsi étiquetés.
Plus il y a de données, mieux c'est ?
Pour créer l'algorithme de l'outil, ses concepteurs devaient examiner les enregistrements historiques afin d'identifier les circonstances et les caractéristiques individuelles les plus associées aux retraits d'enfants, car l'outil fonde ses scores de risque essentiellement sur la présence et la manière dont ces facteurs sont présents dans le rapport entrant. Ainsi, pour faire avancer l'un des [objectifs déclarés] du comté (https://www.alleghenycounty.us/WorkArea/linkit.aspx?LinkIdentifier=id&ItemID=6442467253) en adoptant l'AFST - "prendre des décisions [sur l'opportunité de dépister dans un rapport ] basé sur autant d'informations que possible "- le comté a donné aux concepteurs de l'AFST l'accès aux [bases de données gouvernementales] (https://www.alleghenycounty.us/WorkArea/linkit.aspx?LinkIdentifier=id&ItemID=6442464576) au-delà du les dossiers de protection de l'enfance du comté, tels que la probation juvénile et les dossiers de santé comportementale. Le problème est que ces bases de données ne reflètent pas un échantillon aléatoire ou un échantillon représentatif de la population du comté. Ils reflètent plutôt la vie des personnes qui ont plus de contacts avec les agences gouvernementales que les autres. Par conséquent, l'utilisation d'une telle base de données pour identifier les caractéristiques des ménages les plus susceptibles d'avoir un enfant retiré signifie sélectionner parmi un ensemble de facteurs qui surreprésentent certains groupes de personnes et sous-représentent d'autres, ce qui rend plus probable que l'outil classifie les mêmes populations surreprésentées comme présentant un risque plus élevé, non pas parce qu'elles sont plus susceptibles d'être blessées ou de causer du tort, mais parce que le gouvernement a accès aux données les concernant mais peu ou pas aux données sur les autres.
Prenons par exemple la base de données sur la probation juvénile du comté, qui a été utilisée pour construire l'AFST. Une récente étude a révélé que les filles noires du comté étaient 10 fois plus susceptibles et les garçons noirs sept fois plus susceptibles plus susceptibles que leurs homologues blancs de se retrouver dans le système de justice pour mineurs. Par conséquent, en utilisant la base de données de probation juvénile connexe pour créer l'outil, les développeurs de l'outil exploitent des dossiers qui surreprésentent les enfants noirs par rapport aux enfants blancs.
Les bases de données sur la santé comportementale utilisées par le comté pour créer l'AFST sont également problématiques. Parce qu'elles contiennent expressément des informations sur les personnes qui recherchent des soins liés à un handicap, ces bases de données contiendront inévitablement des informations sur les personnes handicapées, mais pas nécessairement sur les autres. Ces bases de données sont également biaisées sur un autre axe : étant donné que le comté n'enregistre pas d'informations sur les soins de santé privés, les données sur les personnes à revenu plus élevé sont beaucoup moins susceptibles d'être reflétées.
Marqué pour toujours
En fondant en partie la prédiction de retrait de l'AFST sur des facteurs que les familles ne peuvent jamais changer, comme le fait que quelqu'un ait été détenu à la prison du comté d'Allegheny à tout moment ou pour une raison quelconque, l'AFST n'offre effectivement aux familles aucun moyen d'échapper à leur passé, ce qui aggrave les impacts. de partialité systémique dans le système de justice pénale. Nous avons constaté que les ménages avec plus d'enfants sont plus susceptibles d'inclure une personne ayant un casier judiciaire dans le système pénitentiaire du comté ou avec HealthChoices, le programme de soins gérés d'Allegheny pour les services de santé comportementale. Nous avons constaté qu'en incluant des informations permettant de savoir si quelqu'un a déjà été associé à ces systèmes, l'AFST aurait pu produire de plus grandes disparités dans les taux de sélection des familles noires et blanches qu'une autre conception de modèle qui ne tenait pas compte de ces facteurs.
[Reportage précédent] (https://apnews.com/article/child-welfare-algorithm-investigation-9497ee937e0053ad4144a86c68241ef1) a montré que de nombreuses familles ne savent même pas que le comté utilise l'AFST, encore moins comment il fonctionne ou comment élever inquiétudes à ce sujet. En outre, les bases de données gouvernementales, des bases de données des avantages publics aux bases de données de la justice pénale, sont truffé d'erreurs. Et que se passe-t-il si l'outil lui-même "[problèmes] (https://arxiv.org/pdf/2002.08035.pdf)", comme cela s'est déjà produit pour l'AFST ?
Ces défis démontrent le besoin urgent de [transparence, contrôle indépendant et recours significatif](https://www.aclu.org/news/racial-justice/the-federal-government-should-not-waste-the-opportunity- pour traiter la discrimination algorithmique) lorsque des algorithmes sont déployés dans des contextes décisionnels à enjeux élevés comme la protection de l'enfance. Les familles n'ont aucune connaissance des politiques intégrées dans les outils qui leur sont imposés, aucune capacité de savoir comment l'outil a été utilisé pour prendre des décisions qui changent la vie, et sont finalement limitées dans leur capacité à se battre pour leurs libertés civiles, cimentant des traditions de longue date du fonctionnement des agences de régulation de la famille.
Lisez le rapport complet, The Devil is in the Details: Interrogating Values Embedded in the Allegheny Family Screening Tool ci-dessous :