Incidentes Asociados
Escuchas un golpe en tu puerta. Esperando un vecino o tal vez una entrega, lo abre, solo para encontrar a un trabajador de bienestar infantil que exige la entrada. No parece que puedas negarte, así que los dejas entrar y observas cómo registran todas las habitaciones, hurgan en armarios, cajones, gabinetes, el refrigerador, todo [sin una orden judicial] (https://www.propublica.org/ artículo/bienestar-del-niño-búsqueda-decomiso-sin-orden). Hacen preguntas para que parezca que eres un mal padre y, finalmente, dicen que necesitan hacer una inspección visual de tus hijos, desnudos, sin ti en la habitación, y tomar fotografías.
La agencia recibe muchos informes de negligencia ordinaria, que son distintos de los alegatos de abuso físico o negligencia grave, pero no los investiga todos. En cambio, la agencia había comenzado a usar un algoritmo para ayudar a decidir quién llama a la puerta y quién no. Pero no puede obtener ninguna información sobre lo que dijo sobre usted o su hijo, o cómo jugó un papel en la decisión para investigarte.
Aunque un algoritmo puede sonar neutral, las herramientas predictivas están diseñadas por personas. Y las elecciones que hacen las personas al crear la herramienta no son solo decisiones sobre qué método estadístico es mejor o qué datos son necesarios para realizar sus cálculos. Las mismas personas pueden ser marcadas como más o menos necesitadas de investigación según cómo se diseñó una [herramienta] (https://dl.acm.org/doi/pdf/10.1145/3531146.3533149). Una preocupación recurrente es que el uso de estas herramientas en sistemas marcados por un trato y resultados discriminatorios dará lugar a que esos resultados se reproduzcan. Pero esta vez, si esa historia se repite, los resultados dispares se considerarán verdades incuestionables respaldadas por la ciencia y las matemáticas, y no el resultado de una discriminación residual o continua, y mucho menos las decisiones políticas que resultaron cuando los diseñadores de herramientas decidieron elegir el modelo A en su lugar. del modelo B.
Para comprender mejor si esta preocupación está justificada, hace dos años, la ACLU solicitó datos y documentos del condado de Allegheny, Pensilvania, relacionados con la Herramienta de detección familiar de Allegheny (AFST) para que nosotros, junto con investigadores del Grupo de análisis de datos de derechos humanos, pudiéramos independientemente evaluar su diseño e impacto práctico. Descubrimos, entre otras cosas, que el AFST podría generar inequidades en las tasas de detección: el porcentaje de informes (es decir, denuncias de negligencia recibidas por la agencia de bienestar infantil del condado) que se envían para investigación ("selección") fuera de el número total de informes recibidos. Descubrimos que la herramienta podría generar disparidades en la tasa de detección entre familias negras y no negras (es decir, el porcentaje de familias negras marcadas para investigación de todas las denuncias sobre familias negras recibidas podría ser mayor que el mismo porcentaje de familias no negras). familias). También descubrimos que los hogares donde viven personas con discapacidad podrían etiquetarse como de mayor riesgo que los hogares sin un residente discapacitado. Sin embargo, lo que realmente se destacó fue que descubrimos que el algoritmo de AFST, o la forma en que se transmitieron sus conclusiones sobre una familia a un evaluador, podría haberse construido de diferentes maneras que pueden haber tenido un impacto menos discriminatorio. Y este método alternativo no cambió la "precisión" del algoritmo de ninguna manera significativa, incluso si aceptamos la definición de ese término del desarrollador de la herramienta. Le pedimos al condado ya los diseñadores de herramientas que nos dieran su opinión sobre un documento que describía nuestro análisis, pero nunca recibimos una respuesta. Compartimos nuestros hallazgos por primera vez hoy. Pero primero, una descripción general rápida de cómo funciona AFST.
El condado de Allegheny ha estado utilizando el AFST para ayudar a los trabajadores a decidir si investigan o descartan las acusaciones de negligencia. (El AFST no se usa para tomar decisiones de detección sobre denuncias de abuso físico o negligencia grave porque la ley estatal exige que se investiguen). el condado, dentro de dos años, sacará a un niño de la familia involucrada en el informe. En otras palabras, la herramienta genera una predicción del “riesgo” de que la agencia coloque al niño en cuidado de crianza. El condado y los diseñadores de herramientas tratan la remoción como una señal de que el niño puede sufrir daños, de modo que cuanto mayor sea la probabilidad de remoción, mayor será la puntuación y mayor será la supuesta necesidad de una intervención de bienestar infantil. Se instruye a los evaluadores de llamadas para que consideren el resultado del AFST como un factor entre muchos para decidir si enviar el informe para la acción de la agencia.
Sin embargo, en un sistema de bienestar infantil ya plagado por desigualdades basadas en raza, [género](https://www.thenation.com/article/archive/for-women-of-color-the-child -welfare-system-functions-like-the-criminal-justice-system/), ingresos, y [discapacidad](https ://ncd.gov/sites/default/files/Documents/NCD_Parenting_508_0.pdf), el uso de datos históricos para predecir acciones futuras por parte de la agencia solo sirve para reforzar esas disparidades. Y cuando renacen a través de un algoritmo, las personas pueden interpretar las disparidades como verdades duras porque, bueno, una ecuación matemática nos lo dijo.
De esta manera, los creadores de AFST están haciendo más que matemáticas al construir una herramienta. También tienen la capacidad de convertirse en legisladores en la sombra, porque a menos que se evalúe y se haga público el impacto práctico de sus decisiones de diseño, este poder puede ejercerse con poca transparencia o rendición de cuentas, aunque estas son dos de las razones por las que el condado adoptó la herramienta. .
Aquí hay un resumen de las decisiones de diseño y las políticas resultantes y los juicios de valor que compartimos con el condado como motivo de preocupación:
“Risky” por Asociación
Cuando el condado de Allegheny recibe un informe que alega negligencia infantil, el AFST genera una "puntuación de riesgo" individualizada para cada niño en el hogar. Sin embargo, los evaluadores de llamadas no ven puntajes de nivel individual. En cambio, el AFST muestra [una salida] (https://krittenh.github.io/katherine-rittenhouse.com/Rittenhouse_Algorithms.pdf#page=33) basada solo en la puntuación más alta de todos los niños del hogar. Para referencias donde el puntaje máximo se encuentra entre 11 y 18, AFST muestra el valor numérico del puntaje. Para puntajes máximos de 18 y más, el AFST muestra una etiqueta de "Protocolo de alto riesgo" siempre que al menos un niño en el hogar sea menor de 17 años. Este subconjunto de referencias está sujeto a investigación obligatoria, que solo un supervisor puede anular. Para referencias con una puntuación máxima inferior a 11 y sin niños menores de 7 años, los trabajadores de evaluación ven una etiqueta de "Protocolo de bajo riesgo".
Descubrimos que la decisión de comunicar solo las predicciones de AFST del niño con la puntuación más alta podría haber creado resultados inequitativos. Decimos "podría haberlo hecho" porque no pudimos ejecutar nuestro análisis sobre el número real de familias negras y no negras, por lo que, como es una práctica común, incluso por parte del condado y sus desarrolladores de herramientas, analizamos los datos del condado de Allegheny recopilados antes del AFST. se implementó para modelar cuáles habrían sido las puntuaciones de riesgo.
En comparación con otras formas de transmitir los puntajes de la AFST, el método en uso podría haber dado como resultado que la AFST clasificara a las familias negras como personas que tenían una mayor necesidad de escrutinio de la agencia que las familias que no eran negras. A través de nuestro análisis de datos de 2010-2014, encontramos que el método de AFST de mostrar solo un puntaje habría resultado en que aproximadamente el 33% de los hogares negros fueran etiquetados como de "alto riesgo", lo que activaría el protocolo obligatorio de detección, pero solo 20 % de hogares no negros habrían sido etiquetados así.
¿Cuantos más datos, mejor?
Para construir el algoritmo de la herramienta, sus diseñadores necesitaban observar los registros históricos para identificar las circunstancias y las características individuales más asociadas con la eliminación de niños, ya que la herramienta basa sus puntajes de riesgo esencialmente en si esos factores están presentes en el informe entrante y cómo lo hacen. Por lo tanto, para promover uno de los objetivos declarados del condado al adoptar el AFST: "tomar decisiones [sobre si realizar la detección en un informe] basado en la mayor cantidad de información posible”: el condado dio a los diseñadores de AFST acceso a [bases de datos gubernamentales] (https://www.alleghenycounty.us/WorkArea/linkit.aspx?LinkIdentifier=id&ItemID=6442464576) más allá del los registros de bienestar infantil del condado, como los registros de libertad condicional juvenil y de salud del comportamiento. El problema es que estas bases de datos no reflejan una muestra aleatoria o una muestra representativa de la población del condado. Más bien, reflejan la vida de las personas que tienen más contacto con las agencias gubernamentales que otras. Como resultado, usar una base de datos de este tipo para identificar las características de los hogares con mayor probabilidad de que se retire a un niño significa seleccionar de un grupo de factores que sobrerrepresenta a algunos grupos de personas y subrepresenta a otros, lo que hace más probable que la herramienta clasifique a los mismas poblaciones sobrerrepresentadas como de mayor riesgo, no porque sea más probable que sufran o causen daños, sino porque el gobierno tiene acceso a los datos sobre ellos pero poco o ningún acceso a los datos sobre los demás.
Tomemos, por ejemplo, la base de datos de libertad condicional juvenil del condado, que se utilizó para construir el AFST. Un [estudio] reciente (https://npr-brightspot.s3.amazonaws.com/legacy/sites/wesa/files/bgea_disrupting_the_pathways_to_juvenile_justice_report.pdf) encontró que las niñas negras en el condado tenían 10 veces más probabilidades y los niños negros siete veces más más probabilidades que sus contrapartes blancas de terminar en el sistema de justicia juvenil. Como resultado, al utilizar la base de datos relacionada con la libertad condicional de menores para crear la herramienta, los desarrolladores de la herramienta extraen registros que sobrerrepresentan a los niños negros en comparación con los niños blancos.
Las bases de datos de salud del comportamiento que el condado usó para crear el AFST son igualmente problemáticas. Debido a que incluyen expresamente información sobre personas que buscan atención relacionada con la discapacidad, estas bases de datos inevitablemente contendrán información sobre personas con discapacidad, pero no necesariamente sobre otras personas. Estas bases de datos también están sesgadas a lo largo de otro eje: debido a que el condado no registra información sobre la atención médica de acceso privado, es mucho menos probable que se reflejen los datos sobre personas con ingresos más altos.
marcado para siempre
Al basar parcialmente la predicción de deportación de la AFST en factores que las familias nunca pueden cambiar, como si alguien ha estado recluido en la Cárcel del Condado de Allegheny en algún momento o por cualquier motivo, la AFST efectivamente no ofrece a las familias ninguna forma de escapar de su pasado, lo que agrava los impactos. de sesgo sistémico en el sistema legal penal. Descubrimos que los hogares con más niños tienen más probabilidades de incluir a alguien con antecedentes en el sistema penitenciario del condado o con HealthChoices, el programa de atención administrada de Allegheny para servicios de salud del comportamiento. Descubrimos que al incluir información que rastrea si alguien alguna vez se ha asociado con estos sistemas, el AFST podría haber producido mayores disparidades en las tasas de ingreso de pantalla de la familia Black-white que un diseño de modelo alternativo que no tuvo en cuenta estos factores.
Informe anterior ha demostrado que muchas familias ni siquiera saben que el condado está usando el AFST, mucho menos cómo funciona o cómo criar preocupaciones al respecto. Además, las bases de datos gubernamentales, desde [bases de datos de beneficios públicos] (https://www.btah.org/case-study/colorado-medicaid-snap-chip-and-tanf-wrongful-denials.html) hasta bases de datos de justicia penal, son plagado de errores. ¿Y qué sucede si la herramienta en sí “falla”, como ya le sucedió a la AFST?
Estos desafíos demuestran la necesidad urgente de [transparencia, supervisión independiente y recurso significativo](https://www.aclu.org/news/racial-justice/the-federal-government-should-not-waste-the-opportunity- para abordar la discriminación algorítmica) cuando los algoritmos se implementan en contextos de toma de decisiones de alto riesgo, como el bienestar infantil. Las familias no tienen conocimiento de las políticas integradas en las herramientas que se les imponen, no tienen la capacidad de saber cómo se usó la herramienta para tomar decisiones que cambian la vida y, en última instancia, tienen una capacidad limitada para luchar por sus libertades civiles, lo que consolida tradiciones de larga data. de cómo operan las agencias de regulación familiar.
Lea el informe completo, The Devil is in the Details: Interrogating Values Embedded in the Allegheny Family Screening Tool a continuación: