Incidentes Asociados
Introducción
En 2017, los creadores de Allegheny Family Screening Tool (AFST) publicaron un informe que describe el proceso de desarrollo de una herramienta predictiva utilizada para informar las respuestas a las llamadas a la agencia de bienestar infantil del condado de Allegheny, Pensilvania, sobre la supuesta negligencia infantil. (La herramienta no se usa para tomar decisiones de detección de acusaciones que incluyen abuso o negligencia grave, que deben ser investigadas por la ley estatal).
En una nota a pie de página en la página 14 de ese informe, los creadores de la herramienta describieron sus decisiones en un componente clave del proceso de selección de variables, la selección de un umbral para la selección de características, como "bastante arbitrarias" y basadas en "ensayo y error". Dentro de este breve aparte se encuentra una evaluación honesta de cómo los creadores de herramientas predictivas a menudo ven el proceso de desarrollo: un proceso en el que tienen rienda suelta para tomar decisiones que consideran puramente técnicas, incluso si esas decisiones se toman de manera arbitraria. En realidad, las decisiones de diseño que se toman en el desarrollo de herramientas algorítmicas no son solo procesos técnicos, sino que también incluyen elecciones éticas, juicios de valor y decisiones políticas. Por ejemplo, el umbral "bastante arbitrario" utilizado en la selección de funciones podría haber determinado si los diagnósticos de salud conductual o el historial de elegibilidad para los programas de beneficios públicos de una familia afectarían su probabilidad de ser investigados por la agencia de bienestar infantil del condado. Cuando los desarrolladores presentan este tipo de decisiones de diseño como cuestiones principalmente técnicas, pueden disfrazarlas como objetivas, aunque se hagan de manera arbitraria, por conveniencia o en base a una lógica defectuosa.
En este trabajo, demostramos cómo las opciones de diseño algorítmico funcionan como decisiones de política a través de una auditoría del AFST. Destacamos tres valores integrados en AFST a través de un análisis de las decisiones de diseño tomadas en el proceso de desarrollo del modelo y discutimos sus impactos en las familias evaluadas por la herramienta. Específicamente, exploramos las siguientes decisiones de diseño:
- Arriesgado por asociación: El método AFST de agrupar puntajes de riesgo presenta una imagen engañosa de las familias evaluadas por la herramienta y trata a las familias como "riesgosas" por asociación.
- Cuantos más datos, mejor: El objetivo declarado del condado de "tomar decisiones basadas en la mayor cantidad de información posible" se produce a expensas de las comunidades ya afectadas y marginadas, como se demuestra mediante el uso de datos del sistema legal penal. y sistemas de salud conductual a pesar de las disparidades históricas y actuales en las comunidades objetivo de esos sistemas.
- Marcado a perpetuidad: Al usar características que las familias no pueden cambiar, el AFST efectivamente no ofrece a las familias ninguna forma de escapar de su pasado, lo que agrava los impactos del daño sistémico y no brinda una oportunidad significativa de recurso.
Conclusión
Un análisis ético de 2017 del AFST describió las "herramientas de modelado de riesgo predictivo" en general como "más precisas que cualquier alternativa" y "más transparentes que las alternativas". En su respuesta a este análisis, el condado calificó de manera similar el AFST como "más preciso" e "inherentemente más transparente" que las estrategias actuales de toma de decisiones. Pero cuando las herramientas como AFST se crean con decisiones de diseño arbitrarias, no dan a las familias la oportunidad de recurrir, perpetúan el sesgo racial y clasifican a las personas que pueden tener discapacidades como inherentemente "más riesgosas", esta suposición predeterminada de la objetividad inherente de las herramientas algorítmicas, y el el uso de las herramientas en conjunto— debe ser seriamente cuestionado. Aquí, nos enfocamos en un conjunto limitado de decisiones de diseño relacionadas con una versión particular del AFST. Hasta donde sabemos, varias de estas decisiones de diseño aún están dando forma a la versión implementada de la herramienta, aunque solo pudimos analizar los impactos de estas decisiones para la V2.1 de la herramienta. Esperamos que el trabajo futuro amplíe este análisis para mejorar nuestra comprensión del AFST, así como de otras herramientas algorítmicas utilizadas en estos contextos, incluidas las herramientas estructuradas para la toma de decisiones.
En contraste con los debates sobre cómo hacer que los algoritmos funcionen en contextos marcados por una discriminación arraigada y generalizada "justos" o "precisos", Green y Mohamed et al. proponer nuevos marcos que se centren en cambio en conectar nuestra comprensión de la opresión algorítmica con los contextos sociales y económicos más amplios en los que operan los algoritmos para evaluar si los algoritmos pueden realmente diseñarse para promover la justicia. En los años transcurridos desde el desarrollo inicial del AFST, los miembros de la comunidad afectados y otras personas que interactúan con el AFST expresaron su preocupación por los prejuicios raciales y sugirieron alternativas al AFST, incluidos cambios no técnicos en las prácticas del condado, como mejorar las condiciones de contratación y capacitación. para los trabajadores, cambios en las leyes estatales que afectan el sistema de regulación familiar y reimaginar las relaciones entre los miembros de la comunidad y la agencia. Sin embargo, herramientas similares creadas en gran medida por el mismo equipo de investigadores que creó el AFST se han implementado recientemente en el condado de Douglas, Colorado y el condado de Los Ángeles, California. Los desarrolladores de AFST continúan proponiendo casos de uso adicionales para este tipo de herramientas predictivas que se basan en fuentes de datos sesgadas, e incluso postulan que pueden usarse para reducir el sesgo racial en el sistema de regulación familiar como parte de los "bucles de retroalimentación de equidad racial". Pero como plantea Sasha Costanza-Chock en su libro Design Justice de 2020, "¿por qué seguimos diseñando tecnologías que reproducen los sistemas existentes de desigualdad de poder cuando está tan claro para tantos que necesitamos desmantelar urgentemente esos sistemas?"