Incidentes Asociados
WASHINGTON — Los funcionarios de bienestar infantil en Oregón dejarán de usar un algoritmo para ayudar a decidir qué familias son investigadas por los trabajadores sociales y optarán por un nuevo proceso que, según los funcionarios, tomará decisiones mejores y más equitativas desde el punto de vista racial.
La medida se produce semanas después de una revisión de Associated Press de una herramienta algorítmica separada en Pensilvania que originalmente había inspirado a los funcionarios de Oregón a desarrollar su modelo, y se descubrió que había señalado a un número desproporcionado de niños negros para investigaciones de negligencia "obligatoria" cuando estaba en primer lugar. lugar.
El Departamento de Servicios Humanos de Oregón anunció al personal por correo electrónico el mes pasado que, después de un "análisis extenso", los trabajadores de la línea directa de la agencia dejarían de usar el algoritmo a fines de junio para reducir las disparidades con respecto a qué familias son investigadas por abuso y negligencia infantil por parte de los servicios de protección infantil.
"Estamos comprometidos con la mejora continua de la calidad y la equidad", dijo Lacey Andresen, subdirectora de la agencia, en el correo electrónico del 19 de mayo.
Jake Sunderland, un portavoz del departamento, dijo que el algoritmo existente "ya no sería necesario", ya que no se puede usar con el nuevo proceso de evaluación del estado. Se negó a proporcionar más detalles sobre por qué Oregón decidió reemplazar el algoritmo y no dio más detalles sobre las disparidades relacionadas que influyeron en el cambio de política.
'Rastreado'
Las decisiones de los trabajadores de la línea directa sobre los informes de abuso y negligencia infantil marcan un momento crítico en el proceso de investigación, cuando los trabajadores sociales deciden por primera vez si las familias deben enfrentar la intervención del estado. Hay mucho en juego: no atender una acusación podría terminar con la muerte de un niño, pero examinar la vida de una familia podría prepararlos para la separación.
Desde California hasta Colorado y Pensilvania, a medida que las agencias de bienestar infantil usan o consideran implementar algoritmos, una revisión de AP identificó preocupaciones sobre la transparencia, la confiabilidad y las disparidades raciales en el uso de la tecnología, incluido su potencial para endurecer el sesgo en el sistema de bienestar infantil.
El senador federal Ron Wyden, demócrata de Oregón, dijo que durante mucho tiempo estuvo preocupado por los algoritmos utilizados por el sistema de bienestar infantil de su estado y se acercó nuevamente al departamento luego de la historia de AP para hacer preguntas sobre prejuicios raciales, una preocupación predominante con el creciente uso de herramientas de inteligencia artificial en los servicios de protección infantil.
“Tomar decisiones sobre lo que debería pasar con los niños y las familias es una tarea demasiado importante para proporcionar algoritmos no probados”, dijo Wyden en un comunicado. “Me alegra que el Departamento de Servicios Humanos de Oregón esté tomando en serio las preocupaciones que planteé sobre el prejuicio racial y esté pausando el uso de su herramienta de detección”.
Sunderland dijo que los funcionarios de bienestar infantil de Oregón habían estado considerando durante mucho tiempo cambiar su proceso de investigación antes de hacer el anuncio el mes pasado.
Agregó que el estado decidió recientemente que el algoritmo sería reemplazado por completo por su nuevo programa, llamado modelo de toma de decisiones estructuradas, que se alinea con muchas otras jurisdicciones de bienestar infantil en todo el país.
La herramienta Safety at Screening Tool de Oregón se inspiró en la influyente Allegheny Family Screening Tool, que lleva el nombre del condado que rodea a Pittsburgh, y tiene como objetivo predecir el riesgo que enfrentan los niños de terminar en un hogar de crianza o de ser investigados en el futuro. Se implementó por primera vez en 2018. Los trabajadores sociales ven las puntuaciones numéricas de riesgo que genera el algoritmo (cuanto mayor es el número, mayor es el riesgo) mientras deciden si un trabajador social diferente debe salir a investigar a la familia.
Pero los funcionarios de Oregón modificaron su algoritmo original para que solo se basara en datos internos de bienestar infantil al calcular el riesgo de una familia, y trataron de abordar deliberadamente el sesgo racial en su diseño con una "corrección de equidad".
En respuesta a los hallazgos de los investigadores de la Universidad Carnegie Mellon de que el algoritmo del condado de Allegheny inicialmente señaló a un número desproporcionado de familias negras para investigaciones de negligencia infantil "obligatorias", los funcionarios del condado calificaron la investigación de "hipotética" y señalaron que los trabajadores sociales siempre pueden anular la herramienta, que nunca fue pensado para ser utilizado por sí solo.
Wyden es uno de los principales patrocinadores de un proyecto de ley que busca establecer la transparencia y la supervisión nacional del software, los algoritmos y otros sistemas automatizados.
“Con los medios de subsistencia y la seguridad de los niños y las familias en juego, la tecnología utilizada por el estado debe ser equitativa, y continuaré vigilando”, dijo Wyden.
La segunda herramienta que desarrolló Oregon, un algoritmo para ayudar a decidir cuándo los niños de crianza pueden reunirse con sus familias, permanece en pausa mientras los investigadores reelaboran el modelo. Sunderland dijo que el piloto se detuvo hace meses debido a datos inadecuados, pero que “no hay expectativas de que se detenga pronto”.
En los últimos años, mientras estaba bajo el escrutinio de una junta de supervisión de crisis ordenada por el gobernador, la agencia estatal, que actualmente se prepara para contratar a su octavo nuevo director de bienestar infantil en seis años, consideró tres algoritmos adicionales, incluidos modelos predictivos que buscaban evaluar el riesgo de un niño por muerte y lesiones graves, si los niños deben ser colocados en hogares de guarda y, de ser así, dónde. Sin embargo, Sunderland dijo que el departamento de bienestar infantil nunca construyó esas herramientas.