Problema 2704

Un algoritmo ampliamente utilizado en los hospitales de EE. UU. para asignar atención médica a los pacientes ha discriminado sistemáticamente a las personas negras, según un análisis exhaustivo.

El estudio, publicado en Science el 24 de octubre, concluyó que era menos probable que el algoritmo remitiera a personas negras que a personas blancas que estaban igualmente enfermas a programas que apuntan a mejorar la atención de pacientes con necesidades médicas complejas. Los hospitales y las aseguradoras usan el algoritmo y otros similares para ayudar a administrar la atención de unos 200 millones de personas en los Estados Unidos cada año.

Este tipo de estudio es raro, porque los investigadores a menudo no pueden obtener acceso a algoritmos patentados y a la gran cantidad de datos de salud confidenciales necesarios para probarlos por completo, dice Milena Gianfrancesco, epidemióloga de la Universidad de California en San Francisco, que ha estudiado las fuentes de sesgo. en historias clínicas electrónicas. Pero estudios más pequeños e informes anecdóticos han documentado una [toma de decisiones sesgada por algoritmos] (https://www.nature.com/articles/d41586-018-05469-3) injusta y sesgada utilizada en todo, desde la justicia penal hasta la educación y la atención médica. .

“Es alarmante”, dice Gianfrancesco sobre el último estudio. “Necesitamos una mejor manera de evaluar realmente la salud de los pacientes”.

Ziad Obermeyer, que estudia aprendizaje automático y gestión de la atención médica en la Universidad de California, Berkeley, y su equipo tropezaron con el problema mientras examinaban el impacto de los programas que brindan recursos adicionales y una supervisión médica más cercana para personas con problemas de salud múltiples, a veces superpuestos. problemas.

Examinando suposiciones

Cuando Obermeyer y sus colegas realizaron controles estadísticos de rutina en los datos que recibieron de un gran hospital, se sorprendieron al descubrir que a las personas que se autoidentificaban como negras generalmente se les asignaban puntajes de riesgo más bajos que a las personas blancas igualmente enfermas. Como resultado, era menos probable que las personas negras fueran remitidas a los programas que brindan una atención más personalizada.

Los investigadores encontraron que el algoritmo asignó puntajes de riesgo a los pacientes sobre la base de los costos totales de atención médica acumulados en un año. Dicen que esta suposición podría haber parecido razonable porque los costos más altos de atención médica generalmente se asocian con mayores necesidades de salud. La persona negra promedio en el conjunto de datos que usaron los científicos tuvo costos generales de atención médica similares a los de la persona blanca promedio.

Pero una mirada más cercana a los datos reveló que la persona negra promedio también estaba sustancialmente más enferma que la persona blanca promedio, con una mayor prevalencia de afecciones como diabetes, anemia, insuficiencia renal y presión arterial alta. En conjunto, los datos mostraron que la atención brindada a personas de raza negra cuesta en promedio US$1.800 menos por año que la atención brindada a una persona blanca con la misma cantidad de problemas de salud crónicos.

Los científicos especulan que este acceso reducido a la atención se debe a los efectos del racismo sistémico, que van desde la desconfianza en el sistema de atención médica hasta la discriminación racial directa por parte de los proveedores de atención médica.

Y debido a que el algoritmo asignó a las personas a categorías de alto riesgo en función de los costos, esos sesgos se transmitieron en sus resultados: las personas negras tenían que estar más enfermas que las blancas antes de ser derivadas para recibir ayuda adicional. Solo el 17,7% de los pacientes que el algoritmo asignó para recibir atención adicional eran negros. Los investigadores calculan que la proporción sería del 46,5% si el algoritmo fuera imparcial.

buscando soluciones

Cuando Obermeyer y su equipo informaron sus hallazgos a los desarrolladores del algoritmo, Optum de Eden Prairie, Minnesota, la compañía repitió su análisis y encontró los mismos resultados. Obermeyer está trabajando con la firma sin salario para mejorar el algoritmo.

Él y su equipo colaboraron con la compañía para encontrar variables distintas de los costos de atención médica que pudieran usarse para calcular las necesidades médicas de una persona, y repitieron su análisis después de ajustar el algoritmo en consecuencia. Descubrieron que hacer estos cambios redujo el sesgo en un 84 %.

“Apreciamos el trabajo de los investigadores”, dijo Optum en un comunicado. Pero la compañía agregó que consideraba que la conclusión de los investigadores era "engañosa". “El modelo de costos es solo uno de los muchos elementos de datos destinados a ser utilizados para seleccionar pacientes para programas de participación clínica, incluida, lo que es más importante, la experiencia del médico”.

Obermeyer dice que usar la predicción de costos para tomar decisiones sobre la participación del paciente es un problema generalizado. “Este no es un problema con un algoritmo o una empresa, es un problema con la forma en que todo nuestro sistema aborda este problema”, dice.

Encontrar soluciones para el sesgo en los algoritmos, en el cuidado de la salud y más allá, no es sencillo, dice Obermeyer. “Esas soluciones son fáciles en el sentido de la ingeniería de software: simplemente vuelves a ejecutar el algoritmo con otra variable”, dice. “Pero la parte difícil es: ¿cuál es esa otra variable? ¿Cómo evitas el sesgo y la injusticia que son inherentes a esa sociedad?”.

Esto se debe en parte a la falta de diversidad entre los diseñadores de algoritmos y la falta de capacitación sobre el contexto social e histórico de su trabajo, dice Ruha Benjamin, autora de Race After Technology (2019) y socióloga de la Universidad de Princeton en Nueva Jersey. .

“No podemos confiar en las personas que actualmente diseñan estos sistemas para anticipar o mitigar por completo todos los daños asociados con la automatización”, dice.

Los desarrolladores deberían ejecutar pruebas como las realizadas por el grupo de Obermeyer de forma rutinaria antes de implementar un algoritmo que afecte vidas humanas, dice Rayid Ghani, científico informático de la Universidad Carnegie Mellon en Pittsburgh, Pensilvania. Ese tipo de auditoría es más común ahora, dice, ya que los informes de algoritmos sesgados se han generalizado.

“¿Hay más que lo hacen ahora que antes? Sí”, dice Ghani. “¿Son suficientes de ellos haciéndolo? No."

Piensa que los resultados de estas auditorías siempre deben compararse con la toma de decisiones humanas antes de asumir que un algoritmo está empeorando las cosas. Ghani dice que su equipo ha llevado a cabo análisis inéditos que comparan los algoritmos utilizados en la salud pública, la justicia penal y la educación con la toma de decisiones humana. Descubrieron que los sistemas de aprendizaje automático estaban sesgados, pero menos que las personas.

“Todavía estamos usando estos algoritmos llamados humanos que están realmente sesgados”, dice Ghani. “Los probamos y sabemos que son horribles, pero aún los usamos para tomar decisiones realmente importantes todos los días”.

• Actualización del 26 de octubre de 2019: se agregó el nombre del desarrollador del algoritmo y la respuesta de la empresa al estudio, así como comentarios adicionales de Ziad Obermeyer.