Incidentes Asociados
El cuidado de algunos de los estadounidenses más enfermos se decide en parte por algoritmo. Una nueva investigación muestra que el software que guía la atención de decenas de millones de personas privilegia sistemáticamente a los pacientes blancos sobre los pacientes negros. El análisis de los registros de un importante hospital de EE. UU. reveló que el algoritmo utilizado permitía a los blancos entrar en la cola de programas especiales para pacientes con enfermedades crónicas complejas, como diabetes o problemas renales.
El hospital, que los investigadores no identificaron pero describieron como un "gran hospital académico", fue uno de los muchos proveedores de salud de EE. UU. que emplean algoritmos para identificar a los pacientes de atención primaria con las necesidades de salud más complejas. Dicho software a menudo se aprovecha para recomendar personas para programas que ofrecen apoyo adicional, incluidas citas dedicadas y equipos de enfermería, para personas con una maraña de afecciones crónicas.
Los investigadores que revisaron casi 50,000 registros descubrieron que el algoritmo efectivamente redujo las necesidades de salud de los pacientes negros del hospital. El uso de su producción para ayudar a seleccionar pacientes para atención adicional favoreció a los pacientes blancos sobre los pacientes negros con la misma carga de salud.
Cuando los investigadores compararon pacientes negros y blancos a quienes el algoritmo asignó puntajes de riesgo similares, encontraron que los pacientes negros estaban significativamente más enfermos, por ejemplo, con presión arterial más alta y diabetes menos controlada. Esto tuvo el efecto de excluir a las personas del programa de atención adicional por motivos de raza. El hospital automáticamente inscribió a los pacientes por encima de ciertos puntajes de riesgo en el programa, o los remitió para que los consideraran los médicos.
Los investigadores calcularon que el sesgo del algoritmo redujo efectivamente la proporción de pacientes negros que recibían ayuda adicional en más de la mitad, de casi el 50 por ciento a menos del 20 por ciento. Aquellos que no recibieron atención adicional potencialmente enfrentaron una mayor probabilidad de visitas a la sala de emergencias y estadías en el hospital.
"Hubo marcadas diferencias en los resultados", dice Ziad Obermeyer, médico e investigador de UC Berkeley que trabajó en el proyecto con colegas de la Universidad de Chicago y los hospitales Brigham and Women's y Massachusetts General en Boston.
El artículo, publicado el jueves en Science, no identifica a la compañía detrás del algoritmo que produjo esos juicios sesgados. Obermeyer dice que la compañía ha confirmado el problema y está trabajando para solucionarlo. En una charla sobre el proyecto este verano, dijo que el algoritmo se usa en el cuidado de 70 millones de pacientes y es desarrollado por una subsidiaria de una compañía de seguros. Eso sugiere que el algoritmo puede ser de Optum, propiedad de la aseguradora UnitedHealth, que dice que su producto, que intenta predecir los riesgos de los pacientes, incluidos los costos, se utiliza para "gestionar más de 70 millones de vidas". Cuando WIRED le preguntó si su software era el del estudio, Optum dijo en un comunicado que los médicos no deberían usar puntajes algorítmicos solos para tomar decisiones sobre los pacientes. “Como aconsejamos a nuestros clientes, estas herramientas nunca deben verse como un sustituto de la experiencia y el conocimiento de un médico sobre las necesidades individuales de sus pacientes”, dijo.
Seguir leyendo Lo último en inteligencia artificial, desde aprendizaje automático hasta visión artificial y más
El algoritmo estudiado no tuvo en cuenta la raza al estimar el riesgo de problemas de salud de una persona. Su desempeño sesgado muestra cómo incluso las fórmulas putativamente neutrales en cuanto a raza pueden tener efectos discriminatorios cuando se basan en datos que reflejan las desigualdades en la sociedad.
El software fue diseñado para predecir los costos de salud futuros de los pacientes, como un indicador de sus necesidades de salud. Podría predecir los costos con una precisión razonable tanto para pacientes de raza negra como para pacientes de raza blanca. Pero eso tuvo el efecto de preparar el sistema para replicar la desigualdad en el acceso a la atención médica en Estados Unidos: un estudio de caso sobre los peligros de combinar algoritmos de optimización con datos que reflejan la cruda realidad social.
Cuando el hospital usó puntajes de riesgo para seleccionar pacientes para su complejo programa de atención, estaba seleccionando pacientes que probablemente costarían más en el futuro, no sobre la base de su salud real. Las personas con ingresos más bajos generalmente incurren en costos de salud más pequeños porque es menos probable que tengan la cobertura de seguro, el tiempo libre, el transporte o la seguridad laboral necesarios para asistir fácilmente a las citas médicas, dice Linda Goler Blount, presidenta y directora ejecutiva de la organización sin fines de lucro Black Women's Health. Imperativo.