Incidentes Asociados
Un algoritmo ampliamente utilizado que predice qué pacientes se beneficiarán de la atención médica adicional subestima drásticamente las necesidades de salud de los pacientes negros más enfermos, lo que amplifica las disparidades raciales de larga data en la medicina, según descubrieron los investigadores.
El problema quedó atrapado en un algoritmo vendido por una empresa líder en servicios de salud, llamada Optum, para guiar la toma de decisiones sobre la atención de millones de personas. Pero es casi seguro que existe el mismo problema en otras herramientas utilizadas por otras empresas privadas, sistemas de salud sin fines de lucro y agencias gubernamentales para gestionar la atención médica de unos 200 millones de personas en los Estados Unidos cada año, informaron los científicos en la revista [Science](https ://science.sciencemag.org/cgi/doi/10.1126/science.aax2342).
Corregir el sesgo duplicaría con creces la cantidad de pacientes negros identificados como en riesgo de necesidades médicas complicadas dentro del sistema de salud que estudiaron los investigadores, y ya están trabajando con Optum para solucionarlo. Cuando la compañía replicó el análisis en un conjunto de datos nacionales de 3,7 millones de pacientes, descubrió que los pacientes negros que el algoritmo clasificó con la misma necesidad de atención adicional que los pacientes blancos estaban mucho más enfermos: colectivamente padecían 48 772 enfermedades crónicas adicionales. .
"Es realmente inconcebible para mí que el algoritmo de otra persona no sufra esto", dijo Sendhil Mullainathan, profesor de computación y ciencias del comportamiento en la Escuela de Negocios Booth de la Universidad de Chicago, quien supervisó el trabajo. “Tengo la esperanza de que esto haga que toda la industria diga: 'Vaya, tenemos que arreglar esto'. "
El algoritmo no era intencionalmente racista; de hecho, excluía específicamente la raza. En cambio, para identificar a los pacientes que se beneficiarían de más apoyo médico, el algoritmo utilizó una métrica aparentemente ciega a la raza: cuánto le costarían los pacientes al sistema de atención médica en el futuro. Pero el costo no es una medida de la necesidad de atención de la salud neutral para la raza. Los pacientes negros incurrieron en aproximadamente $1800 menos en costos médicos por año que los pacientes blancos con la misma cantidad de afecciones crónicas; por lo tanto, el algoritmo calificó a los pacientes blancos con el mismo riesgo de futuros problemas de salud que a los pacientes negros que tenían muchas más enfermedades.
Las máquinas toman cada vez más decisiones que afectan la vida humana, y las grandes organizaciones, particularmente en el cuidado de la salud, están tratando de aprovechar conjuntos de datos masivos para mejorar su funcionamiento. Utilizan datos que pueden no parecer racistas o sesgados, pero que pueden haber estado fuertemente influenciados por prejuicios sociales, culturales e institucionales de larga data, como los costos de atención médica. A medida que los sistemas informáticos determinan qué [candidatos de trabajo] ?itid=lk_inline_manual_11) debe ser entrevistado, quién debe [recibir un préstamo](https://www.washingtonpost.com/business/2018/11/15/even-machines-are-discriminating-against-black-latino-homebuyers /?itid=lk_inline_manual_11) o cómo [clasificar a las personas enfermas](https://spectrum.ieee.org/biomedical/diagnostics/hospitals-roll-out-ai-systems-to-keep-patients-from-dying-of -sepsis), los algoritmos patentados que los alimentan corren el riesgo de automatizar el racismo u otros prejuicios humanos.
En medicina, existe una larga historia de pacientes negros que enfrentan [barreras para acceder a la atención](https://www.washingtonpost.com/news/wonk/wp/2015/10/05/medicines-racial-divide-measured-in -minutos-pasados-esperando-para-ver-un-médico/?itid=lk_inline_manual_16) y recibiendo atención médica menos efectiva. Los estudios han encontrado que los pacientes negros tienen menos probabilidades de recibir [dolor] (https://www.washingtonpost.com/news/to-your-health/wp/2016/04/04/do-blacks-feel-less-pain- than-whites-their-doctors-may-think-so/?itid=lk_inline_manual_16) tratamiento, [cirugía de cáncer de pulmón que podría salvar vidas](https://www.nejm.org/doi/10.1056/NEJM199910143411606?url_ver=Z39.88 -2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%3Dwww.ncbi.nlm.nih.gov) o medicamentos para reducir el colesterol, en comparación con pacientes blancos. Tales disparidades probablemente tengan raíces complicadas, incluido el racismo explícito, problemas de acceso, falta de seguro, desconfianza en el sistema médico, malentendidos culturales o [sesgos inconscientes] (https://www.ncbi.nlm.nih.gov/pmc/articles/ PMC2219763/) que los médicos ni siquiera saben que tienen.
Mullainathan y sus colaboradores descubrieron que el algoritmo que estudiaron, que fue diseñado para ayudar a los sistemas de salud a identificar a los pacientes que tendrían las mayores necesidades de atención médica en el futuro, predecía la probabilidad de que las personas usaran mucha atención médica y acumularan altos costos en el futuro. Dado que los pacientes negros generalmente usan la atención médica a tasas más bajas, era menos probable que el algoritmo los señalara como propensos a usar mucha atención médica en el futuro.
Luego, el algoritmo profundizaría esa disparidad al señalar a los pacientes blancos más sanos que necesitan más [manejo de cuidados intensivos] (https://www.washingtonpost.com/business/economy/experimental-program-in-vermont-pays-doctors-to -keep-patients-healthy/2017/09/17/ddb47cfe-9320-11e7-aace-04b862b2b3f3_story.html?itid=lk_inline_manual_19).
"Los algoritmos predictivos que impulsan estas herramientas deben revisarse y refinarse continuamente, y complementarse con información como datos socioeconómicos, para ayudar a los médicos a tomar las decisiones de atención mejor informadas para cada paciente", dijo el portavoz de Optum, Tyler Mason. "Como aconsejamos a nuestros clientes, estas herramientas nunca deben verse como un sustituto de la experiencia y el conocimiento de un médico sobre las necesidades individuales de sus pacientes".
Ruha Benjamin, profesora asociada de estudios afroamericanos en la Universidad de Princeton, trazó un paralelo con la forma en que Henrietta Lacks, una joven madre afroamericana con cáncer de cuello uterino, fue tratada por el sistema médico. Lacks es bien conocida ahora porque sus células cancerosas, tomadas sin su consentimiento, se utilizan en la investigación biomédica moderna. La trataron en un ala separada del Hospital Johns Hopkins en una era en la que los hospitales estaban segregados. Imagínese si hoy, escribió Benjamin en un artículo adjunto, las carencias fueran "clasificadas digitalmente" con un algoritmo que no tuviera en cuenta explícitamente cuenta su raza, pero subestimó su enfermedad porque estaba usando datos que reflejaban un sesgo histórico para proyectar sus necesidades futuras. Tal racismo, aunque no está impulsado por una ideología de odio, podría tener el mismo resultado que la segregación anterior y la atención deficiente.
“Me sorprende la cantidad de personas que todavía piensan que el racismo siempre tiene que ser intencional y alimentado por la malicia. No quieren admitir los efectos racistas de la tecnología a menos que puedan identificar al hombre del saco intolerante detrás de la pantalla”, dijo Benjamin.
El software utilizado para predecir la necesidad de los pacientes de un apoyo médico más intensivo fue una consecuencia de la Ley del Cuidado de Salud a Bajo Precio, que creó incentivos financieros para que los sistemas de salud mantuvieran a las personas sanas en lugar de esperar para tratarlas cuando se enfermaran. La idea era que sería posible simultáneamente [contener los costos y mantener a las personas más saludables](https://www.washingtonpost.com/business/economy/two-visions-for-the-future-of-health-care-are -at-war-in-pittsburgh/2018/02/13/d987433c-0157-11e8-9d31-d72cf78dbeee_story.html?itid=lk_inline_manual_26) al identificar a los pacientes con mayor riesgo de enfermarse gravemente y brindarles más recursos. Pero debido a que las personas blancas ricas tienden a utilizar más la atención médica, tales herramientas también podrían hacer que los sistemas de salud se centren en ellos, perdiendo la oportunidad de ayudar a algunas de las personas más enfermas.
Christine Vogeli, directora de evaluación e investigación del Centro para la Salud de la Población de Partners HealthCare, un sistema de salud sin fines de lucro en Massachusetts, dijo que cuando su equipo probó el algoritmo por primera vez, mapearon las puntuaciones más altas en su población de pacientes y encontraron que estaban concentrados en algunos de los suburbios más prósperos de Boston. Eso los llevó a utilizar la herramienta de forma limitada, complementándola con otra información, en lugar de utilizarla de forma estándar.
"Tendrás que asegurarte de que la gente sea inteligente al respecto... o tendrás un problema en el que solo estarás sirviendo a las personas más ricas y ricas", dijo Vogeli.
Dichos sesgos pueden parecer obvios en retrospectiva, pero los algoritmos son notoriamente opacos porque son productos patentados que pueden costar cientos de miles de dólares. Los investigadores que realizaron el nuevo estudio tuvieron una cantidad inusual de acceso a los datos que se incluyeron en el algoritmo y lo que predijo.
También encontraron una forma relativamente sencilla de solucionar el problema. En lugar de solo predecir qué pacientes incurrirían en los costos más altos y utilizarían la mayor cantidad de atención médica en el futuro, modificaron el algoritmo para hacer predicciones sobre sus futuras condiciones de salud.
Suchi Saria, experta en aprendizaje automático y atención médica de la Universidad Johns Hopkins, dijo que el estudio era fascinante porque mostraba cómo, una vez que se detecta un sesgo, se puede corregir. Gran parte del estudio científico de las disparidades raciales en la medicina proporciona evidencia de inequidad, pero corregir esos problemas puede requerir cambios sociales y culturales radicales, así como cambios de comportamiento individuales por parte de miles de proveedores. Por el contrario, una vez que se identifica un algoritmo defectuoso, se puede eliminar el sesgo.
"Lo bueno es que podríamos medir fácilmente el sesgo que ha existido históricamente, cambiar el algoritmo y corregir el sesgo", dijo Saria. La parte más complicada puede ser desarrollar un mecanismo de supervisión que detecte los sesgos en primer lugar.
Saria dijo que una posibilidad es que los expertos en datos puedan probar los algoritmos de las empresas en busca de sesgo, de la misma manera que las empresas de seguridad prueban si las defensas cibernéticas de una empresa son suficientes.