Problema 2651

La inteligencia artificial (IA) y los sistemas algorítmicos de toma de decisiones, algoritmos que analizan cantidades masivas de datos y hacen predicciones sobre el futuro, están afectando cada vez más la vida cotidiana de los estadounidenses. Las personas se ven obligadas a incluir palabras de moda en sus currículos para pasar el software de contratación impulsado por IA. Los algoritmos están decidiendo quién obtendrá vivienda o oportunidades de préstamos financieros. Y el [software de prueba] sesgado (https://www.insidehighered.com/news/2021/02/01/u-illinois-says-goodbye-proctorio) está obligando a los estudiantes de color y a los estudiantes con discapacidades a lidiar con una mayor ansiedad que pueden ser bloqueados de sus exámenes o marcados por hacer trampa. Pero hay otra frontera de la IA y los algoritmos que debería preocuparnos mucho: el uso de estos sistemas en la atención y el tratamiento médico.

El uso de la IA y los sistemas algorítmicos de toma de decisiones en medicina están aumentando a pesar de que la regulación actual puede ser insuficiente para detectar sesgos raciales dañinos en estas herramientas. Los detalles sobre el desarrollo de las herramientas son en gran parte desconocidos para los médicos y el público, una falta de transparencia que amenaza con automatizar y empeorar el racismo en el sistema de atención médica. La semana pasada, la guía emitida por la FDA amplió significativamente el alcance de las herramientas que planea regular. Esta guía de ampliación enfatiza que se debe hacer más para combatir el sesgo y promover la equidad en medio del número creciente y el uso creciente de herramientas algorítmicas y de IA.

En 2019, un [estudio explosivo] (https://www.science.org/doi/10.1126/science.aax2342) descubrió que un algoritmo clínico que muchos hospitales usaban para decidir qué pacientes necesitan atención mostraba un sesgo racial: los pacientes negros tenían ser considerados mucho más enfermos que los pacientes blancos para ser recomendados para la misma atención. Esto sucedió porque el algoritmo se había entrenado con datos anteriores sobre el gasto en atención médica, lo que refleja un historial en el que los pacientes negros tenían menos para gastar en su atención médica en comparación con los pacientes blancos, debido a disparidades de riqueza e ingresos de larga data. Si bien el sesgo de este algoritmo finalmente se detectó y corrigió, el incidente plantea la pregunta de cuántas herramientas clínicas y médicas más pueden ser igualmente discriminatorias.

Otro algoritmo, creado para determinar cuántas horas de ayuda recibirían cada semana los residentes de Arkansas con discapacidades, fue criticado después de [hacer recortes extremos](https://www.theverge.com/2018/3/21/17144260/healthcare-medicaid -algorithm-arkansas-cerebral-palsy) hasta la atención domiciliaria. Algunos residentes atribuyeron las interrupciones extremas en sus vidas e incluso la hospitalización a los recortes repentinos. Una demanda resultante encontró que varios errores en el algoritmo, errores en la forma en que caracterizó las necesidades médicas de las personas con ciertas discapacidades, fueron los culpables directos de los cortes inapropiados realizados. A pesar de esta protesta, el grupo que desarrolló el algoritmo defectuoso aún crea herramientas que se utilizan en entornos de atención médica en casi la mitad de los estados de EE. UU., así como a nivel internacional.

Un estudio reciente encontró que una herramienta de IA entrenada en imágenes médicas, como radiografías y tomografías computarizadas, había aprendido inesperadamente a discernir la raza autoinformada de los pacientes. Aprendió a hacer esto incluso cuando fue entrenado solo con el objetivo de ayudar a los médicos a diagnosticar imágenes de pacientes. Se podría abusar de la capacidad de esta tecnología para determinar la raza de los pacientes, incluso cuando su médico no pueda, en el futuro, o dirigir involuntariamente una peor atención a las comunidades de color sin detección o intervención.

Algunos algoritmos utilizados en el espacio clínico están muy poco regulados en los EE. UU. El Departamento de Salud y Servicios Humanos (HHS) de los EE. UU. y su subagencia, la Administración de Alimentos y Medicamentos (FDA), tienen la tarea de regular los dispositivos médicos, con dispositivos que van desde una lengua depresor a un marcapasos y ahora, sistemas médicos de IA. Si bien algunos de estos dispositivos médicos (incluida la IA) y las herramientas que ayudan a los médicos en el tratamiento y el diagnóstico están regulados, otras herramientas de toma de decisiones algorítmicas utilizadas en entornos clínicos, administrativos y de salud pública, como las que predicen el riesgo de mortalidad, la probabilidad de la readmisión y las necesidades de atención domiciliaria no están obligadas a ser revisadas o reguladas por la FDA o cualquier organismo regulador.

Esta falta de supervisión puede llevar a que los hospitales y los sistemas de salud pública estatales utilicen ampliamente algoritmos sesgados, lo que contribuye a una mayor discriminación contra los pacientes negros y morenos, las personas con discapacidades y otras comunidades marginadas. En algunos casos, esta falta de regulación puede conducir a la pérdida de dinero y la pérdida de vidas. Una de estas herramientas de IA, desarrollada para detectar la sepsis en forma temprana, es utilizada por más de 170 hospitales y sistemas de salud. Pero un [estudio reciente](https://www.pewtrusts.org/en/research-and-analysis/articles/2021/12/16/artificial-intelligence-can-improve-health-care-but-not-sin -human-oversight) reveló que la herramienta no pudo predecir esta enfermedad potencialmente mortal en el 67 por ciento de los pacientes que la desarrollaron y generó alertas falsas de sepsis en miles de pacientes que no la desarrollaron. Reconociendo que esta falla fue el resultado de una regulación insuficiente, las nuevas pautas de la FDA señalan estas herramientas como ejemplos de productos que ahora regulará como dispositivos médicos.

El enfoque de la FDA para regular los medicamentos, que involucra datos compartidos públicamente que son analizados por paneles de revisión en busca de efectos y eventos adversos, contrasta con su enfoque para regular la IA médica y las herramientas algorítmicas. La regulación de la IA médica presenta un problema novedoso y requerirá consideraciones que difieren de las aplicables a los dispositivos de hardware que la FDA está acostumbrada a regular. Estos dispositivos incluyen [oxímetros de pulso](https://www.npr.org/sections/health-shots/2022/07/11/1110370384/when-it-comes-to-darker-skin-pulse-oximeters-fall- short/), termómetros térmicos y [electrodos para el cuero cabelludo](https://nam04.safelinks. protection.outlook.com/GetUrlReputation), cada uno de los cuales se ha encontrado que refleja prejuicios raciales o étnicos en lo bien que funcionan en los subgrupos. Las noticias sobre estos prejuicios solo subrayan cuán vital es regular adecuadamente estas herramientas y garantizar que no perpetúen los prejuicios contra los grupos raciales y étnicos vulnerables.

Si bien la FDA sugiere que los fabricantes de dispositivos prueben sus dispositivos en busca de prejuicios raciales y étnicos antes de comercializarlos para el público en general, este paso no es obligatorio. Quizás más importante que las evaluaciones después de que se desarrolla un dispositivo es la transparencia durante su desarrollo. Un estudio de noticias de STAT+ encontró que muchas herramientas de IA aprobadas o aprobadas por la FDA no incluyen información sobre la diversidad de los datos en los que se entrenó la IA, y que la cantidad de estas herramientas que se borran está [aumentando rápidamente] (https://www.statnews.com/2021/02/03/fda-clearances-artificial- inteligencia-datos/). Otro [estudio] (https://www.nature.com/articles/s41591-021-01595-0) encontró que las herramientas de inteligencia artificial "infradiagnosticaron de manera constante y selectiva a las poblaciones de pacientes desatendidas", y encontró que la tasa de infradiagnóstico era mayor para las comunidades marginadas que desproporcionadamente no tienen acceso a la atención médica. Esto es inaceptable cuando estas herramientas pueden tomar decisiones que tienen consecuencias de vida o muerte.

El trato equitativo por parte del sistema de salud es una cuestión de derechos civiles. La pandemia de COVID-19 ha puesto al descubierto las muchas formas en que las desigualdades sociales existentes producen desigualdades en la atención médica, una realidad compleja que los humanos pueden intentar comprender, pero que es difícil de reflejar con precisión en un algoritmo. La promesa de la IA en medicina era que podría ayudar a eliminar el sesgo de una institución profundamente sesgada y mejorar los resultados de la atención médica; en cambio, amenaza con automatizar este sesgo.

Se necesitan cambios de política y colaboración entre las partes interesadas clave, incluidos los reguladores estatales y federales, los grupos y organizaciones de defensa médica, de salud pública y clínica, para abordar estas brechas e ineficiencias. Para empezar, como se detalla en un [nuevo documento técnico de la ACLU] (https://www.aclu.org/legal-document/aclu-white-paper-ai-health-care-may-worsen-medical-racism):

• Debería exigirse el informe público de la información demográfica.
• La FDA debe exigir una evaluación de impacto de cualquier diferencia en el rendimiento del dispositivo por subgrupo racial o étnico como parte del proceso de autorización o aprobación.
• Las etiquetas de los dispositivos deben reflejar los resultados de esta evaluación de impacto.
• La FTC debe colaborar con el HHS y otros organismos federales para establecer las mejores prácticas que deben seguir los fabricantes de dispositivos que no están bajo la regulación de la FDA para disminuir el riesgo de prejuicios raciales o étnicos en sus herramientas.

En lugar de enterarse de prejuicios raciales y étnicos incrustados en algoritmos y dispositivos clínicos y médicos a partir de publicaciones explosivas que revelan lo que equivale a negligencia médica y clínica, el HHS y la FDA y otras partes interesadas deben trabajar para garantizar que el racismo médico se convierta en una reliquia del pasado en lugar de una certeza del futuro.