Incidentes Asociados
Epic Systems, la compañía de registros médicos electrónicos más grande de Estados Unidos, mantiene la información médica de 180 millones de pacientes de EE. UU. (56 % de la población). Bajo el lema, “con el paciente en el corazón”, tiene una cartera de 20 algoritmos patentados de inteligencia artificial (IA) diseñados para identificar diferentes enfermedades y predecir la duración de las estadías en el hospital.
Al igual que con muchos algoritmos patentados en medicina y en otros lugares, los usuarios no tienen forma de saber si los programas de Epic son confiables o simplemente otra estrategia de marketing. Los detalles dentro de las cajas negras son secretos y las pruebas independientes son escasas.
Uno de los algoritmos de Epic más importantes es para predecir la sepsis, la principal causa de muerte en los hospitales. La sepsis ocurre cuando el cuerpo humano reacciona de forma exagerada a una infección y envía sustancias químicas al torrente sanguíneo que pueden causar daños en los tejidos y fallas en los órganos. La detección temprana puede salvar vidas, pero la sepsis es difícil de detectar en una etapa temprana.
Epic afirma que las predicciones hechas por su Epic Sepsis Model (ESM) tienen una precisión del 76 al 83 por ciento, pero no ha habido pruebas independientes creíbles de ninguno de sus algoritmos, hasta ahora. En un artículo recién publicado en JAMA Internal Medicine, un equipo examinó los registros hospitalarios de 38.455 pacientes en Michigan Medicine (el sistema de salud de la Universidad de Michigan), de los cuales 2.552 (6,6 por ciento) experimentaron sepsis. Los resultados están en la tabla. “Epic +” significa que ESM generó alertas de sepsis; “Epic –” significa que no lo hizo.
Épico + Épico – Total Sepsis 843 1.709 2.552 Sin Sepsis 6.128 29.775 35.903 Total 6.971 31.484 38.455
Hay dos grandes conclusiones:
una. De los 2552 pacientes con sepsis, ESM solo generó alertas de sepsis para 843 (33 por ciento). Se perdieron el 67 por ciento de las personas con sepsis.
b. De las 6971 alertas de sepsis del ESM, solo 843 (12 por ciento) fueron correctas; El 88 por ciento de las alertas de sepsis de ESM fueron falsas alarmas, lo que creó lo que los autores llamaron "una gran carga de fatiga de alerta".
Reiterando, ESM no pudo identificar el 67 por ciento de los pacientes con sepsis; de aquellos pacientes con alertas de sepsis ESM, el 88 por ciento no tenía sepsis.
Una investigación reciente de STAT, un sitio de noticias relacionado con la salud afiliado al Boston Globe, llegó a una conclusión similar. Su artículo, titulado "Los algoritmos de IA de Epic, protegidos del escrutinio por un firewall corporativo, están entregando información inexacta sobre pacientes gravemente enfermos", dio algunos golpes:
Varios algoritmos de inteligencia artificial desarrollados por Epic Systems, el proveedor de registros de salud electrónicos más grande del país, están entregando información inexacta o irrelevante a los hospitales sobre el cuidado de pacientes gravemente enfermos, lo que contrasta fuertemente con las afirmaciones publicadas por la compañía. [Los hallazgos] pintan la imagen de una empresa cuyos objetivos comerciales, y el deseo de preservar su dominio del mercado, chocan con la necesidad de una revisión cuidadosa e independiente de los algoritmos antes de que se utilicen en el cuidado de millones de pacientes. Casey Ross, "Los algoritmos de inteligencia artificial de Epic, protegidos del escrutinio por un firewall corporativo, están brindando información inexacta sobre pacientes gravemente enfermos", en STAT News
¿Por qué cientos de hospitales han adoptado ESM? Parte de la explicación es seguramente que muchas personas creen en la exageración de la IA: las computadoras son más inteligentes que nosotros y debemos confiar en ellas. Las luchas de Watson Health y Radiology AI dicen lo contrario. El bombo de la IA se nutre aquí de la escasez, hasta hace poco, de pruebas independientes.
Además, la investigación de STAT descubrió que Epic ha estado pagando a los hospitales hasta $1 millón para usar sus algoritmos. ¿Quizás los pagos fueron por los derechos de fanfarronear? ¿Quizás los pagos fueron para poner un pie firmemente en la puerta del hospital, para que Epic pudiera comenzar a cobrar tarifas de licencia después de que los hospitales se comprometieran a usar los algoritmos de Epic? Lo cierto es que los pagos crean un conflicto de interés. Como observó Glenn Cohen, director de la facultad del Centro Petrie-Flom de Políticas de Derecho de la Salud, Biotecnología y Bioética de la Universidad de Harvard: "Sería un mundo terrible en el que Epic le está dando a la gente un millón de dólares, y el resultado final es que la salud de los pacientes empeora". peor."
Esta falla de Epic es otro de los innumerables ejemplos de por qué no debemos confiar en los algoritmos de IA que no entendemos, especialmente si sus afirmaciones no se han probado de forma independiente.