Incidentes Asociados
Entre aproximadamente 38,500 hospitalizaciones, los investigadores dijeron que un algoritmo de predicción de sepsis patentado desarrollado por Epic omitió dos tercios de los pacientes con sepsis y generó numerosas alertas falsas. Si bien el proveedor de EHR atribuyó el bajo rendimiento a una calibración deficiente, los investigadores dijeron que los hallazgos resaltan una necesidad más amplia de validación externa de modelos predictivos patentados. (AndreyPopov/Getty Images)
Los nuevos datos revisados por pares arrojan dudas sobre un algoritmo de predicción de sepsis patentado desarrollado por Epic e implementado en cientos de hospitales en los EE. UU.
Llamada Epic Sepsis Model, la herramienta se incluye como parte de la plataforma de registros de salud electrónicos de Epic. Según la compañía, calcula e indica "la probabilidad de sepsis" para ayudar a los médicos a identificar casos difíciles de detectar.
Si bien algunos proveedores informaron que la herramienta tuvo éxito, los investigadores afiliados a la Facultad de Medicina de la Universidad de Michigan en Ann Arbor descubrieron que su resultado era "sustancialmente peor" que el informado por el proveedor cuando se aplicó a una gran muestra retrospectiva de más de 27,000 adultos. Pacientes de Medicina de Michigan.
"Nuestro estudio tiene implicaciones nacionales importantes", escribieron los investigadores en JAMA Internal Medicine (https://jamanetwork.com/journals/jamainternalmedicine/fullarticle/2781307). "El aumento y el crecimiento en la implementación de modelos patentados ha dado lugar a una base de documentos de rendimiento de modelos confidenciales y no revisados por pares que pueden no reflejar con precisión el rendimiento del modelo del mundo real".
El modelo Epic Sepsis es utilizado por 170 clientes que representan a cientos de hospitales, según Epic. La sepsis es responsable de casi 1 millón de hospitalizaciones cada año y es un factor importante de la mortalidad hospitalaria y el gasto en atención médica.
En lo que describieron como la primera validación independiente de la herramienta, los investigadores revisaron aproximadamente 38 500 hospitalizaciones registradas en el sistema académico de salud entre el 6 de diciembre de 2018 y el 20 de octubre de 2019. Se produjo sepsis en 2552 (7 %) de estas incluidas pacientes
El modelo de sepsis de Epic demostró un área bajo la curva de 0,63, que según los investigadores estaba muy por debajo del rango de 0,76 a 0,83 descrito en la documentación interna de Epic y otros datos informados por el proveedor junto con los investigadores [de otros] (https://journals. lww.com/ccmjournal/Citation/2021/01001/1235__Validating_the_Epic_Sepsis_Inpatient.1203.aspx) sistemas de salud.
Además, en el valor umbral adoptado por Michigan Medicine que estaba dentro del rango sugerido por Epic, los investigadores observaron una sensibilidad del 33 %, una especificidad del 83 %, un valor predictivo positivo del 12 % y un valor predictivo negativo del 95 %.
La herramienta, escribieron, "identifica solo el 7 % de los pacientes con sepsis que un médico no detectó... lo que destaca la baja sensibilidad del [Modelo de sepsis épica] en comparación con la práctica clínica contemporánea. El [Modelo de sepsis épica] también lo hizo no identificar el 67% de los pacientes con sepsis a pesar de generar alertas en el 18% de todos los pacientes hospitalizados, creando así una gran carga de fatiga de alerta".
En una declaración enviada por correo electrónico en respuesta a los hallazgos, un representante de Epic dijo que el análisis de los investigadores no tuvo en cuenta el ajuste requerido que debería preceder a la implementación de la herramienta en el mundo real.
El umbral seleccionado por los investigadores y Michigan Medicine fue relativamente bajo y "sería apropiado para un equipo de respuesta rápida que quiera lanzar una red amplia para evaluar a más pacientes", escribió el representante. Un umbral más alto reduce los falsos positivos y sería más apropiado para uso clínico por parte de médicos y enfermeras asistentes, dijo el portavoz de Epic.
La respuesta de Epic también cuestionó la caracterización de los investigadores del funcionamiento interno del modelo como un secreto de la empresa.
"La fórmula matemática completa y las entradas del modelo están disponibles para los administradores en sus sistemas", escribió el representante. "Las mediciones de precisión y la información sobre el entrenamiento del modelo también se encuentran en UserWeb de Epic, que está disponible para nuestros clientes".
Los resultados del estudio, sin embargo, han despertado la preocupación de los investigadores y otros expertos con respecto al futuro de estos algoritmos.
En un editorial adjunto, los autores afiliados a la Universidad de California, San Francisco y Kaiser Permanente dijeron que los datos resaltan la necesidad de una validación externa de los modelos de predicción patentados. antes de su uso clínico generalizado.
Los modelos que tienen éxito en un entorno o período de tiempo pueden no ser aplicables a otros, como parece ser el caso de Michigan Medicine y los sistemas que previamente presentaron resultados de predicción de sepsis junto con Epic, escribieron.
"Los sistemas de salud deben respaldar a los científicos de datos que pueden evaluar dichos modelos de la misma manera que los sistemas de salud actualmente brindan apoyo a los médicos para adaptar las pautas clínicas nacionales a sus poblaciones locales de pacientes", escribieron en el editorial.
Este tipo de trabajo se volverá crítico a medida que los algoritmos se expandan más allá de las regresiones logísticas "relativamente sencillas" y empleen más a menudo métodos iterativos de aprendizaje automático, continuaron.
"Estas herramientas de predicción más complejas pueden presentar barreras insuperables para la validación externa local, lo que impondrá una mayor responsabilidad a los desarrolladores de modelos, ya sea para publicar las características de rendimiento del modelo, las variables incluidas y la configuración en la que se obtuvieron o para proporcionar código y datos a pedido de permitir que otros verifiquen la transferibilidad del modelo al entorno local", escribieron.