Incidentes Asociados
Los documentos internos de IBM muestran que su supercomputadora Watson a menudo arrojaba consejos erróneos sobre el tratamiento del cáncer y que los especialistas médicos y los clientes de la empresa identificaron "múltiples ejemplos de recomendaciones de tratamiento inseguras e incorrectas" mientras IBM promocionaba el producto a hospitales y médicos de todo el mundo.
Los documentos, diapositivas presentadas el verano pasado por el subdirector de salud de IBM Watson Health, culpan en gran medida de los problemas a la capacitación de Watson por parte de los ingenieros y médicos de IBM en el renombrado Centro de Cáncer Memorial Sloan Kettering. El software fue perforado con una pequeña cantidad de casos de cáncer "sintéticos", o pacientes hipotéticos, en lugar de datos de pacientes reales. Las recomendaciones se basaron en la experiencia de unos pocos especialistas para cada tipo de cáncer, dicen los documentos, en lugar de "directrices o evidencia".
STAT ha visto partes de las dos presentaciones, de junio y julio de 2017. En ese momento, se compartieron ampliamente con la gerencia de la división Watson Health de IBM. Los documentos contienen evaluaciones mordaces del producto Watson for Oncology por parte de los clientes y concluyen que las recomendaciones "a menudo inexactas" plantean "serias preguntas sobre el proceso de creación de contenido y la tecnología subyacente".
IBM no ha reconocido públicamente las deficiencias del software, que utiliza algoritmos de inteligencia artificial para recomendar tratamientos para pacientes individuales. Por el contrario, los principales ejecutivos de la empresa les dijeron a los clientes y a otras personas que los consejos de Watson for Oncology para los médicos se basan en datos de pacientes reales y que se había ganado el elogio casi universal de médicos de todo el mundo.
“A los médicos les gusta. Los médicos me han dicho que si me lo quitara ahora, tendría una revuelta”, dijo Deborah DiSanzo, gerente general de IBM Watson Health, a STAT en una entrevista de junio de 2017.
Hace tan solo dos meses, John Kelly, vicepresidente sénior de la división de soluciones cognitivas de IBM, que incluye a Watson, dijo en un evento de IBM que Watson "ha ingerido todos los datos, pacientes históricos y resultados de Memorial Sloan". Y en otro evento en abril, dijo que Watson for Oncology está “yendo fabulosamente”.
“Es fundamental que todos los involucrados sepan cuáles fueron los datos en los que se entrenó”, agregó Kelly, haciéndose eco de los comentarios de septiembre de 2017 del CEO de IBM, Ginni Rometty, quien dijo: “Debe ser transparente al respecto porque eso es importante en estas decisiones”.
STAT publicó por primera vez una investigación sobre los problemas con Watson for Oncology en septiembre pasado, informando que no estaba a la altura de las expectativas de la compañía y que estaba generando quejas de médicos de todo el mundo de que sus recomendaciones a menudo no eran apropiadas para los pacientes en sus países. . Como resultado, IBM manchó su reputación en el floreciente mercado global de herramientas que utilizan inteligencia artificial para mejorar la atención del cáncer, un sector que es una prioridad para IBM y que potencialmente vale miles de millones de dólares.
Pero estos nuevos documentos revelan que los problemas eran más serios y sistémicos y que los ejecutivos de IBM sabían que el producto estaba generando recomendaciones inexactas que estaban en desacuerdo con las pautas nacionales de tratamiento, aunque no se menciona que los pacientes realmente sufrieron daños. Los documentos también establecen que los estudios que realizó IBM sobre el software, cuyos hallazgos se promocionaron como evidencia de la utilidad del sistema, fueron diseñados para generar resultados favorables.
Los documentos fueron presentados por el Dr. Andrew Norden, oncólogo y subjefe de salud, antes de dejar IBM Watson Health en agosto pasado. Muestran que, mientras los ejecutivos de IBM hablaban públicamente del producto, escuchaban comentarios duros de los clientes. Incluso los médicos de los hospitales que ayudaban a promocionar el producto decían en privado a los ejecutivos de IBM que no era útil para tratar a los pacientes.
“Este producto es una mierda”, dijo un médico del Hospital Jupiter en Florida a los ejecutivos de IBM, según los documentos. “Lo compramos por marketing y con la esperanza de que pudieras lograr la visión. No podemos usarlo en la mayoría de los casos”.
IBM defendió su software Watson for Oncology y dijo en un comunicado a STAT: “Hemos aprendido y mejorado Watson Health en función de los comentarios continuos de los clientes, nueva evidencia científica y nuevos cánceres y alternativas de tratamiento. Esto incluye 11 lanzamientos de software para una funcionalidad aún mejor durante el año pasado, incluidas las pautas nacionales para los tipos de cáncer que van desde el cáncer de colon hasta el cáncer de hígado”.
Dijo que Watson for Oncology está capacitado para ayudar a tratar 13 tipos de cáncer y es utilizado por 230 hospitales en todo el mundo.
Caitlin Hool, vocera de Memorial Sloan Kettering, dijo en un comunicado que los documentos internos que critican la capacitación y el desempeño del sistema reflejan “la naturaleza robusta del proceso” de construcción e implementación del producto en la atención clínica. Hool dijo que el centro oncológico está trabajando continuamente con IBM para mejorar la precisión y amplitud de las recomendaciones del sistema.
“La seguridad del paciente es primordial”, dijo Hool. “Si bien Watson for Oncology brinda opciones de tratamiento seguras, las decisiones de tratamiento requieren en última instancia la participación y el juicio clínico del médico tratante. ... Ninguna tecnología puede reemplazar a un médico y su conocimiento sobre su paciente individual. Hasta ese punto, la herramienta tampoco es equivalente a la atención del cáncer que se brinda en MSK”.
Norden se negó a comentar y envió un correo electrónico a STAT: "Como saben, ya no soy empleado de IBM Watson Health y, como tal, no puedo hablar sobre IBM o su negocio".
IBM llegó a un acuerdo con Memorial Sloan Kettering para capacitar a Watson para ayudar a tratar a pacientes con cáncer en 2012 y comenzó a vender el producto en Asia unos años más tarde a pesar de que solo había sido capacitado en un puñado de cánceres.
Las presentaciones de Norden mencionan una serie de supuestas fallas en los métodos de capacitación, incluida la pequeña cantidad de casos utilizados, que dice que se "determinaron sin datos estadísticos", y las diferencias entre los tratamientos de MSK y las pautas estándar. También señalan que Watson for Oncology tardó en adaptarse a los nuevos hallazgos de la investigación y a las pautas de tratamiento cambiantes.
El documento del 27 de julio declaró que la capacitación y la eficacia del producto se vieron socavadas por la “inadecuación de los casos de capacitación”. Dijo que uno o dos médicos entrenaron al sistema para dar recomendaciones de tratamiento para cada tipo de cáncer, y que los casos eran "sintéticos", lo que significa que fueron ideados por médicos de MSK y no eran pacientes reales.
Los casos sintéticos fueron compilados por médicos e ingenieros de IBM para exponer a Watson for Oncology a escenarios clínicos, a diferencia de los registros reales de los pacientes que fueron tratados en el hospital. Eso significaba que las recomendaciones de Watson fueron impulsadas por las preferencias de tratamiento de los propios médicos, no un análisis de aprendizaje automático de casos de pacientes reales.
Los métodos de capacitación y los consejos de Watson provocaron fuertes quejas de los médicos, según la presentación, lo que contribuyó a la insatisfacción de los clientes y la preocupación de los médicos. También afirmó que las recomendaciones de Memorial Sloan Kettering se desviaron de las pautas publicadas por la Red Nacional Integral del Cáncer, una fuente de recomendaciones de tratamiento a la que se hace referencia con frecuencia, y en algunos casos reflejaron una "interpretación poco convencional de la evidencia".
La presentación citó como ejemplo la recomendación de Watson de que un hombre de 65 años con cáncer de pulmón recién diagnosticado y evidencia de sangrado severo reciba quimioterapia combinada y un medicamento llamado bevacizumab. Una advertencia de "recuadro negro" para el medicamento, que se vende bajo la marca Avastin, advierte que puede provocar "hemorragia grave o fatal" y no debe administrarse a pacientes que experimentan sangrado grave.
“Oy vey ”, dijo el Dr. Eric Topol, director del Scripps Translational Science Institute, a STAT al enterarse del error. “Cada vez que tienes un algoritmo que hace una recomendación que es peligrosa, eso es extremadamente preocupante. Quiero decir, la idea general es que se supone que los algoritmos mejoran la seguridad y la calidad”.
En su declaración, Memorial Sloan Kettering dijo que cree que la recomendación de cáncer de pulmón citada en la presentación fue parte de la prueba del sistema de IBM y no se le dio a un paciente real. “Esta es una distinción importante y subraya la importancia de las pruebas y el hecho de que la herramienta pretende complementar, no reemplazar, el juicio clínico del médico tratante”, dijo el comunicado.
El centro oncológico también dijo que en 2014, cuando Watson for Oncology todavía estaba en desarrollo, inicialmente se utilizaron casos de pacientes históricos para entrenar el sistema. Pero IBM determinó que los casos sintéticos, diseñados para ser representativos de cohortes de pacientes reales con MSK, eran más adecuados para el desarrollo de Watson for Oncology.
“La velocidad a la que han cambiado los estándares de atención requiere un enfoque más dinámico que el que pueden proporcionar los datos históricos porque los casos históricos no reflejan necesariamente los estándares de atención más nuevos”, dijo el comunicado de MSK. “Los casos sintéticos también permiten que se incluyan diversas opciones de tratamiento en las recomendaciones de Watson for Oncology, en lugar de un enfoque más limitado de cómo se trató a los pacientes individuales en MSK”.
Pero la información del producto publicada en el sitio web de IBM con fecha del 15 de febrero de 2017 implica que Watson continúa entrenándose con datos de pacientes reales. Afirma que Watson for Oncology "analiza los datos de los pacientes frente a miles de casos históricos y conocimientos obtenidos de miles de horas de analistas y médicos de Memorial Sloan Kettering".
La presentación de julio de 2017 muestra la cantidad de casos utilizados para entrenar a Watson a partir de esa fecha para ocho cánceres diferentes; van desde 635 casos de cáncer de pulmón a 106 de ovario.
Los expertos en inteligencia artificial le dijeron a STAT que la representación de IBM de la capacitación y la cantidad de médicos y pacientes involucrados plantea dudas sobre si está siendo transparente con los usuarios sobre la fuente y el valor de las recomendaciones de Watson.
“Lo que es un poco engañoso es que a todos se les ha hecho creer que este es el consenso de todo el grupo de expertos de Sloan Kettering”, dijo Nigam Shah, profesor asociado de medicina y ciencia de datos biomédicos en Stanford. "Pero, de hecho, es el consenso de... un pequeño subconjunto de todo el grupo de expertos".
“Deberían ser llamados sobre esto”, agregó Shah. “Apuesto a que este es un riesgo calculado que tomaron. ... Están jugando con la gente, pero está dentro del giro de marketing que se permite cada vez más en estos días, déjame decirlo de esa manera. Pero no todo el mundo puede detectarlo, así que no es honesto”.
Algunos expertos dijeron que es posible que los datos de pacientes hipotéticos hagan un buen trabajo al entrenar el sistema, si son representativos de los datos de pacientes reales.
“Ciertamente me gustaría ver alguna validación de si los datos sintéticos son representativos de cualquier cosa que tenga sentido”, dijo el Dr. Jonathan Chen, profesor asistente en el Centro de Investigación Informática Biomédica de Stanford.
Jana Eggers, directora ejecutiva de Nara Logics, una empresa de inteligencia artificial, dijo que el uso de datos sintéticos por parte de Watson dejó en claro que este software no estaba haciendo uso de los "grandes datos" que existen en el cuidado de la salud: tesoros de información sobre personas que son demasiado complejas o complejas. oneroso para que los humanos naveguen.
“Están inventando personajes de pacientes con cáncer, básicamente”, dijo Eggers. "¿Por qué haces eso cuando tienes a la gente real?"
Los documentos internos también plantean dudas sobre la validez de los estudios realizados por IBM que la empresa utilizó para demostrar el valor de Watson for Oncology a los médicos de todo el mundo.
En los últimos años, IBM y sus socios clínicos han publicado múltiples estudios que demuestran que Watson alcanzaría un alto nivel de “concordancia” con las recomendaciones de tratamiento de los oncólogos. Eso es teóricamente valioso porque muestra que Watson podría generar recomendaciones en segundos que, de otro modo, los médicos pasarían muchas horas o días desarrollando.
Pero una de las presentaciones afirma que los estudios de concordancia habían sido “diseñados de una manera que hace que los resultados negativos sean poco probables”. Señaló que los usuarios sofisticados del sistema exigirían "pruebas prospectivas sólidas" del cumplimiento de las pautas, el ahorro de costos y la mejora de las métricas de calidad.
"Es poco probable que el sistema, tal como está diseñado actualmente, afecte a cualquiera de los anteriores", dijo la presentación de Norden del 26 de junio de 2017.
Sin embargo, advirtió sobre los riesgos de realizar un estudio de este tipo en un momento en que IBM ya estaba vendiendo el sistema en todo el mundo: “Desde mi punto de vista, realizar un estudio riguroso ahora es un esfuerzo de muy alto riesgo que podría ser vergonzoso en el mejor de los casos. y, en el peor de los casos, tener graves consecuencias comerciales adversas”.
De hecho, una empresa que trabaja con IBM para implementar Watson for Oncology en hospitales de los Países Bajos le dijo a STAT en junio que no estaba interesada en la "concordancia" o si Watson recomienda un tratamiento que sea igual a las pautas de tratamiento.
“Lo que nos interesa es si el sistema nos desafiará en nuestro pensamiento”, dijo Vincent The, director de estrategia, investigación y desarrollo de MRDM, la empresa holandesa.
Dijo que MRDM está trabajando con IBM para mejorar Watson for Oncology. “Parece estar madurando bastante”, dijo The. “Sin embargo, en el estado actual, no está al nivel que necesitamos”.
Muchos usuarios de Watson for Oncology, así como los propios empleados de IBM, expresaron su preocupación por el rendimiento del sistema el año pasado. La presentación de Norden indicó que varios empleados, incluidos desarrolladores y oncólogos, le habían "confiado" que el producto era "muy limitado".
La presentación de Norden ofreció un par de soluciones para mejorar el sistema: la cantidad de casos de pacientes podría aumentarse para reflejar los "patrones de práctica de MSK", con números mínimos que se establecerán en función de la entrada del estadístico. O, dijo, las pautas de tratamiento estándar podrían usarse como base de las recomendaciones de Watson, personalizadas para diferentes ubicaciones, y Memorial Sloan Kettering podría identificar sus propios enfoques institucionales dentro del sistema.
No está claro si alguna de esas sugerencias fue implementada.
Norden dejó IBM en agosto de 2017 para trabajar en Cota Inc., otra empresa que busca analizar datos sobre el cáncer y que ya se había asociado con IBM.
Desde junio de 2017, las dos empresas han estado trabajando en un producto conjunto que combinaría la tecnología de Cota con Watson. Cota puede comparar pacientes de cáncer individuales con una base de datos privada de cómo se trató a otros pacientes para ayudar a un médico a determinar el mejor método de tratamiento.
La presentación de Norden sugirió que el trabajo con Cota, una empresa fundada por un médico de Hackensack Meridian Health en Nueva Jersey, podría ayudar a exponer a Watson for Oncology a la evidencia del mundo real necesaria para mejorar sus recomendaciones.
Mientras tanto, los médicos de Hackensack Meridian han completado un proyecto piloto que prueba el producto conjunto.
"Salió bien", dijo Norden sobre el proyecto en una entrevista del 10 de julio con STAT, y explicó que tenía la intención de crear una herramienta que los médicos pudieran usar en el punto de atención para resaltar los tipos de tratamientos que habían funcionado mejor para tipos específicos de pacientes
“Estamos tomando el piloto y ampliándolo”, dijo Norden, declinando dar más detalles.
Memorial Sloan Kettering también había notado la promesa del producto de Cota: en noviembre de 2017, llegó a un acuerdo para que Cota ayudara a analizar los registros históricos de pacientes del centro médico. Como parte del trato, MSK recibió acciones en Cota.
En una respuesta enviada por correo electrónico a las preguntas de STAT sobre el motivo de la asociación, Hool, la vocera de MSK, escribió: "Hay información importante que se puede obtener de la información en los registros médicos de los pacientes, pero esta información a menudo es inaccesible debido a la falta de estructura y desarticulación". datos dentro de la historia clínica. Cota tiene una plataforma y un enfoque innovadores para tomar los registros de los pacientes y convertirlos en conjuntos de datos que se pueden analizar para obtener información sobre el diagnóstico, las vías de atención y los resultados”.