Problema 6187
Un estudio realizado por investigadores de la Escuela de Medicina Icahn del Monte Sinaí, en colaboración con colegas del Centro Médico Rabin de Israel y otros colaboradores, sugiere que incluso los modelos de inteligencia artificial (IA) más avanzados pueden cometer errores sorprendentemente simples al enfrentarse a escenarios complejos de ética médica.
Los hallazgos, que plantean importantes preguntas sobre cómo y cuándo confiar en los grandes modelos de lenguaje (LLM), como ChatGPT, en entornos sanitarios, se publicaron en la edición digital del 22 de julio de NPJ Digital Medicine 10.1038/s41746-025-01792-y.
El equipo de investigación se inspiró en el libro de Daniel Kahneman "Pensar rápido, pensar despacio", que contrasta las reacciones rápidas e intuitivas con el razonamiento analítico, más lento. Se ha observado que los grandes modelos de lenguaje (LLM) fallan cuando se introducen pequeños ajustes en los acertijos clásicos de pensamiento lateral. Partiendo de esta perspectiva, el estudio evaluó la eficacia con la que los sistemas de IA cambian entre estos dos modos al enfrentarse a dilemas éticos conocidos que habían sido modificados deliberadamente.
"La IA puede ser muy potente y eficiente, pero nuestro estudio demostró que puede optar por la respuesta más familiar o intuitiva, incluso cuando esta pasa por alto detalles cruciales", afirma el coautor principal, Dr. Eyal Klang, Jefe de IA Generativa en el Departamento Windreich de Inteligencia Artificial y Salud Humana de la Escuela de Medicina Icahn del Monte Sinaí. "En situaciones cotidianas, ese tipo de pensamiento puede pasar desapercibido. Pero en el ámbito sanitario, donde las decisiones suelen tener graves implicaciones éticas y clínicas, pasar por alto esos matices puede tener consecuencias reales para los pacientes".
Para explorar esta tendencia, el equipo de investigación probó varios LLM disponibles comercialmente utilizando una combinación de ejercicios creativos de pensamiento lateral y casos de ética médica conocidos ligeramente modificados. En un ejemplo, adaptaron el clásico "Dilema del Cirujano", un acertijo ampliamente citado de la década de 1970 que destaca el sesgo de género implícito. En la versión original, un niño resulta herido en un accidente de coche con su padre y es llevado de urgencia al hospital, donde el cirujano exclama: "¡No puedo operar a este niño, es mi hijo!". La peculiaridad radica en que la cirujana es su madre, aunque muchas personas no consideran esa posibilidad debido al sesgo de género. En la versión modificada de los investigadores, se indicó explícitamente que el padre del niño era el cirujano, eliminando la ambigüedad. Aun así, algunos modelos de IA respondieron que la cirujana debía ser la madre del niño. El error revela cómo los modelos de IA pueden aferrarse a patrones familiares, incluso cuando se contradicen con nueva información.
En otro ejemplo para comprobar si los modelos de IA se basan en patrones familiares, los investigadores se basaron en un dilema ético clásico: unos padres religiosos rechazan una transfusión de sangre que podría salvarle la vida a su hijo. Incluso cuando los investigadores modificaron el escenario para indicar que los padres ya habían dado su consentimiento, muchos modelos recomendaban anular una negativa que ya no existía.
"Nuestros hallazgos no sugieren que la IA no tenga cabida en la práctica médica, pero sí resaltan la necesidad de una supervisión humana rigurosa, especialmente en situaciones que requieren sensibilidad ética, juicio matizado o inteligencia emocional", afirma el coautor principal correspondiente, el Dr. Girish N. Nadkarni, MD, MPH, presidente del Departamento de Inteligencia Artificial y Salud Humana de Windreich, director del Instituto Hasso Plattner de Salud Digital, profesor de Medicina Irene y Dr. Arthur M. Fishberg en la Escuela de Medicina Icahn del Monte Sinaí y director de IA del Sistema de Salud del Monte Sinaí. "Naturalmente, estas herramientas pueden ser increíblemente útiles, pero no son infalibles. Tanto los médicos como los pacientes deben comprender que la IA se utiliza mejor como complemento para mejorar la experiencia clínica, no como sustituto, especialmente al abordar decisiones complejas o de alto riesgo. En última instancia, el objetivo es desarrollar formas más fiables y éticamente sólidas de integrar la IA en la atención al paciente". "Ajustes sencillos a casos familiares revelaron puntos ciegos que los médicos no pueden permitirse", afirma la autora principal, Dra. Shelly Soffer, miembro del Instituto de Hematología del Centro Oncológico Davidoff del Centro Médico Rabin. "Esto subraya por qué la supervisión humana debe ser fundamental al implementar la IA en la atención al paciente".
Próximamente, el equipo de investigación planea ampliar su trabajo probando una gama más amplia de ejemplos clínicos. También están desarrollando un "laboratorio de control de IA" para evaluar sistemáticamente la eficacia de los diferentes modelos para gestionar la complejidad médica del mundo real.
El artículo se titula "Pitfalls of Large Language Models in Medical Ethics Reasoning" (Obstáculos de los modelos de lenguaje extensos en el razonamiento ético médico).
Los autores del estudio, según se indica en la revista, son la Dra. Shelly Soffer; la Dra. Vera Sorin; el Dr. Girish N. Nadkarni, MPH; y el Dr. Eyal Klang.
Acerca del Departamento de IA y Salud Humana de Windreich de Mount Sinai
Dirigido por el Dr. Girish N. Nadkarni, MD, MPH —autoridad internacional en el uso seguro, eficaz y ético de la IA en la atención médica—, el Departamento de IA y Salud Humana de Windreich de Mount Sinai es el primero de su tipo en una facultad de medicina estadounidense, pionero en avances transformadores en la intersección de la inteligencia artificial y la salud humana.
El Departamento se compromete a aprovechar la IA de forma responsable, eficaz, ética y segura para transformar la investigación, la atención clínica, la educación y las operaciones. Al combinar una experiencia de primer nivel en IA, una infraestructura de vanguardia y una potencia computacional inigualable, el departamento impulsa avances en la integración de datos multimodales y multiescala, a la vez que optimiza las vías para una rápida evaluación y su aplicación práctica.
El Departamento se beneficia de colaboraciones dinámicas en todo el Mount Sinai, incluyendo con el Instituto Hasso Plattner de Salud Digital del Mount Sinai —una alianza entre el Instituto Hasso Plattner de Ingeniería Digital en Potsdam, Alemania, y el Sistema de Salud del Mount Sinai—, que complementa su misión impulsando enfoques basados en datos para mejorar la atención al paciente y los resultados de salud.
En el corazón de esta innovación se encuentra la reconocida Escuela de Medicina Icahn del Mount Sinai, que sirve como centro neurálgico para el aprendizaje y la colaboración. Esta integración única facilita colaboraciones dinámicas entre institutos, departamentos académicos, hospitales y centros ambulatorios, impulsando el progreso en la prevención de enfermedades, mejorando los tratamientos para enfermedades complejas y elevando la calidad de vida a nivel mundial.
En 2024, la innovadora aplicación de IA NutriScan del Departamento, desarrollada por el equipo de Ciencia de Datos Clínicos del Sistema de Salud del Mount Sinai en colaboración con el profesorado del Departamento, le valió al Sistema de Salud del Mount Sinai el prestigioso Premio Hearst de Salud. NutriScan está diseñado para facilitar la identificación y el tratamiento más rápidos de la desnutrición en pacientes hospitalizados. Esta herramienta de aprendizaje automático mejora las tasas de diagnóstico de desnutrición y la utilización de recursos, lo que demuestra el impacto de la IA en la atención médica.
Hospitales miembros del Sistema de Salud Mount Sinai: Hospital Mount Sinai; Mount Sinai Brooklyn; Mount Sinai Morningside; Mount Sinai Queens; Mount Sinai South Nassau; Mount Sinai West; y New York Eye and Ear Infirmary of Mount Sinai