Problème 6187
Une étude menée par des chercheurs de l'École de médecine Icahn du Mont Sinaï, en collaboration avec des collègues du Centre médical Rabin en Israël et d'autres collaborateurs, suggère que même les modèles d'intelligence artificielle (IA) les plus avancés peuvent commettre des erreurs étonnamment simples face à des scénarios d'éthique médicale complexes.
Ces résultats, qui soulèvent d'importantes questions sur la manière et le moment de s'appuyer sur les grands modèles de langage (LLM), tels que ChatGPT, dans le contexte des soins de santé, ont été publiés dans le numéro en ligne du 22 juillet de NPJ Digital Medicine 10.1038/s41746-025-01792-y.
L'équipe de recherche s'est inspirée du livre de Daniel Kahneman « Thinking, Fast and Slow », qui oppose les réactions rapides et intuitives au raisonnement analytique plus lent. Il a été observé que les grands modèles de langage (MLL) vacillent lorsque des ajustements subtils sont apportés aux énigmes classiques de la pensée latérale. S'appuyant sur cette observation, l'étude a testé la capacité des systèmes d'IA à passer d'un mode à l'autre lorsqu'ils sont confrontés à des dilemmes éthiques bien connus, délibérément modifiés.
« L'IA peut être très puissante et efficace, mais notre étude a montré qu'elle peut adopter par défaut la réponse la plus familière ou intuitive, même lorsque cette réponse néglige des détails cruciaux », explique le co-auteur principal Eyal Klang, docteur en médecine et chef du département d'IA générative du département Windreich d'intelligence artificielle et de santé humaine de la faculté de médecine Icahn du Mont Sinaï. « Dans les situations quotidiennes, ce type de raisonnement peut passer inaperçu. Mais dans le secteur de la santé, où les décisions ont souvent de graves implications éthiques et cliniques, négliger ces nuances peut avoir de réelles conséquences pour les patients. »
Pour explorer cette tendance, l'équipe de recherche a testé plusieurs LLM disponibles dans le commerce en combinant des énigmes créatives de pensée latérale et des cas d'éthique médicale connus et légèrement modifiés. Dans un exemple, ils ont adapté le classique « Dilemme du chirurgien », une énigme des années 1970 largement citée qui met en évidence les préjugés sexistes implicites. Dans la version originale, un garçon est blessé dans un accident de voiture avec son père et transporté d'urgence à l'hôpital, où le chirurgien s'exclame : « Je ne peux pas opérer ce garçon ! C'est mon fils ! » La particularité réside dans le fait que le chirurgien est sa mère, bien que beaucoup n'envisagent pas cette possibilité en raison de préjugés sexistes. Dans la version modifiée des chercheurs, ils ont explicitement indiqué que le père du garçon était le chirurgien, levant ainsi l'ambiguïté. Malgré cela, certains modèles d'IA ont tout de même répondu que le chirurgien devait être la mère du garçon. Cette erreur révèle comment les LLM peuvent s'accrocher à des schémas familiers, même lorsqu'ils sont contredits par de nouvelles informations.
Dans un autre exemple visant à vérifier si les LLM s'appuient sur des schémas familiers, les chercheurs se sont inspirés d'un dilemme éthique classique dans lequel des parents religieux refusent une transfusion sanguine vitale pour leur enfant. Même lorsque les chercheurs ont modifié le scénario pour indiquer que les parents avaient déjà consenti, de nombreux modèles recommandaient toujours de passer outre un refus qui n'existait plus.
« Nos résultats ne suggèrent pas que l'IA n'a pas sa place dans la pratique médicale, mais ils soulignent la nécessité d'une surveillance humaine réfléchie, en particulier dans les situations qui requièrent une sensibilité éthique, un jugement nuancé ou une intelligence émotionnelle », déclare Girish N. Nadkarni, MD, MPH, co-auteur correspondant principal, président du département d'intelligence artificielle et de santé humaine de Windreich, directeur de l'Institut Hasso Plattner pour la santé numérique, professeur de médecine Irene et Dr Arthur M. Fishberg à l'École de médecine Icahn du Mont Sinaï et directeur de l'IA du Système de santé du Mont Sinaï. Bien sûr, ces outils peuvent s'avérer extrêmement utiles, mais ils ne sont pas infaillibles. Médecins comme patients doivent comprendre que l'IA est mieux utilisée en complément de l'expertise clinique, et non comme substitut, notamment lorsqu'il s'agit de prendre des décisions complexes ou à enjeux élevés. En fin de compte, l'objectif est de concevoir des méthodes plus fiables et éthiquement responsables pour intégrer l'IA aux soins des patients.
« De simples ajustements apportés à des cas courants ont révélé des angles morts que les cliniciens ne peuvent pas se permettre », explique l'auteure principale, le Dr Shelly Soffer, membre de l'Institut d'hématologie du Davidoff Cancer Center du Rabin Medical Center. « Cela souligne l'importance de la supervision humaine lors du déploiement de l'IA dans les soins aux patients. »
L'équipe de recherche prévoit ensuite d'élargir ses travaux en testant un plus large éventail d'exemples cliniques. Elle développe également un « laboratoire d'assurance IA » pour évaluer systématiquement la capacité de différents modèles à gérer la complexité médicale du monde réel.
L'article s'intitule « Les pièges des grands modèles de langage dans le raisonnement éthique médical ».
Les auteurs de l'étude, tels que mentionnés dans la revue, sont les docteurs Shelly Soffer, Vera Sorin, Girish N. Nadkarni, MPH, et Eyal Klang.
À propos du Département d'IA et de santé humaine Windreich du Mount Sinai
Dirigé par le docteur Girish N. Nadkarni, MPH, autorité internationale en matière d'utilisation sûre, efficace et éthique de l'IA dans les soins de santé, le Département d'IA et de santé humaine Windreich du Mount Sinai est le premier du genre au sein d'une faculté de médecine américaine, à être à l'avant-garde des avancées transformatrices à l'intersection de l'intelligence artificielle et de la santé humaine.
Le Département s'engage à exploiter l'IA de manière responsable, efficace, éthique et sûre pour transformer la recherche, les soins cliniques, l'enseignement et les opérations. En associant une expertise de pointe en IA, une infrastructure de pointe et une puissance de calcul inégalée, le Département réalise des avancées majeures en matière d'intégration de données multi-échelles et multimodales, tout en simplifiant les procédures de tests rapides et leur application pratique.
Le département bénéficie de collaborations dynamiques au sein du Mount Sinai, notamment avec l'Institut Hasso Plattner pour la santé numérique du Mount Sinai – un partenariat entre l'Institut Hasso Plattner pour l'ingénierie numérique de Potsdam, en Allemagne, et le Mount Sinai Health System – qui complète sa mission en faisant progresser les approches basées sur les données pour améliorer les soins aux patients et les résultats de santé.
Au cœur de cette innovation se trouve la célèbre École de médecine Icahn du Mount Sinai, véritable pôle d'apprentissage et de collaboration. Cette intégration unique permet des partenariats dynamiques entre les instituts, les départements universitaires, les hôpitaux et les centres de soins ambulatoires, favorisant ainsi les progrès en matière de prévention des maladies, d'amélioration des traitements des maladies complexes et d'amélioration de la qualité de vie à l'échelle mondiale.
En 2024, l'application d'IA innovante NutriScan du département, développée par l'équipe de science des données cliniques du Mount Sinai Health System en partenariat avec le corps enseignant du département, a valu à ce dernier le prestigieux prix Hearst Health. NutriScan est conçu pour accélérer l'identification et le traitement de la malnutrition chez les patients hospitalisés. Cet outil d'apprentissage automatique améliore les taux de diagnostic de la malnutrition et l'utilisation des ressources, démontrant ainsi l'impact de l'IA dans les soins de santé.
Hôpitaux membres du Mount Sinai Health System : Hôpital Mount Sinai ; Mount Sinai Brooklyn ; Mount Sinai Morningside ; Mount Sinai Queens ; Mount Sinai South Nassau ; Mount Sinai West ; et New York Eye and Ear Infirmary of Mount Sinai