Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 6873

Incidents associés

Incident 13741 Rapport
Purportedly AI-Generated Sepsis Alert Reportedly Prompted Potentially Inappropriate IV Fluid Administration for a Dialysis Patient, Averted by Clinician Intervention

Loading...
L'IA entre dans la salle d'examen
scientificamerican.com · 2026

Adam Hart est infirmier à l'hôpital St. Rose Dominican de Henderson, au Nevada, depuis 14 ans. Il y a quelques années, alors qu'il était affecté au service des urgences, il écoutait le rapport de l'ambulance concernant une patiente qui venait d'arriver : une femme âgée souffrant d'hypotension sévère. Soudain, une alerte de septicémie s'est déclenchée dans le système informatique de l'hôpital.

La septicémie, une réaction infectieuse potentiellement mortelle, est une cause majeure de mortalité dans les hôpitaux américains, et une prise en charge précoce est cruciale. L'alerte a incité l'infirmier responsable à demander à Hart d'installer immédiatement la patiente en chambre, de prendre ses constantes et de commencer une perfusion intraveineuse. C'était la procédure standard ; aux urgences, cela signifie souvent agir vite.

Mais en examinant la femme, Hart a constaté qu'elle avait un cathéter de dialyse sous la clavicule. Ses reins ne parvenaient pas à assurer la fonction rénale. Un afflux massif de solutés intraveineux, a-t-il averti, pourrait saturer son organisme et entraîner une septicémie pulmonaire. L'infirmière responsable lui a ordonné de procéder malgré tout, en raison de l'alerte de septicémie générée par le système d'intelligence artificielle de l'hôpital. Hart a refusé.

Un médecin a entendu la conversation qui s'envenimait et est intervenu. Au lieu d'administrer des fluides, il a prescrit de la dopamine pour faire remonter la tension artérielle de la patiente sans augmenter le volume sanguin, évitant ainsi ce que Hart pensait être une complication potentiellement mortelle.

Ce qui a marqué Hart, c'est la chorégraphie engendrée par l'alerte générée par l'IA. Un écran a suggéré l'urgence, qu'un protocole a transformée en ordre ; une objection formulée au chevet du patient, fondée sur un raisonnement clinique, a été perçue, du moins sur le moment, comme un acte de défiance. Personne n'agissait de mauvaise foi. Pourtant, l'outil les a contraints à obéir alors que les preuves évidentes – l'état de la patiente et son insuffisance rénale – exigeaient exactement le contraire. (Un porte-parole de l'hôpital a déclaré ne pas pouvoir commenter un cas précis, mais que l'établissement considère l'IA comme « un outil parmi d'autres qui soutient, et non remplace, l'expertise et le jugement de nos équipes soignantes ».)

Cette dynamique est de plus en plus courante dans le système de santé américain. Ces dernières années, les hôpitaux ont intégré des modèles algorithmiques à leurs pratiques quotidiennes. Les soins cliniques reposent souvent sur la comparaison des symptômes d'un patient avec des protocoles rigides, un environnement idéal pour l'automatisation. Pour un personnel épuisé, l'attrait de confier des tâches routinières comme la documentation à l'IA est indéniable.

Les technologies déjà mises en œuvre couvrent un large éventail, allant des modèles prédictifs calculant des scores de risque simples à l'IA agentive qui promet une prise de décision autonome, permettant ainsi aux systèmes d'ajuster le débit d'oxygène d'un patient ou de réorganiser la file d'attente aux urgences avec une intervention humaine minimale. Un projet pilote lancé dans l'Utah il y a quelques mois utilise une technologie de chatbot dotée de capacités agentives pour renouveler les ordonnances. Ses partisans affirment que cette initiative libère du temps pour les professionnels de santé, même si les associations de médecins s'opposent à la suppression du contrôle humain. Partout au pays, les systèmes de santé utilisent des outils similaires pour identifier les risques, écouter les consultations des patients, générer des notes cliniques, surveiller les patients grâce à des dispositifs portables, associer les participants aux essais cliniques et même gérer la logistique des blocs opératoires et des transferts en soins intensifs.

Les infirmières ont constaté comment un produit imparfait pouvait devenir une politique, puis leur poser problème.

Le secteur poursuit une vision de soins véritablement continus : une infrastructure décisionnelle qui assure le suivi des patients entre les rendez-vous en combinant les données du dossier médical (résultats d’analyses, imagerie, notes, médicaments) avec les données populationnelles et les données que les patients génèrent eux-mêmes, par exemple grâce à des objets connectés et des journaux alimentaires. Ce système détecte les changements significatifs, envoie des conseils ou des alertes et signale les cas nécessitant une intervention humaine. Ses partisans affirment que ce type de surveillance continue et intensive en données dépasse les capacités cognitives de tout professionnel de santé.

D'autres affirment que les cliniciens doivent rester informés et utiliser l'IA non pas comme un pilote automatique, mais comme un outil pour les aider à interpréter d'immenses quantités de données. L'année dernière, Stanford Medicine a lancé ChatEHR, un outil permettant aux cliniciens d'interagir avec le dossier médical d'un patient. Un médecin a témoigné que l'outil avait permis de découvrir des informations cruciales enfouies dans le dossier d'un patient atteint de cancer, ce qui a aidé une équipe comprenant six pathologistes à établir un diagnostic définitif. « Si cela ne prouve pas la valeur du dossier médical électronique, je ne sais pas ce qui le fera », ont-ils déclaré.

Parallèlement, dans de nombreux services hospitaliers, ces promesses numériques sont souvent déçues, selon Anaeze Offodile, directeur de la stratégie du Memorial Sloan Kettering Cancer Center de New York. Il souligne que des algorithmes défectueux, une mauvaise mise en œuvre et un faible retour sur investissement ont entraîné le blocage de certains projets. Sur le terrain, les infirmières, chargées de soigner les patients, se méfient de plus en plus des outils non validés. Ces tensions se sont propagées des services hospitaliers à la rue. Ces deux dernières années, des infirmières en Californie et à New York ont manifesté pour dénoncer l'arrivée d'outils algorithmiques non réglementés dans le système de santé. Elles ont fait valoir que, malgré les investissements des hôpitaux dans l'IA, le personnel soignant reste dangereusement insuffisant.

La prédiction de la septicémie en est un exemple frappant. Aux États-Unis, de nombreux hôpitaux ont adopté l'algorithme de prédiction de la septicémie de la société Epic, spécialisée dans les technologies de l'information en santé. Des évaluations ultérieures ont révélé une précision nettement inférieure à celle annoncée. Epic affirme que des études cliniques ont démontré l'amélioration des résultats grâce à son modèle et qu'une seconde version, plus performante selon la société, a depuis été publiée. Pourtant, les infirmières ont constaté comment un produit imparfait pouvait devenir une politique officielle, et par conséquent, leur propre problème.

L'épuisement professionnel, la pénurie de personnel et la montée des violences au travail contribuent déjà à la diminution des effectifs infirmiers, d'après une enquête menée auprès des infirmières en 2024. Ces difficultés ont atteint leur paroxysme devant l'hôtel de ville de New York en novembre dernier, lorsque des membres de l'Association des infirmières de l'État de New York se sont rassemblés puis ont témoigné devant la commission des hôpitaux du conseil municipal. Ils ont fait valoir que certains des plus grands groupes hospitaliers privés de la ville investissent massivement dans des cadres et des projets d'IA, tandis que les services hospitaliers restent en sous-effectif et que les infirmières sont confrontées à des risques croissants pour leur sécurité. Au moment de la publication de cet article, mi-janvier, 15 000 infirmières travaillant dans des hôpitaux de New York étaient en grève, réclamant des effectifs plus suffisants et une meilleure protection de leur lieu de travail.

Les nouveaux modèles de surveillance basés sur l'IA arrivent souvent dans les hôpitaux avec le même engouement que celui qui a accompagné l'IA dans d'autres secteurs. En 2023, UC Davis Health a déployé BioButton dans son unité de greffe de moelle osseuse en oncologie, le qualifiant de « révolutionnaire ». Ce dispositif, un petit capteur hexagonal en silicone porté sur la poitrine du patient, surveillait en continu ses signes vitaux tels que le rythme cardiaque, la température et la respiration.

Sur le terrain, il générait fréquemment des alertes difficiles à interpréter pour les infirmières. Pour Melissa Beebe, infirmière diplômée travaillant à UC Davis Health depuis 17 ans, ces alertes ne fournissaient que peu d'informations exploitables. « C'est là que le problème est devenu vraiment important », explique-t-elle. « C'était vague. » Les notifications signalaient des changements dans les signes vitaux sans plus de précisions.

Beebe raconte qu'elle a souvent suivi des alarmes qui n'ont mené nulle part. « J'ai mes propres alertes internes – “il y a quelque chose qui ne va pas avec ce patient, je veux le surveiller” – et puis le BioButton se mettait à faire autre chose. C'était excessif et peu informatif. »

En tant que représentante syndicale de la California Nurses Association à UC Davis Health, Beebe a demandé une discussion formelle avec la direction de l'hôpital avant le déploiement des appareils, comme le permettait la convention collective. « On en fait tout un plat : “Oh là là, ça va être révolutionnaire, et vous avez tellement de chance de pouvoir l'utiliser !” », dit-elle. Elle avait l'impression que lorsqu'elle et ses collègues infirmières posaient des questions, on les considérait comme réfractaires à la technologie. « Je suis une infirmière qui cherche le POURQUOI. Pour comprendre quelque chose, je dois savoir pourquoi. Pourquoi est-ce que je fais ça ? »

Parmi les préoccupations des infirmières figuraient le fonctionnement du dispositif selon les morphologies et la rapidité de leur réaction aux alertes. Selon Beebe, la direction n'a pas apporté de réponses claires. On leur a simplement indiqué que le dispositif pouvait contribuer à la détection précoce des AVC hémorragiques, un risque particulièrement élevé chez les patients de son service. « Le problème, c'est que la fréquence cardiaque, la température et la fréquence respiratoire, en cas d'AVC, sont des signes assez tardifs », explique-t-elle. « À ce stade, le patient est déjà en train de mourir. » Les premiers signes d'un AVC hémorragique peuvent inclure des difficultés à réveiller le patient, des troubles de l'élocution ou de l'équilibre. « Aucun de ces éléments ne fait partie des paramètres mesurés par les BioButtons. »

Finalement, UC Davis Health a cessé d'utiliser les BioButtons après une phase pilote d'environ un an, précise Beebe. « Ils ont constaté que chez les patients gravement malades, susceptibles de bénéficier de ce type d'alerte, les infirmières détectaient la maladie beaucoup plus rapidement », conclut-elle. (UC Davis Health a déclaré dans un communiqué avoir testé BioButton en parallèle des systèmes de surveillance existants et avoir finalement choisi de ne pas l'adopter, ses alertes n'offrant aucun avantage significatif par rapport à la surveillance actuelle.)

Beebe soutient que le jugement clinique, forgé par des années de formation et d'expérience et éclairé par des signaux sensoriels subtils et des informations provenant des équipements techniques, ne peut être automatisé. « Je ne compte plus les fois où j'ai ce pressentiment : "Je ne le sens pas bien avec ce patient". C'est parfois simplement l'aspect ou la texture de sa peau. » Elven Mitchell, infirmier en soins intensifs depuis 13 ans à l'hôpital Kaiser Permanente de Modesto, en Californie, partage cet avis. « Parfois, on peut voir un patient et, rien qu'en le regardant, on sait qu'il ne va pas bien. Cela ne se voit ni dans les analyses, ni sur le moniteur », explique-t-il. « Nous avons cinq sens, et les ordinateurs ne font que recevoir des informations. »

Les soins cliniques reposent souvent sur la correspondance entre les symptômes d'un patient et des protocoles stricts, un contexte idéal pour l'automatisation.

Selon les experts, les algorithmes peuvent compléter le jugement clinique, mais ils ne peuvent le remplacer. « Les modèles n'auront jamais accès à toutes les données dont dispose le professionnel de santé », explique Ziad Obermeyer, professeur associé émérite de politique et de gestion de la santé à l'École de santé publique de l'Université de Californie à Berkeley, titulaire de la chaire Blue Cross of California. Les modèles analysent principalement les dossiers médicaux électroniques, mais tout n'y figure pas. « Or, il s'agit d'éléments essentiels, comme la façon dont le patient répond aux questions, sa démarche… Autant de détails subtils que les médecins et les infirmières observent et comprennent chez les patients. »

Mitchell, membre de l'équipe d'intervention rapide de son hôpital, indique que ses collègues ont du mal à faire confiance aux alertes. Il estime qu'environ la moitié des alertes générées par une équipe de surveillance centralisée sont des faux positifs. Pourtant, la politique de l'hôpital exige que le personnel soignant évalue chaque alerte, ce qui détourne les infirmières des patients déjà identifiés comme à haut risque. (Kaiser Permanente a déclaré dans un communiqué que ses outils de surveillance par IA sont destinés à épauler les cliniciens, les décisions restant du ressort des équipes soignantes, et que les systèmes sont rigoureusement testés et font l'objet d'une surveillance continue.)

« Peut-être que dans 50 ans, ce sera plus bénéfique, mais en l'état actuel des choses, c'est un système qui tente de fonctionner », déclare Mitchell. Il souhaiterait une réglementation plus stricte dans ce domaine, car les décisions en matière de soins de santé peuvent, dans des cas extrêmes, être une question de vie ou de mort.

Lors des entretiens menés pour cet article, les infirmières ont insisté sur le fait qu'elles ne sont pas opposées à la technologie à l'hôpital. Nombre d'entre elles ont déclaré accueillir favorablement les outils soigneusement validés et dont l'amélioration des soins est avérée. Ce qui les inquiète, selon elles, c'est le déploiement rapide de modèles d'IA faisant l'objet d'un marketing intensif, mais dont les performances en situation réelle sont loin d'être à la hauteur des promesses. Le déploiement d'outils non validés peut avoir des conséquences durables. « Vous semez la méfiance chez toute une génération de cliniciens et de soignants », avertit un expert, qui a requis l'anonymat par crainte de répercussions professionnelles.

Ces inquiétudes ne se limitent pas aux fournisseurs privés. Les hôpitaux eux-mêmes contournent parfois les mécanismes de contrôle qui encadraient autrefois l'introduction de nouvelles technologies médicales, explique Nancy Hagans, infirmière et présidente de l'Association des infirmières de l'État de New York.

Les risques ne sont pas purement théoriques. Obermeyer, professeur à l'École de santé publique de Berkeley, a constaté que certains algorithmes utilisés dans les soins aux patients se révélaient racistes. « Ils servent à dépister chaque année entre 100 et 150 millions de personnes pour ce type de décisions, c'est donc très répandu », affirme-t-il. « Cela soulève la question de savoir pourquoi nous n'avons pas de système permettant de détecter ces problèmes avant leur déploiement et leur impact sur toutes ces décisions importantes », ajoute-t-il, comparant l'introduction des outils d'IA dans les soins de santé au développement des médicaments. Contrairement aux médicaments, il n'existe pas d'autorité centrale pour l'IA ; les hôpitaux sont souvent chargés de valider les outils eux-mêmes.

Au chevet du patient, ce manque de transparence a des conséquences : si l'alerte est difficile à expliquer, la responsabilité des suites incombe au clinicien. Si un appareil fonctionne différemment selon les patients (en manquant certains cas, en signalant excessivement d'autres), le clinicien en subit également les conséquences.

L'engouement autour de l'IA a encore compliqué la situation. Ces dernières années, les outils d'écoute basés sur l'IA, qui enregistrent les interactions médecin-patient et génèrent une note clinique pour documenter la consultation, se sont rapidement répandus dans le secteur de la santé. De nombreux établissements les ont acquis dans l'espoir de faire gagner du temps aux cliniciens. Nombre d'entre eux apprécient de ne plus avoir à prendre de notes pendant les consultations, mais des données récentes suggèrent que les gains d'efficacité pourraient être modestes. Des études ont fait état de gains de temps allant de négligeables à 22 minutes par jour. « Tout le monde s'est précipité en disant que ces outils étaient miraculeux et qu'ils allaient nous faire gagner des heures. Ces gains ne se sont pas concrétisés », explique Nigam Shah, professeur de médecine à l'université de Stanford et responsable des données chez Stanford Health Care. « Quel est le retour sur investissement pour gagner six minutes par jour ? »

Des expériences similaires ont rendu certains établissements prestigieux méfiants quant à leur dépendance exclusive à des entreprises externes pour leurs outils algorithmiques. Il y a quelques années, Stanford Health Care, le Mount Sinai Health System de New York et d'autres établissements ont internalisé le développement de l'IA afin de concevoir leurs propres outils, tester ceux des fournisseurs, les optimiser et les justifier auprès des cliniciens. « Il s'agit d'une redéfinition stratégique de l'IA en santé, perçue comme une compétence institutionnelle plutôt que comme une technologie standardisée », explique Shah. Au Mount Sinai, ce changement s'est traduit par une focalisation moindre sur les algorithmes eux-mêmes et une plus grande importance accordée à leur adoption et à la confiance : instaurer un climat de confiance avec les professionnels de santé et intégrer les nouveaux outils à leurs pratiques.

Les outils d'IA doivent également expliquer leurs recommandations et identifier les signaux précis qui ont déclenché l'alerte, et non se contenter d'afficher un score. Les hôpitaux doivent accorder une attention particulière aux interactions homme-machine, affirme Suchi Saria, professeure associée d'informatique à l'université Johns Hopkins et directrice du laboratoire d'apprentissage automatique et de santé de cette même université. Selon elle, les modèles d'IA devraient fonctionner comme des membres d'équipe bien formés. « Ça ne marchera pas si ce nouveau membre de l'équipe perturbe le bon fonctionnement de l'équipe. Personne ne l'utilisera », explique Saria. « Si ce nouveau membre est incompréhensible, personne ne l'utilisera. »

Pourtant, de nombreux établissements ne consultent ni ne collaborent avec leurs infirmières et autres personnels soignants de première ligne lorsqu'ils envisagent ou développent de nouveaux outils d'IA destinés aux soins des patients. « C'est monnaie courante », constate Shah, de Stanford. Il se souvient avoir initialement constitué son équipe de data scientists avec des médecins, et non des infirmières, jusqu'à ce que la directrice des soins infirmiers de son établissement s'y oppose. Il est désormais convaincu que le point de vue des infirmières est indispensable. « Consultez d'abord les infirmières, puis les médecins, et si le médecin et l'infirmière ne sont pas d'accord, faites confiance à l'infirmière, car elle sait ce qui se passe réellement », affirme-t-il.

Afin d'impliquer davantage de personnel dans le processus de développement des outils d'IA, certains établissements ont mis en œuvre une approche ascendante en complément d'une approche descendante. « Nombre des meilleures idées proviennent des personnes les plus proches du terrain. C’est pourquoi nous avons mis en place un processus permettant à chacun au sein de l’entreprise de soumettre une idée », explique Robbie Freeman, ancienne infirmière en soins directs et aujourd’hui directrice de la transformation numérique au Mount Sinai. Une infirmière spécialisée en soins des plaies a eu l’excellente idée de créer un outil d’IA capable de prédire quels patients sont susceptibles de développer des escarres. Le programme est très bien adopté, précise Freeman, notamment parce que cette infirmière forme avec enthousiasme ses collègues.

Freeman explique que l’objectif n’est pas de remplacer le jugement clinique, mais de créer des outils que les cliniciens utiliseront – des outils qui s’expliquent d’eux-mêmes. Dans la version souhaitée par les infirmières, l’alerte est une invitation à approfondir la question, et non un message d’un gestionnaire numérique peu fiable.

L’année dernière, le laboratoire de cathétérisme cardiaque du Mount Sinai a franchi une nouvelle étape avec l’arrivée d’un nouveau système d’IA autonome appelé Sofiya. Désormais, au lieu que les infirmières appellent les patients avant une intervention de pose de stent pour leur donner des instructions et répondre à leurs questions, c’est Sofiya qui les contacte. L'agent d'IA, conçu avec une voix douce et apaisante et représenté par un mannequin en blouse médicale sur des affiches promotionnelles grandeur nature, a permis à l'hôpital Mount Sinai d'économiser plus de 200 heures de soins infirmiers en cinq mois, selon Annapoorna Kini, directrice du laboratoire de cathétérisme. Cependant, certaines infirmières restent sceptiques quant à l'efficacité de Sofiya. En novembre dernier, lors d'une réunion du conseil municipal de New York, Denash Forbes, infirmier à Mount Sinai depuis 37 ans, a témoigné que le travail de Sofiya devait encore être vérifié par les infirmières pour en garantir l'exactitude.

Même Freeman admet qu'il reste du chemin à parcourir avant que cette IA autonome n'offre une expérience utilisateur intégrée et fluide. Ou peut-être rejoindra-t-elle les rangs des projets pilotes d'IA ayant échoué. Alors que le secteur s'efforce d'améliorer l'efficacité des agents autonomes, une infrastructure de test des algorithmes est indispensable. Pour l'instant, la sécurité du patient repose sur ce que l'IA ne peut reproduire : l'intuition du clinicien. Comme dans le cas d'Adam Hart, qui a rejeté un verdict numérique afin de protéger les poumons d'un patient, la valeur ultime de l'infirmière à l'ère de l'IA réside peut-être moins dans sa capacité à suivre les instructions que dans sa volonté de les passer outre.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd