Incidents associés
Epic Systems, la plus grande société américaine de dossiers de santé électroniques, conserve les informations médicales de 180 millions de patients américains (56 % de la population). Utilisant le slogan « avec le patient au cœur », il dispose d'un portefeuille de 20 algorithmes d'intelligence artificielle (IA) exclusifs conçus pour identifier différentes maladies et prédire la durée des séjours à l'hôpital.
Comme pour de nombreux algorithmes propriétaires en médecine et ailleurs, les utilisateurs n'ont aucun moyen de savoir si les programmes d'Epic sont fiables ou simplement un autre stratagème marketing. Les détails à l'intérieur des boîtes noires sont secrets et les tests indépendants sont rares.
L'un des algorithmes Epic les plus importants sert à prédire la septicémie, la principale cause de décès dans les hôpitaux. La septicémie survient lorsque le corps humain réagit de manière excessive à une infection et envoie des produits chimiques dans la circulation sanguine qui peuvent endommager les tissus et provoquer une défaillance des organes. La détection précoce peut sauver des vies, mais la septicémie est difficile à détecter tôt.
Epic affirme que les prédictions faites par son Epic Sepsis Model (ESM) sont exactes à 76% à 83%, mais il n'y a eu aucun test indépendant crédible d'aucun de ses algorithmes - jusqu'à présent. Dans un article qui vient d'être publié dans JAMA Internal Medicine, une équipe a examiné les dossiers hospitaliers de 38 455 patients de Michigan Medicine (le système de santé de l'Université du Michigan), dont 2 552 (6,6 %) ont souffert de septicémie. Les résultats sont dans le tableau. "Epic +" signifie que l'ESM a généré des alertes de septicémie ; "Epic -" signifie que non.
Épique + Épique – Septicémie totale 843 1 709 2 552 Aucune septicémie 6 128 29 775 35 903 Total 6 971 31 484 38 455
Il y a deux gros plats à emporter:
un. Sur les 2 552 patients atteints de septicémie, l'ESM n'a généré d'alertes de septicémie que pour 843 (33 %). Ils ont manqué 67% des personnes atteintes de septicémie.
b. Sur les 6 971 alertes de septicémie ESM, seules 843 (12 %) étaient correctes ; 88 % des alertes de septicémie ESM étaient de fausses alarmes, créant ce que les auteurs ont appelé "un lourd fardeau de fatigue d'alerte".
Réitérant, ESM n'a pas réussi à identifier 67% des patients atteints de septicémie; parmi ces patients avec des alertes de septicémie ESM, 88 % n'avaient pas de septicémie.
Une enquête récente de STAT, un site d'information axé sur la santé affilié au Boston Globe, est parvenue à une conclusion similaire. Son article, intitulé "Les algorithmes d'IA d'Epic, à l'abri de l'examen par un pare-feu d'entreprise, fournissent des informations inexactes sur les patients gravement malades", a tiré quelques coups :
Plusieurs algorithmes d'intelligence artificielle développés par Epic Systems, le plus grand fournisseur de dossiers de santé électroniques du pays, fournissent des informations inexactes ou non pertinentes aux hôpitaux sur les soins aux patients gravement malades, ce qui contraste fortement avec les affirmations publiées par l'entreprise. [Les résultats] brossent le tableau d'une entreprise dont les objectifs commerciaux - et le désir de préserver sa domination du marché - se heurtent à la nécessité d'un examen minutieux et indépendant des algorithmes avant qu'ils ne soient utilisés dans les soins de millions de patients. Casey Ross, "Les algorithmes d'IA d'Epic, à l'abri de l'examen par un pare-feu d'entreprise, fournissent des informations inexactes sur les patients gravement malades", à STAT News
Pourquoi des centaines d'hôpitaux ont-ils adopté l'ESM ? Une partie de l'explication est sûrement que beaucoup de gens croient au battage médiatique de l'IA - les ordinateurs sont plus intelligents que nous et nous devrions leur faire confiance. Les luttes de Watson Health et Radiology AI disent le contraire. La hype de l'IA se nourrit ici de la rareté, jusqu'à récemment, des tests indépendants.
De plus, l'enquête de la STAT a révélé qu'Epic payait jusqu'à 1 million de dollars aux hôpitaux pour utiliser leurs algorithmes. Peut-être que les paiements étaient pour le droit de se vanter ? Peut-être que les paiements devaient mettre un pied fermement dans la porte de l'hôpital, afin qu'Epic puisse commencer à facturer des frais de licence après que les hôpitaux se soient engagés à utiliser les algorithmes Epic ? Ce qui est certain, c'est que les paiements créent un conflit d'intérêts. Comme l'a observé Glenn Cohen, directeur de la faculté du Petrie-Flom Center for Health Law Policy, Biotechnology & Bioethics de l'Université de Harvard, «Ce serait un monde terrible où Epic donne aux gens un million de dollars, et le résultat final est la santé des patients. pire."
Cet échec épique est un autre des innombrables exemples de la raison pour laquelle nous ne devrions pas faire confiance à des algorithmes d'IA que nous ne comprenons pas, en particulier si leurs affirmations n'ont pas été testées de manière indépendante.