Incidents associés
Parmi environ 38 500 hospitalisations, les chercheurs ont déclaré qu'un algorithme exclusif de prédiction de la septicémie développé par Epic avait manqué les deux tiers des patients atteints de septicémie et généré de nombreuses fausses alertes. Alors que le fournisseur de DSE a attribué les faibles performances à un mauvais étalonnage, les chercheurs ont déclaré que les résultats mettent en évidence un besoin plus large de validation externe des modèles prédictifs propriétaires. (AndreyPopov/Getty Images)
De nouvelles données évaluées par des pairs jettent le doute sur un algorithme exclusif de prédiction de la septicémie développé par Epic et mis en œuvre dans des centaines d'hôpitaux aux États-Unis.
Appelé Epic Sepsis Model, l'outil fait partie de la plate-forme de dossier de santé électronique d'Epic. Selon la société, il calcule et indique "la probabilité d'une probabilité de septicémie" pour aider les cliniciens à identifier les cas difficiles à repérer.
Alors que certains fournisseurs ont fait état de succès avec l'outil, des chercheurs affiliés à la faculté de médecine de l'Université du Michigan à Ann Arbor ont constaté que son résultat était « sensiblement pire » que ce qui avait été rapporté par le fournisseur lorsqu'il était appliqué à un vaste échantillon rétrospectif de plus de 27 000 adultes. Patients de la médecine du Michigan.
"Notre étude a des implications nationales importantes", ont écrit les chercheurs dans JAMA Internal Medicine. "L'augmentation et la croissance du déploiement de modèles propriétaires ont conduit à une multitude de documents de performances de modèles confidentiels et non évalués par des pairs qui peuvent ne pas refléter avec précision les performances des modèles dans le monde réel."
Le modèle Epic Sepsis est utilisé par 170 clients qui représentent des centaines d'hôpitaux, selon Epic. La septicémie est responsable de près d'un million d'hospitalisations chaque année et est un facteur important de mortalité hospitalière et de dépenses de santé.
Dans ce qu'ils ont décrit comme la première validation indépendante de l'outil, les chercheurs ont examiné environ 38 500 hospitalisations enregistrées dans le système de santé universitaire entre le 6 décembre 2018 et le 20 octobre 2019. Une septicémie s'est produite chez 2 552 (7 %) d'entre eux inclus les patients.
Le modèle Epic Sepsis a démontré une zone sous la courbe de 0,63, ce qui, selon les chercheurs, était bien en deçà de la plage de 0,76 à 0,83 décrite dans la documentation interne d'Epic et d'autres données rapportées par le fournisseur aux côtés de chercheurs [from other](https://journals. lww.com/ccmjournal/Citation/2021/01001/1235__Validating_the_Epic_Sepsis_Inpatient.1203.aspx) systèmes de santé.
De plus, à la valeur seuil adoptée par Michigan Medicine qui se situait dans la plage suggérée par Epic, les chercheurs ont observé une sensibilité de 33 %, une spécificité de 83 %, une valeur prédictive positive de 12 % et une valeur prédictive négative de 95 %.
L'outil, écrivent-ils, "identifie seulement 7 % des patients atteints de septicémie qui ont été manqués par un clinicien ... soulignant la faible sensibilité du [Epic Sepsis Model] par rapport à la pratique clinique contemporaine. Le [Epic Sepsis Model] a également fait n'identifie pas 67 % des patients atteints de septicémie malgré la génération d'alertes sur 18 % de tous les patients hospitalisés, créant ainsi un lourd fardeau de fatigue d'alerte. »
Dans une déclaration envoyée par courrier électronique répondant aux conclusions, un représentant d'Epic a déclaré que l'analyse des chercheurs ne tenait pas compte du réglage requis qui devrait précéder le déploiement réel de l'outil.
Le seuil choisi par les chercheurs et Michigan Medicine était relativement bas et "serait approprié pour une équipe d'intervention rapide qui souhaite jeter un large filet pour évaluer plus de patients", a écrit le représentant. Un seuil plus élevé réduit les faux positifs et serait plus approprié pour une utilisation clinique par les médecins traitants et les infirmières, a déclaré le porte-parole d'Epic.
La réponse d'Epic a également contesté la caractérisation par les chercheurs du fonctionnement interne du modèle en tant que secret d'entreprise.
"La formule mathématique complète et les entrées du modèle sont disponibles pour les administrateurs sur leurs systèmes", a écrit le représentant. "Les mesures de précision et les informations sur la formation des modèles se trouvent également sur le UserWeb d'Epic, qui est disponible pour nos clients."
Les résultats de l'étude ont cependant suscité des inquiétudes chez les chercheurs et autres experts concernant l'avenir de ces algorithmes.
Dans un éditorial d'accompagnement, des auteurs affiliés à l'Université de Californie à San Francisco et à Kaiser Permanente ont déclaré que les données mettent en évidence la nécessité d'une validation externe des modèles de prédiction propriétaires. avant une utilisation clinique généralisée.
Les modèles qui réussissent dans un contexte ou une période de temps peuvent ne pas être applicables à d'autres, comme cela semblait être le cas avec Michigan Medicine et les systèmes qui présentaient auparavant des résultats de prédiction de sepsie aux côtés d'Epic, ont-ils écrit.
"Les systèmes de santé doivent soutenir les scientifiques des données qui peuvent évaluer de tels modèles de la même manière que les systèmes de santé aident actuellement les cliniciens à adapter les directives cliniques nationales à leurs populations de patients locales", ont-ils écrit dans l'éditorial.
Ce type de travail deviendra critique à mesure que les algorithmes s'étendront au-delà des régressions logistiques "relativement simples" et utiliseront plus souvent des méthodes d'apprentissage automatique itératives, ont-ils poursuivi.
"Ces outils de prédiction plus complexes peuvent présenter des obstacles insurmontables à la validation externe locale, ce qui responsabilisera davantage les développeurs de modèles soit pour publier les caractéristiques de performance du modèle, les variables incluses et les paramètres dans lesquels elles ont été obtenues, soit pour fournir du code et des données sur demande à permettre à d'autres de vérifier la transférabilité du modèle au contexte local », ont-ils écrit.