Incidents associés
Chaque année 1,7 million d'adultes aux États-Unis développent [sepsis](https://www.mayoclinic.org /diseases-conditions/sepsis/symptoms-causes/syc-20351214), une réponse immunitaire sévère à l'infection qui tue environ 270 000 personnes. Détecter la maladie tôt peut faire la différence entre la vie et la mort.
L'un des plus grands développeurs américains de logiciels de dossiers de santé électroniques (DSE), Epic Systems, propose un outil appelé le modèle Epic Early Detection of Sepsis qui utilise l'intelligence artificielle (IA) - un logiciel qui imite la résolution de problèmes humains - pour aider les médecins à diagnostiquer et traiter la septicémie plus tôt. Mais une étude récente publiée dans JAMA Internal Medicine a révélé que l'outil [fonctionnait mal lors de l'identification d'une septicémie](https://www.statnews .com/2021/07/26/epic-hospital-algorithms-sepsis-investigation/). Les résultats démontrent une réalité à ce stade pour les produits de soins de santé IA en général et soulignent la nécessité d'une attention particulière à la façon dont ils fonctionnent dans les contextes de soins de santé réels.
Bien que [170 hôpitaux et prestataires de soins] (https://www.fiercehealthcare.com/tech/epic-s-widely-used-sepsis-prediction-model-falls-short-among-michigan-medicine-patients) aient mis en œuvre Epic's outil de sepsis depuis 2017, certains experts restent incertains du bon fonctionnement du produit. Comme pour de nombreux autres outils d'IA, il n'a pas été soumis à un examen de la Food and Drug Administration (FDA) avant d'être utilisé et il n'existe aucun système formel en place pour surveiller sa sécurité ou ses performances sur différents sites. Cela signifie qu'aucun rapport central n'est requis si un patient ne reçoit pas les soins appropriés en raison d'une IA défectueuse.
Des chercheurs de l'Université du Michigan à Ann Arbor ont évalué les performances de l'outil de sepsie d'Epic après que l'hôpital de leur institution, Michigan Medicine, a commencé à l'utiliser. Dans JAMA Internal Medicine, ils ont écrit qu'une telle analyse était nécessaire car "seules des informations limitées sont accessibles au public sur les performances du modèle, et aucune validation indépendante n'a été publiée à ce jour".
Leurs résultats ont montré que le modèle de septicémie de l'IA n'identifiait que 7 % des patients atteints de septicémie qui n'avaient pas reçu de traitement antibiotique en temps opportun. L'outil n'a pas détecté la condition chez 67% de ceux qui l'ont développé, mais a généré des alertes sur des milliers de personnes qui ne l'ont pas fait.
Epic, cependant, [a critiqué les résultats] (https://www.fiercehealthcare.com/tech/epic-s-widely-used-sepsis-prediction-model-falls-short-among-michigan-medicine-patients) dans les nouvelles couverture et en correspondance avec Pew, notant que les chercheurs n'ont pas calibré le modèle pour leur population de patients et leurs données spécifiques, ont défini la septicémie différemment du modèle d'Epic et n'ont pas reconnu que [two](https://arxiv.org/pdf/ 1902.07276.pdf) des études évaluant les performances du produit avaient été publiées.
"Les modèles prédictifs épiques sont développés, validés et continuellement améliorés en collaboration avec les systèmes de santé, les scientifiques des données et les cliniciens dans une variété d'institutions et de lieux", a déclaré la société. « Ce processus détermine si un modèle peut être utilisé efficacement dans différentes organisations. Plus de 2 300 hôpitaux et 48 000 cliniques ont accès et transparence aux modèles d'Epic et à la documentation à l'appui.
L'étude du Michigan et la réponse à celle-ci reflètent le défi plus large des produits logiciels d'IA : la manière dont ils sont recyclés dans un cadre clinique est tout aussi importante que la manière dont ils sont développés. Adapter ces outils à de nouveaux environnements peut s'avérer difficile lorsque les populations de patients, le personnel et les normes de diagnostic des maladies et de prestation de soins peuvent être très différents de ceux sur lesquels les produits sont basés.
Avant d'utiliser un logiciel d'IA, les responsables de l'hôpital doivent l'adapter à leur environnement clinique puis validez et testez le programme pour vous assurer qu'il fonctionne. Une fois le produit utilisé, le personnel doit le surveiller en permanence pour garantir sa sécurité et sa précision. Ces processus nécessitent des investissements importants et une attention régulière ; cela peut prendre des années pour peaufiner le programme.
Les systèmes d'IA doivent être évalués et surveillés régulièrement, étant donné la tendance de leurs algorithmes - les formules au cœur des outils - à être biaisés de manière parfois inattendue. Par exemple, dans une étude historique publiée en 2019, les scientifiques ont découvert qu'un outil d'IA largement utilisé pour aider les hôpitaux à allouer des ressources sous-estimait considérablement le besoins en soins de santé des patients noirs. Parce que son algorithme utilisait les coûts des soins de santé comme approximation pour évaluer la santé réelle des patients, le logiciel a perpétué un préjugé contre les Noirs, qui ont tendance à dépenser moins en soins de santé, non pas en raison de différences dans l'état de santé général, mais parce que [les inégalités systémiques](https ://jamanetwork.com/journals/jama-health-forum/fullarticle/2767595) entraîne [moins d'accès aux soins de santé et aux traitements](https://www.ahrq.gov/sites/default/files/wysiwyg/research /conclusions/nhqrdr/2019qdr.pdf).
Révélant des biais géographiques potentiels, une analyse de 2020 a révélé que, sur 74 études utilisées pour développer des systèmes d'IA de diagnostic basés sur l'image, la plupart s'appuyaient uniquement sur des données Californie, New York et Massachusetts ; 34 États ont été totalement exclus des études. Si l'IA est construite sur des données provenant exclusivement d'États largement métropolitains, elle peut ne pas fonctionner aussi bien lorsqu'elle est utilisée dans des États plus ruraux. Les patients - leurs modes de vie, l'incidence de la maladie et l'accès aux diagnostics et aux traitements - diffèrent trop.
Il suffit de transférer l'IA d'un contexte à un autre sans examiner la population potentielle, les ressources ou les différences systémiques peuvent introduire des biais. Par exemple, un algorithme conçu pour scanner les dossiers de santé électroniques et identifier les patients atteints d'un cancer du poumon avec certaines mutations tumorales a bien fonctionné dans l'État de Washington mais beaucoup moins au Kentucky, car les dossiers utilisaient une terminologie différente pour cataloguer les types de cancer. De plus, une IA formée dans des environnements avec des médecins hautement qualifiés et des équipements de pointe peut faire des recommandations inappropriées pour les hôpitaux disposant de moins de ressources.
Malheureusement, peu de ressources indépendantes sont disponibles pour aider les hôpitaux et les systèmes de santé à naviguer sur le terrain de l'IA. Pour les aider, les sociétés médicales professionnelles pourraient développer des conseils pour valider et surveiller les outils d'IA liés à leurs spécialités. Par exemple, le Data Science Institute de l'American College of Radiology propose une série de livres blancs destinés à aider les utilisateurs à décider si, quand et comment utiliser ces produits. Les organisations d'élaboration de normes, telles que l'Institut national des normes et de la technologie, peuvent également établir des références et d'autres mesures par rapport auxquelles les produits d'IA peuvent être évalués.
Les chercheurs ont également suggéré de mettre en œuvre des normes et des méthodes de routine pour la surveillance post-commercialisation pour garantir l'efficacité et l'équité des systèmes, à l'instar de la surveillance des médicaments une fois qu'ils sont sur le marché. Ceci est important pour les algorithmes adaptatifs qui continuent d'apprendre sur la base de nouvelles données ainsi que pour les algorithmes non adaptatifs. Ce dernier peut connaître une dérive conceptuelle, dans laquelle l'algorithme commence en fait à se détériorer avec le temps.
L'IA étant encore si nouvelle dans les soins de santé, il y a beaucoup plus de questions que de réponses : sans une norme de référence uniforme et cohérente d'un hôpital à l'autre, comment les prestataires de soins de santé devraient-ils calibrer et valider l'IA pour refléter les besoins spécifiques de leurs patients ? Comment doivent-ils surveiller les produits d'IA utilisés et où doivent-ils signaler les problèmes, y compris les événements indésirables ? Quelles normes les développeurs d'IA devraient-ils utiliser pour valider leurs propres produits, en particulier ceux que la FDA n'examine ni n'approuve, et comment peuvent-ils garantir aux utilisateurs que leurs algorithmes sont précis et sans parti pris ? Que peuvent faire d'autre les régulateurs, principalement la FDA et la Federal Trade Commission, pour s'assurer que ces produits sont sûrs et efficaces ?
Alors que les parties prenantes se débattent avec ces questions, il est essentiel que les prestataires de soins de santé reconnaissent non seulement la valeur unique que l'IA peut apporter, mais également les défis uniques liés à leur mise en œuvre.