Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1779

Incidents associés

Incident 915 Rapports
Frontline workers protest at Stanford after hospital distributed vaccine to administrators

Loading...
C'est l'algorithme du vaccin de Stanford qui a laissé de côté les médecins de première ligne
technologyreview.com · 2020

Lorsque les médecins résidents du Stanford Medical Center - dont beaucoup travaillent en première ligne de la pandémie de covid-19 - ont découvert que seuls sept d'entre eux sur plus de 1 300 avaient été prioritaires pour les 5 000 premières doses du vaccin covid, ils ont été choqués . Puis, quand ils ont vu qui d'autre avait fait la liste, y compris des administrateurs et des médecins voyant des patients à distance depuis chez eux, ils étaient en colère.

Lors d'une séance de photos prévue pour célébrer les premières vaccinations qui auront lieu le vendredi 18 décembre, au moins 100 habitants se sont présentés pour protester. La direction de l'hôpital s'est excusée de ne pas leur avoir donné la priorité et a imputé les erreurs à "un algorithme très complexe".

"Notre algorithme, sur lequel les éthiciens, les experts en maladies infectieuses ont travaillé pendant des semaines … n'a manifestement pas bien fonctionné", a déclaré Tim Morrison, le directeur de l'équipe de soins ambulatoires, aux résidents de l'événement dans une vidéo publiée en ligne.

Beaucoup ont vu cela comme une excuse, d'autant plus que la direction de l'hôpital avait été informée du problème mardi – alors que seuls cinq résidents figuraient sur la liste – et ont répondu non pas en corrigeant l'algorithme, mais en ajoutant deux résidents supplémentaires pour un total de sept.

"L'un des principaux attraits des algorithmes est qu'ils permettent aux puissants de blâmer une boîte noire pour des résultats politiquement peu attrayants dont ils seraient autrement responsables", a écrit Roger McNamee, un éminent initié de la Silicon Valley devenu critique, sur Twitter. "Mais * les gens * ont décidé qui recevrait le vaccin", a tweeté Veena Dubal, professeur de droit à l'Université de Californie à Hastings, qui étudie la technologie et la société. "L'algorithme vient d'exécuter sa volonté."

Mais quelle était exactement la « volonté » de Stanford ? Nous avons examiné l'algorithme pour savoir ce qu'il était censé faire.

Comment fonctionne l'algorithme

La diapositive décrivant l'algorithme provenait de résidents qui l'avaient reçue de leur directeur de département. Il ne s'agit pas d'un algorithme complexe d'apprentissage automatique (souvent appelé «boîtes noires»), mais d'une formule basée sur des règles pour calculer qui recevrait le vaccin en premier à Stanford. Il considère trois catégories : les « variables basées sur l'employé », qui ont à voir avec l'âge ; « variables liées à l'emploi » ; et les directives du Département de la santé publique de Californie. Pour chaque catégorie, le personnel a reçu un certain nombre de points, avec un score total possible de 3,48. Vraisemblablement, plus le score est élevé, plus la priorité de la personne en ligne est élevée. (Le centre médical de Stanford n'a pas répondu aux multiples demandes de commentaires sur l'algorithme au cours du week-end.)

Les variables des employés augmentent le score d'une personne de manière linéaire avec l'âge, et des points supplémentaires sont ajoutés aux personnes de plus de 65 ans ou de moins de 25 ans. Cela donne la priorité au personnel le plus âgé et le plus jeune, ce qui désavantage les résidents et les autres travailleurs de première ligne qui sont généralement au milieu de l'âge. intervalle.

Les variables d'emploi contribuent le plus au score global. L’algorithme compte la prévalence du covid-19 parmi les rôles et les départements des employés de deux manières différentes, mais la différence entre eux n’est pas tout à fait claire. Ni les résidents ni les deux experts non affiliés à qui nous avons demandé d'examiner l'algorithme n'ont compris la signification de ces critères, et le centre médical de Stanford n'a pas répondu à une demande de commentaire. Ils tiennent également compte de la proportion de tests effectués par rôle professionnel en pourcentage du nombre total de tests collectés par le centre médical.

De nombreux États ont déployé des services de notification d'exposition après que les transmissions de covid ont commencé à augmenter, mais les experts de la santé affirment que de nouvelles applications peuvent toujours aider.

Ce que ces facteurs ne prennent pas en compte, c'est l'exposition aux patients atteints du covid-19, disent les habitants. Cela signifie que l'algorithme n'a pas fait de distinction entre ceux qui avaient attrapé le covid des patients et ceux qui l'ont eu de la propagation communautaire, y compris les employés travaillant à distance. Et, comme l'a rapporté pour la première fois ProPublica, les résidents ont été informés que parce qu'ils alternaient entre les départements plutôt que de conserver une seule affectation, ils perdaient des points associés aux départements où ils travaillaient.

La troisième catégorie de l'algorithme fait référence aux directives d'attribution des vaccins du Département de la santé publique de Californie. Celles-ci se concentrent sur le risque d'exposition en tant que facteur unique le plus élevé pour la priorisation des vaccins. Les directives sont principalement destinées aux gouvernements des comtés et locaux pour décider comment hiérarchiser le vaccin, plutôt que comment hiérarchiser entre les services d'un hôpital. Mais ils incluent spécifiquement les résidents, ainsi que les départements où ils travaillent, dans le niveau le plus prioritaire.

Il se peut que le facteur « gamme CDPH » donne aux résidents un score plus élevé, mais toujours pas assez élevé pour contrecarrer les autres critères.

"Pourquoi ont-ils fait comme ça ?"

Stanford a essayé de prendre en compte beaucoup plus de variables que d'autres établissements médicaux, mais Jeffrey Kahn, directeur de l'Institut de bioéthique Johns Hopkins Berkman, a déclaré que l'approche était trop compliquée. "Plus il y a de poids différents pour différentes choses, plus il devient difficile de comprendre -" Pourquoi ont-ils fait cela de cette façon? "", Dit-il.

Kahn, qui a siégé au comité de 20 membres de Johns Hopkins sur l'attribution des vaccins, a déclaré que son université avait alloué des vaccins en fonction simplement de l'emploi et du risque d'exposition au covid-19.

Il dit que cette décision était basée sur des discussions qui incluaient délibérément différentes perspectives – y compris celles des résidents – et en coordination avec d'autres hôpitaux du Maryland. Ailleurs, le plan de l'Université de Californie à San Francisco est basé sur une évaluation similaire du risque d'exposition au virus. Mass General Brigham à Boston classe les employés en quatre groupes en fonction du département et du lieu de travail, selon un e-mail interne examiné par MIT Technology Review.

"Il y a si peu de confiance autour de tant de choses liées à la pandémie, nous ne pouvons pas la gaspiller."

"Il est vraiment important [pour] que toute approche comme celle-ci soit transparente et publique… et pas quelque chose de vraiment difficile à comprendre", déclare Kahn. "Il y a si peu de confiance autour de tant de choses liées à la pandémie, nous ne pouvons pas la gaspiller."

Les algorithmes sont couramment utilisés dans les soins de santé pour classer les patients par niveau de risque dans le but de répartir plus équitablement les soins et les ressources. Mais plus il y a de variables utilisées, plus il est difficile d'évaluer si les calculs peuvent être erronés.

Par exemple, en 2019, une étude publiée dans Science a montré que 10 algorithmes largement utilisés pour la distribution des soins aux États-Unis ont fini par favoriser les patients blancs par rapport aux noirs. Il s'est avéré que le problème était que les concepteurs des algorithmes supposaient que les patients qui dépensaient plus en soins de santé étaient plus malades et avaient besoin de plus d'aide. En réalité, les plus dépensiers sont également plus riches et plus susceptibles d'être blancs. En conséquence, l'algorithme a alloué moins de soins aux patients noirs ayant les mêmes conditions médicales que les blancs.

Irene Chen, doctorante au MIT qui étudie l'utilisation d'algorithmes équitables dans les soins de santé, soupçonne que c'est ce qui s'est passé à Stanford : les concepteurs de la formule ont choisi des variables qui, selon eux, serviraient de bons substituts pour le niveau de risque de covid d'un membre du personnel donné. Mais ils n'ont pas vérifié que ces procurations conduisaient à des résultats raisonnables, ni ne répondaient de manière significative aux commentaires de la communauté lorsque le plan de vaccination a été révélé mardi la semaine dernière. "Ce n'est pas une mauvaise chose que les gens y aient pensé par la suite", déclare Chen. "C'est qu'il n'y avait pas de mécanisme pour le réparer."

Un canari dans la mine de charbon ?

Après les manifestations, Stanford a présenté des excuses officielles, affirmant qu'il réviserait son plan de distribution.

Les représentants des hôpitaux n'ont pas répondu aux questions sur les personnes qu'ils incluraient dans les nouveaux processus de planification ou si l'algorithme continuerait d'être utilisé. Un e-mail interne résumant la réponse de la faculté de médecine, partagé avec MIT Technology Review, indique que ni les chefs de programme, les chefs de département, les médecins traitants ni le personnel infirmier n'ont été impliqués dans la conception originale de l'algorithme. Maintenant, cependant, certains professeurs font pression pour avoir un rôle plus important, éliminant complètement les résultats des algorithmes et donnant à la place aux chefs de division et aux présidents le pouvoir de prendre des décisions pour leurs propres équipes.

D'autres directeurs de département ont encouragé les résidents à se faire vacciner en premier. Certains ont même demandé aux professeurs d'amener les résidents avec eux lorsqu'ils se font vacciner, ou de retarder leurs injections afin que d'autres puissent passer en premier.

Certains résidents contournent complètement le système de santé universitaire. Nuriel Moghavem, un résident en neurologie qui a été le premier à faire connaître les problèmes à Stanford, a tweeté vendredi après-midi qu'il avait finalement reçu son vaccin, non pas à Stanford, mais dans un hôpital public du comté de Santa Clara.

"Je me suis fait vacciner aujourd'hui pour me protéger, ma famille et mes patients", a-t-il tweeté. «Mais j'ai eu cette opportunité uniquement parce que mon hôpital public de comté estime que les résidents sont des prestataires de première ligne essentiels. Reconnaissant."

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd