Incidents associés
Les soins pour certains des Américains les plus malades sont décidés en partie par algorithme. De nouvelles recherches montrent que les logiciels guidant les soins pour des dizaines de millions de personnes privilégient systématiquement les patients blancs par rapport aux patients noirs. L'analyse des dossiers d'un grand hôpital américain a révélé que l'algorithme utilisé permettait effectivement aux Blancs de faire la queue pour des programmes spéciaux destinés aux patients souffrant de maladies chroniques complexes telles que le diabète ou des problèmes rénaux.
L'hôpital, que les chercheurs n'ont pas identifié mais décrit comme un "grand hôpital universitaire", était l'un des nombreux prestataires de soins de santé américains qui utilisent des algorithmes pour identifier les patients de soins primaires ayant les besoins de santé les plus complexes. Ces logiciels sont souvent exploités pour recommander des personnes pour des programmes qui offrent un soutien supplémentaire, y compris des rendez-vous dédiés et des équipes de soins infirmiers, aux personnes atteintes d'un enchevêtrement de maladies chroniques.
Les chercheurs qui ont fouillé près de 50 000 dossiers ont découvert que l'algorithme minimisait efficacement les besoins de santé des patients noirs de l'hôpital. L'utilisation de ses résultats pour aider à sélectionner les patients nécessitant des soins supplémentaires a favorisé les patients blancs par rapport aux patients noirs avec le même fardeau pour la santé.
Lorsque les chercheurs ont comparé des patients noirs et des patients blancs auxquels l'algorithme attribuait des scores de risque similaires, ils ont constaté que les patients noirs étaient significativement plus malades, par exemple avec une pression artérielle plus élevée et un diabète moins bien contrôlé. Cela a eu pour effet d'exclure des personnes du programme de soins supplémentaires en raison de leur race. L'hôpital a automatiquement inscrit les patients au-dessus de certains scores de risque dans le programme, ou les a référés pour examen par les médecins.
Les chercheurs ont calculé que le biais de l'algorithme réduisait efficacement la proportion de patients noirs recevant une aide supplémentaire de plus de moitié, passant de près de 50 % à moins de 20 %. Ceux qui n'avaient pas reçu de soins supplémentaires étaient potentiellement plus susceptibles de se rendre aux urgences et de rester à l'hôpital.
"Il y avait de grandes différences dans les résultats", explique Ziad Obermeyer, médecin et chercheur à l'UC Berkeley qui a travaillé sur le projet avec des collègues de l'Université de Chicago et des hôpitaux Brigham and Women's and Massachusetts General à Boston.
L'article, publié jeudi dans Science, n'identifie pas la société derrière l'algorithme qui a produit ces jugements biaisés. Obermeyer dit que la société a confirmé le problème et s'efforce de le résoudre. Lors d'une conférence sur le projet cet été, il a déclaré que l'algorithme est utilisé dans les soins de 70 millions de patients et développé par une filiale d'une compagnie d'assurance. Cela suggère que l'algorithme pourrait provenir d'Optum, propriété de l'assureur UnitedHealth, qui affirme que son produit qui tente de prédire les risques pour les patients, y compris les coûts, est utilisé pour "gérer plus de 70 millions de vies". Interrogé par WIRED si son logiciel était celui de l'étude, Optum a déclaré dans un communiqué que les médecins ne devraient pas utiliser seuls les scores algorithmiques pour prendre des décisions concernant les patients. "Comme nous le conseillons à nos clients, ces outils ne doivent jamais être considérés comme un substitut à l'expertise d'un médecin et à sa connaissance des besoins individuels de ses patients", a-t-il déclaré.
Continuez à lire Les dernières nouvelles sur l'intelligence artificielle, de l'apprentissage automatique à la vision par ordinateur et plus encore
L’algorithme étudié ne tenait pas compte de la race lors de l’estimation du risque de problèmes de santé d’une personne. Ses performances biaisées montrent comment même des formules putativement neutres sur le plan racial peuvent encore avoir des effets discriminatoires lorsqu'elles s'appuient sur des données qui reflètent les inégalités dans la société.
Le logiciel a été conçu pour prédire les coûts de santé futurs des patients, en tant qu'indicateur indirect de leurs besoins en matière de santé. Il pourrait prédire les coûts avec une précision raisonnable pour les patients noirs et les patients blancs. Mais cela a eu pour effet d'amorcer le système pour reproduire les inégalités d'accès aux soins de santé en Amérique - une étude de cas sur les dangers de combiner des algorithmes d'optimisation avec des données qui reflètent la réalité sociale brute.
Lorsque l'hôpital utilisait les scores de risque pour sélectionner les patients pour son programme de soins complexes, il sélectionnait les patients susceptibles de coûter plus cher à l'avenir, et non sur la base de leur état de santé réel. Selon Linda Goler Blount, présidente et chef de la direction de l'association à but non lucratif Black Women's Health Impératif.