Incidents associés
Un algorithme largement utilisé dans les hôpitaux américains pour allouer les soins de santé aux patients a été systématiquement discriminatoire à l'égard des Noirs, selon une analyse approfondie.
L'étude, publiée dans Science le 24 octobre, a conclu que l'algorithme était moins susceptible d'orienter les Noirs que les Blancs tout aussi malades vers des programmes visant à améliorer les soins aux patients ayant des besoins médicaux complexes. Les hôpitaux et les assureurs utilisent l'algorithme et d'autres similaires pour aider à gérer les soins d'environ 200 millions de personnes aux États-Unis chaque année.
Ce type d'étude est rare, car les chercheurs ne peuvent souvent pas accéder aux algorithmes propriétaires et aux rames de données de santé sensibles nécessaires pour les tester pleinement, explique Milena Gianfrancesco, épidémiologiste à l'Université de Californie à San Francisco, qui a étudié les sources de biais. dans les dossiers médicaux électroniques. Mais des études plus petites et des rapports anecdotiques ont documenté une prise de décision biaisée par des algorithmes injuste et utilisée dans tous les domaines, de la justice pénale à l'éducation et aux soins de santé .
"C'est alarmant", déclare Gianfrancesco à propos de la dernière étude. "Nous avons besoin d'une meilleure façon d'évaluer réellement la santé des patients."
Ziad Obermeyer, qui étudie l'apprentissage automatique et la gestion des soins de santé à l'Université de Californie à Berkeley, et son équipe sont tombés sur le problème en examinant l'impact des programmes qui fournissent des ressources supplémentaires et une surveillance médicale plus étroite pour les personnes ayant des problèmes de santé multiples, parfois superposés. problèmes.
Examen des hypothèses
Lorsque Obermeyer et ses collègues ont effectué des vérifications statistiques de routine sur les données qu'ils ont reçues d'un grand hôpital, ils ont été surpris de constater que les personnes qui s'identifiaient comme noires se voyaient généralement attribuer des scores de risque plus faibles que les personnes blanches également malades. En conséquence, les Noirs étaient moins susceptibles d'être référés aux programmes qui offrent des soins plus personnalisés.
Les chercheurs ont découvert que l'algorithme attribuait des scores de risque aux patients sur la base des coûts totaux des soins de santé accumulés en un an. Ils disent que cette hypothèse aurait pu sembler raisonnable car des coûts de soins de santé plus élevés sont généralement associés à des besoins de santé plus importants. La personne noire moyenne dans l'ensemble de données utilisé par les scientifiques avait des coûts de soins de santé globaux similaires à ceux de la personne blanche moyenne.
Mais un examen plus approfondi des données a révélé que la personne noire moyenne était également beaucoup plus malade que la personne blanche moyenne, avec une plus grande prévalence de maladies telles que le diabète, l'anémie, l'insuffisance rénale et l'hypertension artérielle. Ensemble, les données ont montré que les soins prodigués aux Noirs coûtent en moyenne 1 800 USD de moins par an que les soins prodigués à une personne blanche souffrant du même nombre de problèmes de santé chroniques.
Les scientifiques pensent que cet accès réduit aux soins est dû aux effets du racisme systémique, allant de la méfiance à l'égard du système de santé à la discrimination raciale directe par les prestataires de soins de santé.
Et parce que l'algorithme attribuait les personnes à des catégories à haut risque sur la base des coûts, ces biais étaient transmis dans ses résultats : les Noirs devaient être plus malades que les Blancs avant d'être référés pour une aide supplémentaire. Seuls 17,7 % des patients que l'algorithme a assignés pour recevoir des soins supplémentaires étaient noirs. Les chercheurs calculent que la proportion serait de 46,5 % si l'algorithme n'était pas biaisé.
Recherche de solutions
Lorsque Obermeyer et son équipe ont rapporté leurs découvertes aux développeurs de l'algorithme - Optum d'Eden Prairie, Minnesota - la société a répété leur analyse et a trouvé les mêmes résultats. Obermeyer travaille avec l'entreprise sans salaire pour améliorer l'algorithme.
Lui et son équipe ont collaboré avec l'entreprise pour trouver des variables autres que les coûts des soins de santé qui pourraient être utilisées pour calculer les besoins médicaux d'une personne, et ont répété leur analyse après avoir modifié l'algorithme en conséquence. Ils ont constaté que ces modifications réduisaient les biais de 84 %.
"Nous apprécions le travail des chercheurs", a déclaré Optum dans un communiqué. Mais la société a ajouté qu'elle considérait la conclusion des chercheurs comme "trompeuse". "Le modèle de coût n'est qu'un des nombreux éléments de données destinés à être utilisés pour sélectionner les patients pour les programmes d'engagement clinique, y compris, surtout, l'expertise du médecin."
Obermeyer dit que l'utilisation de la prévision des coûts pour prendre des décisions sur l'engagement des patients est un problème omniprésent. "Ce n'est pas un problème avec un algorithme ou une entreprise - c'est un problème avec la façon dont tout notre système aborde ce problème", dit-il.
Trouver des correctifs pour les biais dans les algorithmes - dans les soins de santé et au-delà - n'est pas simple, dit Obermeyer. "Ces solutions sont simples au sens du génie logiciel : il vous suffit de réexécuter l'algorithme avec une autre variable", explique-t-il. « Mais le plus difficile est : quelle est cette autre variable ? Comment contournez-vous les préjugés et l'injustice inhérents à cette société ? »
Cela est en partie dû à un manque de diversité parmi les concepteurs d'algorithmes et à un manque de formation sur le contexte social et historique de leur travail, explique Ruha Benjamin, auteur de Race After Technology (2019) et sociologue à l'Université de Princeton dans le New Jersey. .
"Nous ne pouvons pas compter sur les personnes qui conçoivent actuellement ces systèmes pour anticiper ou atténuer pleinement tous les dommages associés à l'automatisation", dit-elle.
Les développeurs devraient effectuer régulièrement des tests tels que ceux effectués par le groupe d'Obermeyer avant de déployer un algorithme qui affecte la vie humaine, déclare Rayid Ghani, informaticien à l'Université Carnegie Mellon de Pittsburgh, en Pennsylvanie. Ce type d'audit est plus courant maintenant, dit-il, depuis que les rapports d'algorithmes biaisés sont devenus plus répandus.
«Est-ce que plus de gens le font maintenant qu'avant? Oui », dit Ghani. « Est-ce qu'ils sont assez nombreux à le faire ? Non."
Il pense que les résultats de ces audits doivent toujours être comparés à la prise de décision humaine avant de supposer qu'un algorithme aggrave les choses. Ghani dit que son équipe a effectué des analyses inédites comparant les algorithmes utilisés dans la santé publique, la justice pénale et l'éducation à la prise de décision humaine. Ils ont découvert que les systèmes d'apprentissage automatique étaient biaisés, mais moins que les gens.
«Nous utilisons toujours ces algorithmes appelés humains qui sont vraiment biaisés», explique Ghani. "Nous les avons testés et savons qu'ils sont horribles, mais nous les utilisons toujours pour prendre des décisions vraiment importantes tous les jours."
- Mise à jour du 26 octobre 2019 : Ajout du nom du développeur de l'algorithme et de la réponse de l'entreprise à l'étude, ainsi que des commentaires supplémentaires de Ziad Obermeyer.