Incidents associés
Un algorithme largement utilisé qui prédit quels patients bénéficieront de soins médicaux supplémentaires sous-estime considérablement les besoins de santé des patients noirs les plus malades, amplifiant les disparités raciales de longue date en médecine, ont découvert des chercheurs.
Le problème a été détecté dans un algorithme vendu par une société de services de santé de premier plan, appelée Optum, pour guider la prise de décision en matière de soins pour des millions de personnes. Mais le même problème existe presque certainement dans d'autres outils utilisés par d'autres entreprises privées, des systèmes de santé à but non lucratif et des agences gouvernementales pour gérer les soins de santé d'environ 200 millions de personnes aux États-Unis chaque année, ont rapporté les scientifiques dans la revue [Science](https ://science.sciencemag.org/cgi/doi/10.1126/science.aax2342).
La correction du biais ferait plus que doubler le nombre de patients noirs signalés comme à risque de besoins médicaux compliqués au sein du système de santé étudiés par les chercheurs, et ils travaillent déjà avec Optum sur un correctif. Lorsque la société a reproduit l'analyse sur un ensemble de données nationales de 3,7 millions de patients, elle a découvert que les patients noirs qui étaient classés par l'algorithme comme ayant autant besoin de soins supplémentaires que les patients blancs étaient beaucoup plus malades : ils souffraient collectivement de 48 772 maladies chroniques supplémentaires. .
"Il est vraiment inconcevable pour moi que l'algorithme de quelqu'un d'autre n'en souffre pas", a déclaré Sendhil Mullainathan, professeur de calcul et de sciences du comportement à l'Université de Chicago Booth School of Business, qui a supervisé les travaux. "J'espère que cela amènera toute l'industrie à dire:" Oh, mon Dieu, nous devons résoudre ce problème. "
L'algorithme n'était pas intentionnellement raciste - en fait, il excluait spécifiquement la race. Au lieu de cela, pour identifier les patients qui bénéficieraient d'un soutien médical accru, l'algorithme a utilisé une métrique apparemment indifférente à la race : combien les patients coûteraient au système de santé à l'avenir. Mais le coût n'est pas une mesure neutre des besoins en soins de santé. Les patients noirs ont engagé environ 1 800 $ de moins en frais médicaux par an que les patients blancs avec le même nombre de maladies chroniques ; ainsi, l'algorithme a noté que les patients blancs étaient également à risque de problèmes de santé futurs que les patients noirs qui avaient beaucoup plus de maladies.
Les machines prennent de plus en plus de décisions qui affectent la vie humaine, et les grandes organisations, en particulier dans le domaine de la santé, tentent d'exploiter des ensembles de données massifs pour améliorer leur fonctionnement. Ils utilisent des données qui peuvent ne pas sembler racistes ou biaisées, mais qui peuvent avoir été fortement influencées par des préjugés sociaux, culturels et institutionnels de longue date, tels que les coûts des soins de santé. Alors que les systèmes informatiques déterminent quels [candidats à l'emploi](https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-increasingly-decides-whether-you-deserve-job/ ?itid=lk_inline_manual_11) devrait être interrogé, qui devrait [recevoir un prêt](https://www.washingtonpost.com/business/2018/11/15/even-machines-are-discriminating-against-black-latino-homebuyers /?itid=lk_inline_manual_11) ou comment [trier les personnes malades](https://spectrum.ieee.org/biomedical/diagnostics/hospitals-roll-out-ai-systems-to-keep-patients-from-dying-of -septicémie), les algorithmes propriétaires qui les alimentent risquent d'automatiser le racisme ou d'autres préjugés humains.
En médecine, il existe une longue histoire de patients noirs confrontés à [des obstacles à l'accès aux soins] (https://www.washingtonpost.com/news/wonk/wp/2015/10/05/medicines-racial-divide-measured-in -minutes-passées-à-attendre-pour-voir-un-médecin/?itid=lk_inline_manual_16) et reçoivent des soins de santé moins efficaces. Des études ont montré que les patients noirs sont moins susceptibles de ressentir [la douleur](https://www.washingtonpost.com/news/to-your-health/wp/2016/04/04/do-blacks-feel-less-pain- than-whites-their-doctors-may-think-so/?itid=lk_inline_manual_16) traitement, [chirurgie du cancer du poumon potentiellement vitale](https://www.nejm.org/doi/10.1056/NEJM199910143411606?url_ver=Z39.88 -2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%3Dwww.ncbi.nlm.nih.gov) ou des médicaments hypocholestérolémiants, par rapport aux patients blancs. De telles disparités ont probablement des racines compliquées, y compris le racisme explicite, les problèmes d'accès, le manque d'assurance, la méfiance à l'égard du système médical, les malentendus culturels ou [préjugés inconscients](https://www.ncbi.nlm.nih.gov/pmc/articles/ PMC2219763/) que les médecins ne savent peut-être même pas qu'ils ont.
Mullainathan et ses collaborateurs ont découvert que l'algorithme qu'ils ont étudié, qui a été conçu pour aider les systèmes de santé à cibler les patients qui auraient les plus grands besoins futurs en soins de santé, prédisait la probabilité que les gens utilisent beaucoup de soins de santé et accumulent des coûts élevés dans l'avenir. Étant donné que les patients noirs utilisent généralement les soins de santé à des taux inférieurs, l'algorithme était moins susceptible de les signaler comme susceptibles d'utiliser beaucoup de soins de santé à l'avenir.
L'algorithme approfondirait alors cette disparité en signalant que les patients blancs en meilleure santé ont besoin de plus de [gestion des soins intensifs](https://www.washingtonpost.com/business/economy/experimental-program-in-vermont-pays-doctors-to -keep-patients-healthy/2017/09/17/ddb47cfe-9320-11e7-aace-04b862b2b3f3_story.html?itid=lk_inline_manual_19).
"Les algorithmes prédictifs qui alimentent ces outils doivent être continuellement revus et affinés, et complétés par des informations telles que des données socio-économiques, pour aider les cliniciens à prendre les décisions de soins les mieux informées pour chaque patient", a déclaré le porte-parole d'Optum, Tyler Mason. "Comme nous le conseillons à nos clients, ces outils ne doivent jamais être considérés comme un substitut à l'expertise d'un médecin et à sa connaissance des besoins individuels de ses patients."
Ruha Benjamin, professeur agrégé d'études afro-américaines à l'Université de Princeton, a établi un parallèle avec la façon dont Henrietta Lacks, une jeune mère afro-américaine atteinte d'un cancer du col de l'utérus, a été traitée par le système médical. Lacks est désormais bien connue car ses cellules cancéreuses, prélevées sans son consentement, sont utilisées dans la recherche biomédicale moderne. Elle a été soignée dans une aile séparée de l'hôpital Johns Hopkins à une époque où les hôpitaux étaient séparés. Imaginez si aujourd'hui, écrit Benjamin dans un article d'accompagnement, les manques étaient "triés numériquement" avec un algorithme qui ne prenait pas explicitement en compte compte sa race, mais a sous-estimé sa maladie parce qu'elle utilisait des données qui reflétaient un biais historique pour projeter ses besoins futurs. Un tel racisme, même s'il n'est pas motivé par une idéologie haineuse, pourrait avoir le même résultat que la ségrégation antérieure et les soins de qualité inférieure.
"Je suis frappé par le nombre de personnes qui pensent encore que le racisme doit toujours être intentionnel et alimenté par la malveillance. Ils ne veulent pas admettre les effets racistes de la technologie à moins de pouvoir identifier le boogeyman sectaire derrière l'écran", a déclaré Benjamin.
Le logiciel utilisé pour prédire les besoins des patients en matière de soutien médical plus intensif était une conséquence de la loi sur les soins abordables, qui a créé des incitations financières pour que les systèmes de santé maintiennent les gens en bonne santé au lieu d'attendre pour les soigner lorsqu'ils tombent malades. L'idée était qu'il serait possible de simultanément [contenir les coûts et maintenir les gens en meilleure santé](https://www.washingtonpost.com/business/economy/two-visions-for-the-future-of-health-care-are -at-war-in-pittsburgh/2018/02/13/d987433c-0157-11e8-9d31-d72cf78dbeee_story.html?itid=lk_inline_manual_26) en identifiant les patients les plus à risque de devenir très malades et en leur fournissant davantage de ressources. Mais comme les Blancs riches ont tendance à utiliser davantage les soins de santé, de tels outils pourraient également amener les systèmes de santé à se concentrer sur eux, ratant ainsi une occasion d'aider certaines des personnes les plus malades.
Christine Vogeli, directrice de l'évaluation et de la recherche au Center for Population Health de Partners HealthCare, un système de santé à but non lucratif du Massachusetts, a déclaré que lorsque son équipe a testé l'algorithme pour la première fois, ils ont cartographié les scores les plus élevés de leur population de patients et les ont trouvés concentrés dans certains des les banlieues les plus riches de Boston. Cela les a amenés à utiliser l'outil de manière limitée, en le complétant avec d'autres informations, plutôt que de l'utiliser sur étagère.
"Vous allez devoir vous assurer que les gens sont avertis à ce sujet … ou vous allez avoir un problème où vous ne servez que les gens les plus riches et les plus riches", a déclaré Vogeli.
De tels biais peuvent sembler évidents avec le recul, mais les algorithmes sont notoirement opaques car ce sont des produits propriétaires qui peuvent coûter des centaines de milliers de dollars. Les chercheurs qui ont mené la nouvelle étude avaient un accès inhabituel aux données qui entraient dans l'algorithme et à ce qu'il prédisait.
Ils ont également trouvé un moyen relativement simple de résoudre le problème. Au lieu de simplement prédire quels patients subiraient les coûts les plus élevés et utiliseraient le plus de soins de santé à l'avenir, ils ont modifié l'algorithme pour faire des prédictions sur leur état de santé futur.
Suchi Saria, experte en apprentissage automatique et en soins de santé à l'Université Johns Hopkins, a déclaré que l'étude était fascinante car elle montrait comment, une fois qu'un biais est détecté, il peut être corrigé. Une grande partie de l'étude scientifique des disparités raciales en médecine fournit des preuves d'iniquité, mais la correction de ces problèmes pourrait nécessiter des changements sociaux et culturels radicaux, ainsi que des changements de comportement individuels de la part de milliers de prestataires. En revanche, une fois qu'un algorithme défectueux est identifié, le biais peut être supprimé.
"Ce qui est cool, c'est que nous pourrions facilement mesurer le biais qui a existé historiquement, changer l'algorithme et corriger le biais", a déclaré Saria. La partie la plus délicate peut être de développer un mécanisme de surveillance qui détectera les préjugés en premier lieu.
Saria a déclaré qu'une possibilité est que les experts en données pourraient potentiellement tester les algorithmes des entreprises pour détecter les biais, de la même manière que les entreprises de sécurité testent si les cyberdéfenses d'une entreprise sont suffisantes.