Problème 2651

L'intelligence artificielle (IA) et les systèmes décisionnels algorithmiques - des algorithmes qui analysent d'énormes quantités de données et font des prédictions sur l'avenir - affectent de plus en plus la vie quotidienne des Américains. Les gens sont obligés d'inclure des mots à la mode dans leur CV pour passer outre les logiciels de recrutement basés sur l'IA. Les algorithmes décident qui obtiendra des opportunités de logement ou de prêt financier. Et le [logiciel de test] biaisé (https://www.insidehighered.com/news/2021/02/01/u-illinois-says-goodbye-proctorio) oblige les étudiants de couleur et les étudiants handicapés à lutter contre une anxiété accrue qui ils peuvent être exclus de leurs examens ou signalés pour tricherie. Mais il y a une autre frontière de l'IA et des algorithmes qui devrait nous inquiéter beaucoup : l'utilisation de ces systèmes dans les soins et les traitements médicaux.

L'utilisation de l'IA et des systèmes décisionnels algorithmiques en médecine augmente même si la réglementation actuelle peut être insuffisante pour détecter les préjugés raciaux nuisibles dans ces outils. Les détails sur le développement des outils sont largement inconnus des cliniciens et du public – un manque de transparence qui menace d'automatiser et d'aggraver le racisme dans le système de santé. La semaine dernière, la FDA a publié des directives élargissant considérablement la portée des outils qu'elle prévoit de réglementer. Ces orientations élargies soulignent qu'il faut faire davantage pour lutter contre les préjugés et promouvoir l'équité face au nombre croissant et à l'utilisation croissante de l'IA et des outils algorithmiques.

En 2019, une étude explosive a révélé qu'un algorithme clinique que de nombreux hôpitaux utilisaient pour décider quels patients avaient besoin de soins montrait des préjugés raciaux - les patients noirs avaient être jugés beaucoup plus malades que les patients blancs à recommander pour les mêmes soins. Cela s'est produit parce que l'algorithme avait été formé sur des données antérieures sur les dépenses de santé, ce qui reflète une histoire dans laquelle les patients noirs avaient moins à dépenser pour leurs soins de santé que les patients blancs, en raison de la richesse de longue date et des disparités de revenus. Bien que le biais de cet algorithme ait finalement été détecté et corrigé, l'incident soulève la question de savoir combien d'autres outils cliniques et médicaux peuvent être également discriminatoires.

Un autre algorithme, créé pour déterminer combien d'heures d'aide les résidents handicapés de l'Arkansas recevraient chaque semaine, a été critiqué après [avoir fait des coupes extrêmes] (https://www.theverge.com/2018/3/21/17144260/healthcare-medicaid -algorithme-arkansas-paralysie cérébrale) aux soins à domicile. Certains résidents ont attribué des perturbations extrêmes à leur vie et même une hospitalisation aux coupures soudaines. Un procès qui en a résulté a révélé que plusieurs erreurs dans l'algorithme - des erreurs dans la façon dont il caractérisait les besoins médicaux des personnes atteintes de certains handicaps - étaient directement à blâmer pour les coupes inappropriées effectuées. Malgré ce tollé, le groupe qui a développé l'algorithme défectueux crée toujours des outils utilisés dans les établissements de soins de santé dans près de la moitié des États américains ainsi qu'à l'échelle internationale.

Une étude récente a révélé qu'un outil d'IA formé sur des images médicales, comme les rayons X et les tomodensitogrammes, avait appris de manière inattendue à discerner la race autodéclarée des patients. Il a appris à le faire même lorsqu'il a été formé uniquement dans le but d'aider les cliniciens à diagnostiquer les images des patients. La capacité de cette technologie à dire la race des patients – même lorsque leur médecin ne le peut pas – pourrait être abusée à l'avenir, ou orienter involontairement les pires soins vers les communautés de couleur sans détection ni intervention.

Certains algorithmes utilisés dans l'espace clinique sont gravement sous-réglementés aux États-Unis. Le département américain de la Santé et des Services sociaux (HHS) et sa sous-agence, la Food and Drug Administration (FDA), sont chargés de réglementer les dispositifs médicaux - avec des dispositifs allant d'une langue dépresseur à un stimulateur cardiaque et maintenant, des systèmes d'IA médicale. Alors que certains de ces dispositifs médicaux (y compris l'IA) et des outils qui aident les médecins dans le traitement et le diagnostic sont réglementés, d'autres outils décisionnels algorithmiques utilisés dans les contextes cliniques, administratifs et de santé publique - tels que ceux qui prédisent le risque de mortalité, la probabilité de la réadmission et les besoins de soins à domicile - ne sont pas tenus d'être examinés ou réglementés par la FDA ou tout autre organisme de réglementation.

Ce manque de surveillance peut conduire à des algorithmes biaisés largement utilisés par les hôpitaux et les systèmes de santé publique des États, contribuant à une discrimination accrue contre les patients noirs et bruns, les personnes handicapées et d'autres communautés marginalisées. Dans certains cas, cette absence de réglementation peut entraîner un gaspillage d'argent et des vies perdues. L'un de ces outils d'IA, développé pour détecter précocement le sepsis, est utilisé par plus de 170 hôpitaux et systèmes de santé. Mais une [étude récente](https://www.pewtrusts.org/en/research-and-analysis/articles/2021/12/16/artificial-intelligence-can-improve-health-care-but-not-without -human-oversight) a révélé que l'outil n'a pas réussi à prédire cette maladie potentiellement mortelle chez 67 % des patients qui l'ont développée, et a généré de fausses alertes de septicémie sur des milliers de patients qui ne l'ont pas fait. Reconnaissant que cet échec était le résultat d'une sous-réglementation, les nouvelles directives de la FDA désignent ces outils comme des exemples de produits qu'elle réglementera désormais en tant que dispositifs médicaux.

L'approche de la FDA en matière de réglementation des médicaments, qui implique des données partagées publiquement qui sont examinées par des comités d'examen des effets indésirables et des événements, contraste avec son approche de la réglementation de l'IA médicale et des outils algorithmiques. La réglementation de l'IA médicale présente un nouveau problème et nécessitera des considérations différentes de celles applicables aux dispositifs matériels que la FDA a l'habitude de réglementer. Ces appareils comprennent [oxymètres de pouls](https://www.npr.org/sections/health-shots/2022/07/11/1110370384/when-it-comes-to-darker-skin-pulse-oximeters-fall- short/), thermomètres et [électrodes de cuir chevelu](https://nam04.safelinks. protection.outlook.com/GetUrlReputation) - dont chacun s'est avéré refléter des préjugés raciaux ou ethniques dans la façon dont ils fonctionnent dans des sous-groupes. La nouvelle de ces préjugés ne fait que souligner à quel point il est vital de réglementer correctement ces outils et de s'assurer qu'ils ne perpétuent pas de préjugés contre les groupes raciaux et ethniques vulnérables.

Bien que la FDA suggère aux fabricants d'appareils de tester leurs appareils pour détecter les préjugés raciaux et ethniques avant de les commercialiser auprès du grand public, cette étape n'est pas obligatoire. Peut-être plus important que les évaluations après le développement d'un dispositif est la transparence au cours de son développement. Une étude STAT+ News a révélé que de nombreux outils d'IA approuvés ou autorisés par la FDA n'incluent pas d'informations sur la diversité des données sur lesquelles l'IA a été formée, et que le nombre de ces outils en cours d'autorisation [augmente rapidement] (https://www.statnews.com/2021/02/03/fda-clearances-artificial- données-intelligence/). Une autre étude a révélé que les outils d'IA « sous-diagnostiquaient de manière constante et sélective les populations de patients mal desservies », constatant que le taux de sous-diagnostic était plus élevé pour les communautés marginalisées qui, de manière disproportionnée, n'ont pas accès aux soins médicaux. Ceci est inacceptable lorsque ces outils peuvent prendre des décisions qui ont des conséquences sur la vie ou la mort.

Le traitement équitable par le système de soins de santé est une question de droits civils. La pandémie de COVID-19 a mis à nu les nombreuses façons dont les inégalités sociétales existantes produisent des inégalités en matière de soins de santé – une réalité complexe que les humains peuvent tenter de comprendre, mais qu'il est difficile de refléter avec précision dans un algorithme. La promesse de l'IA en médecine était qu'elle pourrait aider à éliminer les préjugés d'une institution profondément biaisée et à améliorer les résultats des soins de santé ; au lieu de cela, il menace d'automatiser ce biais.

Des changements de politique et une collaboration entre les principales parties prenantes, y compris les régulateurs étatiques et fédéraux, les groupes et organisations de défense médicale, de santé publique et clinique, sont nécessaires pour combler ces lacunes et ces inefficacités. Pour commencer, comme détaillé dans un nouveau livre blanc de l'ACLU :

• La communication publique des informations démographiques devrait être obligatoire.
• La FDA devrait exiger une évaluation de l'impact de toute différence de performance de l'appareil par sous-groupe racial ou ethnique dans le cadre du processus d'autorisation ou d'approbation.
• Les étiquettes des appareils doivent refléter les résultats de cette évaluation d'impact.
• La FTC devrait collaborer avec le HHS et d'autres organismes fédéraux pour établir les meilleures pratiques que les fabricants d'appareils non soumis à la réglementation de la FDA devraient suivre afin de réduire le risque de préjugés raciaux ou ethniques dans leurs outils.

Plutôt que d'apprendre les préjugés raciaux et ethniques intégrés dans les algorithmes et dispositifs cliniques et médicaux à partir de publications explosives révélant ce qui équivaut à une faute professionnelle médicale et clinique, le HHS et la FDA et d'autres parties prenantes doivent travailler pour garantir que le racisme médical devienne une relique du passé plutôt que une certitude de l'avenir.