Incidents associés
Des millions de dollars sont dépensés pour développer un logiciel d'intelligence artificielle qui lit les radiographies et autres scanners médicaux dans l'espoir qu'il puisse repérer des choses que les médecins recherchent mais manquent parfois, comme les cancers du poumon. Une nouvelle étude rapporte que ces algorithmes peuvent également voir quelque chose que les médecins ne recherchent pas sur de tels scanners : la race d'un patient.
Les auteurs de l'étude et d'autres experts en IA médicale affirment que les résultats rendent plus crucial que jamais de vérifier que les algorithmes de santé fonctionnent équitablement sur les personnes ayant des identités raciales différentes. Pour compliquer cette tâche : les auteurs eux-mêmes ne savent pas quels indices les algorithmes qu'ils ont créés utilisent pour prédire la race d'une personne.
La preuve que les algorithmes peuvent lire la race à partir des analyses médicales d'une personne a émergé de tests sur cinq types d'imagerie utilisés dans la recherche en radiologie, y compris les radiographies du thorax et des mains et les mammographies. Les images comprenaient des patients identifiés comme noirs, blancs et asiatiques. Pour chaque type d'analyse, les chercheurs ont formé des algorithmes à l'aide d'images étiquetées avec la race autodéclarée d'un patient. Ensuite, ils ont défié les algorithmes pour prédire la race des patients dans différentes images non étiquetées.
Les radiologues ne considèrent généralement pas l'identité raciale d'une personne - qui n'est pas une catégorie biologique - comme étant visible sur les scans qui regardent sous la peau. Pourtant, les algorithmes se sont avérés en quelque sorte capables de le détecter avec précision pour les trois groupes raciaux et à travers différentes vues du corps.
Pour la plupart des types de numérisation, les algorithmes pouvaient identifier correctement laquelle des deux images provenait d'une personne noire plus de 90 % du temps. Même l'algorithme le moins performant a réussi 80 % du temps ; le meilleur était correct à 99 %. Les résultats et le code associé ont été mis en ligne à la fin du mois dernier par un groupe de plus de 20 chercheurs experts en médecine et en apprentissage automatique, mais l'étude n'a pas encore été examinée par des pairs.
Les résultats ont suscité de nouvelles inquiétudes quant au fait que les logiciels d'IA peuvent amplifier les inégalités dans les soins de santé, où des études montrent que les patients noirs et d'autres groupes raciaux marginalisés reçoivent souvent des soins inférieurs à ceux des personnes riches ou blanches.
Les algorithmes d'apprentissage automatique sont réglés pour lire les images médicales en leur fournissant de nombreux exemples étiquetés de conditions telles que les tumeurs. En digérant de nombreux exemples, les algorithmes peuvent apprendre des modèles de pixels statistiquement associés à ces étiquettes, telles que la texture ou la forme d'un nodule pulmonaire. Certains algorithmes ainsi conçus rivalisent avec les médecins pour détecter les cancers ou les problèmes de peau ; il existe des preuves qu'ils peuvent détecter des signes de maladie invisibles pour les experts humains.
Judy Gichoya, radiologue et professeure adjointe à l'Université Emory qui a travaillé sur la nouvelle étude, affirme que la révélation que les algorithmes d'image peuvent "voir" la race dans les scans internes les incite probablement à apprendre également des associations inappropriées.
"Nous devons éduquer les gens sur ce problème et rechercher ce que nous pouvons faire pour l'atténuer." Judy Gichoya, radiologue et professeure adjointe, Université Emory
Les données médicales utilisées pour former des algorithmes portent souvent des traces d'inégalités raciales dans la maladie et le traitement médical, en raison de facteurs historiques et socio-économiques. Cela pourrait conduire un algorithme recherchant des modèles statistiques dans les scans à utiliser sa supposition sur la race d'un patient comme une sorte de raccourci, suggérant des diagnostics en corrélation avec des modèles biaisés par la race à partir de ses données de formation, et pas seulement les anomalies médicales visibles que les radiologues recherchent. Un tel système pourrait donner à certains patients un diagnostic erroné ou un faux tout-clair. Un algorithme pourrait suggérer des diagnostics différents pour une personne noire et une personne blanche présentant des signes de maladie similaires.
"Nous devons éduquer les gens sur ce problème et rechercher ce que nous pouvons faire pour l'atténuer", déclare Gichoya. Ses collaborateurs sur le projet venaient d'institutions telles que Purdue, MIT, Beth Israel Deaconess Medical Center, National Tsing Hua University à Taiwan, University of Toronto et Stanford.
Des études antérieures ont montré que les algorithmes médicaux ont causé des biais dans la prestation des soins et que les algorithmes d'imagerie peuvent fonctionner de manière inégale pour différents groupes démographiques. En 2019, un algorithme largement utilisé pour prioriser les soins aux patients les plus malades s'est avéré désavantager les Noirs. En 2020, des chercheurs de l'Université de Toronto et du MIT ont montré que les algorithmes formés pour signaler des conditions telles que la pneumonie sur les radiographies pulmonaires fonctionnaient parfois différemment pour les personnes de sexes, d'âges, de races et de types d'assurance médicale différents.
Paul Yi, directeur de l'Intelligent Imaging Center de l'Université du Maryland, qui n'a pas participé à la nouvelle étude montrant que les algorithmes peuvent détecter la race, décrit certaines de ses découvertes comme « révélatrices », voire « folles ».
Les radiologues comme lui ne pensent généralement pas à la race lorsqu'ils interprètent les scans, ou même ne savent pas comment un patient s'identifie. "La race est une construction sociale et non en soi un phénotype biologique, même si elle peut être associée à des différences d'anatomie", explique Yi.
Frustrant, les auteurs de la nouvelle étude n'ont pas pu comprendre exactement comment leurs modèles pouvaient détecter avec autant de précision la race autodéclarée d'un patient. Ils disent que cela rendra probablement plus difficile la détection de biais dans de tels algorithmes.
Des expériences de suivi ont montré que les algorithmes ne faisaient pas de prédictions basées sur des parcelles d'anatomie particulières ou sur des caractéristiques visuelles qui pourraient être associées à la race en raison de facteurs sociaux et environnementaux tels que l'indice de masse corporelle ou la densité osseuse. L'âge, le sexe ou des diagnostics spécifiques associés à certains groupes démographiques ne semblaient pas non plus fonctionner comme des indices.
Le fait que des algorithmes entraînés sur des images d'un hôpital dans une partie des États-Unis puissent identifier avec précision la race dans les images d'institutions d'autres régions semble exclure la possibilité que le logiciel détecte des facteurs sans rapport avec le corps d'un patient, dit Yi, telles que les différences d'équipement ou de processus d'imagerie.
Quoi que les algorithmes voyaient, ils le voyaient clairement. Le logiciel pouvait toujours prédire la race du patient avec une grande précision lorsque les rayons X étaient dégradés de sorte qu'ils étaient illisibles même pour un œil averti, ou flous pour supprimer les détails fins.
Luke Oakden-Rayner, co-auteur de la nouvelle étude et directeur de la recherche en imagerie médicale au Royal Adelaide Hospital, en Australie, qualifie la capacité d'IA découverte par les collaborateurs de "la pire superpuissance". Il dit que malgré le mécanisme inconnu, il exige une réponse immédiate de la part des personnes développant ou vendant des systèmes d'IA pour analyser les analyses médicales.
Une base de données d'algorithmes d'IA gérée par l'American College of Radiology répertorie des dizaines d'algorithmes d'analyse de l'imagerie thoracique qui ont été approuvés par la Food and Drug Administration. Beaucoup ont été développés à l'aide d'ensembles de données standard utilisés dans la nouvelle étude qui a formé des algorithmes pour prédire la race. Bien que la FDA recommande aux entreprises de mesurer et de rapporter les performances de différents groupes démographiques, ces données sont rarement publiées.
Oakden-Rayner dit que ces vérifications et divulgations devraient devenir la norme. "Les modèles commerciaux peuvent presque certainement identifier la race des patients, les entreprises doivent donc s'assurer que leurs modèles n'utilisent pas ces informations pour produire des résultats inégaux", dit-il.
Yi est d'accord, affirmant que l'étude rappelle que si les algorithmes d'apprentissage automatique peuvent aider les experts humains à résoudre des problèmes pratiques en clinique, ils fonctionnent différemment des gens. "Les réseaux de neurones sont un peu comme des savants, ils sont singulièrement efficaces pour une tâche", dit-il. "Si vous entraînez un modèle à détecter la pneumonie, il trouvera un moyen ou un autre d'obtenir la bonne réponse, en tirant parti de tout ce qu'il peut trouver dans les données."