Incidents associés
UnitedHealthcare, le plus grand fournisseur d'assurance maladie aux États-Unis, utilise un algorithme d'IA appelé nH Predict dont les prévisions extrêmement inexactes sont utilisées pour refuser la couverture santé aux patients gravement malades en réduisant le temps qu'ils peuvent passer en soins prolongés, selon un nouveau procès. ](https://cdn.arstechnica.net/wp-content/uploads/2023/11/class-action-v-unitedhealth-and-navihealth-1.pdf).
La poursuite, déposée cette semaine devant le tribunal de district américain du Minnesota, a été intentée par la succession de deux personnes décédées qui se sont vu refuser une couverture par UnitedHealth. Les plaignants soutiennent que la compagnie d’assurance maladie aurait dû savoir à quel point son IA était inexacte et que le prestataire a violé son contrat en l’utilisant.
Leurs griefs sont corroborés par une enquête de Stat News sur les pratiques internes de UnitedHealth dans sa filiale NaviHealth, qui a découvert que l'entreprise obligeait les employés à adhérer sans hésitation aux projections douteuses de l'algorithme d'IA sur la durée pendant laquelle les patients pourraient rester en soins prolongés.
Au moins, il y avait une lueur d'espoir dans la salle du conseil d'administration : l'IA, à la recherche d'un sou, aurait permis à l'entreprise d'économiser des centaines de millions de dollars qu'elle aurait été obligée de dépenser pour les soins des patients autrement, selon Stat.
Bien que les allégations de santé fassent rarement l'objet d'un appel, lorsqu'elles le sont, environ 90 pour cent d'entre elles sont annulées, selon le procès. Cela suggère que l’IA est extrêmement inexacte et qu’en lui accordant une confiance indue, UnitedHealth escroque d’innombrables patients vulnérables et les prive de leurs soins de santé.
"Si UnitedHealth utilise les algorithmes de NaviHealth comme évangile... ce n'est pas une prise de décision clinique", a déclaré Spencer Perlman, analyste des marchés de la santé, à Stat. "Il s'agit de regrouper des données et d'utiliser un algorithme pour prendre une décision qui n'a rien à voir avec l'individu lui-même."
UnitedHealth a riposté dans une déclaration à Stat.
"Les affirmations selon lesquelles NaviHealth utilise ou incite les employés à utiliser un outil pour refuser des soins sont fausses", peut-on lire. "Les décisions défavorables en matière de couverture sont prises par les directeurs médicaux et basées sur des critères de couverture Medicare, et non sur un outil ou un objectif de performance lié à une seule mesure de qualité."
Les documents et les témoignages des employés semblent cependant corroborer la prise de décision douteuse de l'IA de UnitedHealth.
Dans un cas, le système nH Predict n'a alloué que 20 jours de rééducation à une femme âgée qui a été retrouvée paralysée après avoir subi un accident vasculaire cérébral, soit seulement la moitié de la moyenne pour les patients victimes d'un AVC altérés, selon Stat. Un homme âgé, légalement aveugle, souffrant d’insuffisance cardiaque et rénale, n’a eu que 16 jours, terriblement insuffisants, pour se rétablir.
Qu’est-ce qui pourrait rendre NH Predict si faux ? L'entreprise fonde ses projections sur la durée des séjours de quelque six millions de patients antérieurs répertoriés dans la base de données de l'entreprise. À première vue, cela peut sembler judicieux, mais cela signifie que l’IA hérite des erreurs et des réductions de coûts de ces décisions précédentes – et surtout, ne tient pas compte des facteurs exigeants, à la fois cliniques et pratiques.
"La durée du séjour n'est pas une variable biologique", a déclaré à Stat Ziad Obermeyer, médecin à l'Université de Californie à Berkeley et chercheur en biais algorithmiques.
"Les gens sont forcés de quitter la [maison de retraite] parce qu'ils ne peuvent pas payer ou parce que leur assurance est nulle", a-t-il ajouté. "Et donc l'algorithme apprend essentiellement toutes les inégalités de notre système actuel."
Pourtant, UnitedHealth ne ferait que rendre ses normes plus extrêmes. En 2022, les gestionnaires de cas ont été chargés de maintenir les séjours dans les maisons de retraite à moins de trois pour cent de la projection de l'IA.
L’année suivante, cependant, ce montant a été réduit à moins de 1 %, ne laissant pratiquement aucune marge de manœuvre aux employés. Si les gestionnaires de cas ne parvenaient pas à atteindre cet objectif, ils étaient sanctionnés ou licenciés, selon Stat.
"À la fin de mon mandat chez NaviHealth, j'ai réalisé que je ne suis pas un défenseur, je suis juste une source d'argent pour cette entreprise", a déclaré à Stat Amber Lynch, une ancienne gestionnaire de cas de NaviHealth qui a été licenciée plus tôt cette année. "Tout est question d'argent et de données", a-t-elle ajouté. "Cela enlève la dignité au patient, et je détestais ça."
Tout compte fait, cela ressemble à un sombre exemple de la façon dont l’apparente objectivité de l’IA peut être utilisée pour dissimuler des pratiques louches et exploiter les personnes les plus vulnérables.