Incidents associés
Les documents internes d'IBM montrent que son supercalculateur Watson crache souvent des conseils erronés sur le traitement du cancer et que les médecins spécialistes et les clients de l'entreprise ont identifié "de multiples exemples de recommandations de traitement dangereuses et incorrectes" alors qu'IBM faisait la promotion du produit auprès des hôpitaux et des médecins du monde entier.
Les documents – des diapositives présentées l'été dernier par le directeur adjoint de la santé d'IBM Watson Health – attribuent en grande partie les problèmes à la formation de Watson par les ingénieurs et les médecins d'IBM au célèbre Memorial Sloan Kettering Cancer Center. Le logiciel a été foré avec un petit nombre de cas de cancer « synthétiques », ou de patients hypothétiques, plutôt qu'avec des données réelles de patients. Les recommandations étaient basées sur l'expertise de quelques spécialistes pour chaque type de cancer, selon les documents, au lieu de "lignes directrices ou de preuves".
STAT a vu des parties des deux présentations, de juin et juillet 2017. À l'époque, elles étaient largement partagées avec la direction de la division Watson Health d'IBM. Les documents contiennent des évaluations cinglantes du produit Watson for Oncology par les clients et concluent que les recommandations "souvent inexactes" soulèvent "de sérieuses questions sur le processus de création de contenu et la technologie sous-jacente".
IBM n'a pas reconnu publiquement les lacunes du logiciel, qui utilise des algorithmes d'intelligence artificielle pour recommander des traitements à des patients individuels. Au contraire, les principaux dirigeants de l'entreprise ont déclaré à leurs clients et à d'autres personnes que les conseils de Watson for Oncology aux médecins étaient basés sur des données provenant de vrais patients et qu'ils avaient reçu des éloges presque universels de la part des médecins du monde entier.
« Les médecins aiment ça. Les médecins m'ont dit que si je l'enlevais maintenant, j'aurais une révolte », a déclaré Deborah DiSanzo, directrice générale d'IBM Watson Health, à STAT dans une interview en juin 2017.
Il y a à peine deux mois, John Kelly, vice-président senior de la division des solutions cognitives d'IBM, qui comprend Watson, a déclaré lors d'un événement IBM que Watson "avait ingéré toutes les données du Memorial Sloan, les patients historiques et les résultats". Et lors d'un autre événement en avril, il a déclaré que Watson pour l'oncologie "allait fabuleusement".
"Il est essentiel que toutes les personnes impliquées sachent sur quelles données elles ont été formées", a ajouté Kelly, faisant écho aux commentaires de septembre 2017 du PDG d'IBM, Ginni Rometty, qui a déclaré: "Vous devez être transparent à ce sujet car cela compte dans ces décisions."
STAT a publié pour la première fois une enquête sur des problèmes avec Watson for Oncology en septembre dernier, signalant qu'il ne répondait pas aux attentes de l'entreprise et qu'il générait des plaintes de médecins du monde entier selon lesquelles ses recommandations n'étaient souvent pas appropriées pour les patients de leur pays. . En conséquence, IBM a entaché sa réputation sur le marché mondial en plein essor des outils utilisant l'intelligence artificielle pour améliorer les soins contre le cancer, un secteur qui est une priorité absolue pour IBM et qui vaut potentiellement des milliards de dollars.
Mais ces nouveaux documents révèlent que les problèmes étaient plus graves et systémiques et que les dirigeants d'IBM savaient que le produit générait des recommandations inexactes qui étaient en contradiction avec les directives nationales de traitement - bien qu'il n'y ait aucune mention que les patients aient été réellement lésés. Les documents indiquent également que les études menées par IBM sur le logiciel, dont les conclusions ont été présentées comme la preuve de l'utilité du système, ont été conçues pour générer des résultats favorables.
Les documents ont été présentés par le Dr Andrew Norden, oncologue et chef adjoint de la santé, avant de quitter IBM Watson Health en août dernier. Ils montrent que, alors que les dirigeants d'IBM parlaient publiquement du produit, ils entendaient des commentaires sévères de la part des clients. Même les médecins des hôpitaux qui aidaient à promouvoir le produit disaient en privé aux dirigeants d'IBM qu'il n'était pas utile pour traiter les patients.
"Ce produit est un morceau de s—", a déclaré un médecin de l'hôpital Jupiter en Floride aux dirigeants d'IBM, selon les documents. "Nous l'avons acheté pour le marketing et dans l'espoir que vous réaliseriez la vision. Nous ne pouvons pas l'utiliser dans la plupart des cas.
IBM a défendu son logiciel Watson for Oncology, déclarant dans une déclaration à STAT : « Nous avons appris et amélioré Watson Health sur la base des commentaires continus des clients, de nouvelles preuves scientifiques et de nouveaux cancers et alternatives de traitement. Cela comprend 11 versions de logiciels pour une fonctionnalité encore meilleure au cours de l'année écoulée, y compris des directives nationales pour les cancers allant du cancer du côlon au cancer du foie.
Il a déclaré que Watson for Oncology est formé pour aider à traiter 13 cancers et est utilisé par 230 hôpitaux dans le monde.
Caitlin Hool, porte-parole de Memorial Sloan Kettering, a déclaré dans un communiqué que les documents internes critiques de la formation et des performances du système reflètent « la nature robuste du processus » de construction et de déploiement du produit dans les soins cliniques. Hool a déclaré que le centre de cancérologie travaille en permanence avec IBM pour améliorer la précision et l'étendue des recommandations du système.
"La sécurité des patients est primordiale", a déclaré Hool. "Bien que Watson for Oncology propose des options de traitement sûres, les décisions de traitement nécessitent en fin de compte l'implication et le jugement clinique du médecin traitant. ... Aucune technologie ne peut remplacer un médecin et sa connaissance de son patient. À ce stade, l'outil n'est pas non plus équivalent aux soins contre le cancer dispensés à MSK. »
Norden a refusé de commenter, en envoyant un e-mail à STAT : "Comme vous le savez, je ne suis plus employé par IBM Watson Health, et en tant que tel, je ne suis pas en mesure de discuter d'IBM ou de ses activités."
IBM a conclu un accord avec Memorial Sloan Kettering pour former Watson pour aider à traiter les patients atteints de cancer en 2012, et a commencé à vendre le produit en Asie quelques années plus tard, même s'il n'avait été formé que sur une poignée de cancers.
Les présentations de Norden font état d'un éventail de prétendus défauts dans les méthodes de formation, y compris le petit nombre de cas utilisés, qui, selon lui, a été "déterminé sans apport statistique", et les différences entre les traitements de MSK et les directives standard. Ils notent également que Watson for Oncology a mis du temps à s'adapter aux nouvelles découvertes de la recherche et à l'évolution des directives de traitement.
Le document du 27 juillet indiquait que la formation et l'efficacité du produit étaient compromises par "l'insuffisance des cas de formation". Il a déclaré qu'un ou deux médecins avaient formé le système pour donner des recommandations de traitement pour chaque type de cancer, et que les cas étaient "synthétiques", ce qui signifie qu'ils avaient été conçus par des médecins musculosquelettiques et n'étaient pas de vrais patients.
Les cas synthétiques ont été compilés par les médecins et les ingénieurs d'IBM pour exposer Watson for Oncology à des scénarios cliniques, par opposition aux dossiers réels des patients traités à l'hôpital. Cela signifiait que les recommandations de Watson étaient motivées par les préférences de traitement des médecins - et non par une analyse d'apprentissage automatique de cas réels de patients.
Les méthodes de formation et les conseils de Watson ont suscité de vives plaintes de la part des médecins, selon la présentation, contribuant au mécontentement des clients et à l'inquiétude des médecins. Il a également déclaré que les recommandations de Memorial Sloan Kettering s'écartaient des directives publiées par le National Comprehensive Cancer Network, une source fréquemment référencée de recommandations de traitement, et reflétaient dans certains cas une "interprétation non conventionnelle des preuves".
La présentation citait comme exemple la recommandation de Watson qu'un homme de 65 ans atteint d'un cancer du poumon nouvellement diagnostiqué et présentant des signes de saignements graves reçoive une chimiothérapie combinée et un médicament appelé bevacizumab. Un avertissement «boîte noire» pour le médicament, vendu sous le nom de marque Avastin, avertit qu'il peut entraîner «une hémorragie grave ou mortelle» et ne doit pas être administré aux patients souffrant de saignements graves.
"Oy vey", a déclaré le Dr Eric Topol, directeur du Scripps Translational Science Institute, à STAT après avoir entendu parler de l'erreur. "Chaque fois que vous avez un algorithme qui fait une recommandation dangereuse, c'est extrêmement inquiétant. Je veux dire, l'idée est que les algorithmes sont censés améliorer la sécurité et la qualité.
Dans sa déclaration, Memorial Sloan Kettering a déclaré qu'il pensait que la recommandation sur le cancer du poumon citée dans la présentation faisait partie des tests du système d'IBM et n'avait pas été donnée à un vrai patient. "Il s'agit d'une distinction importante qui souligne l'importance des tests et le fait que l'outil est destiné à compléter - et non à remplacer - le jugement clinique du médecin traitant", indique le communiqué.
Le centre de cancérologie a également déclaré qu'en 2014, alors que Watson for Oncology était encore en développement, les cas de patients historiques étaient initialement utilisés pour former le système. Mais IBM a déterminé que les cas synthétiques - conçus pour être représentatifs de cohortes de patients MSK réels - étaient mieux adaptés au développement de Watson for Oncology.
« La vitesse à laquelle les normes de soins ont changé nécessite une approche plus dynamique que les données historiques ne peuvent fournir, car les cas historiques ne reflètent pas nécessairement les normes de soins les plus récentes », indique le communiqué de MSK. "Les cas synthétiques permettent également d'inclure diverses options de traitement dans les recommandations de Watson for Oncology, plutôt que de se concentrer plus étroitement sur la manière dont les patients individuels ont été traités à MSK."
Mais les informations sur les produits publiées sur le site Web d'IBM et datées du 15 février 2017 impliquent que Watson continue d'être formé avec de vraies données de patients. Il indique que Watson for Oncology "analyse les données des patients par rapport à des milliers de cas historiques et des informations tirées de milliers d'heures d'analystes et de MD de Memorial Sloan Kettering".
La présentation de juillet 2017 montre le nombre de cas utilisés pour former Watson à cette date pour huit cancers différents; ils vont de 635 cas pour le cancer du poumon à 106 pour l'ovaire.
Des experts en intelligence artificielle ont déclaré à STAT que la représentation d'IBM de la formation, et le nombre de médecins et de patients impliqués, soulèvent des questions quant à savoir si elle est transparente avec les utilisateurs sur la source et la valeur des recommandations de Watson.
"Ce qui est un peu trompeur, c'est que tout le monde est amené à croire que c'est le consensus de l'ensemble du cerveau de Sloan Kettering", a déclaré Nigam Shah, professeur agrégé de médecine et de science des données biomédicales à Stanford. "Mais en fait, c'est le consensus de … un petit sous-ensemble de l'ensemble du brain trust."
"Ils devraient être appelés à ce sujet", a ajouté Shah. "Je parierais que c'est un risque calculé qu'ils ont pris. ... Ils jouent un peu avec les gens, mais c'est dans le cadre du spin marketing qui est de plus en plus autorisé de nos jours, permettez-moi de le dire ainsi. Mais tout le monde ne peut pas le repérer, donc ce n'est pas honnête.
Certains experts ont déclaré qu'il était possible que des données hypothétiques sur les patients fassent un bon travail de formation du système - si elles étaient représentatives de données réelles sur les patients.
"Je voudrais certainement voir une validation pour savoir si les données synthétiques sont représentatives de tout ce qui aurait du sens", a déclaré le Dr Jonathan Chen, professeur adjoint au Center for Biomedical Informatic Research de Stanford.
Jana Eggers, PDG de Nara Logics, une société d'intelligence artificielle, a déclaré que l'utilisation par Watson de données synthétiques montrait clairement que ce logiciel n'utilisait pas les « mégadonnées » qui existent dans les soins de santé - des trésors d'informations sur des individus qui sont trop complexes ou difficile à naviguer pour les humains.
"Ils inventent des personnages de patients atteints de cancer, en gros", a déclaré Eggers. « Pourquoi faites-vous cela alors que vous avez les vraies personnes ? »
Les documents internes soulèvent également des questions sur la validité des études menées par IBM que la société a utilisées pour démontrer la valeur de Watson for Oncology aux médecins du monde entier.
Au cours des dernières années, IBM et ses partenaires cliniques ont publié plusieurs études démontrant que Watson atteindrait un haut niveau de «concordance» avec les recommandations de traitement des oncologues. C'est théoriquement précieux car cela montre que Watson pourrait générer des recommandations en quelques secondes que les médecins passeraient autrement de nombreuses heures ou jours à développer.
Mais l'une des présentations indique que les études de concordance avaient été "conçues de manière à rendre peu probables des résultats négatifs". Il a noté que les utilisateurs sophistiqués du système exigeraient des «preuves prospectives solides» de la conformité aux directives, des économies de coûts et de l'amélioration des paramètres de qualité.
"Il est peu probable que le système tel qu'il est actuellement conçu ait un impact sur ce qui précède", a déclaré la présentation de Norden le 26 juin 2017.
Il a toutefois mis en garde contre les risques de mener une telle étude à un moment où IBM vendait déjà le système dans le monde entier : « À mon avis, mener une étude rigoureuse maintenant est une entreprise à très haut risque qui pourrait être au mieux embarrassante. et avoir de graves conséquences commerciales négatives au pire.
En effet, une entreprise travaillant avec IBM pour mettre en œuvre Watson pour l'oncologie dans des hôpitaux aux Pays-Bas a déclaré à STAT en juin qu'elle n'était pas intéressée par la "concordance" ou si Watson recommandait un traitement identique aux directives de traitement.
"Ce qui nous intéresse, c'est de savoir si le système va nous défier dans notre réflexion", a déclaré Vincent The, responsable de la stratégie, de la recherche et du développement pour MRDM, la société néerlandaise.
Il a déclaré que MRDM travaille avec IBM pour améliorer Watson for Oncology. "Il semble mûrir un peu", a déclaré The. "Cependant, dans l'état actuel, ce n'est pas au niveau dont nous avons besoin."
De nombreux utilisateurs de Watson for Oncology, ainsi que les propres employés d'IBM, ont exprimé des inquiétudes quant aux performances du système l'année dernière. La présentation de Norden a déclaré qu'un certain nombre d'employés, y compris des développeurs et des oncologues, lui avaient "confié" que le produit était "très limité".
La présentation de Norden a proposé quelques solutions pour améliorer le système : le nombre de cas de patients pourrait être augmenté pour refléter les « modèles de pratique MSK », avec des nombres minimaux à définir en fonction de la contribution des statisticiens. Ou, a-t-il dit, des directives de traitement standard pourraient être utilisées comme base des recommandations de Watson, personnalisées pour différents endroits, et Memorial Sloan Kettering pourrait identifier ses propres approches institutionnelles au sein du système.
Il n'est pas clair si l'une de ces suggestions a été mise en œuvre.
Norden a quitté IBM en août 2017 pour occuper un emploi chez Cota Inc., une autre société cherchant à analyser les données sur le cancer qui avait déjà conclu un partenariat avec IBM.
Depuis juin 2017, les deux sociétés travaillent sur un produit commun qui combinerait la technologie de Cota avec Watson. Cota peut comparer des patients atteints de cancer à une base de données privée sur la façon dont d'autres patients ont été traités pour aider un médecin à déterminer la meilleure méthode de traitement.
La présentation de Norden a suggéré que le travail avec Cota, une société fondée par un médecin de Hackensack Meridian Health dans le New Jersey, pourrait aider à exposer Watson for Oncology aux preuves du monde réel nécessaires pour améliorer ses recommandations.
Les médecins de Hackensack Meridian ont entre-temps terminé un projet pilote testant le produit commun.
"Cela s'est bien passé", a déclaré Norden à propos du projet dans une interview du 10 juillet avec STAT, expliquant qu'il était destiné à créer un outil que les médecins pourraient utiliser au point de service pour mettre en évidence les types de traitements qui avaient le mieux fonctionné pour des types spécifiques de les patients.
"Nous prenons le pilote et le développons", a déclaré Norden, refusant d'élaborer.
Memorial Sloan Kettering avait également remarqué la promesse du produit de Cota : en novembre 2017, il a conclu un accord pour que Cota aide à analyser les dossiers historiques des patients du centre médical. Dans le cadre de l'accord, MSK a reçu une participation dans Cota.
Dans une réponse par e-mail aux questions de STAT sur la raison du partenariat, Hool, la porte-parole de MSK, a écrit : « Il y a des informations importantes à tirer des informations contenues dans les dossiers médicaux des patients, mais ces informations sont souvent inaccessibles en raison d'informations non structurées et décousues. données contenues dans le dossier médical. Cota dispose d'une plate-forme et d'une approche innovantes pour prendre les dossiers des patients et les transformer en ensembles de données qui peuvent être analysés pour obtenir des informations sur le diagnostic, les parcours de soins et les résultats.