Incidents associés
Des documents internes d'IBM Watson Health (NYSE:IBM) indiquent que le produit Watson for Oncology de la société renvoie souvent "de multiples exemples de recommandations de traitement dangereuses et incorrectes", selon un nouveau rapport de STAT News.
Les documents proviennent de diapositives présentées l'année dernière par le directeur adjoint de la santé d'IBM Watson Health, selon le rapport, et incluent des commentaires de clients qui ont indiqué que le produit est "souvent inexact" et que ses recommandations mettent en lumière "de sérieuses questions sur le processus de le contenu du bâtiment et la technologie sous-jacente.
Les problèmes ont été imputés à la formation du produit Watson reçue par les ingénieurs et les médecins d'IBM au Memorial Sloan Kettering Cancer Center, qui comprenait des patients et des cas « synthétiques » ou hypothétiques, au lieu de données réelles sur les patients, rapporte STAT.
IBM n'a pas publiquement reconnu les problèmes, selon le rapport, et a communiqué à ses clients que toutes les données incluses dans Watson for Oncology sont basées sur de vrais patients et que le produit a été salué dans le monde entier pour ses recommandations.
Plus tôt cette année, le vice-président principal de la division des solutions cognitives d'IBM, John Kelly, a vanté que Watson "avait ingéré toutes les données du Memorial Sloan, les patients historiques et les résultats", lors d'un événement IBM, et a également déclaré que le produit Watson de la société "allait fabuleusement". Rapports STAT.
"Il est essentiel que toutes les personnes impliquées sachent quelles étaient les données sur lesquelles elles ont été formées", a déclaré Kelly, selon le rapport.
Mais les documents internes indiquent que les problèmes, qui étaient connus des dirigeants de l'entreprise, étaient graves et systémiques, rapporte STAT. Les problèmes comprenaient le produit faisant des recommandations en conflit avec les directives nationales de traitement, bien qu'aucun événement indésirable lié aux recommandations n'ait été signalé.
Les documents indiquaient également que les études internes du produit Watson for Oncology étaient conçues pour générer des résultats favorables, selon le rapport.
Selon le rapport, les commentaires des clients à partir des documents internes incluent des commentaires reflétant un grave mécontentement de la part des clients.
"Ce produit est un morceau de merde. Nous l'avons acheté pour le marketing et dans l'espoir que vous réaliseriez la vision. Nous ne pouvons pas l'utiliser dans la plupart des cas », a déclaré un médecin de l'hôpital Jupiter de Floride, cité dans les documents, selon STAT.
IBM a défendu son logiciel Watson for Oncology, en publiant une déclaration à STAT indiquant qu'il a "appris et amélioré Watson Health sur la base des commentaires continus des clients, de nouvelles preuves scientifiques et de nouveaux cancers et alternatives de traitement", et qu'il a publié 11 mises à jour logicielles pour améliorer la fonctionnalité au cours de l'année écoulée.
Mais des documents internes indiquent que la formation et l'efficacité du système Watson for Oncology étaient défectueuses en raison du petit nombre de cas et de l'inclusion de cas artificiels avec seulement un ou deux médecins fournissant des recommandations pour chaque type de cancer avec lequel il était conçu pour fonctionner, selon au rapport.
La présentation interne comprenait un exemple de cas dans lequel un homme de 65 ans atteint d'un cancer du poumon et présentant des signes d'hémorragie sévère s'était vu recommander une chimiothérapie et un médicament appelé bevacizumab, qui comprend un avertissement « boîte noire » indiquant qu'il ne devrait pas être administré aux patients. d'importantes hémorragies, selon le rapport.
"Oy vey. Chaque fois que vous avez un algorithme qui fait une recommandation dangereuse, c'est extrêmement inquiétant. Je veux dire, l'idée est que les algorithmes sont censés améliorer la sécurité et la qualité », a déclaré le directeur du Scripps Translational Science Institute, le Dr Eric Topol, à STAT après avoir été informé de l'exemple d'erreur.
Le rapport soulève également des questions quant à savoir si IBM Watson fait preuve de transparence quant à la source de sa formation et si ses études internes reflètent correctement ses capacités.
"Ce qui est un peu trompeur, c'est que tout le monde est amené à croire que c'est le consensus de l'ensemble du brain trust de Sloan Kettering. Mais en fait, c'est le consensus de… un petit sous-ensemble de l'ensemble du brain trust. Ils devraient être interpellés à ce sujet. Je parierais que c'est un risque calculé qu'ils ont pris. … Ils sont en quelque sorte en train de jouer avec les gens, mais c'est dans le cadre du spin marketing qui est de plus en plus autorisé de nos jours, permettez-moi de le dire ainsi. Mais tout le monde ne peut pas le repérer, donc ce n'est pas honnête », a déclaré Nigam Shah, professeur agrégé de médecine et de données biomédicales à Stanford, à STAT, selon le rapport.
Le mois dernier, des rapports ont révélé qu'IBM Watson Health aurait réduit la partie de son activité qui vend aux hôpitaux en raison d'un ralentissement du marché des offres de soins de santé basées sur la valeur.