Incidents associés
Un homme a consulté ChatGPT avant de modifier son régime alimentaire. Trois mois plus tard, après avoir suivi ce changement avec constance, il s'est retrouvé aux urgences avec de nouveaux symptômes psychiatriques inquiétants, notamment de la paranoïa et des hallucinations.
Il s'est avéré que cet homme de 60 ans souffrait de bromisme, un syndrome provoqué par une surexposition chronique au bromure, un composé chimique, ou à son proche cousin, le brome. Dans ce cas, l'homme consommait du bromure de sodium acheté en ligne.
Un rapport sur le cas de cet homme a été publié mardi 5 août dans la revue Annals of Internal Medicine Clinical Cases.
Live Science a contacté OpenAI, le développeur de ChatGPT, à propos de ce cas. Un porte-parole a renvoyé le journaliste aux conditions de service de l'entreprise, qui stipulent que ses services ne sont pas destinés au diagnostic ou au traitement d'un quelconque problème de santé, et à leurs conditions d'utilisation, qui stipulent : « Vous ne devez pas vous fier aux résultats de nos services comme seule source d'informations fiables ou factuelles, ni comme substitut à un avis professionnel. » Le porte-parole a ajouté que les équipes de sécurité d'OpenAI s'efforcent de réduire les risques liés à l'utilisation des services de l'entreprise et de former les utilisateurs à consulter un professionnel.
Aux XIXe et XXe siècles, le bromure était largement utilisé dans les médicaments sur ordonnance et en vente libre (OTC) (https://pmc.ncbi.nlm.nih.gov/articles/instance/3550397/pdf/13181_2009_Article_BF03161228.pdf), notamment dans les sédatifs, les anticonvulsivants et les somnifères. Cependant, au fil du temps, il est devenu évident qu'une exposition chronique (https://jamanetwork.com/journals/jama/fullarticle/307736), notamment par abus de ces médicaments, provoquait le bromisme.
Ce « toxidrome » – un syndrome déclenché par une accumulation de toxines – peut provoquer des symptômes neuropsychiatriques, notamment psychose, agitation, manie et délires, ainsi que des troubles de la mémoire, de la pensée et de la coordination musculaire. Le bromure peut déclencher ces symptômes car, en cas d'exposition prolongée, il s'accumule dans l'organisme et altère le fonctionnement des neurones.
Dans les années 1970 et 1980, les autorités réglementaires américaines ont retiré plusieurs formes de bromure des médicaments en vente libre, dont le bromure de sodium. Les taux de bromisme ont ensuite considérablement diminué, et cette affection reste relativement rare aujourd'hui. Cependant, des cas occasionnels surviennent encore, certains récents étant liés à des compléments alimentaires contenant du bromure achetés en ligne (https://www.sciencedirect.com/science/article/abs/pii/S0735675722005071).
Avant le cas récent de cet homme, il avait lu des articles sur les effets néfastes d'une consommation excessive de sel de table, également appelé chlorure de sodium, sur la santé. « Il a été surpris de ne trouver que des publications concernant la réduction du sodium dans l'alimentation », plutôt que sur la réduction du chlorure, indique le rapport. Inspiré par ses études de nutrition à l'université, il a décidé de mener une expérience personnelle pour éliminer le chlorure de son alimentation.
(Notez que le chlorure est important pour maintenir une volémie et une tension artérielle normales, et que des problèmes de santé peuvent survenir si le taux de chlorure dans le sang devient trop bas ou trop élevé.)
Le patient a consulté ChatGPT — ChatGPT 3.5 ou 4.0, selon la chronologie du cas. Les auteurs du rapport n'ont pas eu accès au journal de conversation du patient ; la formulation exacte générée par le modèle de langage large (MLL) est donc inconnue. Cependant, l'homme a indiqué que ChatGPT indiquait que le chlorure pouvait être remplacé par du bromure ; il a donc remplacé tout le chlorure de sodium de son alimentation par du bromure de sodium. Les auteurs ont noté que ce remplacement fonctionne probablement dans le contexte d'une utilisation du bromure de sodium pour le nettoyage, plutôt que pour un usage alimentaire.
Pour simuler ce qui aurait pu se passer avec leur patient, les médecins ont demandé à ChatGPT 3.5 par quel chlorure il pouvait être remplacé, et ils ont également reçu une réponse incluant du bromure. Le LLM a bien noté que « le contexte est important », mais n'a fourni aucun avertissement sanitaire spécifique ni cherché à expliquer plus en détail la raison de la question, « comme nous présumons qu'un professionnel de la santé le ferait », ont écrit les auteurs.
Convalescence du bromisme
Après trois mois de consommation de bromure de sodium au lieu de sel de table, l'homme s'est présenté aux urgences, craignant que son voisin ne l'empoisonne. Ses analyses sanguines ont alors révélé une accumulation de dioxyde de carbone dans son sang, ainsi qu'une augmentation de l'alcalinité (l'inverse de l'acidité).
Il semblait également présenter des taux élevés de chlorure dans le sang, mais des taux de sodium normaux. Après une enquête plus approfondie, il s'est avéré qu'il s'agissait d'une pseudohyperchlorémie, ce qui signifie que le test de laboratoire pour le chlorure a donné un résultat erroné, car d'autres composés sanguins, notamment de grandes quantités de bromure, avaient interféré avec la mesure. Après avoir consulté la littérature médicale et le centre antipoison, les médecins ont déterminé que le diagnostic le plus probable était le bromisme.
Après avoir été admis pour une surveillance électrolytique et une réhydratation, l'homme a déclaré avoir très soif, mais être paranoïaque à propos de l'eau qu'on lui proposait. Après une journée complète à l'hôpital, sa paranoïa s'est intensifiée et il a commencé à avoir des hallucinations. Il a ensuite tenté de s'échapper de l'hôpital, ce qui a entraîné un internement psychiatrique involontaire, au cours duquel il a commencé à recevoir un antipsychotique.
Les constantes vitales de l'homme se sont stabilisées après l'administration de liquides et d'électrolytes. Son état mental s'étant amélioré grâce à l'antipsychotique, il a pu informer les médecins de son utilisation du ChatGPT. Il a également noté d'autres symptômes observés récemment, tels qu'une acné au visage et de petites rougeurs cutanées, qui pourraient être une réaction d'hypersensibilité au bromure. Il a également constaté de l'insomnie, de la fatigue, des troubles de la coordination musculaire et une soif excessive, « suggérant également un bromisme », ont écrit ses médecins.
Le sevrage des antipsychotiques a été réduit progressivement sur une période de trois semaines, puis il est sorti de l'hôpital. Son état était stable lors d'une visite de contrôle deux semaines plus tard.
« Bien qu'il s'agisse d'un outil offrant un potentiel considérable pour établir un lien entre les scientifiques et le public non universitaire, l'IA comporte également le risque de diffuser des informations décontextualisées », concluent les auteurs du rapport. « Il est très peu probable qu'un expert médical ait mentionné le bromure de sodium face à un patient cherchant un substitut viable au chlorure de sodium. »
Ils ont souligné que « à mesure que l'utilisation des outils d'IA augmente, les prestataires devront en tenir compte lorsqu'ils analyseront les sources d'information médicale utilisées par leurs patients. »
Ajoutant aux préoccupations soulevées par le rapport de cas, un autre groupe de scientifiques a récemment testé six LLM, dont ChatGPT, en faisant interpréter par les modèles les notes cliniques rédigées par les médecins. Ils ont constaté que les LLM sont « très sensibles aux attaques d'hallucinations contradictoires », ce qui signifie qu'ils génèrent souvent « de fausses informations cliniques qui présentent des risques lorsqu'elles sont utilisées sans précautions ». L'application de correctifs techniques peut réduire le taux d'erreurs, mais ne les élimine pas, ont constaté les chercheurs. Cela met en évidence une autre façon dont les LLM peuvent introduire des risques dans la prise de décision médicale.