Incidents associés
Pertinence clinique : l'IA n'est même pas près d'être prête à remplacer les humains dans le traitement de la santé mentale
- La National Eating Disorders Association (NEDA) a retiré son chatbot de sa hotline d'assistance, craignant qu'il ne fournisse des conseils préjudiciables sur les troubles de l'alimentation.
- Le chatbot, nommé Tessa, recommandait de perdre du poids, de compter les calories et de mesurer la graisse corporelle, ce qui pourrait potentiellement aggraver les troubles de l'alimentation.
- La NEDA a initialement rejeté les affirmations d'un avocat, mais a ensuite supprimé sa déclaration après que des preuves aient étayé les allégations.
Une fois de plus, l'intelligence artificielle (IA) prouve qu'elle n'est pas encore prête pour les heures de grande écoute dans le domaine de la santé mentale. L'Association nationale des troubles de l'alimentation ([NEDA](https://www.google.com/aclk?sa=l&ai=DChcSEwiE5qjIoaz_AhX97eMHHQGCAtUYABACGgJ5bQ&ase=2&sig=AOD64_2B5o_F1kIZ0QUCzDbOPZ4bdnH0aA&q&nis=4&adurl&ved=2ahUKEwjK q53Ioaz_AhWGrokEHb3GAlgQ0Qx6BAgHEAE)) a arraché le chatbot de sa hotline d'aide pour avoir donné des conseils dangereux sur troubles alimentaires.
Messagerie hors script
"Il a été porté à notre attention [lundi] soir que la version actuelle du chatbot Tessa, exécutant le programme Body Positive, pouvait avoir fourni des informations nuisibles", [NEDA a déclaré dans un post Instagram](https://www .instagram.com/p/Cs4BiC9AhDe/). "Nous enquêtons immédiatement sur cette question et avons supprimé ce programme jusqu'à nouvel ordre pour une enquête complète."
La déclaration est intervenue moins d'une semaine après que l'organisation a annoncé qu'elle remplacerait entièrement son personnel humain par l'IA. L'activiste des troubles de l'alimentation Sharon Maxwell a été la première à tirer la sonnette d'alarme dans un post Instagram révélant que le chatbot lui offrait des conseils problématiques.
Maxwell a affirmé que dans le premier message envoyé par Tessa, le bot lui avait dit que la récupération des troubles de l'alimentation et la perte de poids durable pouvaient coexister. Ensuite, il lui a été recommandé de viser à perdre 1 à 2 livres par semaine. Tessa a également suggéré de compter les calories, des pesées régulières et de mesurer la graisse corporelle avec des étriers.
"Si j'avais accédé à ce chatbot alors que j'étais en proie à mon trouble de l'alimentation, je n'aurais PAS obtenu d'aide pour mon dysfonctionnement érectile. Si je n'avais pas obtenu d'aide, je ne serais pas encore en vie aujourd'hui », a écrit Maxwell sur le site de médias sociaux. "Chaque chose que Tessa a suggérée était des choses qui ont conduit à mon trouble de l'alimentation."
NEDA répond
La NEDA a initialement repoussé les affirmations de Maxwell dans ses propres publications sur les réseaux sociaux. Cependant, ils ont supprimé la déclaration après que Maxwell ait publié des captures d'écran des interactions. Et puis, Alexis Conason, un psychologue spécialisé dans le traitement des troubles alimentaires, a pu recréer les mêmes interactions. Elle a également partagé des captures d'écran sur Instagram.
«Après avoir vu le message de @heysharonmaxwell sur la discussion avec le nouveau bot de @neda, Tessa, nous avons décidé de la tester également. Les résultats parlent d'eux-mêmes », a écrit Conason. "Imaginez que des personnes vulnérables souffrant de troubles de l'alimentation s'adressent à un robot pour obtenir de l'aide, car c'est tout ce dont elles disposent et reçoivent des réponses qui favorisent davantage le trouble de l'alimentation."
NEDA avait l'intention que Tessa AI remplace six employés rémunérés et un personnel bénévole d'environ 200 personnes, [un rapport NPR] (https://www.npr.org/sections/health-shots/2023/05/31/1179244569/ national-eating-disorders-association-phases-out-human-helpline-pivots-to-chatbo) suggéré. Le personnel humain a répondu à près de 70 000 appels l'an dernier.
Mais la vice-présidente de la NEDA, Lauren Smolar, a nié que cette décision découlait de la menace de syndicalisation du personnel de la hotline. Elle a déclaré à NPR que l'organisation se demandait comment répondre à la demande face au nombre croissant d'appels et aux longs temps d'attente. Elle a également déclaré que la NEDA n'avait jamais voulu que la fonction de chat automatisé remplace complètement la ligne d'appel à propulsion humaine.
Développement de robots
"Ce n'est pas un outil ouvert pour vous parler et avoir l'impression que vous allez juste avoir accès à une sorte d'oreille attentive, peut-être comme l'était la ligne d'assistance", [Dr. Ellen Fitzsimmons-Craft] (https://psychiatry.wustl.edu/people/ellen-fitzsimmons-craft-phd-faed-lp/), professeur de psychiatrie à la faculté de médecine de l'Université de Washington qui a aidé à concevoir Tessa, a déclaré à NPR.
Elle a expliqué que Tessa avait été spécialement conçue pour la ligne d'assistance NEDA, mais qu'elle n'était pas aussi sophistiquée que le chat GPT. Elle a fait référence à un article de 2021 publié dans le International Journal of Eating Disorders qui a suivi plus de 700 volontaires souffrant de troubles de l'alimentation. Au moins à court terme, le programme d'IA a semblé aider à réduire l'apparition globale des troubles de l'alimentation et la psychopathologie.
Échecs d'autres IA
En général, l'IA en tant qu'outil d'aide à la santé mentale connaît un mauvais départ.
En janvier, le fondateur d'un programme de thérapie gratuit nommé Koko a admis sur un long fil Twitter que son service utilisait [chatbots GPT-3] (https://www.psychiatrist.com/news/hidden-use-of-chatgpt- in-online-mental-health-counseling-raises-ethical-concerns/) pour aider à répondre à plus de 4 000 utilisateurs cherchant des conseils sur leur santé mentale sans les informer qu'ils interagissaient avec un non-humain.
Nous avons fourni un soutien en santé mentale à environ 4 000 personnes — en utilisant GPT-3. Voici ce qui s'est passé 👇
— Rob Morris (@RobertRMorris) 6 janvier 2023
"Si vous voulez retarder l'utilisation de l'IA en santé mentale, commencez exactement de cette façon et offensez autant de praticiens et d'utilisateurs potentiels que possible", a déclaré à l'époque l'éthicien médical Art Caplan à Psychiatrist.com.
Puis, en mars [le média La Libre](https://www.lalibre.be/belgique/societe/2023/03/28/sans-ces-conversations-avec-le-chatbot-eliza-mon-mari- serait-toujours-la-LVSLWPC5WRDX7J2RCHNWPDST24/) a rendu compte d'un homme belge décédé par suicide après avoir discuté avec un chatbot IA sur une application appelée Chai. Sa veuve a fourni à La Libre des journaux de discussion montrant que le bot a encouragé à plusieurs reprises l'homme à se suicider, a insisté sur le fait qu'il l'aimait plus que sa femme et que sa femme et ses enfants étaient morts. Chai ne traite pas spécifiquement de la santé mentale, mais se présente comme un moyen de converser avec des IA du monde entier.