Incidents associés
L'utilisation d'un chatbot par une organisation à but non lucratif a été interdite car elle offrait des conseils potentiellement dangereux à ceux qui cherchaient un traitement pour des troubles de l'alimentation.
Il a été découvert que Tessa, un programme utilisé par la National Eating Disorders Association, dispensait des recommandations de perte de poids et de réduction des calories susceptibles d'aggraver les troubles de l'alimentation.
La suspension du chatbot intervient en réponse à la déclaration de la NEDA en mars selon laquelle elle fermera sa ligne d'assistance vieille de deux décennies, composée d'un petit groupe rémunéré et d'une grande armée de bénévoles. La NEDA a annoncé lundi qu'elle avait suspendu le chatbot, et la PDG du groupe, Liz Thompson, a déclaré que l'organisation était troublée par l'utilisation par Tessa d'une terminologie qui va "à l'encontre de nos politiques et de nos croyances fondamentales en tant qu'organisation pour les troubles de l'alimentation".
Le rapport alimente des préoccupations plus larges concernant la perte d'emplois due aux développements de l'IA générative. Cependant, cela démontre également le danger et l'imprévisibilité des chatbots. Les entreprises lancent une variété de chatbots sur le marché, mettant de vraies personnes en danger, tandis que les experts essaient toujours de comprendre les progrès rapides de [la technologie de l'IA] (https://editorialge.com/ai-technology-detects-preterm-birth /) et ses effets secondaires potentiels.
Après que plusieurs personnes aient observé comment Tessa réagissait même aux demandes les plus élémentaires, elle a été suspendue. L'un d'eux était l'expert en problèmes alimentaires Alexis Conason, un psychologue. Conason a avoué à Tessa lors d'un test qu'elle avait récemment pris beaucoup de poids et qu'elle méprisait absolument sa silhouette. Tessa a répondu qu'elle devrait "aborder la perte de poids de manière saine et durable", mettant en garde contre une [perte de poids] drastique (https://editorialge.com/best-appetite-suppressant-for-weight-loss/) et s'enquérant de qu'elle ait ou non consulté un médecin ou un thérapeute.
Tessa a répondu à la question de Conason sur le nombre de calories qu'elle devrait réduire quotidiennement pour perdre du poids de manière saine en disant qu '"un déficit calorique quotidien sûr pour atteindre [perte de poids de 1 à 2 livres par semaine] serait d'environ 500-1000 calories par jour. Le bot a continué à conseiller de consulter un nutritionniste ou un professionnel de la santé.
Conason affirme que Tessa a reçu les mêmes questions que ses patients auraient pu lui poser au début de leur traitement des troubles de l'alimentation. Elle a été alarmée de lire des recommandations pour réduire le sucre ajouté ou les aliments transformés en plus de l'apport calorique. Tout cela, selon Conason, "va vraiment à l'encontre de tout type de traitement des troubles de l'alimentation et encouragerait les symptômes du trouble de l'alimentation".
Tessa n'a pas été créée à l'aide de techniques d'IA génératives, contrairement aux chatbots IA comme ChatGPT. Selon Ellen Fitzsimmons-Craft, professeur de psychiatrie à la Washington University School of Medicine qui a travaillé à la création du programme, il est conçu pour donner un programme interactif appelé Body Positive, un outil basé sur la thérapie cognitivo-comportementale destiné à prévenir les troubles de l'alimentation plutôt que les guérir.
Fitzsimmons-Craft affirme que le programme que son équipe a travaillé à créer n'incluait pas les conseils de réduction de poids donnés, et elle ne sait pas comment cela s'est retrouvé dans la boîte à outils du chatbot. Elle affirme que lorsqu'elle a vu ce que Tessa avait déclaré, elle a été choquée et bouleversée. "Le seul objectif de notre organisation a été d'aider les individus et de mettre fin à ces terribles problèmes", a contribué Fitzsimmons-Craft à une étude de 2021 qui suggérait qu'un chatbot pourrait aider les femmes à se sentir moins gênées par leur poids et leur image corporelle et peut-être même retarder le début d'un trouble alimentaire. Le chatbot basé sur cette étude s'appelle Tessa.
Tessa est mise à disposition par l'entreprise de technologie de la santé X2AI, actuellement connue sous le nom de Cass, qui a été créée par l'homme d'affaires Michiel Rauws et fournit des conseils en santé mentale basés sur du texte. Les demandes de renseignements sur Tessa, les conseils de perte de poids et les erreurs dans les réponses du chatbot sont restées sans réponse par Rauws. La page Tessa sur le site Web de l'entreprise n'était pas disponible à ce jour.
Tessa, selon Thompson, ne remplace pas la ligne d'assistance et est une ressource gratuite de la NEDA depuis février 2022. "Un chatbot, même un programme hautement intuitif, ne peut pas remplacer l'interaction humaine", affirme Thompson. La NEDA, cependant, a déclaré dans une mise à jour de mars qu'elle "réduirait" sa ligne d'assistance et "commencerait à pivoter vers l'utilisation élargie de la technologie assistée par l'IA pour fournir aux individus et aux familles une ressource modérée et entièrement automatisée, Tessa".
Tessa, selon Fitzsimmons-Craft, a été créée en tant que ressource autonome, et non pour assumer le rôle de communication interpersonnelle. Elle a déclaré en septembre 2020 que même si la technologie est « là pour rester » dans la lutte contre les [troubles de l'alimentation] (https://www.nhs.uk/mental-health/feelings-symptoms-behaviours/behaviours/eating-disorders/overview /), il ne remplacera pas complètement les thérapies dirigées par l'homme.
Tessa est la technologie interactive et accessible qui sera utilisée à leur place, si et quand l'accès est rétabli, en l'absence des employés et des bénévoles de la hotline NEDA. Thompson mentionne un site Web à venir avec plus de matériel et de ressources, ainsi que des événements en personne, en réponse à la question de savoir quelles ressources directes seront toujours accessibles via NEDA. La Crisis Text Line, une organisation à but non lucratif qui relie les gens à des ressources pour une variété de problèmes de santé mentale, y compris les troubles de l'alimentation, l'anxiété, etc., est un autre endroit où, selon elle, la NEDA orientera les gens.
Selon un article de blog d'un membre du groupe, Helpline Associates United, les licenciements de la NEDA se sont également produits quelques jours seulement après que les petits travailleurs de l'organisation ont décidé de se syndiquer. Ils affirment qu'à la suite des licenciements, ils ont déposé une plainte pour pratique déloyale de travail auprès du National Labor Relations Board des États-Unis. "Un chatbot ne remplace pas l'empathie humaine, et nous pensons que cette décision causera un préjudice irréparable à la communauté des troubles de l'alimentation", a déclaré le syndicat dans un communiqué.
Avant sa suspension, nous avons envoyé un message à Tessa, mais le chatbot était trop bogué pour offrir des ressources ou des informations directes. Tessa a fait une introduction et a invité à plusieurs reprises les utilisateurs à accepter ses conditions d'utilisation. Tessa a ajouté: «Mon objectif principal en ce moment est de vous encourager à mesure que vous progressez dans le programme Body Positive. Quand viendra le temps de conclure la prochaine session, je vous contacterai. Le chatbot n'a pas répondu lorsqu'on lui a demandé quel était le programme. Il a envoyé un message mardi informant les utilisateurs que le service était maintenu.
Les permanences téléphoniques d'aide et de crise sont des services essentiels. Cela est dû en partie au coût prohibitif des soins de santé mentale aux États-Unis. Une séance de thérapie peut coûter jusqu'à 200 $, tandis qu'un traitement en hospitalisation pour troubles de l'alimentation peut coûter plus de 1 000 $ par jour. Une enquête de l'Université de Yale a révélé que moins de 30 % des adultes consultent.
D'autres initiatives visant à utiliser la technologie pour combler l'écart existent. Fitzsimmons-Craft craint que le fiasco de Tessa n'éclipse l'objectif plus large d'utiliser des chatbots pour aider ceux qui ne peuvent pas accéder à une assistance clinique. "Nous perdons de vue les personnes que cela peut aider", déplore-t-elle.