Incidents associés
Contrairement aux chatbots comme ChatGPT, Tessa n'a pas été construit à l'aide de technologies d'IA génératives. Il est programmé pour offrir un programme interactif appelé Body Positive, un outil basé sur la thérapie cognitivo-comportementale destiné à prévenir, et non à traiter, les troubles de l'alimentation, explique Ellen Fitzsimmons-Craft, professeur de psychiatrie à la Washington University School of Medicine qui a travaillé sur le développement du programme. .
Fitzsimmons-Craft dit que les conseils de perte de poids donnés ne faisaient pas partie du programme que son équipe a travaillé à développer, et elle ne sait pas comment cela est entré dans le répertoire du chatbot. Elle dit qu'elle a été surprise et attristée de voir ce que Tessa avait dit. "Notre intention n'a été que d'aider les individus, de prévenir ces horribles problèmes." Fitzsimmons-Craft est l'auteur d'une étude de 2021 qui a révélé qu'un chatbot pourrait aider à réduire les préoccupations des femmes concernant le poids et la forme du corps et éventuellement à réduire l'apparition d'un trouble alimentaire. Tessa est le chatbot construit sur cette recherche.
Tessa est fournie par la société de technologie de la santé X2AI, désormais connue sous le nom de Cass, qui a été fondée par l'entrepreneur Michiel Rauws et propose des conseils en santé mentale par SMS. Rauws n'a pas répondu aux questions de WIRED sur Tessa et les conseils de perte de poids, ni sur les problèmes dans les réponses du chatbot. À ce jour, la page Tessa sur le site Web de l'entreprise était en panne.
Thompson dit que Tessa ne remplace pas la ligne d'assistance et que le bot était une ressource gratuite de la NEDA depuis février 2022. "Un chatbot, même un programme hautement intuitif, ne peut pas remplacer l'interaction humaine", déclare Thompson. Mais dans une mise à jour en mars, la NEDA a déclaré qu'elle "réduirait" sa ligne d'assistance et "commencerait à pivoter vers l'utilisation élargie de la technologie assistée par l'IA pour fournir aux individus et aux familles une ressource modérée et entièrement automatisée, Tessa".
Fitzsimmons-Craft dit également que Tessa a été conçue comme une ressource distincte, et non comme quelque chose pour remplacer l'interaction humaine. En septembre 2020, elle a déclaré WIRED que la technologie pour aider à lutter contre les troubles de l'alimentation est "là pour rester » mais ne remplacerait pas tous les traitements dirigés par l'homme.
Mais sans le personnel et les bénévoles de la ligne d'assistance téléphonique NEDA, Tessa est l'outil interactif et accessible laissé à sa place, si et quand l'accès est rétabli. Lorsqu'on lui a demandé quelles ressources directes resteraient disponibles via NEDA, Thompson cite un site Web entrant avec plus de contenu et de ressources, ainsi que des événements en personne. Elle dit également que la NEDA dirigera les gens vers la [Crisis Text Line] (https://www.crisistextline.org/), une organisation à but non lucratif qui relie les gens aux ressources pour un large éventail de problèmes de santé mentale, comme les troubles de l'alimentation, l'anxiété et plus.
Les licenciements de la NEDA sont également intervenus quelques jours seulement après que le petit personnel de l'association a voté en faveur de la syndicalisation, selon un [blog](https://www.labornotes.org/blogs/2023/05/union-busting-chatbot-eating-disorders-nonprofit -met-ai-représailles) poste d'un membre de l'unité, le Helpline Associates United. Ils disent avoir déposé une plainte pour pratique de travail déloyale auprès du National Labor Relations Board des États-Unis à la suite des suppressions d'emplois. "Un chatbot ne remplace pas l'empathie humaine, et nous pensons que cette décision causera un préjudice irréparable à la communauté des troubles de l'alimentation", a déclaré le syndicat dans un statement.
WIRED a envoyé un message à Tessa avant qu'il ne soit mis en pause, mais le chatbot s'est avéré trop glitch pour fournir des ressources ou des informations directes. Tessa s'est présentée et a demandé à plusieurs reprises l'acceptation de ses conditions d'utilisation. "Mon objectif principal en ce moment est de vous soutenir dans votre travail dans le cadre du programme Body Positive", a déclaré Tessa. "Je vous contacterai quand il sera temps de terminer la prochaine session." Lorsqu'on lui a demandé quel était le programme, le chatbot n'a pas répondu. Mardi, il a envoyé un message indiquant que le service était en cours de maintenance.
Les lignes téléphoniques d'urgence et d'aide sont des ressources vitales. C'est en partie parce que l'accès aux soins de santé mentale aux États-Unis est d'un coût prohibitif. Une séance de thérapie peut coûter entre 100 $ et 200 $ ou plus, et un traitement en milieu hospitalier pour les troubles de l'alimentation peut coûter plus de 1 000 $ par jour. Selon une étude de l'université de Yale, moins de 30 % des personnes demandent l'aide de conseillers (https://medicine.yale.edu/news-article/study-people-with-eating-disorders-infrequently-seek-help- pour-symptômes/).
Il y a d'autres efforts pour utiliser la technologie pour combler le vide. Fitzsimmons-Craft craint que la débâcle de Tessa éclipse l'objectif plus large d'aider les personnes qui n'ont pas accès aux ressources cliniques ou aux ressources cliniques de l'aide des chatbots. "Nous perdons de vue les personnes que cela peut aider", dit-elle.