Incidents associés
Les chatbots IA ne sont pas très bons pour offrir un soutien émotionnel étant - vous savez - [pas un humain] (https://gizmodo.com/ai-chatgpt-extinction-warning-letter-openai-sam-altman-1850486688), et - on ne le dira jamais assez - [pas vraiment intelligent] (https://gizmodo.com/nvidia-ai-gpt-chatbot-gpt-4-openai-1850374066). Cela n'a pas empêché la National Eating Disorder Association d'essayer d'imposer un chatbot aux personnes demandant de l'aide en temps de crise. Les choses se sont déroulées aussi bien que prévu, car un activiste affirme qu'au lieu d'aider à surmonter la détresse émotionnelle, le chatbot a plutôt essayé de l'aiguiller pour perdre du poids et se mesurer constamment.
NEDA [a annoncé] (https://www.instagram.com/p/Cs4BiC9AhDe/) sur sa page Instagram mardi, il avait supprimé son chatbot Tessa après qu'il "ait pu donner des informations nuisibles et sans rapport avec le programme". L'organisation à but non lucratif destinée à fournir des ressources et un soutien aux personnes souffrant de troubles de l'alimentation a déclaré qu'elle enquêtait sur la situation. [Tessa était censée remplacer la ligne d'assistance téléphonique de longue date de NEDA] (https://gizmodo.com/eating-disorder-helpline-ai-chatbot-1850476378) composée de quelques employés à temps plein et de nombreux bénévoles. D'anciens membres du personnel affirment avoir été licenciés illégalement en représailles à leur décision de se syndiquer. La ligne d'assistance est censée disparaître complètement le 1er juin.
Dans les propres tests de Gizmodo sur le chatbot avant qu'il ne soit supprimé, nous avons constaté qu'il ne répondait pas à des invites simples telles que "Je déteste mon corps" ou "Je veux tellement être mince". Cependant, Tessa est encore plus problématique, comme l'explique la militante de la positivité corporelle Sharon Maxwell. Dans une publication Instagram, Maxwell a expliqué comment une conversation avec le chatbot s'est rapidement transformée en le pire type de conseil de perte de poids. Le chatbot aurait tenté de lui dire de perdre "de manière sûre et durable" un à deux livres par semaine, puis de se mesurer à l'aide d'un pied à coulisse pour déterminer la composition corporelle. Maxwell a déclaré que le chatbot avait fait cela même après lui avoir dit qu'elle avait un trouble de l'alimentation.
Maxwell a déclaré au Daily Dot que le bot avait même essayé de lui faire suivre son apport calorique et de se peser constamment. Elle a dit qu'elle avait déjà souffert d'un trouble de l'alimentation, et si elle parlait à Tessa, alors "je ne crois pas que je serais ici aujourd'hui". Le Daily Dot a montré une capture d'écran de Sarah Chase, vice-présidente des communications et du marketing de la NEDA, commentant le message de Maxwell l'accusant de promouvoir "un mensonge éhonté". Après que Maxwell ait partagé des captures d'écran des conversations de Tessa, Chase s'est brièvement excusée puis a supprimé ses commentaires.
Chase nous avait précédemment dit que le chatbot "ne peut pas sortir du script" et n'était censé guider les utilisateurs qu'à travers un programme de prévention des troubles de l'alimentation et un lien vers d'autres ressources sur le site Web de NEDA.
La PDG de l'association, Liz Thompson, a déclaré à Gizmodo :
"En ce qui concerne les commentaires sur la perte de poids et la limitation des calories émis récemment dans un chat, nous sommes préoccupés et travaillons avec l'équipe technologique et l'équipe de recherche pour approfondir cette question ; ce langage va à l'encontre de nos politiques et de nos croyances fondamentales en tant qu'organisation pour les troubles de l'alimentation. Jusqu'à présent, plus de 2 500 personnes ont interagi avec Tessa et jusque-là, nous n'avions pas vu ce genre de commentaire ou d'interaction. Nous avons temporairement arrêté le programme jusqu'à ce que nous puissions comprendre et corriger le "bogue" et les "déclencheurs" de ce commentaire. "
Thompson a ajouté que Tessa n'est pas censée remplacer les soins de santé mentale en personne et que les personnes en crise devraient envoyer un SMS à la [ligne de texte de crise] (https://www.nationaleatingdisorders.org/help-support/contact-helpline ).
Un article de 2022 sur le chatbot des troubles de l'alimentation décrit un échantillon d'étude de 2 409 personnes qui ont utilisé le chatbot ED après avoir vu des publicités sur les réseaux sociaux médias. Les auteurs de l'étude ont déclaré avoir examiné plus de 52 000 commentaires d'utilisateurs pour "identifier les réponses inappropriées qui ont eu un impact négatif sur l'expérience des utilisateurs et les problèmes techniques". Les chercheurs ont noté que le plus gros problème avec le chatbot était sa capacité à répondre aux "réponses imprévues des utilisateurs".
Bien que, comme Maxwell l'a souligné dans un post de suivi, les étrangers n'ont aucun moyen de dire combien de ces 2 500 personnes ont reçu le commentaire potentiellement dangereux du chatbot.
D'autres professionnels ont essayé le chatbot avant qu'il ne soit supprimé. La psychologue Alexis Conason a publié des captures d'écran du chatbot sur son Instagram montrant que le chatbot fournissait le même langage de perte de poids "sain et durable" qu'à Maxwell. Conason a écrit que les réponses du chatbot «favoriseraient davantage le trouble de l'alimentation».
Ce qui est encore plus déroutant dans la situation, c'est la façon dont NEDA semble déterminé à affirmer que Tessa n'est pas une IA, mais un chatbot d'appel et de réponse beaucoup plus blasé. Il a été créé à l'origine en 2018 grâce à des subventions et au soutien de chercheurs en santé comportementale. Le système lui-même a été conçu en partie par Cass, anciennement X2AI, et est basé sur un ancien "chatbot de santé émotionnelle appelé Tess". Chase nous avait précédemment dit "le chat de simulation est assisté, mais il exécute un programme et n'apprend pas au fur et à mesure".
En fin de compte, les explications de NEDA n'ont aucun sens étant donné que Tessa offre des conseils selon lesquels les revendications à but non lucratif vont à l'encontre de ses propres idéaux. Un article de 2019 décrit Tess comme une IA basée sur l'apprentissage automatique et les "algorithmes d'émotion".
Au-delà de cela, il y a peu ou pas d'informations sur la façon dont le chatbot a été conçu, s'il est basé sur des données de formation comme le sont les chatbots d'IA modernes comme ChatGPT, et sur les garde-corps en place pour l'empêcher de sortir du script. Gizmodo a contacté Cass pour un commentaire sur le chatbot, mais nous n'avons pas immédiatement entendu de réponse. La page de l'entreprise décrivant Tessa a été supprimée, même si la page était active aussi récemment que le 10 mai, selon [Wayback Machine](https://web.archive.org/web/20230510182403/https://www.x2ai. com/neda-tessa).