Incidents associés
La National Eating Disorder Association (Neda) a supprimé un chatbot d'intelligence artificielle, "Tessa", après avoir signalé que le chatbot fournissait des conseils préjudiciables.
Neda a fait l'objet de critiques au cours des derniers mois après avoir licencié quatre employés en mars qui travaillaient pour sa ligne d'assistance et avaient formé un syndicat. La ligne d'assistance permettait aux gens d'appeler, de texter ou d'envoyer des messages à des bénévoles qui offraient du soutien et des ressources aux personnes préoccupées par un trouble de l'alimentation.
Les membres du syndicat, Helpline Associates United, disent avoir été licenciés quelques jours après la certification de leur élection syndicale. Le syndicat a porté plainte pour pratiques de travail déloyales auprès du Conseil national des relations du travail.
Tessa, qui, selon Neda, n'a jamais été censée remplacer les travailleurs de la ligne d'assistance, a presque immédiatement rencontré des problèmes.
Lundi, l'activiste Sharon Maxwell a publié sur Instagram que Tessa lui avait offert des "conseils pour une alimentation saine" et des conseils sur la façon de perdre du poids. Le chatbot a recommandé un déficit calorique de 500 à 1 000 calories par jour et une pesée et une mesure hebdomadaires pour suivre son poids.
"Si j'avais accédé à ce chatbot alors que j'étais en proie à mon trouble de l'alimentation, je n'aurais PAS obtenu d'aide pour mon dysfonctionnement érectile. Si je n'avais pas reçu d'aide, je ne serais pas encore en vie aujourd'hui », a écrit Maxwell. "Il est plus que temps pour Neda de se retirer."
Neda lui-même a rapporté que ceux qui suivent un régime modéré sont cinq fois plus susceptibles de développer un trouble de l'alimentation, tandis que ceux qui se restreignent extrêmement le sont 18 fois plus susceptibles de former un trouble.
"Il a été porté à notre attention hier soir que la version actuelle du Tessa Chatbot, exécutant le programme Body Positivity, pourrait avoir donné des informations nuisibles et sans rapport avec le programme", a déclaré Neda dans une déclaration publique mardi. "Nous enquêtons immédiatement sur cette question et avons supprimé ce programme jusqu'à nouvel ordre pour une enquête complète."
Dans un [blogpost] du 4 mai (https://www.labornotes.org/blogs/2023/05/union-busting-chatbot-eating-disorders-nonprofit-puts-ai-retaliation), l'ancienne employée de la ligne d'assistance Abbie Harper a déclaré que le la ligne d'assistance avait vu une augmentation de 107% des appels et des messages depuis le début de la pandémie. Les signalements de pensées suicidaires, d'automutilation et de maltraitance et de négligence envers les enfants ont presque triplé. Le syndicat, a écrit Harper, "a demandé une dotation en personnel adéquate et une formation continue pour répondre aux besoins de la ligne d'assistance".
"Nous n'avons même pas demandé plus d'argent", a écrit Harper. « Certains d'entre nous se sont personnellement remis de troubles de l'alimentation et apportent cette expérience inestimable à notre travail. Nous sommes tous venus à ce poste en raison de notre passion pour les troubles de l'alimentation et la défense de la santé mentale et de notre désir de faire une différence.
Lauren Smolar, vice-présidente de Neda, a déclaré à [NPR](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as -well-as-another-human?fbclid=PAAaYI6p0IlLmQ7UON4L2MFk8u0DeQoQoqPr80IsnODxuFP29lFMsBVnftJj4) en mai que l'afflux d'appels signalant de graves crises de santé mentale avait présenté une responsabilité légale pour l'organisation.
« Nos bénévoles sont des bénévoles. Ce ne sont pas des professionnels. Ils n'ont pas de formation de crise. Et nous ne pouvons vraiment pas accepter ce genre de responsabilité. Nous avons vraiment besoin qu'ils se rendent dans les services appropriés », a-t-elle déclaré.
Neda a travaillé avec des chercheurs en psychologie et Cass AI, une entreprise qui développe des chatbots IA axés sur la santé mentale, pour développer le chatbot. Dans un article sur le site Web de Neda à propos du chatbot qui a depuis été supprimé, Ellen Fitzsimmons-Craft, psychologue à l'Université de Washington à St Louis qui a aidé à développer le chatbot, a déclaré que "Tessa" avait été imaginée comme une solution pour rendre les troubles de l'alimentation prévention plus largement disponible.
"Les programmes qui nécessitent du temps et des ressources humaines pour les mettre en œuvre sont difficiles à mettre à l'échelle, en particulier dans notre environnement actuel aux États-Unis où les investissements dans la prévention sont limités", Fitzsimmons-Craft [écrit] (http://web.archive.org/ web/20230524113339/https://www.nationaleatingdisorders.org/blog/tessa-chatbot), ajoutant que le soutien d'un coach humain s'est avéré rendre la prévention plus efficace. "Même si le chatbot était un robot, nous pensions qu'elle pouvait fournir une partie de cette motivation, de ces commentaires et de ce soutien... et peut-être même fournir le contenu efficace de notre programme d'une manière qui donnerait vraiment envie aux gens de s'engager."
Dans une déclaration au Guardian, la PDG de Neda, Liz Thompson, a déclaré que le chatbot n'était pas destiné à remplacer la ligne d'assistance mais qu'il avait plutôt été créé en tant que programme distinct. Thompson a précisé que le chatbot n'est pas géré par ChatGPT et n'est "pas un système d'IA hautement fonctionnel".
"Nous avions des raisons commerciales de fermer la ligne d'assistance et nous étions en train de procéder à cette évaluation depuis trois ans", a déclaré Thompson. « Un chatbot, même un programme très intuitif, ne peut remplacer l'interaction humaine.
"En ce qui concerne les problèmes de perte de poids et de limitation des calories lors d'un chat lundi, nous sommes préoccupés et travaillons avec l'équipe technologique et l'équipe de recherche pour approfondir cette question ; ce langage va à l'encontre de nos politiques et de nos croyances fondamentales en tant qu'organisation de troubles de l'alimentation », a-t-elle déclaré, ajoutant que 2 500 personnes se sont engagées avec le chatbot et « nous n'avions pas vu ce genre de commentaire ou d'interaction ».