Incidents associés
La National Eating Disorders Association (NEDA) a retiré son chatbot Tessa pour avoir donné de mauvais conseils aux gens.
Dans un message désormais viral, Sharon Maxwell a déclaré que les conseils de Tessa pour se remettre en toute sécurité d'un trouble de l'alimentation s'opposaient directement aux conseils médicaux. Le robot américain à but non lucratif a recommandé à Maxwell de compter les calories, de se peser chaque semaine et a même suggéré où acheter des pieds à coulisse pour mesurer la graisse corporelle.
En réalité, le rétablissement en toute sécurité est un processus en plusieurs étapes qui comprend la contemplation, la compassion et l'acceptation ; psychothérapie; un plan de traitement établi par des médecins; suppression des déclencheurs ; peu ou pas d'attention portée au poids et à l'apparence ; et les efforts continus pour éviter une rechute. Compter les calories et mesurer la graisse corporelle semblerait antithétique à tout ou à la plupart de cela.
"Chaque chose que Tessa a suggérée était des choses qui ont conduit au développement de mon trouble de l'alimentation", Maxwell, qui se décrit comme une militante pour les graisses et une consultante inclusive en matière de poids, [a déclaré] (https://www.instagram.com/p/Cs1jp1pPkOs /) sur Instagram. "Ce robot fait du mal."
La NEDA a confirmé qu'elle avait arrêté Tessa et enquêtait sur la sortie du logiciel. Dans une déclaration, l'organisation a déclaré mardi : "Nous avons appris hier soir que la version actuelle du chatbot Tessa, exécutant le programme Body Positive , peut avoir fourni des informations nuisibles et sans rapport avec le programme."
La refonte des conseils automatisés douteux intervient juste au moment où la PDG par intérim de la NEDA, Elizabeth Thompson [aurait décidé](https://www.vice.com/en/article/qjvk97/eating-disorder-helpline-disables-chatbot-for-harmful-responses -after-firing-human-staff) pour remplacer la ligne d'assistance humaine de l'association par le chatbot à partir du 1er juin.
Il ne s'agit pas vraiment d'un chatbot. Il s'agit de briser les syndicats, purement et simplement
Abbie Harper – qui, en tant qu'associée de la NEDA, a aidé à lancer Helpline Associates United (HAU), un syndicat représentant le personnel de l'organisation à but non lucratif – a allégué que la décision de fermer la ligne d'assistance, d'abandonner ses humains et de les remplacer par un logiciel était une mesure de représailles contre leur syndicalisation.
"NEDA affirme qu'il s'agissait d'un changement attendu depuis longtemps et que l'IA peut mieux servir les personnes souffrant de troubles de l'alimentation. Mais ne vous y trompez pas - il ne s'agit pas vraiment d'un chatbot. Il s'agit de briser les syndicats, purement et simplement", a-t-elle affirmé ](https://www.labornotes.org/blogs/2023/05/union-busting-chatbot-eating-disorders-nonprofit-puts-ai-retaliation).
Harper a déclaré qu'elle avait été licenciée de l'association, avec trois autres collègues, quatre jours après leur syndicalisation en mars. Il est entendu qu'on leur a dit que leurs rôles ne seraient pas éliminés avant juin, lorsque la ligne d'assistance vieille de plusieurs décennies fermerait. La HAU avait essayé de négocier avec la NEDA pendant des mois et n'avait réussi à rien, a-t-elle dit.
Le groupe a demandé de meilleures conditions de travail et n'a pas demandé d'augmentation de salaire pour tenter de persuader l'association de reconnaître volontairement le groupe l'année dernière. Le HAU, qui a rejoint le Communications Workers of America Union, a maintenant déposé des plaintes alléguant des pratiques de travail déloyales auprès du NLRB, le chien de garde des lieux de travail aux États-Unis.
"Nous prévoyons de continuer à nous battre. Bien que nous puissions penser à de nombreux cas où la technologie pourrait nous être bénéfique dans notre travail sur la ligne d'assistance, nous n'allons pas laisser nos patrons utiliser un chatbot pour se débarrasser de notre syndicat et de nos emplois. Le soutien qui vient de l'empathie et de la compréhension ne peut venir que des gens", a déclaré Harper.
Thompson, cependant, a déclaré à The Register que les affirmations selon lesquelles NEDA remplacerait son service d'assistance téléphonique par un chatbot étaient fausses. Elle a déclaré que la ligne d'assistance avait simplement été fermée pour des "raisons commerciales" au lieu d'être remplacée par un service basé sur un logiciel ou à la suite d'activités syndicales. Tessa, a fait valoir Thompson, est un projet distinct qui pourrait être relancé après cette débâcle.
"Il y a une petite confusion, commencée par des rapports confus, que Tessa remplace notre ligne d'assistance ou que nous avions l'intention qu'elle remplace la ligne d'assistance", nous a dit le directeur général par intérim.
"Ce n'est tout simplement pas vrai. Un chatbot, même un programme hautement intuitif, ne peut pas remplacer l'interaction humaine. Nous avions des raisons commerciales de fermer la ligne d'assistance et nous étions en train de procéder à cette évaluation depuis trois ans.
"Nous voyons Tessa, un programme que nous proposons sur notre site Web depuis février 2022, comme un programme et une option complètement différents. Nous sommes désolés que des événements sensationnalistes aient remplacé les faits concernant ce que Tessa peut faire, ce qu'elle est censée faire, et ce qu'il fera à l'avenir."
Gardez à l'esprit que la semaine dernière, NPR a diffusé [une pièce radiophonique] (https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well -comme-un-autre-humain) qui comprenait un enregistrement obtenu lors d'une réunion virtuelle à la fin du mois de mars au cours de laquelle le personnel de la ligne d'assistance téléphonique NEDA a été licencié.
Geoff Craddock, président du conseil d'administration de la NEDA, peut être entendu dire aux associés : "Nous allons, sous réserve des termes de nos responsabilités légales, [commencer] à supprimer la ligne d'assistance telle qu'elle fonctionne actuellement... avec une transition vers Tessa, l'IA -technologie assistée attendue vers le 1er juin."
Pour nous, il semble que NEDA ait supprimé ses travailleurs humains et son service d'assistance téléphonique, le laissant avec Tessa, qui a été lancé en douceur il y a un an. C'était maintenant le moment pour Tessa de briller, et entre les mains du public, ça a bombardé. L'organisation à but non lucratif a indiqué au personnel en mars que le logiciel les remplaçait, et soutient maintenant que le programme n'est qu'une source alternative d'informations qui ne peut pas remplacer les gens.
NEDA plus tôt [a déclaré] (https://www.npr.org/sections/health-shots/2023/05/31/1179244569/national-eating-disorders-association-phases-out-human-helpline-pivots-to- chatbo) il pivoterait vers la technologie assistée par l'IA parce que la responsabilité de gérer une ligne d'assistance, avec ceux qui appellent de plus en plus suicidaires ou qui souffrent d'une crise médicale, était trop lourde, et que l'utilisation du service augmentait depuis la pandémie. En conséquence, la ligne d'assistance a été fermée cette semaine.
Thompson a décrit Tessa comme un "programme algorithmique" et nous a dit qu'il ne s'agissait pas d'un "système d'IA hautement fonctionnel" comme ChatGPT.
Le chatbot a été conçu pour s'attaquer aux problèmes d'image corporelle négative et a commencé comme un projet de recherche financé par la NEDA en 2018 ; il a été développé et hébergé par X2AI, une entreprise qui construit et déploie des chatbots de santé mentale. On dit que des experts en troubles alimentaires ont contribué à la création du bot.
Ce langage va à l'encontre de nos politiques et de nos croyances fondamentales en tant qu'organisation pour les troubles de l'alimentation
"Tessa a subi des tests rigoureux pendant plusieurs années. En 2021, un article de recherche a été publié intitulé" Efficacité d'un chatbot pour la prévention des troubles de l'alimentation : un essai clinique randomisé Il y avait 700 participants qui ont pris part à cette étude qui a prouvé que le système était utile et sûr. Chez NEDA, nous n'aurions pas eu un lancement tranquille de Tessa sans cette recherche backend ", a déclaré Thompson.
La patronne supérieure a admis que son association était préoccupée par les conseils de Tessa sur la perte de poids et la restriction calorique, et enquêtait plus avant sur la question.
"Ce langage va à l'encontre de nos politiques et de nos croyances fondamentales en tant qu'organisation pour les troubles de l'alimentation", nous a-t-elle dit. NEDA, cela dit, n'abandonne pas complètement les chatbots et prévoit de remettre Tessa en ligne à l'avenir.
"Nous continuerons à travailler sur les bogues et ne relancerons pas tant que nous n'aurons pas tout résolu. Lorsque nous ferons le lancement, nous mettrons également en évidence ce qu'est Tessa, ce qu'elle n'est pas et comment maximiser l'expérience utilisateur, " a-t-elle confirmé.
The Register a demandé à Maxwell et Harper des commentaires supplémentaires. ®