Incidents associés
Les dirigeants de la National Eating Disorders Association (NEDA) ont décidé de remplacer les travailleurs de la hotline par un chatbot nommé Tessa quatre jours après la syndicalisation des travailleurs.
NEDA, la plus grande organisation à but non lucratif dédiée aux troubles de l'alimentation, dispose d'un service d'assistance téléphonique depuis vingt ans qui a fourni un soutien à des centaines de milliers de personnes par chat, appel téléphonique et SMS. "NEDA affirme qu'il s'agissait d'un changement attendu depuis longtemps et que l'IA peut mieux servir les personnes souffrant de troubles de l'alimentation. Mais ne vous y trompez pas, il ne s'agit pas vraiment d'un chatbot. Il s'agit de briser les syndicats, purement et simplement », Abbie Harper, associée de la ligne d'assistance et membre du syndicat [a écrit dans un article de blog] (https://www.labornotes.org/blogs/2023/05/union-busting-chatbot-eating- troubles-associatif-met-ai-représailles).
Selon Harper, la ligne d'assistance est composée de six employés rémunérés, de quelques superviseurs et de jusqu'à 200 bénévoles à tout moment. Un groupe de quatre travailleurs à temps plein de NEDA, dont Harper, a décidé de se syndiquer parce qu'ils se sentaient débordés et en sous-effectif.
« Nous avons demandé une dotation en personnel adéquate et une formation continue pour suivre l'évolution et la croissance de notre service d'assistance téléphonique, ainsi que des opportunités de promotion pour se développer au sein de la NEDA. Nous n'avons même pas demandé plus d'argent », a écrit Harper. "Lorsque la NEDA a refusé [de reconnaître notre syndicat], nous avons déposé une demande d'élection auprès du Conseil national des relations du travail et avons gagné le 17 mars. Puis, quatre jours après la certification des résultats de nos élections, nous avons tous les quatre été informés que nous étions lâcher prise et remplacé par un chatbot.
Le chatbot, nommé Tessa, est décrit comme un "chatbot de bien-être" et est opérationnel depuis février 2022. Le programme d'assistance téléphonique prendra fin le 1er juin et Tessa deviendra le principal système d'assistance disponible via NEDA. Les bénévoles de la ligne d'assistance ont également été invités à se retirer de leurs rôles de soutien individuel et à servir de « testeurs » pour le chatbot. Selon NPR , qui a obtenu un enregistrement de l'appel au cours duquel la NEDA a licencié le personnel de la ligne d'assistance et annoncé une transition vers le chatbot, Tessa a été créée par une équipe de la faculté de médecine de l'Université de Washington et dirigée par le Dr Ellen Fitzsimmons-Craft. Le chatbot a été formé pour traiter spécifiquement les problèmes d'image corporelle à l'aide de méthodes thérapeutiques et n'a qu'un nombre limité de réponses.
"Le chatbot a été créé sur la base de décennies de recherches menées par moi-même et mes collègues", a déclaré Fitzsimmons-Craft à Motherboard. «Je ne néglige en aucune façon l'utilité potentielle de parler à quelqu'un de ses préoccupations. C'est un service entièrement différent conçu pour enseigner aux gens des stratégies fondées sur des preuves pour prévenir et fournir une intervention précoce pour les symptômes des troubles de l'alimentation.
« Veuillez noter que Tessa, le programme de chatbot, ne remplace PAS la ligne d'assistance ; il s'agit d'une offre de programme complètement différente et est née de la nécessité de s'adapter aux besoins et aux attentes changeants de notre communauté », a déclaré un porte-parole de la NEDA à Motherboard. "En outre, Tessa n'est PAS ChatGBT [sic], il s'agit d'une conversation guidée basée sur des règles. Tessa ne prend pas de décisions et ne « grandit » pas avec le bavardage ; le programme suit des voies prédéterminées basées sur la connaissance que le chercheur a des individus et de leurs besoins.
Le porte-parole de la NEDA a également déclaré à Motherboard que Tessa avait été testée sur 700 femmes entre novembre 2021 et 2023 et que 375 d'entre elles avaient attribué à Tessa une note 100 % utile. "Alors que les chercheurs concluaient leur évaluation de l'étude, ils ont découvert que le succès de Tessa démontrait les avantages potentiels des chatbots en tant qu'option rentable, facilement accessible et non stigmatisante pour la prévention et l'intervention dans les troubles de l'alimentation", ont-ils écrit.
Harper pense que la mise en œuvre de Tessa supprime l'aspect personnel de la ligne d'assistance téléphonique, dans laquelle de nombreux associés peuvent parler de leurs propres expériences. « Certains d'entre nous se sont personnellement remis de troubles de l'alimentation et apportent cette expérience inestimable à notre travail. Nous sommes tous venus à ce poste en raison de notre passion pour les troubles de l'alimentation et la défense de la santé mentale et de notre désir de faire une différence », a-t-elle écrit dans son article de blog.
Harper a déclaré à NPR que les gens demandent souvent aux membres du personnel s'ils sont une vraie personne ou un robot. "Personne n'est comme, oh, tire. Vous êtes une personne. Bien au revoir. Ce n'est pas la même chose. Et il y a quelque chose de très spécial à pouvoir partager ce genre d'expérience vécue avec une autre personne.
«Nous, Helpline Associates United, avons le cœur brisé de perdre nos emplois et profondément déçus que la National Eating Disorders Association (NEDA) ait choisi d'aller de l'avant avec la fermeture de la ligne d'assistance. Nous n'abandonnons pas. Nous ne faisons pas grève. Nous continuerons à nous montrer tous les jours pour soutenir notre communauté jusqu'au 1er juin. Nous condamnons la décision de NEDA de fermer la ligne d'assistance dans les termes les plus forts possibles. Un bot de discussion ne remplace pas l'empathie humaine, et nous pensons que cette décision causera un préjudice irréparable à la communauté des troubles de l'alimentation », a déclaré Helpline Associates United à Motherboard dans un communiqué.
Motherboard a testé l'actuelle version publique de Tessa et on lui a dit qu'il s'agissait d'un chatbot dès le départ. "Salut, je suis Tessa. Je suis un chatbot de soutien en santé mentale ici pour vous aider à vous sentir mieux chaque fois que vous avez besoin d'un moyen de parler sans stigmatisation - de jour comme de nuit », lit-on dans le premier texte. Le chatbot n'a ensuite pas répondu aux SMS que j'ai envoyés, notamment "Je me sens déprimé" et "Je déteste mon corps".
Bien que Tessa ne soit pas basée sur GPT et ait une portée limitée de ce qu'elle peut dire, il y a eu de nombreux cas où l'IA a déraillé lorsqu'elle est appliquée à des personnes en crise de santé mentale. En janvier, une organisation à but non lucratif de santé mentale appelée Koko [a été critiquée](https://www.vice.com/en/article/4ax9yw/startup-uses-ai-chatbot-to-provide-mental-health-counseling-and -alors-réalise-que-ça-semble-bizarre) pour avoir utilisé GPT-3 sur des personnes cherchant des conseils. Le fondateur Rob Morris a déclaré que lorsque les gens ont découvert qu'ils parlaient à un bot, ils ont été dérangés par "l'empathie simulée". Les chercheurs en IA à qui j'ai parlé ont ensuite mis en garde contre l'application de chatbots sur des personnes en crise de santé mentale, en particulier lorsque les chatbots doivent fonctionner sans supervision humaine. Dans un cas récent plus grave, [un Belge s'est suicidé](https://www.vice.com/en/article/pkadgm/man-dies-by-suicide-after-talking-with-ai-chatbot-widow -dit) après avoir parlé avec un chatbot IA personnifié appelé Eliza. Même lorsque les gens savent qu'ils parlent à un chatbot, la présentation d'un chatbot utilisant un nom et des pronoms à la première personne rend extrêmement difficile pour les utilisateurs de comprendre que le chatbot n'est pas réellement sensible ou capable de ressentir des émotions.
_Mise à jour 5/25 : Cet article a été mis à jour avec des informations supplémentaires et des commentaires du Dr Ellen Fitzsimmons-Craft, responsable de Tessa. _
_Mise à jour du 26/05 : Cet article a été mis à jour avec des informations supplémentaires et des commentaires de Helpline Associates United. _