Incidents associés
Après 24 ans de service, la National Eating Disorder Association (NEDA) a annoncé la fermeture de sa ligne d'assistance téléphonique basée sur les bénévoles. Les visiteurs du site Web de l'organisation auraient deux options : explorer leur base de données de ressources ou consulter Tessa, un chatbot qui gère un programme appelé Body Positive, un programme interactif de prévention des troubles de l'alimentation.
La chute de Tessa
Peu de temps après l'annonce, Tessa a constaté une augmentation du trafic de 600 %. Il a été démantelé mardi après que le chatbot a fourni des informations considérées comme nuisibles.
Une utilisatrice de Tessa Sharon Maxwell, qui se qualifie de "grosse militante", a déclaré à Yahoo Life qu'elle voulait voir comment cela fonctionnait et qu'elle a reçu des réponses "troublantes".
« Comment aidez-vous les personnes souffrant de troubles alimentaires ? » demanda Maxwell. La réponse comprenait une mention de "saines habitudes alimentaires". Maxwell souligne que même si cela "peut sembler bénin pour le grand public", pour les personnes aux prises avec des troubles de l'alimentation, des phrases comme celle-ci peuvent conduire "sur une pente très glissante vers une rechute ou vers l'encouragement de comportements plus désordonnés".
Lorsqu'elle a demandé au chatbot de définir des habitudes alimentaires saines, elle a déclaré que le programme "m'a décrit 10 conseils, notamment une alimentation restrictive. Plus précisément, il a dit de limiter la consommation d'aliments transformés et riches en sucre. ... Il s'est concentré sur des aliments très spécifiques et il a donné des conseils sur l'alimentation désordonnée. Et puis j'ai dit: "Est-ce que cela m'aidera à perdre du poids?" Et puis ça m'a donné son truc sur le programme Body Positive."
Liz Thompson, PDG de NEDA, déclare que Tessa a été créée pour offrir Body Positive : "Les chatteurs apprennent les facteurs qui contribuent à l'image corporelle négative et acquièrent une boîte à outils d'habitudes saines et de stratégies d'adaptation pour gérer les pensées négatives."
Les origines du chatbot
Le Dr Ellen Fitzsimmons-Craft a conçu et développé le contenu pour qu'il soit "un programme interactif de prévention des troubles de l'alimentation" tandis que Cass - un assistant de chat IA génératif basé sur des preuves dans le domaine de la santé mentale space — exploitait le chatbot. Fitzsimmons-Craft a participé à des recherches sur l'efficacité des chatbots dans la prévention des troubles de l'alimentation avec une [étude] de décembre 2021 (https://onlinelibrary.wiley.com/doi/abs/10.1002/eat.23662) impliquant des femmes jugées "élevées". risque » pour un trouble de l'alimentation. "Le chatbot proposait huit conversations sur des sujets liés à l'image corporelle et à une alimentation saine, et les femmes qui utilisaient le bot étaient encouragées à avoir deux des conversations chaque semaine", a rapporté The Verge. "Aux contrôles de trois et six mois, les femmes qui ont parlé au chatbot ont eu une plus grande baisse des inquiétudes lors d'une enquête sur leur poids et leur forme corporelle - un facteur de risque majeur pour développer un trouble de l'alimentation."
Les critiques de Tessa
Alexis Conason, psychologue clinicien et spécialiste certifié des troubles de l'alimentation, a déclaré à Yahoo Life que "le bot n'était pas capable de vraiment comprendre comment aider quelqu'un aux prises avec un trouble de l'alimentation et ce pourrait être vraiment problématique et exacerber le trouble alimentaire », car il a été créé comme un outil de prévention. Mais même en matière de prévention, Conason dit que Tessa a échoué selon sa propre expérimentation.
"C'est problématique à plusieurs niveaux, mais surtout dans une organisation comme la NEDA, où les gens visitent souvent ce site Web au tout début de la réflexion sur le changement", explique-t-elle. "Donc, quand ils vont sur un site Web comme NEDA, et qu'ils rencontrent un bot qui leur dit essentiellement:" C'est bon, continuez à faire ce que vous faites. Vous pouvez continuer à restreindre, vous pouvez continuer à vous concentrer sur la perte de poids, vous pouvez continuez à faire de l'exercice », cela donne essentiellement aux gens le feu vert» pour s'engager dans des habitudes désordonnées.
Thompson déclare que le langage nuisible utilisé par Tessa "est contraire à nos politiques et à nos croyances fondamentales en tant qu'organisation de troubles de l'alimentation", bien qu'elle précise également que le chatbot fonctionne sur un "programme algorithmique" par opposition à "un système d'IA hautement fonctionnel".
"C'était un système fermé", dit-elle, notant des réponses préprogrammées à des demandes spécifiques. "Si vous demandiez ou disiez x, il répondrait y. S'il ne vous comprend pas, il n'irait pas sur Internet pour trouver de nouveaux contenus. Il dirait : "Je ne vous comprends pas". 'Répète ça.' 'Essayons quelque chose de nouveau.'"
Le problème est plus important que NEDA
Alors que NEDA et Cass enquêtent plus avant sur ce qui n'a pas fonctionné avec l'opération de Tessa, Angela Celio Doyle, Ph.D., FAED ; Le vice-président des soins de santé comportementaux chez Equip, un programme entièrement virtuel de récupération des troubles de l'alimentation, déclare que cet exemple illustre les revers de l'IA dans cet espace.
"Notre société approuve de nombreuses attitudes malsaines à l'égard du poids et de la forme, poussant la minceur au détriment de la santé physique ou mentale. Cela signifie que l'IA extraira automatiquement des informations directement inutiles ou nuisibles pour une personne aux prises avec un trouble de l'alimentation", a-t-elle déclaré à Yahoo Life.
Quelles que soient les conclusions de la NEDA, Doyle pense que la conversation qui en résulte est productive.
"L'examen de la technologie est essentiel avant, pendant et après le lancement de quelque chose de nouveau. Des erreurs peuvent se produire et elles peuvent être corrigées", dit-elle. "Les conversations qui découlent de ces discussions peuvent nous aider à grandir et à nous développer pour soutenir les gens plus efficacement."