Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 3123

Incidents associés

Incident 54546 Rapports
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
Un groupe de troubles de l'alimentation tire un chatbot partageant des conseils sur l'alimentation
bbc.com · 2023

Une organisation américaine qui soutient les personnes souffrant de troubles de l'alimentation a suspendu l'utilisation d'un chatbot après avoir signalé qu'il partageait des conseils préjudiciables.

La National Eating Disorder Association (Neda) a récemment fermé sa ligne d'assistance en direct et dirigé les personnes cherchant de l'aide vers d'autres ressources, y compris le chatbot.

Le bot AI, nommé "Tessa", a été retiré, a indiqué l'association.

Il enquêtera sur les rapports sur le comportement du bot.

Ces dernières semaines, certains utilisateurs de réseaux sociaux ont publié captures d'écran de leur expérience avec le chatbot en ligne.

Ils ont déclaré que le bot continuait de recommander des comportements tels que la restriction calorique et les régimes, même après avoir été informé que l'utilisateur souffrait d'un trouble de l'alimentation.

Pour les patients déjà aux prises avec la stigmatisation liée à leur poids, un encouragement supplémentaire à perdre du poids peut entraîner des comportements alimentaires désordonnés comme la boulimie, la restriction ou la purge, selon l'[American Academy of Family Physicians](https://www.aafp.org/pubs /afp/issues/2021/0101/p22.html).

"Tout ce que Tessa a suggéré était des choses qui ont conduit au développement de mon trouble de l'alimentation", a écrit Sharon Maxwell, une militante inclusive du poids, dans un article largement consulté sur Instagram détaillant une interaction avec le bot, qui, selon elle, lui a dit de la surveiller. prendre du poids quotidiennement et maintenir un déficit calorique.

"Si j'avais accédé à ce chatbot alors que j'étais en proie à mon trouble de l'alimentation, je n'aurais pas obtenu d'aide."

Dans une déclaration partagée avec [les médias américains] (https://www.dailydot.com/irl/neda-chatbot-weight-loss/), la PDG de Neda, Liz Thompson, a déclaré que les conseils partagés par le chatbot « vont à l'encontre de nos politiques et de nos principes fondamentaux. croyances en tant qu'organisation des troubles de l'alimentation ».

L'association avait prévu de fermer sa ligne d'assistance téléphonique humaine le 1er juin 2023 et a licencié les membres du personnel et les bénévoles qui avaient maintenu la ligne d'assistance téléphonique d'information et d'options de traitement, qui a été lancée en 1999. [Des responsables cités par NPR ont cité des responsabilités juridiques croissantes](https ://www.npr.org/sections/health-shots/2023/05/31/1179244569/national-eating-disorders-association-phases-out-human-helpline-pivots-to-chatbo) parmi les raisons de la changer.

Près de 10 % des Américains recevront un diagnostic de trouble de l'alimentation au cours de leur vie. Les troubles se développent souvent dans le secret et le traitement peut être coûteux ou indisponible dans de nombreuses régions du pays.

Sachant cela, Ellen Fitzsimmons-Craft, professeur de psychiatrie à la faculté de médecine de l'Université de Washington, et son équipe ont entrepris de créer un outil cognitivo-comportemental qui pourrait offrir des stratégies de prévention aux personnes souffrant de troubles de l'alimentation.

Elle a déclaré à BBC News que le chatbot qu'elle avait conçu était basé sur des interventions éprouvées qui se sont révélées efficaces pour réduire les troubles de l'alimentation et les comportements associés.

"Cela n'a jamais été destiné à remplacer la ligne d'assistance", a-t-elle déclaré. "C'était un service complètement différent."

Mme Fitzsimmons-Craft et son équipe ont donné le programme à Neda et à une entreprise de technologie à déployer chez les clients l'année dernière. Depuis lors, elle a déclaré qu'elle pensait qu'un "bogue" ou un défaut avait été introduit dans sa conception originale pour que l'algorithme fonctionne davantage comme des outils d'IA récents comme ChatGPT. (Neda a déclaré que le bot n'est pas géré par ChatGPT et n'a pas les mêmes fonctions).

"Notre étude n'a absolument jamais eu cette fonctionnalité", a-t-elle déclaré. "Ce n'est pas le programme que nous avons développé, testé et dont l'efficacité a été démontrée."

La BBC a contacté Neda et la société de technologie de la santé Cass pour commentaires.

Abbie Harper, une ancienne employée de la ligne d'assistance, a déclaré à BBC News que quelques jours après que le personnel de la ligne d'assistance s'est officiellement syndiqué, les travailleurs ont été informés qu'ils n'auraient plus d'emploi.

"Au milieu de notre réunion régulière du personnel du vendredi, le PDG et le président du conseil d'administration sont intervenus pour nous faire savoir que nous allions être remplacés par un chatbot et que nos emplois étaient supprimés", a-t-elle déclaré.

"Nos mâchoires ont touché le sol. Nous savions que Tessa existait, principalement pour les personnes qui avaient des problèmes d'image corporelle, mais elle a ces réponses préprogrammées. Ce n'est pas une personne qui s'engage dans une écoute active empathique de vous."

Mme Harper, qui se remet également d'un trouble de l'alimentation, a déclaré que parler à quelqu'un qui partageait son expérience avec la maladie était une étape clé de son rétablissement et de la lutte contre la stigmatisation et la honte qu'elle ressentait.

Un bot, dit-elle, ne peut pas offrir le même support.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd