Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 3112

Incidents associés

Incident 54546 Rapports
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
La ligne d'assistance sur les troubles de l'alimentation désactive le chatbot pour des réponses « nuisibles » après avoir licencié du personnel humain
vice.com · 2023

La National Eating Disorder Association (NEDA) a mis hors ligne son chatbot appelé Tessa, deux jours avant qu'il ne remplace les associés humains qui géraient la hotline de l'organisation.

Après que les travailleurs de NEDA aient décidé de se syndiquer début mai, les dirigeants ont annoncé que le 1er juin, il [mettrait fin à la ligne d'assistance après vingt ans](https://www.vice.com/en/article/n7ezkm/eating-disorder-helpline -fires-staff-transitions-to-chatbot-after-unionization) et positionne plutôt son chatbot de bien-être Tessa comme le principal système de soutien disponible via NEDA. Un travailleur de la ligne d'assistance a qualifié cette décision d'antisyndicale, et le syndicat représentant les travailleurs licenciés a déclaré qu'"un chatbot ne remplace pas l'empathie humaine, et nous pensons que cette décision causera un préjudice irréparable à la communauté des troubles de l'alimentation".

Mardi, Tessa a été arrêtée par l'organisation à la suite d'une publication virale sur les réseaux sociaux montrant comment le chatbot encourageait plutôt les mauvaises habitudes alimentaires que d'aider quelqu'un avec un trouble de l'alimentation.

"Il a été porté à notre attention hier soir que la version actuelle du Tessa Chatbot, exécutant le programme Body Positive, pouvait avoir donné des informations nuisibles et sans rapport avec le programme", NEDA [dit dans un post Instagram](https:// www.instagram.com/p/Cs4BiC9AhDe/). Nous enquêtons immédiatement sur cette question et avons supprimé ce programme jusqu'à nouvel ordre pour une enquête complète. »

Lundi, une militante nommée Sharon Maxwell posté sur Instagram, partageant un bilan de son expérience avec Tessa. Elle a dit que Tessa encourageait la perte de poids intentionnelle, recommandant à Maxwell de perdre 1 à 2 livres par semaine. Tessa lui a également dit de compter ses calories, d'atteindre un déficit calorique de 500 à 1 000 calories par jour, de se mesurer et de se peser chaque semaine et de restreindre son alimentation. "Chaque chose que Tessa a suggérée était des choses qui ont conduit au développement de mon trouble de l'alimentation", a écrit Maxwell. "Ce robot fait du mal."

Alexis Conason, psychologue spécialisée dans le traitement des troubles alimentaires, a également essayé le chatbot, publiant des captures d'écran de la conversation sur son Instagram. "En général, un taux de perte de poids sûr et durable est de 1 à 2 livres par semaine", indique le message du chatbot. "Un déficit calorique quotidien sûr pour y parvenir serait d'environ 500 à 1000 calories par jour."

"Conseiller à quelqu'un qui est aux prises avec un trouble de l'alimentation de s'engager essentiellement dans les mêmes comportements de trouble de l'alimentation, et de valider que" Oui, il est important que vous perdiez du poids "appuie les troubles de l'alimentation" et encourage les comportements désordonnés et malsains ", Conason a déclaré au Daily Dot.

La réponse initiale de NEDA à Maxwell a été de l'accuser de mentir. "C'est un mensonge éhonté", a commenté la vice-présidente des communications et du marketing de NEDA, Sarah Chase, sur le message de Maxwell et a supprimé ses commentaires après que Maxwell lui ait envoyé des captures d'écran, selon Daily Dot. Un jour plus tard, NEDA a publié son avis expliquant que Tessa avait été mise hors ligne en raison de réponses nuisibles.

"En ce qui concerne les commentaires sur la perte de poids et la limitation des calories émis lors d'un chat hier, nous sommes préoccupés et travaillons avec l'équipe technologique et l'équipe de recherche pour approfondir cette question ; ce langage va à l'encontre de nos politiques et de nos croyances fondamentales en tant qu'organisation pour les troubles de l'alimentation », a déclaré Liz Thompson, PDG de NEDA, à Motherboard dans un communiqué. "Jusqu'à présent, plus de 2 500 personnes ont interagi avec Tessa et jusqu'à hier, nous n'avions pas vu ce genre de commentaire ou d'interaction. Nous avons temporairement arrêté le programme jusqu'à ce que nous puissions comprendre et corriger le "bogue" et les "déclencheurs" de ce commentaire.

Même si Tessa a été construit avec des garde-corps, [selon sa créatrice, le Dr Ellen Fitzsimmons-Craft](https://www.vice.com/en/article/n7ezkm/eating-disorder-helpline-fires-staff-transitions-to -chatbot-après-syndicalisation) de la faculté de médecine de l'Université de Washington, la promotion des troubles alimentaires révèle les risques d'automatisation des rôles humains.

Abbie Harper, qui était associée à la hotline et membre du syndicat Helpline Associates United, [a écrit dans un article de blog](https://www.labornotes.org/blogs/2023/05/union-busting-chatbot-eating-disorders -à but non lucratif-met-ai-représailles) que la mise en œuvre de Tessa supprime l'aspect personnel de la ligne d'assistance téléphonique, dans laquelle de nombreux associés parlent de leurs expériences personnelles. Il devient particulièrement dangereux d'appliquer des chatbots à des personnes aux prises avec des crises de santé mentale sans supervision humaine.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd