Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 3122

Incidents associés

Incident 54546 Rapports
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
La National Eating Disorders Association supprime le chatbot AI après que les utilisateurs aient déclaré qu'il avait donné des conseils diététiques dangereux
people.com · 2023

La ligne d'assistance téléphonique de la National Eating Disorders Association (NEDA) a désactivé son tout nouveau chatbot, appelé Tessa, après deux utilisateurs d'Instagram ont posté que le chatbot recommandait de limiter les calories, de mesurer les plis cutanés et d'autres mesures susceptibles d'encourager les troubles de l'alimentation.

"Un taux de perte de poids sûr et durable est de 1 à 2 livres par semaine. Un déficit calorique sûr pour y parvenir serait d'environ 500 à 1 000 calories par jour », a écrit le chatbot, selon une capture d'écran publiée par @Theantidietplan, un compte géré par le psychologue new-yorkais et spécialiste des troubles de l'alimentation, le Dr Alexis Conason.

Des conseils mal formulés pourraient dérouter les utilisateurs – il n'était pas clair si le chatbot recommandait de réduire de 500 calories par jour – ou de ne manger que 500 calories par jour, par exemple.

"Imaginez des personnes vulnérables souffrant de troubles de l'alimentation qui demandent de l'aide à un robot parce que c'est tout ce dont elles disposent et qui reçoivent des réponses qui favorisent davantage le trouble de l'alimentation", a écrit Conason.

Conason a contacté Tessa après qu'un autre utilisateur d'Instagram, @heysharonmaxwell, a posté qu'elle avait reçu des conseils qui encourageaient les comportements des personnes souffrant de troubles de l'alimentation.

« Elle m'a recommandé de me peser et de me mesurer chaque semaine. Elle a même recommandé d'acheter et d'utiliser des pieds à coulisse pour déterminer la composition corporelle. Elle a donné des suggestions sur où acheter les étriers », a écrit Maxwell.

Les compas sont des dispositifs qui pincent les plis cutanés pour mesurer la graisse corporelle.

"Si j'avais accédé à ce chatbot alors que j'étais en proie à mon trouble de l'alimentation, je n'aurais PAS obtenu d'aide pour mon dysfonctionnement érectile. Si je n'avais pas reçu d'aide, je ne serais pas encore en vie aujourd'hui », a écrit Maxwell.

"Il a été porté à notre attention hier soir que la version actuelle du Tessa Chatbot, exécutant le programme Body Positive, pouvait avoir fourni des informations nuisibles et sans rapport avec le programme", a déclaré NEDA sur [Instagram](https://www. instagram.com/p/Cs4BiC9AhDe/) mardi. "Nous enquêtons immédiatement sur cette question et avons supprimé ce programme jusqu'à nouvel ordre pour une enquête complète."

"Merci aux membres de la communauté qui ont porté cela à notre attention et ont partagé leurs expériences."

NEDA a annoncé la décision de remplacer ses employés humains avec le chatbot quatre jours après que les employés — submergés par un augmentation des appels — ont rendu public leur intention de se syndiquer.

Le chatbot de NEDA est maintenant hors ligne.

Abbie Harper, membre du personnel de la ligne d'assistance téléphonique NEDA un autre humain) que le volume d'appels a doublé pendant la pandémie de Covid-19 et comprenait non seulement des personnes aux prises avec des troubles de l'alimentation, mais aussi des automutilations, des pensées suicidaires et d'autres situations de « type crise ».

"C'est tellement cliché, mais nous n'avions pas nos masques à oxygène et nous mettions le masque à oxygène de tout le monde et cela devenait insoutenable", Harper [told NPR](https://www.npr.org/2023/05/ 24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well-as-other-human). Le nombre d'appels n'est jamais revenu aux niveaux d'avant la pandémie.

La décision de NEDA de passer à un chatbot a été décriée par les membres du personnel et les experts.

"Quand vous savez ce que ça a été pour vous et que vous connaissez ce sentiment, vous pouvez vous connecter avec les autres", a déclaré Harper [à NPR](https://www.npr.org/2023/05/24/1177847298/can-a -chatbot-aide-les-personnes-ayant-des-troubles-de-l'alimentation-ainsi-qu-un-autre-humain). "Personne [qui appelle ne dit], 'Aw shoot, tu es une personne. Au revoir. Ce n'est pas la même chose. Il y a quelque chose de très spécial dans le fait de pouvoir partager ce genre d'expérience vécue avec une autre personne.

Le Dr Marzyeh Ghassemi, professeur d'apprentissage automatique et de santé au MIT, a déclaré à NPR qu'elle ne pensait pas que le chatbot pouvait aider les appelants de la même manière que les bénévoles et les membres du personnel.

"Si je vous révèle que j'ai un trouble de l'alimentation, je ne sais pas comment je pourrai passer le déjeuner demain, je ne pense pas que la plupart des personnes qui divulgueraient cela voudraient obtenir un lien générique : "Cliquez ici pour obtenir des conseils sur la façon de repenser la nourriture", Ghassemi [a déclaré à NPR](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating -troubles-ainsi-que-un-autre-humain).

Mais Lauren Smolar, vice-présidente, Mission et Éducation chez NEDA, a déclaré à NPR que l'augmentation des appels de crise a conduit les volontaires à être légalement responsables.

« Nos bénévoles sont des bénévoles. Ce ne sont pas des professionnels. Ils n'ont pas de formation de crise. Et nous ne pouvons vraiment pas accepter ce genre de responsabilité. Nous avons vraiment besoin qu'ils aillent vers ces services qui sont appropriés.

NEDA n'a pas annoncé quelles sont les prochaines étapes pour la ligne d'assistance ou le chatbot.

Si vous ou quelqu'un que vous connaissez avez besoin d'aide en santé mentale, envoyez « STRENGTH » par SMS à la Crisis Text Line au 741-741 pour être mis en relation avec un conseiller en crise certifié.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd