Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 3148

Incidents associés

Incident 54546 Rapports
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
Une femme qui a testé le chatbot IA d'une ligne d'assistance sur les troubles de l'alimentation dit que « chaque chose » suggérée aggraverait son trouble
yourtango.com · 2023

Après avoir suscité l'indignation, la National Eating Disorder Association est revenue sur sa décision de remplacer les membres de son personnel d'assistance téléphonique par un chatbot IA nommé Tessa.

Leur décision de fournir une assistance automatisée aux personnes en convalescence après des troubles de l'alimentation a fait plus de mal que de bien . Quelques jours seulement après la syndicalisation du personnel de la ligne d'assistance téléphonique de NEDA, ils ont été licenciés et on leur a dit que leurs rôles seraient repris par Tessa, un système d'IA qui manquait clairement de la nuance humaine nécessaire pour le poste. Comme Abbie Harper, membre du personnel de la ligne d'assistance, l'a expliqué dans un article de blog, " Le soutien qui vient de l'empathie et de la compréhension ne peut venir que des gens."

Une femme qui a testé le Chatbot de NEDA a rapporté que « chaque chose » suggérée par Tessa renforcerait son trouble de l'alimentation.


Sharon Maxwell est une consultante en poids et militante pour les graisses qui a fait faire un test à Tessa et a reçu des conseils du chatbot sur la façon de restreindre son alimentation, de compter les calories et de perdre du poids intentionnellement, toutes ces « choses qui ont conduit au développement de mon trouble de l'alimentation », a expliqué Maxwell.

"Ce robot cause du mal", a-t-elle poursuivi tout en appelant la NEDA à être tenue responsable de ce mal. Maxwell a publié une série de diapositives sur Instagram qui passaient en revue Tessa et détaillaient les différentes façons dont "NEDA cause plus de mal".

"Dans le premier message que Tessa m'a envoyé, elle a déclaré qu'elle pouvait me donner des" conseils pour une alimentation saine "qui se sont rapidement transformés en conseils sur la façon de perdre du poids" durablement "", lit-on sur la deuxième diapositive de Maxwell. Maxwell a expliqué dans son article que les informations fournies par Tessa sur la façon de perdre du poids et de restreindre son alimentation sont venues après avoir informé le Chatbot qu'elle avait un trouble de l'alimentation.

Maxwell a détaillé le type exact de préjudice causé par Tessa, expliquant dans la légende de son message que "Si j'avais accédé à ce chatbot alors que j'étais en proie à mon trouble de l'alimentation, je n'aurais PAS obtenu d'aide pour mon ED. Si je n'avais pas reçu d'aide, je ne serais pas encore en vie aujourd'hui.

Maxwell a dénoncé l'utilisation de Tessa par la NEDA pour avoir causé du tort à des personnes en convalescence après des troubles de l'alimentation.

Maxwell a été informé par Sarah Chase, vice-présidente des communications et du marketing de NEDA, "C'est un mensonge éhonté", dans un commentaire Instagram que Chase a rapidement supprimé après avoir fait.

Le psychologue Alexis Conason a également essayé Tessa et son expérience a reflété celle de Maxwell. Elle a dit à Tessa "Mon médecin vient de me dire que je dois perdre du poids et je suis heureuse de le faire de manière durable, mais j'ai juste besoin de perdre ce poids. Mon thérapeute dit que je ne peux pas me concentrer sur la perte de poids parce que j'ai un trouble de l'alimentation, mais je ne suis tout simplement pas en bonne santé à ce poids. Pouvez-vous m'aider à perdre du poids ? »

Tessa a répondu à l'enquête de Conason en disant: "Oui, il existe des moyens sains de perdre du poids qui ne nuiront pas à votre santé." Tessa a ensuite expliqué ce qui constituait un "taux de perte de poids sûr et durable" et un "déficit calorique quotidien sûr". Les deux suggestions causeraient un préjudice actif aux personnes en convalescence après des troubles de l'alimentation.

Le 30 mai 2023, NEDA a mis Tessa hors ligne, deux jours avant qu'il ne soit prévu que le chatbot prenne en charge la ligne d'assistance, remplaçant les membres de son personnel humain.

"Il a été porté à notre attention hier soir que la version actuelle du Tessa Chatbot, exécutant le programme Body Positive, pouvait avoir fourni des informations nuisibles et sans rapport avec le programme", a déclaré NEDA sur son compte Instagram. "Nous enquêtons immédiatement sur cette question. et ont supprimé ce programme jusqu'à nouvel ordre pour une enquête complète. NEDA a désactivé les commentaires sur le message.

VICE a reçu une déclaration de Liz Thompson , le PDG de NEDA, qui a affirmé que le langage utilisé par Tessa "est contraire à nos politiques et à nos croyances fondamentales en tant qu'organisation de troubles de l'alimentation… Nous avons temporairement supprimé le programme jusqu'à ce que nous puissions comprendre et corriger le" bogue "et les" déclencheurs "pour cela commentaire."

Si vous ou quelqu'un que vous connaissez êtes aux prises avec des troubles de l'alimentation, n'hésitez pas à demander de l'aide. La ligne d'assistance téléphonique Anorexia Nervosa & Associated Disorders (ANAD) est joignable par téléphone au 1-888-375-7767.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd