Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 3113

Incidents associés

Incident 54546 Rapports
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
La National Eating Disorder Association ferme l'I.A. chatbot qu'il prévoyait d'utiliser pour remplacer les humains en disant qu'il "aurait pu donner" des informations nuisibles
fortune.com · 2023

Moins d'une semaine après avoir annoncé son intention de remplacer son personnel d'assistance téléphonique par un I.A. chatbot nommé Tessa, la National Eating Disorder Association (NEDA) a mis la technologie hors ligne.

"Il a été porté à notre attention [lundi] soir que la version actuelle du Tessa Chatbot… peut avoir donné des informations nuisibles", NEDA [a déclaré dans un post Instagram](https://www.instagram.com/p /Cs4BiC9AhDe/). "Nous enquêtons immédiatement sur cette question et avons supprimé ce programme jusqu'à nouvel ordre pour une enquête complète."

Le chatbot devait remplacer complètement les associés humains sur la hotline de l'organisation le 1er juin. On ne sait pas comment l'organisation prévoit de doter cette ligne d'assistance à ce stade.

Les problèmes avec Tessa ont été rendus publics par une militante nommée Sharon Maxwell, qui a déclaré : « Chaque chose que Tessa a suggérée était des choses qui ont conduit au développement de mon trouble de l'alimentation ». Les responsables de la NEDA ont initialement qualifié ces affirmations de mensonge dans une publication sur les réseaux sociaux, mais les ont supprimées après que Maxwell ait envoyé des captures d'écran de l'interaction, a-t-elle déclaré.

Alexis Conason, un psychologue spécialisé dans le traitement des troubles alimentaires, a pu recréer les problèmes, en publiant des captures d'écran d'une conversation avec le chatbot sur Instagram.

"Imaginez que des personnes vulnérables souffrant de troubles de l'alimentation s'adressent à un robot pour obtenir de l'aide, car c'est tout ce dont elles disposent et reçoivent des réponses qui favorisent davantage le trouble de l'alimentation", a-t-elle écrit.

La NEDA a présenté Tessa après que la décision du personnel de la hotline de se syndiquer à la suite d'une série d'appels à l'époque de la pandémie a entraîné un épuisement massif du personnel. Les six employés rémunérés ont supervisé un personnel bénévole d'environ 200 personnes, qui ont traité les appels (parfois plusieurs) de près de 70 000 personnes l'année dernière.

Les responsables de la NEDA [ont déclaré à NPR] (https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well-as-another-human ) la décision n'avait rien à voir avec la syndicalisation. Au lieu de cela, a déclaré la vice-présidente Lauren Smolar, le nombre croissant d'appels et le personnel en grande partie bénévole créaient une plus grande responsabilité légale pour l'organisation et les temps d'attente pour les personnes qui avaient besoin d'aide augmentaient. Les anciens travailleurs, cependant, ont qualifié cette décision de manifestement antisyndicale.

Le créateur de Tessa dit que le chatbot, qui a été spécialement conçu pour NEDA, n'est pas aussi avancé que ChatGPT. Au lieu de cela, il est programmé avec un nombre limité de réponses destinées à aider les gens à apprendre des stratégies pour éviter [les troubles de l'alimentation](https://fortune.com/well/2023/03/05/eating-disorders-overlooked-people-of-color /).

"Ce n'est pas un outil ouvert auquel vous pouvez parler et vous sentir comme si vous alliez avoir accès à une sorte d'oreille attentive, peut-être comme l'était la ligne d'assistance", a déclaré le Dr Ellen Fitzsimmons-Craft, professeur de psychiatrie à L'école de médecine de l'Université de Washington qui a aidé à concevoir Tessa, [a déclaré à NPR](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as- bien-comme-un-autre-humain).

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd