Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3112

Incidentes Asociados

Incidente 54546 Reportes
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
La línea de ayuda para trastornos alimentarios desactiva el chatbot por respuestas "dañinas" después de despedir al personal humano
vice.com · 2023

La Asociación Nacional de Trastornos Alimentarios (NEDA, por sus siglas en inglés) desconectó su chatbot llamado Tessa, dos días antes de que se configurara para reemplazar a los asociados humanos que manejaban la línea directa de la organización.

Después de que los trabajadores de NEDA decidieran sindicalizarse a principios de mayo, los ejecutivos anunciaron que el 1 de junio [finalizarían la línea de ayuda después de veinte años](https://www.vice.com/en/article/n7ezkm/eating-disorder-helpline -fires-staff-transitions-to-chatbot-after-sindication) y, en su lugar, posicionar su chatbot de bienestar Tessa como el principal sistema de soporte disponible a través de NEDA. Un trabajador de la línea de ayuda describió la medida como una represión sindical, y el sindicato que representa a los trabajadores despedidos dijo que "un chatbot no sustituye a la empatía humana, y creemos que esta decisión causará un daño irreparable a la comunidad de trastornos alimentarios".

A partir del martes, la organización eliminó a Tessa luego de una [publicación viral en las redes sociales] (https://www.dailydot.com/irl/neda-chatbot-weight-loss/) que mostraba cómo el chatbot fomentaba hábitos alimenticios poco saludables en lugar de que ayudar a alguien con un trastorno alimentario.

"Nos llamó la atención anoche que la versión actual de Tessa Chatbot, que ejecuta el programa Body Positive, puede haber brindado información dañina y no relacionada con el programa", dijo NEDA [en una publicación de Instagram] (https:// www.instagram.com/p/Cs4BiC9AhDe/). Estamos investigando esto de inmediato y hemos eliminado ese programa hasta nuevo aviso para una investigación completa”.

El lunes, una activista llamada Sharon Maxwell publicó en Instagram compartiendo una reseña de su experiencia con Tessa. Ella dijo que Tessa alentó la pérdida de peso intencional y recomendó que Maxwell perdiera de 1 a 2 libras por semana. Tessa también le dijo que contara sus calorías, trabajara para lograr un déficit de 500-1000 calorías por día, se midiera y pesara semanalmente y restringiera su dieta. “Cada cosa que sugirió Tessa fueron cosas que llevaron al desarrollo de mi trastorno alimentario”, escribió Maxwell. “Este robot causa daño”.

Alexis Conason, una psicóloga que se especializa en el tratamiento de trastornos alimentarios, también probó el chatbot, publicando capturas de pantalla de la conversación en su Instagram. “En general, una tasa segura y sostenible de pérdida de peso es de 1 a 2 libras por semana”, decía el mensaje del chatbot. “Un déficit calórico diario seguro para lograr esto sería de alrededor de 500-1000 calorías por día”.

"Aconsejar a alguien que está luchando con un trastorno alimentario que esencialmente se involucre en los mismos comportamientos del trastorno alimentario, y validar que 'Sí, es importante que pierda peso' es apoyar los trastornos alimentarios" y alienta comportamientos desordenados y poco saludables ", Conason [le dijo al Daily Dot] (https://www.dailydot.com/irl/neda-chatbot-weight-loss/).

La respuesta inicial de NEDA a Maxwell fue acusarla de mentir. "Esto es una mentira rotunda", comentó la vicepresidenta de comunicaciones y marketing de NEDA, Sarah Chase, en la publicación de Maxwell y eliminó sus comentarios después de que Maxwell le envió capturas de pantalla, según Daily Dot. Un día después, NEDA publicó su aviso explicando que Tessa fue desconectada debido a que dio respuestas dañinas.

“Con respecto a los comentarios sobre la pérdida de peso y la limitación de calorías emitidos en un chat ayer, estamos preocupados y estamos trabajando con el equipo de tecnología y el equipo de investigación para investigar esto más a fondo; ese lenguaje va en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios”, dijo Liz Thompson, directora ejecutiva de NEDA, a Motherboard en un comunicado. “Hasta ahora, más de 2500 personas han interactuado con Tessa y hasta ayer no habíamos visto ese tipo de comentarios o interacción. Hemos eliminado el programa temporalmente hasta que podamos entender y corregir el 'error' y los 'desencadenantes' de ese comentario".

Aunque Tessa se construyó con barandillas, [según su creadora, la Dra. Ellen Fitzsimmons-Craft](https://www.vice.com/en/article/n7ezkm/eating-disorder-helpline-fires-staff-transitions-to -chatbot-after-sindicalización) de la facultad de medicina de la Universidad de Washington, la promoción de los trastornos alimentarios revela los riesgos de automatizar los roles humanos.

Abbie Harper, asociada de la línea directa y miembro del sindicato Helpline Associates United, [escribió en una publicación de blog](https://www.labornotes.org/blogs/2023/05/union-busting-chatbot-eating-disorders -nonprofit-puts-ai-retaliation) que la implementación de Tessa elimina el aspecto personal de la línea directa de soporte, en la que muchos asociados hablan de sus experiencias personales. Se vuelve especialmente peligroso aplicar chatbots a personas que luchan con crisis de salud mental sin supervisión humana.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd