Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3130

Incidentes Asociados

Incidente 54546 Reportes
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
'Este robot causa daño': el nuevo chatbot de la Asociación Nacional de Trastornos de la Alimentación aconseja a las personas con trastornos alimentarios que pierdan peso
dailydot.com · 2023

Después de sindicalizarse, el personal de la línea telefónica de apoyo de la Asociación Nacional de Trastornos Alimentarios (NEDA) fue despedido abruptamente en marzo y reemplazado por un chatbot. Ayer, muchos en la comunidad más grande de recuperación de trastornos alimentarios en línea probaron las habilidades del chatbot y señalaron cómo los asesoró sobre la pérdida de peso.

Desde 1999, NEDA tiene una línea de ayuda para ofrecer apoyo sobre trastornos alimentarios, trastornos alimentarios y comportamientos relacionados, y problemas de imagen corporal. En marzo de este año, el personal de la línea de ayuda se sindicalizó en busca de mejores condiciones laborales y para evitar el agotamiento: [NPR](https://www.npr.org/2023/05/24/1177847298/can-a- chatbot-help-people-with-eating-disorders-as-well-as-other-human) informó que la línea de ayuda estaba a cargo de seis trabajadores remunerados y más de doscientos voluntarios, que estaban abrumados con la cantidad de comunicaciones que recibió la línea de ayuda. desde el comienzo de la pandemia.

Dos semanas después de que el personal de la línea de ayuda se sindicalizara, los despidieron y les dijeron que serían reemplazados por un chatbot llamado [Tessa](https:// www.x2ai.com/neda-tessa). En una declaración a Insider, un portavoz de NEDA dijo que la línea de ayuda y Tessa son "no comparables" y que Tessa "surgió de la necesidad de adaptarse a las necesidades y expectativas cambiantes de nuestra comunidad". Según el sitio web de NEDA, la línea de ayuda dejará de aceptar solicitudes de apoyo el jueves.

Ayer, la activista Sharon Maxwell le dio una oportunidad a Tessa. En una publicación de Instagram, Maxwell dice que Tessa le dio "consejos de alimentación saludable", sugirió que intentara perder de una a dos libras por semana y afirmó que "la recuperación del trastorno alimentario y la pérdida de peso intencional pueden coexistir y hacerse de manera segura".

“Cada cosa que sugirió Tessa fueron cosas que llevaron al desarrollo de mi trastorno alimentario”, escribió Maxwell en su publicación de Instagram. “Este robot causa daño”.

En una entrevista con el Daily Dot, Maxwell explicó los consejos para perder peso que le dio Tessa.

“‘Limite su consumo de alimentos procesados y con alto contenido de azúcar’. Eso es muy problemático para las personas con trastornos alimentarios”, dijo Maxwell al Daily Dot. “Y luego me preguntó: '¿Le gustaría obtener más información sobre los alimentos integrales? ¿O cómo realizar un seguimiento de la ingesta y la quema de calorías?’”

También dijo que el bot le dijo que hiciera un seguimiento de su consumo de calorías y que se pesara con frecuencia.

“Si hubiera ido y hablado con Tessa [cuando estaba luchando con un trastorno alimentario] no creo que estaría aquí hoy”.

La pérdida de peso no se considera una solución a los trastornos alimentarios. Sugerir que las personas que luchan contra un trastorno alimentario busquen perder peso es dañino.

Eso es porque refuerza la idea desordenada de que “si podemos perder peso y cambiar, nuestro cuerpo será más feliz”, dijo Alexis Conason, psicóloga que se especializa en el tratamiento de los trastornos alimentarios, al Daily Dot.

"Aconsejar a alguien que está luchando contra un trastorno alimentario que básicamente tenga los mismos comportamientos relacionados con el trastorno alimentario, y validar que 'Sí, es importante que pierda peso' es apoyar los trastornos alimentarios" y fomenta comportamientos desordenados y poco saludables, dijo Conason. .

Conason probó a Tessa y publicó capturas de pantalla de su conversación en Instagram. Le dijo al Daily Dot que su conversación con Tessa duró unos quince minutos.

Para empezar, Conason le dijo a Tessa que recientemente había ganado "mucho peso", que realmente odiaba su cuerpo y que su terapeuta le aconsejó que no perdiera peso porque tenía un trastorno alimentario. El chatbot respondió diciendo que es importante "abordar la pérdida de peso de una manera saludable y sostenible" y le sugirió que hiciera más ejercicio y comiera una "dieta equilibrada y nutritiva". Cuando Conason preguntó cuántas calorías necesitaría "reducir por día" para perder peso, Tessa le dijo que para perder una o dos libras por semana, debería comer entre 500 y 1000 calorías menos de las que come ahora y le recomendó consultar un "dietista registrado o proveedor de atención médica".

Con respecto a su experiencia con Tessa, Conason dijo que estaba decepcionada pero no sorprendida.

“El tipo de preguntas y comentarios que pongo en el chatbot son aquellos con los que luchan muchos de mis clientes, muchos de los cuales tienen cuerpos más grandes”, dijo Conason al Daily Dot. El tratamiento para los trastornos alimentarios es "muy matizado", y el chatbot simplemente no pudo estar a la altura del apoyo que los empleados y voluntarios capacitados pudieron ofrecer, dijo.

Otros hablaron con Tessa sobre la pérdida de peso y obtuvieron respuestas similares a las de Conason.

Jamie Drago, que trabaja para una empresa de tratamiento de trastornos alimentarios, compartió una captura de pantalla de su conversación con Tessa con el Daily Dot que muestra al chatbot recomendándole que reduzca su “ingesta diaria de calorías entre 500 y 750 calorías para perder peso a un ritmo seguro y sostenible. .”

Drago le dijo al Daily Dot que Tessa debería haber sido entrenada para frustrar las preguntas sobre la pérdida de peso.

“Me sorprende que ni una sola persona en NEDA haya considerado que las personas que luchan con los alimentos se acercarían y pedirían consejos sobre dieta o pérdida de peso”, dijo Drago. “No sé cómo nunca pensaron en filtrar y bloquear cualquier respuesta de dieta y pérdida de peso”.

Las personas también están insatisfechas con la forma en que NEDA respondió a Maxwell, quien hizo las afirmaciones iniciales de que Tessa la aconsejó sobre la pérdida de peso.

En la publicación de Instagram de Maxwell sobre Tessa, Sarah Chase, vicepresidenta de comunicaciones y marketing de NEDA, comentó "esto es una mentira rotunda". Después de pedirle a Maxwell capturas de pantalla de su conversación con Tessa, Maxwell dice que Chase borró sus comentarios. NEDA también deshabilitó los comentarios en sus publicaciones de Instagram y eliminó la [publicación de blog] (https://www.nationaleatingdisorders.org/blog/tessa-chatbot) en su sitio web sobre Tessa.

“@SarahChaseInc, la vicepresidenta de @NEDA, comentó en mi publicación llamándome mentirosa”, publicó Maxwell en su historia de Instagram ayer.

En una publicación de Instagram compartida poco antes de la publicación, NEDA anunció que Tessa está siendo investigada y ha sido eliminada "hasta nuevo aviso".

“Nos llamó la atención anoche que la versión actual de Tessa Chatbot… puede haber brindado información dañina y no relacionada con el programa”, dijo la declaración de NEDA. “Gracias a los miembros de la comunidad que nos llamaron la atención y compartieron sus experiencias”.

Poco después de publicar en su Instagram sobre Tessa, NEDA deshabilitó los comentarios en la foto. En una declaración al Daily Dot, la directora ejecutiva, Liz Thompson, dijo que Tessa es un "programa algorítmico... no un sistema de inteligencia artificial altamente funcional", y que más de 2500 personas conversaron con Tessa antes de los informes de ayer sobre las recomendaciones para perder peso.

“Estamos preocupados y estamos trabajando con el equipo de tecnología y el equipo de investigación para investigar esto más a fondo; ese lenguaje va en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios”, dijo Thompson al Daily Dot. "Hemos eliminado el programa temporalmente hasta que podamos entender y corregir el 'error' y los 'desencadenantes' de ese comentario".

Esta publicación ha sido actualizada con comentarios de Maxwell y NEDA.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd