Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3153

Incidentes Asociados

Incidente 54546 Reportes
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
La línea de ayuda para trastornos alimentarios despide al personal y cambia a chatbot después de la sindicalización
vice.com · 2023

Los ejecutivos de la Asociación Nacional de Trastornos de la Alimentación (NEDA) decidieron reemplazar a los trabajadores de la línea directa con un chatbot llamado Tessa cuatro días después de que los trabajadores se sindicalizaran.

NEDA, la organización sin fines de lucro más grande dedicada a los trastornos alimentarios, ha tenido una línea de ayuda durante los últimos veinte años que brindó apoyo a cientos de miles de personas a través de chat, llamadas telefónicas y mensajes de texto. “NEDA afirma que este fue un cambio anticipado desde hace mucho tiempo y que la IA puede servir mejor a las personas con trastornos alimentarios. Pero no se deje engañar, esto no se trata realmente de un chatbot. Se trata de reventar sindicatos, simple y llanamente”, Abbie Harper, asociada de la línea de ayuda y miembro del sindicato [escribió en una publicación de blog] (https://www.labornotes.org/blogs/2023/05/union-busting-chatbot-eating- desórdenes-sin fines de lucro-pone-ai-represalia).

Según Harper, la línea de ayuda está compuesta por seis empleados pagados, un par de supervisores y hasta 200 voluntarios en un momento dado. Un grupo de cuatro trabajadores de tiempo completo en NEDA, incluido Harper, decidieron sindicalizarse porque se sentían abrumados y sin suficiente personal.

“Pedimos personal adecuado y capacitación continua para mantenernos al día con nuestra Línea de ayuda cambiante y creciente, y oportunidades de promoción para crecer dentro de NEDA. Ni siquiera pedimos más dinero”, escribió Harper. “Cuando NEDA se negó [a reconocer a nuestro sindicato], presentamos una elección ante la Junta Nacional de Relaciones Laborales y ganamos el 17 de marzo. Luego, cuatro días después de que se certificaran los resultados de nuestras elecciones, nos dijeron a los cuatro que estábamos siendo déjalo ir y reemplázalo por un chatbot”.

El chatbot, llamado Tessa, se describe como un "chatbot de bienestar" y ha estado en funcionamiento desde febrero de 2022. El programa Helpline finalizará a partir del 1 de junio y Tessa se convertirá en el principal sistema de soporte disponible a través de NEDA. También se pidió a los voluntarios de la línea de ayuda que dejaran sus roles de apoyo uno a uno y sirvieran como "probadores" para el chatbot. Según NPR , que obtuvo una grabación de la llamada en la que NEDA despidió al personal de la línea de ayuda y anunció una transición al chatbot, Tessa fue creada por un equipo de la facultad de medicina de la Universidad de Washington y encabezada por la Dra. Ellen Fitzsimmons-Craft. El chatbot fue entrenado para abordar específicamente problemas de imagen corporal utilizando métodos terapéuticos y solo tiene un número limitado de respuestas.

“El chatbot se creó en base a décadas de investigación realizada por mí y mis colegas”, dijo Fitzsimmons-Craft a Motherboard. “No descarto de ninguna manera la posible utilidad de hablar con alguien sobre sus preocupaciones. Es un servicio completamente diferente diseñado para enseñar a las personas estrategias basadas en evidencia para prevenir y brindar alguna intervención temprana para los síntomas del trastorno alimentario”.

“Tenga en cuenta que Tessa, el programa de chatbot, NO reemplaza a la Línea de ayuda; es una oferta de programa completamente diferente y nació de la necesidad de adaptarse a las necesidades y expectativas cambiantes de nuestra comunidad”, dijo un portavoz de NEDA a Motherboard. “Además, Tessa NO es ChatGBT [sic], esta es una conversación guiada basada en reglas. Tessa no toma decisiones ni 'crece' con la charla; el programa sigue caminos predeterminados basados en el conocimiento que tiene el investigador de las personas y sus necesidades”.

El portavoz de NEDA también le dijo a Motherboard que Tessa fue probada en 700 mujeres entre noviembre de 2021 y 2023 y 375 de ellas le dieron a Tessa una calificación de 100% útil. “Cuando los investigadores concluyeron su evaluación del estudio, encontraron que el éxito de Tessa demuestra las ventajas potenciales de los chatbots como una opción rentable, de fácil acceso y no estigmatizante para la prevención e intervención en los trastornos alimentarios”, escribieron.

Harper cree que la implementación de Tessa elimina el aspecto personal de la línea directa de soporte, en la que muchos de los asociados pueden hablar desde sus propias experiencias. “Algunos de nosotros nos hemos recuperado personalmente de trastornos alimentarios y aportamos esa invaluable experiencia a nuestro trabajo. Todos llegamos a este trabajo debido a nuestra pasión por los trastornos alimentarios y la defensa de la salud mental y nuestro deseo de marcar la diferencia”, escribió en su blog.

Harper le dijo a NPR que muchas veces la gente le pregunta al personal si es una persona real o un robot. “Nadie dice, oh, dispara. eres una persona Bueno adios. No es lo mismo. Y hay algo muy especial en poder compartir ese tipo de experiencia vivida con otra persona”.

“Nosotros, Helpline Associates United, estamos desconsolados por perder nuestros trabajos y profundamente decepcionados de que la Asociación Nacional de Trastornos de la Alimentación (NEDA) haya decidido seguir adelante con el cierre de la línea de ayuda. No nos vamos a dar por vencidos. No estamos en huelga. Continuaremos apareciendo todos los días para apoyar a nuestra comunidad hasta el 1 de junio. Condenamos la decisión de NEDA de cerrar la línea de ayuda en los términos más enérgicos posibles. Un bot de chat no sustituye a la empatía humana, y creemos que esta decisión causará un daño irreparable a la comunidad de trastornos alimentarios”, dijo Helpline Associates United a Motherboard en un comunicado.

Motherboard probó la [versión pública actual de Tessa] (https://www.x2ai.com/neda-tessa) y se le dijo que era un chatbot desde el principio. “Hola, soy Tessa. Soy un chatbot de apoyo a la salud mental aquí para ayudarte a sentirte mejor cada vez que necesites una forma de hablar libre de estigma, de día o de noche”, decía el primer texto. El chatbot luego no respondió a los mensajes de texto que envié, incluidos "Me siento deprimido" y "Odio mi cuerpo".

Aunque Tessa no se basa en GPT y tiene un rango limitado de lo que puede decir, ha habido muchos casos en los que la IA se ha descarrilado cuando se aplica a personas en crisis de salud mental. En enero, una organización sin fines de lucro de salud mental llamada Koko [fue criticada](https://www.vice.com/en/article/4ax9yw/startup-uses-ai-chatbot-to-provide-mental-health-counseling-and -luego-se-da- cuenta-que-se-siente-raro) por usar GPT-3 en personas que buscan asesoramiento. El fundador Rob Morris dijo que cuando las personas se enteraron de que habían estado hablando con un bot, se sintieron perturbadas por la "empatía simulada". Los investigadores de IA con los que hablé advirtieron contra la aplicación de chatbots en personas en crisis de salud mental, especialmente cuando se deja que los chatbots operen sin supervisión humana. En un caso reciente más grave, [un hombre belga se suicidó](https://www.vice.com/en/article/pkadgm/man-dies-by-suicide-after-talking-with-ai-chatbot-widow -dice) después de hablar con un chatbot de IA personificado llamado Eliza. Incluso cuando las personas saben que están hablando con un bot conversacional, la presentación de un bot conversacional con un nombre y pronombres en primera persona hace que sea extremadamente difícil para los usuarios comprender que el bot conversacional en realidad no es consciente ni es capaz de sentir ninguna emoción.

_Actualización 5/25: Este artículo se actualizó con información adicional y comentarios de la líder de Tessa, la Dra. Ellen Fitzsimmons-Craft. _

_Actualización 5/26: Este artículo se actualizó con información adicional y comentarios de Helpline Associates United. _

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd