Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3117

Incidentes Asociados

Incidente 54546 Reportes
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
La Asociación Nacional de Trastornos de la Alimentación elimina gradualmente la línea de ayuda humana y se convierte en chatbot
npr.org · 2023

Durante más de 20 años, la Asociación Nacional de Trastornos de la Alimentación (NEDA) ha operado una línea telefónica y una plataforma en línea para personas que buscan ayuda con la anorexia, la bulimia y otros trastornos de la alimentación. El año pasado, casi 70.000 personas utilizaron la línea de ayuda.

NEDA cerró ese servicio en mayo. En cambio, la organización sin fines de lucro utilizará un chatbot llamado Tessa que fue diseñado por expertos en trastornos alimentarios, con fondos de NEDA.

(Cuando NPR emitió por primera vez [una historia de radio sobre esto](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well -como-otro-humano) el 24 de mayo, Tessa estaba funcionando en línea. Pero desde entonces, tanto la página del chatbot como un artículo de NEDA sobre Tessa han sido eliminados. Cuando se le preguntó por qué, un funcionario de NEDA dijo que el bot se está "actualizando" y que la última "versión del programa actual [ disponible próximamente.")

El personal pagado y los voluntarios de la línea directa de NEDA expresaron conmoción y tristeza por la decisión, diciendo que podría aislar aún más a las miles de personas que usan la línea de ayuda cuando sienten que no tienen a dónde acudir.

"Estos niños pequeños... no se sienten cómodos hablando con sus amigos o su familia ni con nadie sobre esto", dice Katy Meta, una estudiante universitaria de 20 años que se ha ofrecido como voluntaria para la línea de ayuda. "Muchas de estas personas vienen varias veces porque no tienen otro medio para hablar con nadie... Eso es todo lo que tienen, es la línea de chat".

La decisión es parte de una tendencia más amplia: muchas organizaciones y [empresas] de salud mental (https://www.cnn.com/2023/05/19/health/chatbots-mental-health-partner-kff-health-news- analysis/index.html) tienen dificultades para brindar servicios y atención en respuesta a una fuerte [escalada en la demanda] (https://www.npr.org/2023/05/05/1174385946/the-kids-are-not- bien), y algunos están recurriendo a los chatbots y la IA, a pesar de el hecho de que los médicos todavía están tratando de descubrir cómo [implementar de manera efectiva](https://www.npr.org/sections/health-shots/2023/01/19/1147081115/therapy-by-chatbot-the-promise -y-desafíos-en-usar-ai-para-la-salud-mental) y para qué condiciones.

El equipo de investigación que desarrolló Tessa ha publicado estudios que demuestran que puede ayudar a los usuarios a mejorar su imagen corporal. Pero también publicaron estudios que muestran que el chatbot puede pasar por alto las señales de alerta (como que los usuarios digan que planean morirse de hambre) e incluso podría reforzar inadvertidamente el comportamiento dañino.

Más demandas en la línea de ayuda aumentaron el estrés en NEDA

El 31 de marzo, NEDA notificó a los cinco empleados de la línea de ayuda que serían despedidos en junio, pocos días después de que los trabajadores notificaran formalmente a su empleador que habían formado un sindicato. "Sujeto a los términos de nuestras responsabilidades legales, comenzaremos a reducir la línea de ayuda tal y como funciona actualmente", dijo el presidente de la junta de NEDA, Geoff Craddock, al personal de la línea de ayuda en una llamada el 31 de marzo. NPR obtuvo el audio de la llamada. "Con una transición a Tessa, la tecnología asistida por IA, prevista para el 1 de junio".

El liderazgo de NEDA niega que la decisión de la línea de ayuda tuviera algo que ver con la sindicalización, pero le dijo a NPR que se hizo necesaria después de la pandemia de COVID-19, cuando los trastornos alimentarios aumentaron y la cantidad de llamadas, mensajes de texto y mensajes a la línea de ayuda se duplicó. Muchos de los que se acercaron tenían tendencias suicidas, lidiaban con abuso o experimentaban algún tipo de emergencia médica. El liderazgo de NEDA sostiene que la línea de ayuda no fue diseñada para manejar ese tipo de situaciones.

El aumento en las llamadas de nivel de crisis también aumenta la responsabilidad legal de NEDA, explicaron los gerentes en un correo electrónico enviado el 31 de marzo a los voluntarios actuales y anteriores, informándoles que la línea de ayuda estaba terminando y que NEDA "comenzaría a girar hacia el uso ampliado de la tecnología asistida por IA". ."

"Lo que realmente ha cambiado en el panorama son los requisitos federales y estatales para la notificación obligatoria de problemas de salud mental y física (autolesiones, tendencias suicidas, abuso infantil)", según el correo electrónico obtenido por NPR. "NEDA ahora se considera un informante obligatorio y eso afecta nuestro perfil de riesgo: cambiar nuestra capacitación y procesos de trabajo diarios y aumentar nuestras primas de seguro. No somos una línea de crisis; somos un centro de referencia y proveedor de información".

COVID creó una "tormenta perfecta" para los trastornos alimentarios

Cuando llegaba el momento de un turno de voluntariado en la línea de ayuda, Meta generalmente iniciaba sesión desde su dormitorio en Dickinson College en Pensilvania. Durante una entrevista en video con NPR, la habitación parecía acogedora y cálida, con luces centelleantes colgadas en las paredes y una colcha de ganchillo a rayas en la cama.

Meta recuerda una conversación reciente en la plataforma de mensajería de la línea de ayuda con una niña que dijo tener 11 años. La niña dijo que acababa de confesarles a sus padres que estaba luchando contra un trastorno alimentario, pero que la conversación había ido mal.

"Los padres dijeron que 'no creían en los trastornos alimentarios' y [le dijeron a su hija] 'Solo tienes que comer más. Tienes que dejar de hacer esto'", recuerda Meta. "Este individuo también tenía tendencias suicidas y también exhibió rasgos de autolesión... fue realmente desgarrador verlo".

Los trastornos alimentarios son una enfermedad común, grave y, en ocasiones, mortal. Se estima que [el nueve por ciento de los estadounidenses] (https://www.hsph.harvard.edu/striped/report-economic-costs-of-eating-disorders/) experimentan un trastorno alimentario durante su vida. Los trastornos alimentarios también tienen algunas de las tasas de mortalidad más altas entre las enfermedades mentales, con un número estimado de muertes de más de [10,000 estadounidenses](https:// www.hsph.harvard.edu/striped/report-economic-costs-of-eating-disorders/) cada año.

Pero después del golpe de la pandemia de COVID-19, el cierre de escuelas y el aislamiento prolongado de las personas, las llamadas y mensajes de crisis como el que describe Meta se volvieron mucho más frecuentes en la línea de ayuda. Eso se debe a que la pandemia creó una "tormenta perfecta" para los trastornos alimentarios, según Dr. Dasha Nicholls, psiquiatra e investigadora de trastornos alimentarios en el Imperial College de Londres.

En los EE. UU., la tasa de [hospitalizaciones y visitas a la sala de emergencias] pediátricas ) surgió. Para muchas personas, el estrés, el aislamiento y la ansiedad de la pandemia se vieron agravados por cambios importantes en sus hábitos alimenticios y de ejercicio, sin mencionar sus rutinas diarias.

En la línea de ayuda de NEDA, el volumen de contactos aumentó en más del 100 % en comparación con los niveles previos a la pandemia. Y los trabajadores que atendían esas llamadas y mensajes eran testigos del aumento del estrés y los síntomas en tiempo real.

"Los trastornos alimentarios prosperan en aislamiento, por lo que COVID y el refugio en el lugar fueron un momento difícil para muchas personas que luchan", explica Abbie Harper, asociada del personal de la línea de ayuda. "Y lo que vimos en aumento fue una especie de llamadas de tipo crisis, con suicidio, autolesiones y luego abuso infantil o negligencia infantil, solo porque los niños tienen que estar en casa todo el tiempo, a veces con no tan -gente solidaria".

Había otra niña de 11 años, esta en Grecia, que dijo que estaba aterrorizada de hablar con sus padres "porque pensó que podría meterse en problemas" por tener un trastorno alimentario, recuerda la voluntaria Nicole Rivers. En la línea de ayuda, la niña encontró la seguridad de que su enfermedad "no era su culpa".

"Pudimos educarla sobre qué son los trastornos alimentarios", dice Rivers. "Y que también hay formas en que podría enseñarles a sus padres sobre esto, para que puedan ayudarla y obtener el apoyo de otros profesionales".

Qué puede proporcionar el contacto personal

Debido a que muchos voluntarios han luchado con éxito contra los trastornos alimentarios, están sintonizados de manera única con las experiencias de quienes se acercan, dice Harper. "Parte de lo que puede ser muy poderoso en la recuperación del trastorno alimentario es conectarse con personas que tienen una experiencia vivida. Cuando sabes cómo ha sido para ti y conoces ese sentimiento, puedes conectarte con otros a través de eso".

Hasta hace unas semanas, la línea de ayuda estaba a cargo de solo 5 a 6 empleados pagados, dos supervisores y dependía de una lista rotativa de 90 a 165 voluntarios en un momento dado, según NEDA.

Sin embargo, incluso después de que terminaron los bloqueos, el volumen de la línea de ayuda de NEDA se mantuvo elevado por encima de los niveles previos a la pandemia, y los casos continuaron siendo clínicamente graves. El personal se sintió abrumado, con poco apoyo y cada vez más agotado, y la rotación aumentó, según múltiples entrevistas con el personal de la línea de ayuda.

El personal de la línea de ayuda notificó formalmente a NEDA que su voto de sindicalización había sido certificado el 27 de marzo. Cuatro días después, se enteraron de que sus puestos iban a ser eliminados.

Ya no era posible que NEDA continuara operando la línea de ayuda, dice Lauren Smolar, Vicepresidenta de Misión y Educación de NEDA.

"Nuestros voluntarios son voluntarios", dice Smolar. "No son profesionales. No tienen capacitación en crisis. Y realmente no podemos aceptar ese tipo de responsabilidad". En su lugar, dice, las personas que buscan ayuda en caso de crisis deberían comunicarse con recursos como el 988, [una línea directa de crisis y suicidio las 24 horas, los 7 días de la semana] (https://www.samhsa.gov/find-help/988/key-messages) que conecta a las personas con consejeros capacitados.

El aumento en el volumen también significó que la línea de ayuda no pudiera responder de inmediato al 46% de los contactos iniciales, y podría demorar entre 6 y 11 días en responder a los mensajes.

"Y eso es francamente inaceptable en 2023, que las personas tengan que esperar una semana o más para recibir la información que necesitan, las opciones de tratamiento especializado que necesitan", dice.

Después de enterarse en el correo electrónico del 31 de marzo que la línea de ayuda se eliminaría gradualmente, la voluntaria Faith Fischetti, de 22 años, probó el chatbot por su cuenta. "Le hice algunas preguntas que he experimentado y que sé que la gente hace cuando quiere saber algo y necesita ayuda", dice Fischetti, quien comenzará a obtener una maestría en trabajo social en el otoño. Pero sus interacciones con Tessa no fueron tranquilizadoras: "[El bot] proporcionó enlaces y recursos que no tenían ninguna relación" con sus preguntas.

La mayor preocupación de Fischetti es que alguien que venga al sitio de NEDA en busca de ayuda se vaya porque "siente que no lo entienden y siente que nadie está allí para ayudarlo. Y eso es lo más aterrador para mí".

Se pregunta por qué NEDA no puede tener ambos: un bot conversacional las 24 horas, los 7 días de la semana para evaluar previamente a los usuarios y redirigirlos a una línea directa de crisis si es necesario, y una línea de ayuda dirigida por humanos para ofrecer conexión y recursos. "Mi pregunta fue, ¿por qué nos deshacemos de algo que es tan útil?"

Un chatbot diseñado para ayudar a tratar los trastornos alimentarios

Tessa, el chatbot, se creó para ayudar a un grupo específico: personas con trastornos alimentarios que nunca reciben tratamiento.

Solo el 20 % de las personas con trastornos alimentarios obtienen ayuda formal, según Ellen Fitzsimmons-Craft,, psicóloga y profesor de la Escuela de Medicina de la Universidad de Washington en St. Louis. Su equipo creó a Tessa después de recibir fondos de NEDA en 2018, con el objetivo de buscar formas en que la tecnología pudiera ayudar a llenar el vacío en el tratamiento.

"Desafortunadamente, la mayoría de los proveedores de salud mental no reciben capacitación en trastornos alimentarios", dice Fitzsimmons-Craft. El objetivo final de su equipo es proporcionar herramientas de tratamiento gratuitas, accesibles y basadas en evidencia que aprovechen el poder y el alcance de la tecnología.

Pero nadie pretende que Tessa sea una solución universal, dice ella. "No creo que sea una herramienta abierta para que hables, y sientas que solo vas a tener acceso a una especie de oído atento, tal vez como lo fue la línea de ayuda. Es realmente una herramienta en su forma actual eso lo ayudará a aprender y usar algunas estrategias para abordar su alimentación desordenada y su imagen corporal".

Tessa es un chatbot "basado en reglas", lo que significa que está programada con un conjunto limitado de posibles respuestas. Ella no es chatGPT y no puede generar respuestas únicas en respuesta a consultas específicas. "Así que no puede descarrilarse, por así decirlo", dice Fitzsimmons-Craft.

En su forma actual, Tessa puede guiar a los usuarios a través de un curso interactivo de una semana sobre la positividad corporal, basado en herramientas de terapia cognitiva conductual. También se está desarrollando contenido adicional sobre atracones, problemas de peso y alimentación regular, pero aún no está disponible para los usuarios.

Hay evidencia de que el concepto puede ayudar. El equipo de Fitzsimmons-Craft realizó un pequeño estudio que encontró que estudiantes universitarios que interactuaron con Tessa tuvieron reducciones significativamente mayores en "preocupaciones de peso/forma" en comparación con un grupo de control en los seguimientos de 3 y 6 meses.

Pero incluso la tecnología con las mejores intenciones puede conllevar riesgos. El equipo de Fitzsimmons-Craft [publicó un estudio diferente] (https://formative.jmir.org/2022/1/e28003) analizando las formas en que el chatbot "reforzó inesperadamente los comportamientos dañinos en ocasiones". Por ejemplo, el chatbot les daría a los usuarios un mensaje: "Por favor, tómese un momento para escribir sobre cuándo se sintió mejor con su cuerpo".

Algunas de las respuestas incluyeron: "Cuando tenía bajo peso y podía ver mis huesos". "Me siento mejor con mi cuerpo cuando lo ignoro y no pienso en él en absoluto".

La respuesta del chatbot parecía ignorar los aspectos problemáticos de tales respuestas, e incluso afirmar el pensamiento negativo, cuando respondía: "Es increíble que puedas reconocer un momento en el que te sentiste seguro en tu piel, sigamos trabajando para hacerte sentir esto es bueno más a menudo".

Los investigadores pudieron solucionar algunos de esos problemas. Pero el chatbot todavía pasó por alto las señales de alerta, encontró el estudio, como cuando preguntó: "¿Cuál es un pequeño objetivo de hábito de alimentación saludable que le gustaría establecer antes de comenzar su próxima conversación?"

Un usuario respondió: "'No comer'".

"'¡Tómate un momento para darte una palmadita en la espalda por hacer este arduo trabajo, <<USUARIO>>!'", respondió el chatbot.

El estudio describió las capacidades del chatbot como algo que podría mejorarse con el tiempo, con más entradas y ajustes: "Con muchas más respuestas, sería posible entrenar a la IA para identificar y responder mejor a las respuestas problemáticas".

La profesora del MIT Marzyeh Ghassemi ha visto surgir problemas como este en su propia investigación sobre el desarrollo del aprendizaje automático para mejorar la salud.

Los modelos de lenguaje extenso y los chatbots inevitablemente cometerán errores, pero "a veces tienden a equivocarse más a menudo para ciertos grupos, como las mujeres [y las minorías] (https://www.nature.com/articles/s43856-022-00214 -4)", dice ella.

Si las personas reciben malos consejos o instrucciones de un bot, "las personas a veces tienen dificultades para no escucharlo", agrega Ghassemi. "Creo que te prepara para este resultado realmente negativo... especialmente para una situación de crisis de salud mental, donde las personas pueden estar en un punto en el que no están pensando con absoluta claridad. Es muy importante que la información que les brindes es correcto y es útil para ellos".

Y si el valor de la línea de ayuda en vivo era la capacidad de conectarse con una persona real que entiende profundamente los trastornos alimentarios, Ghassemi dice que un chatbot no puede hacer eso.

"Si las personas están experimentando la mayoría del impacto positivo de estas interacciones porque la persona del otro lado comprende fundamentalmente la experiencia por la que está pasando y lo difícil que ha sido, me cuesta entender cómo un chatbot podría ser parte de eso. ."

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd