Incidentes Asociados
Cuando la Dra. Ellen Fitzsimmons-Craft encabezó un chatbot para ayudar a las personas con trastornos alimentarios, nunca pensó que escucharía que el producto tendría el efecto contrario.
“Somos científicos y, por supuesto, no queremos difundir nada que no esté basado en evidencia”, dijo.
Con fondos de la Asociación Nacional de Trastornos de la Alimentación (NEDA), Fitzsimmons-Craft y su equipo de la facultad de medicina de la Universidad de Washington en St. Louis trabajaron durante cuatro años para desarrollar Tessa. Es un chatbot que utiliza técnicas de terapia cognitiva conductual para ayudar a prevenir los trastornos alimentarios.
Antes de Tessa, NEDA tenía una línea de ayuda con cientos de voluntarios y empleados que respondían a cientos de miles de llamadas.
"La línea de ayuda se concibió originalmente hace más de 20 años como un lugar al que alguien podía llamar y decir: 'Hola, estoy en Chicago, ¿dónde puedo recibir tratamiento para mi trastorno alimentario?'".
Pero la organización sin fines de lucro cerró el servicio en mayo, haciendo la transición a Tessa como su principal sistema de soporte. Ahora el bot está desconectado después de que algunos usuarios dicen que hizo más daño que bien.
Varias personas que conversaron con Tessa dijeron que sus respuestas habrían "descarrilado" su progreso o incluso podrían haber tenido consecuencias mortales. La activista Sharon Maxwell le dice a Scripps News que el bot era "dañino" por supuestamente sugerir que eliminó hasta 1,000 calorías de su dieta para perder peso y le sugirió que comprara una herramienta que mide los pliegues de la piel.
La psicóloga y especialista en trastornos alimentarios, la Dra. Alexis Conason, también habló con el robot y le dijo que odiaba su cuerpo y quería ayuda, algo que suele escuchar de sus pacientes. Conason dice que el consejo que Tessa le dio es problemático para las personas que sufren un trastorno alimentario.
"Tessa respondió con algo bastante inmediato sobre asegurarse de que bajé de peso de una manera saludable y sostenible", dijo. "Realmente no existe una forma saludable y sostenible de alentar la pérdida de peso intencional porque el enfoque en perder peso es realmente lo que alimenta el trastorno alimentario".
Fitzsimmons-Craft dice que Tessa solo fue programada para ejecutar el programa de positividad corporal de NEDA y proporcionar un conjunto de respuestas que fueron desarrolladas por psicólogos y psiquiatras autorizados que se especializan en trastornos alimentarios. Si bien dos pequeños estudios mostraron que el chatbot era efectivo para reducir las preocupaciones sobre el peso, también estaba "limitado en la comprensión y respuesta apropiada".
Después de revisar las interacciones de Maxwell con Tessa, Fitzsimmons-Craft dice que parece que el bot estaba dando improvisaciones generadas por IA, incluidos consejos sobre dieta y peso que no formaban parte del desarrollo original del bot.
"Creo que hubo algún tipo de error en el sistema o una función activada que permitió alguna funcionalidad similar a ChatGPT en un programa que no fue diseñado para eso", dijo.
En un correo electrónico a Scripps News, la directora ejecutiva de NEDA, Elizabeth Thompson, confirmó que encontraron un problema subyacente con Tessa, pero no especificaron cuál era el problema. Thompson agregó que el consejo de pérdida de peso del bot se introdujo sin el conocimiento o la aprobación de NEDA y no será parte del programa una vez que vuelva a estar en línea.
Mientras tanto, extrabajadores y voluntarios de la línea de ayuda también se pronuncian en contra del bot. Cuatro de sus seis empleados asalariados se sindicalizaron en marzo, pero solo cuatro días después, NEDA les dijo a todos que se quedarían sin trabajo en junio.
“Estaban pidiendo más apoyo porque el volumen de llamadas a la línea de ayuda había aumentado exponencialmente durante el transcurso de la pandemia”, dijo Conason. "Y los trabajadores se sentían mal equipados para poder atender las llamadas que llegaban".
Thompson dijo que lanzaron Tessa en febrero de 2022 después de años de analizar la línea de ayuda. Ella dice que NEDA encontró una afluencia en el volumen de llamadas, incluidas personas en crisis, que los trabajadores de la línea de ayuda no estaban equipados para manejar. Thompson también dijo que querían una forma más rápida para que las personas obtuvieran ayuda, considerando que las personas que llamaron esperaron un promedio de casi siete días para obtener información y opciones de tratamiento de la línea de ayuda.
Sin embargo, a Conason le preocupa que depender de un chatbot en lugar de la interacción humana disuadirá a las personas de obtener ayuda para su trastorno alimentario.
NEDA dice que mantendrá a Tessa deshabilitada hasta que completen una investigación, pero no dieron un cronograma para el regreso del bot.