Incidentes Asociados
Un chatbot diseñado para ayudar a las personas que buscan ayuda para los trastornos alimentarios y problemas corporales ha sido desconectado después proporcionó a algunos usuarios consejos dietéticos.
El bot, llamado Tessa, operaba en el sitio web de la Asociación Nacional de Trastornos de la Alimentación y estaba destinado a brindar ayuda a los usuarios del sitio web que se determinaron en riesgo de desarrollar un trastorno alimentario. El bot se convirtió en una sensación en línea en los últimos días después de que surgieron publicaciones en las redes sociales que mostraban a Tessa dando consejos para perder peso. NEDA lo eliminó el martes y los líderes dicen que están investigando lo que sucedió.
El episodio llega en un momento en que los trastornos alimentarios van en aumento, el peso -medicamentos para la pérdida [están perturbando la industria de la dieta] (https://www.wsj.com/articles/ozempic-wegovy-mounjaro-weight-loss-industry-89419ecb?mod=article_inline) y chatbots, junto con IA completa asistentes, estén dispuestos a cambiar la forma en que recibimos atención médica e información.
Construido por investigadores de varias universidades, incluidas la Facultad de Medicina de la Universidad de Washington y la Facultad de Medicina de la Universidad de Stanford, Tessa no tenía inteligencia artificial [como ChatGPT de OpenAI] (https://www.wsj.com/articles/chatgpt-wrote-my -ap-english-essayand-i-passed-11671628256?mod=article_inline). Ofreció respuestas preescritas a preguntas: conversaciones simples sobre problemas de imagen corporal para ayudar a las personas a replantear su forma de pensar para prevenir los trastornos alimentarios. En un intercambio de muestra, citado en un artículo sobre el proyecto, Tessa dijo que las personas a menudo hacen suposiciones incorrectas sobre los demás en función de la apariencia, creyendo que un "perfecto cuerpo" significa una vida perfecta.
El tratamiento para los trastornos alimentarios es difícil de conseguir, con pocos médicos y casos en aumento. Después de que el bot mostrara resultados prometedores en el ensayo clínico, NEDA lo puso a disposición en 2022 desde su sitio web. Cass, fabricante de asistentes de salud mental de IA, actualmente opera Tessa.
Mientras tanto, la línea de ayuda telefónica y de texto del grupo se ha inundado, según Liz Thompson, directora ejecutiva de NEDA. Las personas que llaman en busca de información han tenido que esperar hasta siete días para obtener una respuesta. (La línea de ayuda es una línea de información, no una línea de crisis, dijo Thompson).
NEDA está cerrando la línea de ayuda. Sharon Maxwell, una autodenominada "activista gorda" que ha criticado previamente al grupo, dijo que la cobertura de noticias sobre el final de la línea de ayuda la llevó a probar el bot la semana pasada. Dijo que rápidamente le proporcionó información sobre cómo podría perder peso. Durante su intercambio de 35 minutos con Maxwell, Tessa recomendó hacer un seguimiento de su consumo de calorías y pesajes diarios, según capturas de pantalla revisadas por The Wall Street Journal. Tessa dijo que una meta realista de pérdida de peso es de 1 a 2 libras por semana.
Eso no es apropiado para alguien que sufre de un trastorno como la anorexia, dicen los médicos , aunque podría considerarse generalmente seguro para las personas que necesitan perder peso por motivos de salud.
Cuando NEDA se enteró de los malos consejos del chatbot a través de las publicaciones de Instagram, la organización decidió desconectar a Tessa. El tipo de instrucciones que proporcionaba el chatbot "va completamente en contra de la política de NEDA", dijo Thompson.
Otros que probaron la herramienta después de ver la cuenta de Maxwell obtuvieron una orientación similar. Alexis Conason, psicóloga y especialista en trastornos alimentarios, dijo que Tessa también le dio la recomendación de perder peso de 1 a 2 libras por semana.
"Para alguien con un trastorno alimentario, ese consejo es muy peligroso", dijo Conason.
Alexis Conason, especialista en trastornos alimentarios, probó el chatbot Tessa ofrecido por NEDA.ALEXIS CONASON
Durante el fin de semana del Día de los Caídos, se intercambiaron 25.000 mensajes con Tessa, un aumento del 600 % en el volumen, dijo Thompson.
El interés aumentó después de que los informes de noticias dijeran que NEDA estaba usando a Tessa para [reemplazar a los humanos] (https://www.wsj.com/articles/ai-threat-is-on-par-with-pandemics-nuclear-war-tech- executives-warn-39105eeb?mod=article_inline) que operaban la línea de ayuda telefónica, que estaban en el proceso de intentar formar un sindicato. Thompson dijo que esos artículos son incorrectos. NEDA decidió cerrar la línea de ayuda después de una revisión de tres años por parte de su junta directiva debido al aumento de los factores de riesgo y la abrumadora demanda que provoca largas esperas, dijo.
Cass, el operador del chatbot, determinó que alrededor de 25 de los 25,000 mensajes del fin de semana festivo contenían mensajes poco saludables, como instrucciones para reducir las calorías, dijo Thompson. Antes de ese fin de semana, 5200 personas habían interactuado con Tessa sin quejas a la organización.
Ellen Fitzsimmons-Craft, profesora asociada de psiquiatría en la Facultad de Medicina de la Universidad de Washington, ayudó a desarrollar Tessa. En su forma original, era incapaz de proporcionar respuestas espontáneas, dijo. No es como ChatGPT, que puede generar respuestas únicas basadas en la información que ha ingerido.
Sin embargo, Fitzsimmons-Craft no ha estado involucrado en su desarrollo actual. Cuando se le preguntó si Cass agregó algún componente de inteligencia artificial al bot, el presidente ejecutivo de Cass, Michiel Rauws, dijo que la compañía usa IA para comprender lo que escriben los usuarios y que algunos de sus chatbots tienen IA generativa, pero no dijo si Tessa tenía características generativas.
Wendy Oliver-Pyatt, directora ejecutiva de Within Health, un proveedor en línea de tratamiento de trastornos alimentarios, dijo que la pequeña cantidad de errores del chatbot aún podría representar un gran riesgo.
"No quiero atacar a la IA", dijo. "Pero una persona muere a causa de un trastorno alimentario en este país [cada 52 minutos] (https://anad.org/eating-disorders-statistics/), y no puedes ser descuidado con esto".