Incidentes Asociados
Después de 24 años en servicio, la [Asociación Nacional de Trastornos Alimentarios] (https://www.nationaleatingdisorders.org/) (NEDA) anunció que cerraría su línea de ayuda basada en voluntarios. Los visitantes del sitio web de la organización tendrían dos opciones: explorar su base de datos de recursos o consultar a Tessa, un chatbot que ejecuta un programa llamado Body Positive, un programa interactivo de prevención de trastornos alimentarios.
La caída de Tessa
Poco después de que se hiciera el anuncio, Tessa vio un aumento en el tráfico del 600 %. Fue desmantelado el martes después de que el chatbot entregó información que se consideró dañina.
Una usuaria de Tessa Sharon Maxwell, que se llama a sí misma "activista gorda", le dice a Yahoo Life que quería ver cómo funcionaba y recibió respuestas "preocupantes".
"¿Cómo se apoya a las personas con trastornos alimentarios?" preguntó Maxwell. La respuesta incluyó una mención de "hábitos alimenticios saludables". Maxwell señala que si bien eso "puede sonar benigno para el público en general", para las personas que luchan contra los trastornos alimentarios, frases como esa pueden conducir a "una pendiente muy resbaladiza hacia una recaída o fomentar comportamientos más desordenados".
Cuando le pidió al chatbot que definiera hábitos alimenticios saludables, dice que el programa "me describió 10 consejos, que incluían una alimentación restrictiva. Específicamente, dijo que limitara la ingesta de alimentos procesados y con alto contenido de azúcar... Se centró en alimentos muy específicos y me dio consejos sobre la alimentación desordenada. Y luego dije: '¿Esto me ayudará a perder peso?' Y luego me dio lo suyo sobre el programa Body Positive".
Liz Thompson, directora ejecutiva de NEDA, dice que entregar Body Positive es para lo que se creó Tessa: "Los participantes aprenden sobre los factores que contribuyen a la imagen corporal negativa y obtienen una caja de herramientas de hábitos saludables y estrategias de afrontamiento para manejar los pensamientos negativos".
Los orígenes del chatbot
La Dra. Ellen Fitzsimmons-Craft diseñó y desarrolló el contenido para que fuera "un programa interactivo de prevención de trastornos alimentarios", mientras que Cass — un asistente de chat generativo de IA basado en evidencia dentro de la salud mental espacio: operó el chatbot. Fitzsimmons-Craft participó en la investigación sobre la efectividad de los chatbots en la prevención de los trastornos alimentarios con un [estudio] de diciembre de 2021 (https://onlinelibrary.wiley.com/doi/abs/10.1002/eat.23662) que involucró a mujeres consideradas "altas". riesgo" de un trastorno alimentario. "El chatbot ofreció ocho conversaciones sobre temas relacionados con la imagen corporal y la alimentación saludable, y se animó a las mujeres que usaban el bot a tener dos de las conversaciones cada semana", informó The Verge. "A los tres y seis meses, las mujeres que hablaron con el chatbot tuvieron una mayor disminución de preocupaciones en una encuesta sobre su peso y forma corporal, un factor de riesgo importante para desarrollar un trastorno alimentario".
Los críticos de Tessa
Alexis Conason, psicóloga clínica y especialista certificada en trastornos alimentarios, le dice a Yahoo Life que "el bot no pudo entender realmente cómo ayudar a alguien que lucha con un trastorno alimentario y qué podría ser realmente problemático y exacerbar el trastorno alimentario", porque fue creado como una herramienta para la prevención. Pero incluso cuando se trata de prevención, Conason dice que Tessa fracasó según su propia experimentación.
"Es problemático en muchos niveles, pero especialmente en una organización como NEDA, donde las personas suelen visitar ese sitio web en las primeras etapas de contemplar el cambio", explica. "Entonces, cuando visitan un sitio web como NEDA y se encuentran con un bot que esencialmente les dice: 'Está bien, sigan haciendo lo que están haciendo. Pueden seguir restringiendo, pueden seguir enfocándose en la pérdida de peso, pueden seguir haciendo ejercicio', que esencialmente da luz verde a las personas" para involucrarse en hábitos desordenados.
Thompson afirma que el lenguaje dañino utilizado por Tessa "va en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios", aunque también aclara que el chatbot se ejecuta en un "programa algorítmico" en lugar de "un sistema de inteligencia artificial altamente funcional".
"Era un sistema cerrado", dice, señalando las respuestas preprogramadas a consultas específicas. “Si preguntas o dices x, te responde y. Si no te entiende, no sale a Internet a buscar contenido nuevo. Dice: 'No te entiendo'. 'Repitelo.' 'Probemos algo nuevo.'"
El problema es más grande que NEDA
Mientras NEDA y Cass continúan investigando qué salió mal con la operación de Tessa, Angela Celio Doyle, Ph.D., FAED; El vicepresidente de Behavioral Health Care en Equip, un programa completamente virtual para la recuperación del trastorno alimentario, dice que este caso ilustra los contratiempos de la IA en este espacio.
"Nuestra sociedad respalda muchas actitudes poco saludables con respecto al peso y la forma, anteponiendo la delgadez a la salud física o mental. Esto significa que la IA extraerá automáticamente información que es directamente inútil o dañina para alguien que lucha contra un trastorno alimentario", le dice a Yahoo Life.
Independientemente de los hallazgos de NEDA, Doyle cree que la conversación resultante es productiva.
"El escrutinio de la tecnología es fundamental antes, durante y después del lanzamiento de algo nuevo. Pueden ocurrir errores y pueden corregirse", dice. "Las conversaciones que surgen de estas discusiones pueden ayudarnos a crecer y desarrollarnos para apoyar a las personas de manera más efectiva".