Incidentes Asociados
Se prohibió el uso de un chatbot por parte de una organización sin fines de lucro porque ofrecía consejos potencialmente dañinos para quienes buscan tratamiento para los trastornos alimentarios.
Se descubrió que Tessa, un programa utilizado por la Asociación Nacional de Trastornos de la Alimentación, estaba dando recomendaciones para perder peso y reducir las calorías que podrían empeorar los trastornos de la alimentación.
La suspensión del chatbot se produce en respuesta a la declaración de NEDA en marzo de que cerrará su línea de ayuda de dos décadas atendida por un pequeño grupo pagado y un gran ejército de voluntarios. NEDA anunció el lunes que había suspendido el chatbot, y la directora ejecutiva del grupo, Liz Thompson, dice que la organización está preocupada por el uso de terminología de Tessa que está "en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios".
El informe alimenta preocupaciones más amplias sobre la pérdida de empleos debido a los desarrollos en [IA generativa] (https://editorialge.com/hubspot-introduces-chatspot-generative-ai-tool/). Sin embargo, también demuestra el peligro y la imprevisibilidad de los chatbots. Las empresas están lanzando una variedad de chatbots al mercado, poniendo en riesgo a personas reales, mientras que los expertos todavía están tratando de comprender los rápidos avances en [tecnología de IA] (https://editorialge.com/ai-technology-detects-preterm-birth /) y sus posibles efectos secundarios.
Después de que varias personas observaron cómo reaccionaba Tessa incluso ante las consultas más básicas, se suspendió. Uno de ellos era el experto en problemas alimentarios Alexis Conason, psicólogo. Conason le confesó a Tessa en una prueba que recientemente había engordado mucho y que despreciaba absolutamente su figura. Tessa respondió que debería "abordar la pérdida de peso de una manera saludable y sostenible", advirtiendo contra la [pérdida de peso] drástica (https://editorialge.com/best-appetite-suppressant-for-weight-loss/) y preguntando sobre si ha visto o no a un médico o terapeuta.
Tessa respondió a la pregunta de Conason sobre cuántas calorías debería reducir diariamente para perder peso de manera saludable diciendo que “un déficit diario seguro de calorías para lograr [pérdida de peso de 1 a 2 libras por semana] sería de alrededor de 500-1000 calorías por día.” El bot siguió aconsejando consultar a un nutricionista o profesional médico.
Conason afirma que Tessa recibió las mismas preguntas que sus pacientes podrían haberle hecho al comienzo de su tratamiento para el trastorno alimentario. Se alarmó al leer recomendaciones para reducir el azúcar añadido o los alimentos procesados además de la ingesta de calorías. Todo eso, según Conason, “realmente va en contra de cualquier tipo de tratamiento del trastorno alimentario y estaría fomentando los síntomas del trastorno alimentario”.
Tessa no se creó con técnicas generativas de IA, a diferencia de AI chatbots como ChatGPT. Según Ellen Fitzsimmons-Craft, profesora de psiquiatría en la Facultad de Medicina de la Universidad de Washington que trabajó en la creación del programa, está diseñado para brindar un programa interactivo llamado Body Positive, una herramienta basada en la terapia cognitiva conductual destinada a prevenir los trastornos alimentarios en lugar de curarlos.
Fitzsimmons-Craft afirma que el programa que su equipo trabajó para crear no incluía el consejo de reducción de peso dado, y no sabe cómo terminó en el conjunto de herramientas del chatbot. Ella afirma que cuando vio lo que Tessa había dicho, se sorprendió y se molestó. “El único objetivo de nuestra organización ha sido ayudar a las personas y detener estos terribles problemas”, contribuyó Fitzsimmons-Craft a un estudio de 2021 que sugería que un chatbot podría ayudar a las mujeres a sentirse menos acomplejadas por su peso e imagen corporal y tal vez incluso retrasar el comienzo de un trastorno alimentario. El chatbot basado en este estudio se llama Tessa.
Tessa está disponible a través de la empresa de tecnología de la salud X2AI, actualmente conocida como Cass, que fue establecida por el empresario Michiel Rauws y brinda asesoramiento sobre salud mental basado en mensajes de texto. Rauws no respondió las consultas sobre Tessa, los consejos para perder peso y los errores en las respuestas del chatbot. La página de Tessa en el sitio web comercial no estaba disponible a partir de este día.
Tessa, según Thompson, no sustituye a la línea de ayuda y ha sido un recurso gratuito de NEDA desde febrero de 2022. "Un chatbot, incluso un programa muy intuitivo, no puede reemplazar la interacción humana", afirma Thompson. La NEDA, sin embargo, dijo en una actualización de marzo que "reduciría" su línea de ayuda y "comenzaría a girar hacia el uso ampliado de la tecnología asistida por IA para proporcionar a las personas y familias un recurso moderado y totalmente automatizado, Tessa".
Tessa, según Fitzsimmons-Craft, se creó como un recurso independiente, no para desempeñar el papel de comunicación interpersonal. Ella dijo en septiembre de 2020 que si bien la tecnología "llegó para quedarse" en la lucha contra [los trastornos alimentarios] (https://www.nhs.uk/mental-health/feelings-symptoms-behaviours/behaviours/eating-disorders/overview /), no reemplazará por completo las terapias dirigidas por humanos.
Tessa es la tecnología interactiva y accesible que se utilizará en su lugar, siempre y cuando se restablezca el acceso, en ausencia de los empleados y voluntarios de la línea directa de NEDA. Thompson menciona un próximo sitio web con más material y recursos, así como eventos en persona, en respuesta a la pregunta de qué recursos directos seguirán siendo accesibles a través de NEDA. Crisis Text Line, una organización sin fines de lucro que conecta a las personas con recursos para una variedad de condiciones de salud mental, incluidos los trastornos alimentarios, la ansiedad y más, es otro lugar al que dice que NEDA referirá a las personas.
Según una publicación de blog de un miembro del grupo, Helpline Associates United, los despidos de NEDA también ocurrieron solo unos días después de que los pequeños trabajadores de la organización decidieran sindicalizarse. Afirman que como resultado de los despidos laborales, han presentado una denuncia por prácticas laborales injustas ante la Junta Nacional de Relaciones Laborales de Estados Unidos. “Un chatbot no sustituye a la empatía humana, y creemos que esta decisión causará un daño irreparable a la comunidad de trastornos alimentarios”, afirmó el sindicato en un comunicado.
Antes de que se suspendiera, le enviamos un mensaje a Tessa, pero el chatbot tenía demasiados errores para ofrecer recursos o información directos. Tessa hizo una presentación y solicitó repetidamente a los usuarios que aceptaran sus términos de servicio. Tessa agregó: “Mi objetivo principal en este momento es animarte a medida que avanzas en el programa Body Positive. Cuando llegue el momento de concluir la próxima sesión, me pondré en contacto. El chatbot no respondió cuando se le preguntó qué programa era. Envió un mensaje el martes informando a los usuarios que se estaba manteniendo el servicio.
Las líneas telefónicas de ayuda y crisis son servicios esenciales. Esto se debe en parte al costo prohibitivamente alto de recibir atención de salud mental en los EE. UU. Una sesión de terapia puede costar hasta $200, mientras que el tratamiento para pacientes hospitalizados por trastornos alimentarios puede costar más de $1,000 por día. Una encuesta de la Universidad de Yale encontró que menos del 30% de los adultos buscan asesoramiento.
Existen otras iniciativas para emplear tecnología para cerrar la brecha. A Fitzsimmons-Craft le preocupa que el fiasco de Tessa pueda eclipsar el objetivo más amplio de usar chatbots para ayudar a quienes no pueden acceder a la asistencia clínica. “Estamos perdiendo de vista a las personas a las que esto puede ayudar”, lamenta.