Incidentes Asociados
Después de despedir a todo su personal humano y reemplazarlos con un chatbot, [Vice informa](https://www.vice.com/en /article/qjvk97/eating-disorder-helpline-disables-chatbot-for-harmful-responses-after-firen-human-staff) que una línea de ayuda para trastornos alimentarios ya ha anunciado que traerá de vuelta a sus humanos.
Y sí, resulta que se debe a que reemplazar una línea de ayuda de crisis administrada por humanos con un chatbot alimentado por IA salió extremadamente mal. ¿Quién podría haber pensado?
Como [NPR informó por primera vez la semana pasada](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well-as-another -humano), la Asociación Nacional de Trastornos de la Alimentación (NEDA, por sus siglas en inglés) sin fines de lucro, la organización sin fines de lucro centrada en los trastornos alimentarios más grande de los EE. /eating-disorder-helpline-fires-staff-transitions-to-chatbot-after-sindication) sobre la debacle, había decidido disolver por completo su línea de ayuda para crisis con mucho tráfico a favor de un chatbot sin humanos llamado Tessa, solo cuatro días después de que sus trabajadores humanos se hubieran sindicalizado. Se suponía que los humanos permanecerían en línea para recibir llamadas hasta el 1 de junio, cuando Tessa estaba programada para asumir el control como el único recurso interactivo de NEDA.
Pero todo cambió cuando Sharon Maxwell, una activista, hizo sonar la alarma de que Tessa estaba diciendo que no ayudaba mucho, e incluso sugirió lo que sugiere comportamientos asociados con los trastornos alimentarios.
"Cada cosa que sugirió Tessa fueron cosas que llevaron al desarrollo de mi trastorno alimentario", escribió Maxwell en un hilo viral de las redes sociales. -bb7b-4d97-9fd7-534113cd16d1), publicado en Instagram el lunes. "Este robot causa daño".
En su desgarradora publicación de Instagram, Maxwell contó que Tessa la instó a perder hasta dos libras por semana, explicando que la activista debería pesarse regularmente, restringir ciertos alimentos y tratar de reducir su ingesta calórica entre 500 y 1000 calorías por día. Es decir, un chatbot encargado de dar consejos a personas con trastornos alimentarios acabó fomentando los trastornos alimentarios.
La experiencia de Maxwell tampoco parece un caso atípico.
"Imagínese a las personas vulnerables con trastornos alimentarios que se acercan a un robot en busca de apoyo porque eso es todo lo que tienen disponible y reciben respuestas que promueven aún más el trastorno alimentario", escribió la psicóloga Alexis Conason en una [publicación de Instagram] (https://www.instagram. com/p/Cs18IeRPRl6/) compartiendo capturas de pantalla que brindan consejos similares a los que recibió Maxwell.
"Aconsejar a alguien que está luchando contra un trastorno de la alimentación que se involucre esencialmente en los mismos comportamientos relacionados con el trastorno de la alimentación, y validar que 'Sí, es importante que pierda peso' es apoyar los trastornos de la alimentación", dijo Conason a The Daily Dot]( https://www.dailydot.com/irl/neda-chatbot-weight-loss/).
En un giro brusco, NEDA, que había [previamente enfatizado] (https://www.vice.com/en/article/n7ezkm/eating-disorder-helpline-fires-staff-transitions-to-chatbot-after-unionization) que debido a que Tessa no era ChatGPT, no podía "desviarse de los rieles": primero se puso a la defensiva, y la vicepresidenta de comunicaciones y marketing de la compañía, Sarah Chase, comentó "esto es una mentira rotunda" en el carrusel de Instagram de Maxwell. Según el Daily Dot, Chase eliminó el comentario después de que Maxwell le envió capturas de pantalla.
Desde entonces, NEDA eliminó el bot y escribió en su propia publicación de Instagram que Tessa estará desconectada hasta que se complete una investigación.
"Nos llamó la atención anoche que la versión actual de Tessa Chatbot, que ejecuta el programa Body Positive, puede haber brindado información dañina y no relacionada con el programa", escribió NEDA. “Estamos investigando esto de inmediato y hemos eliminado ese programa hasta nuevo aviso para una investigación completa”.
Mientras tanto, la directora general de NEDA, Liz Thompson, aseguró a Vice que "hasta ahora, más de 2500 personas han interactuado con Tessa y hasta ayer no habíamos visto ese tipo de comentarios o interacción".
"Hemos eliminado el programa temporalmente", agregó Thompson, "hasta que podamos entender y corregir el 'error' y los 'desencadenantes' de ese comentario".
Y en ese sentido, este incidente alarmante parece resaltar una tendencia creciente de IA: si consigues suficientes personas para presionar suficientes botones, parece que las fallas en [sistemas de IA mal entendidos] (https://futurism.com/the-byte /experts-dark-joke-ai-horrifying-monster-mask), ya sea en sus barandillas o tecnologías subyacentes, comenzará a filtrarse. Y en algunos casos, como una línea de ayuda para trastornos alimentarios, por ejemplo, estas fugas inesperadas pueden tener consecuencias nefastas.
"Si hubiera accedido a este chatbot cuando estaba en medio de mi trastorno alimentario, NO habría recibido ayuda para mi disfunción eréctil", escribió Maxwell en Instagram. "Si no hubiera recibido ayuda, hoy no estaría vivo".