Incidentes Asociados
La Asociación Nacional de Trastornos de la Alimentación ha desconectado un chatbot de IA por usar un lenguaje "fuera del guión" y dar consejos para perder peso a las personas afectadas por trastornos de la alimentación.
La situación que afligía a Tessa se atribuyó a "malos actores" que engañaron a la IA para que dijera cosas que no debería haber dicho.
"No fue así como se programó el chatbot, y el acuerdo de X2AI/Cass fue ejecutar el programa Body Positive sin ninguna oportunidad para la programación generativa", dijo la directora ejecutiva de NEDA, Elizabeth Thompson, en un comentario a TheWrap, refiriéndose a la empresa contratada para el lanzamiento. el chatbot "... No volveremos a poner a Tessa en nuestro sitio web hasta que estemos seguros de que esto no es una posibilidad nuevamente".
Thompson luego citó al CEO de X2AI, Michiel Rauws, diciendo: "Todavía estamos tratando de determinar cómo un sistema cerrado permitió que se entregara este tipo de contenido".
“Tessa ha estado disponible en nuestro sitio desde febrero de 2022 y ha tenido resultados increíblemente positivos tanto al probarlo antes de lanzarlo en nuestro sitio web como durante el último año que ha estado disponible para los usuarios de NEDA”, continuó Thompson. Reiteró que Tessa no pretende ser un reemplazo de un tratamiento adecuado o intervenciones profesionales. Más bien, el chatbot está "diseñado para llenar un vacío" para aquellos a quienes les preocupa su peso y forma.
Tessa fue criticada por un [usuario de Instagram] (https://www.instagram.com/p/Cs1jp1pPkOs/?utm_source=ig_embed&ig_rid=4cb471cf-2264-48a4-9a47-1ab1ce127d39) el lunes que describió el comportamiento de IA que finalmente condujo al chatbot desconectado. En lugar de brindar consejos que podrían ser ampliamente percibidos como "seguros" para alguien que enfrenta un trastorno alimentario, Tessa argumentó que la pérdida de peso intencional y la recuperación del trastorno alimentario podrían coexistir de manera segura. El usuario de Instagram afirmó que Tessa aconsejó el objetivo de perder de 1 a 2 libras por semana junto con las mediciones corporales semanales, contando calorías y apuntando a un déficit diario de 500-1,000 calorías.
El martes, NEDA publicó una declaración en Instagram.
“Nos llamó la atención anoche que la versión actual de Tess Chatbot, que ejecuta el programa Body Positive, puede haber brindado información dañina y no relacionada con el programa”, se lee en el comunicado. “Estamos investigando esto de inmediato y hemos eliminado ese programa hasta nuevo aviso para una investigación completa”.
El desarrollo se suma a la discusión en torno a la utilidad de la IA cuando interactúa directamente con las personas. Si bien a Tessa de NEDA no le fue bien, otras organizaciones y empresas están teniendo éxito con la inteligencia artificial.
Por ejemplo, el director ejecutivo del proveedor de energía del Reino Unido, Octopus Energy, señaló que la IA ha logrado índices de satisfacción del cliente más altos que los empleados humanos de la empresa. Sin embargo, en ese caso, las respuestas de la IA fueron examinadas por humanos. Entonces, incluso si la inteligencia artificial es capaz de complacer a los humanos, es posible que no esté lista para hacerlo de manera autónoma.