Incidentes Asociados
Las organizaciones que buscan complementar o incluso reemplazar a algunos empleados humanos de atención al cliente podrían querer revisar primero la historia de advertencia de la Asociación Nacional de Trastornos Alimentarios (NEDA) que se desarrolló esta semana.
Como The Daily Dot y [Vice](https://www.vice.com/en/article/qjvk97/eating-disorder -helpline-disables-chatbot-for-harmful-responses-after-fireing-human-staff), NEDA había planeado descontinuar su línea telefónica de 20 años, o "[línea de ayuda] (https://www.nationaleatingdisorders .org/blog/would-i-benefit-calling-neda-helpline)”, para aquellos que buscan ayuda con trastornos alimentarios y problemas de imagen corporal. Al mismo tiempo, la organización planeó continuar ofreciendo a los usuarios la oportunidad de interactuar con un “chatbot de bienestar” llamado Tessa, desarrollado por la empresa Cass (anteriormente conocida como X2 AI Inc.) en conexión con investigadores de la Universidad de Washington y lanzado en el sitio web de NEDA en febrero de 2022.
Sin embargo, el personal humano de la línea de ayuda (seis empleados pagados y alrededor de 200 voluntarios, según [Vice](https://www.vice.com/en/article/n7ezkm/eating-disorder-helpline-fires-staff-transitions-to -chatbot-after-sindicalización) — dijo que NEDA planeaba dejarlos ir a todos y reemplazarlos con el chatbot Tessa, luego de la decisión de cuatro miembros del personal de sindicalizarse a principios de este año. El CEO de la organización confirmó a VentureBeat que planeaban cerrar la línea de ayuda, pero dijo que Tessa nunca tuvo la intención de actuar como su reemplazo.
“Hay un poco de confusión, iniciada por informes combinados, de que Tessa está reemplazando nuestra línea de ayuda o que teníamos la intención de que reemplazara la línea de ayuda”, dijo la directora ejecutiva de NEDA, Liz Thompson, a VentureBeat en un correo electrónico. “Eso simplemente no es cierto: un chatbot, incluso un programa muy intuitivo, no puede reemplazar la interacción humana. Teníamos razones comerciales para cerrar la línea de ayuda y habíamos estado en el proceso de esa evaluación durante tres años”.
Únase a nosotros en San Francisco los días 11 y 12 de julio, donde los altos ejecutivos compartirán cómo han integrado y optimizado las inversiones en IA para lograr el éxito y evitar errores comunes.
Una consultora de peso incluido, Sharon Maxwell, publicó en Instagram a principios de esta semana afirmando que había conversado con Tessa y que el chatbot le había dado consejos que podrían causar daño, incluso para dietas restrictivas: un tipo de dieta que busca eliminar ciertos alimentos o grupos de alimentos, o de otra manera limitar estrictamente los tipos y porciones de alimentos que una persona puede comer, y que ha sido [criticado por nutricionistas y otros especialistas en salud y bienestar expertos en los últimos años] (https://www.shape.com/weight-loss/management/why-you-should-stop-restrictive-dieting).
Después de la publicación de Maxwell, NEDA publicó una declaración en su cuenta de Instagram diciendo que la organización sabía de las acusaciones y había "eliminado ese programa [Tessa] hasta aviso adicional para una investigación completa”.
Thompson amplió la declaración en su correo electrónico a VentureBeat y escribió: “Con respecto a los comentarios sobre la pérdida de peso y la limitación de calorías emitidos en un chat el lunes, estamos preocupados y estamos trabajando con el equipo de tecnología y el equipo de investigación para investigar esto más a fondo; ese lenguaje está en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios. Es preocupante porque en un 'producto cerrado', de las 5289 personas que han estado involucradas en interactuar con Tessa, no habíamos visto nada como eso”.
Thompson también dijo que Cass informó de una actividad inusual en el chatbot de Tessa, lo que sugiere que estaba siendo atacado por bots o actores maliciosos. “La semana pasada, Tessa vio un aumento en el tráfico del 600 % y un comportamiento que indicaba varias formas de actividad nefasta de los malos que intentaban engañar a Tessa”, escribió Thompson. “Incluso con la avalancha de estos casos, la 'mensajes fuera de servicio' solo ocurrió el 0,1 % del tiempo de más de 25 000 mensajes. Continuaremos trabajando para asegurarnos de que la tecnología pueda hacer frente a futuros ataques”.
¿Volverá Tessa y, de ser así, cuándo? Thompson no ofreció una estimación de tiempo o un plan definitivo, pero indicó en su correo electrónico a VentureBeat que “seguiremos trabajando en los errores y no relanzaremos hasta que hayamos solucionado todo. Cuando hagamos el lanzamiento, también destacaremos qué es Tessa, qué no es Tessa y cómo maximizar la experiencia del usuario. ¡Manténganse al tanto!"
Con las empresas compitiendo para adoptar herramientas de IA generativa, el 65% de los ejecutivos encuestados por la firma de investigación de mercado KPMG recientemente dijeron que esperaban que la tecnología tuviera un impacto alto o extremadamente alto en sus organizaciones en 3 a 5 años, los responsables de la toma de decisiones de TI harían bien en aprender de la experiencia de NEDA.
Incluso los programas de IA bien intencionados diseñados con aportes de expertos para casos de uso específicos pueden producir respuestas indeseables y potencialmente dañinas, lo que impacta negativamente en los usuarios/clientes de una empresa y en la percepción pública. No está claro si NEDA podría haber evitado o minimizado la controversia que ahora enfrenta al ser más comunicativa o transparente en su toma de decisiones sobre la extinción de la línea de ayuda, pero claramente, tener un chatbot de IA preexistente en la mezcla solo alimentó las acusaciones de que es buscando devaluar y reemplazar el trabajo humano con inteligencia artificial, poniendo a NEDA a la defensiva, donde ahora se encuentra.