Incidentes Asociados
La organización sin fines de lucro más grande de trastornos alimentarios del país está reemplazando al personal y los voluntarios con una solución en línea basada en IA, y el chatbot ya se cerró. Se despidió a media docena de empleados humanos y un ejército de voluntarios de más de 200, reemplazados por un [chabot de IA llamado Tessa] (https://www.businessinsider.com/eating-disorders-nonprofit-reportedly-fired-humans- oferta-ai-chatbot-2023-5). Sin embargo, Tessa también está sin trabajo actualmente: la Asociación Nacional de Trastornos de la Alimentación dice que el chatbot de IA que iba a reemplazar a los humanos "podría haber dado" información dañina, según [múltiples informes] (https://fortune.com /well/2023/05/31/neda-ai-chatbot-dañino-consejo/). El bot ganó notoriedad (y no del tipo bueno) en las redes sociales, ya que las publicaciones mostraban que Tessa estaba brindando consejos para perder peso. Este consejo estaba fuera de su programación original y más allá de las intenciones de la organización, según Liz Thompson, CEO_ de NEDA_. Como resultado, NEDA cerrará la línea de ayuda por completo, según [the Journal](https: //www.wsj.com/articles/a-chatbot-was-designed-to-help-prevent-eating-disorders-then-it-gave-dieting-tips-2aecb179).
En un comunicado emitido en Twitter, los empleados de la Asociación Nacional de Trastornos Alimentarios compartieron que les dijeron que serían despedidos y [reemplazados con un chatbot] (https://fortune.com/well/2023/05/26/national-eating -disorder-association-ai-chatbot-tessa/) hoy, 1 de junio. "Tenga en cuenta que Tessa no reemplaza la terapia ni la línea de ayuda de NEDA, pero siempre está disponible para brindar apoyo adicional cuando sea necesario", dice el sitio web de Tessa. El bot entró en línea la semana pasada y se vio inundado con un aumento del 600 % en el volumen. Sin embargo, algunos de los intercambios de texto apuntaban hacia consejos dietéticos. “Para alguien con un trastorno alimentario, ese consejo es muy peligroso”, dice Alexis Conason, psicóloga y especialista en trastornos alimentarios.
La línea de ayuda de NEDA, que se lanzó en 1999, sirvió a casi 70,000 personas y familias el año pasado. Los miembros del personal vieron el cambio a AI como una ruptura sindical, ya que se habían organizado recientemente en la última semana en un esfuerzo por [combatir el cambio] (https://twitter.com/HLAUnited/status/1642250060141297664?s=20).
La Dra. Ellen Fitzsimmons-Craft, profesora de psiquiatría en la facultad de medicina de la Universidad de Washington que ayudó a diseñar a Tessa, dice: "El chatbot se creó en base a décadas de investigación realizada por mí y mis colegas". En su forma original, el Chatbot no podía proporcionar respuestas sin guión. El chatbot de bienestar “no es tan sofisticado como ChatGPT ”, dice la Dra. Fitzsimmons-Craft. La intención era que el chatbot ofreciera respuestas preescritas a preguntas, generalmente relacionadas con la imagen corporal, para que las personas pudieran replantear su enfoque de los trastornos alimentarios. Los consejos sobre dietas no formaban parte del programa. Alex Conason, un psicólogo que se especializa en trastornos alimentarios, le dice a Fortune, "Imagínese a las personas vulnerables con trastornos alimentarios que buscan apoyo en un robot porque eso es todo lo que necesitan". tener disponibles y recibir respuestas que promuevan aún más el trastorno alimentario”.
Cuando una persona muere a causa de un trastorno alimentario en este país cada 52 minutos, los riesgos de desinformación son extremadamente preocupantes.
Cuando la IA se vuelve rebelde
La pandemia proporcionó una tormenta perfecta para los trastornos alimentarios, una de las desafortunadas consecuencias de la [soledad desenfrenada](https://www.forbes.com/sites/chriswestfall/2023/05/30/the-economic-impact-of-loneliness -oficina-relaciones-vs-chat-gpt/). NPR informa que la línea de ayuda de NEDA estaba a cargo de solo seis empleados pagados, y capacitan y supervisan hasta 200 voluntarios en un momento dado. El personal se sintió abrumado, con soporte insuficiente, quemado. Hubo mucha rotación, por lo que el personal de la línea de ayuda votó a favor de sindicalizarse.
Lauren Smolar, vicepresidenta de NEDA, dice que el aumento de las llamadas de crisis también significó una mayor responsabilidad legal. “Nuestros voluntarios son voluntarios. No son profesionales. No tienen entrenamiento de crisis. Y realmente no podemos aceptar ese tipo de responsabilidad. Realmente necesitamos que vayan a los servicios que son apropiados”. Katy Meta, una estudiante universitaria de 20 años que [se ofreció como voluntaria para la línea de ayuda](https://www.npr.org/sections/health-shots/2023/05/31/1179244569/national-eating-disorders- Association-Phass-Out-Human-Helpline-Pivots-To-Chatbo), le dice a NPR: "Muchas de estas personas vienen varias veces porque no tienen otro medio para hablar con nadie... Eso es todo lo que tienen, es el línea de chat."
Los peligros de la improvisación de IA en el cuidado de la salud y otras industrias
Cuando los trastornos alimentarios aumentan, los chatbots de IA siempre activos están preparados para cambiar la forma en que recibimos información de salud. Eso es cierto para muchas industrias, incluidos [los servicios financieros y de viajes] experiencia-para-pasajeros/), pero ¿se puede controlar la conversación? ¿Podemos establecer controles y equilibrios para que lo que recibamos sean buenos consejos, no información errónea peligrosa, improvisación de bots conversacionales u orientación inventada? Los líderes empresariales deben centrarse en lo que más importa, ofreciendo consejos y recomendaciones que recuerden las primeras palabras del juramento hipocrático: “No hacer daño...”
Es posible que los chatbots y la inteligencia artificial no estén listos para el horario de máxima audiencia. Sobre todo cuando hay vidas en juego.
Sin duda, la conversación sobre la conversación artificial no ha terminado. De hecho, recién está comenzando. Pero, ¿qué tiene que decir su organización al respecto? ¿Y cómo afectarán la IA y los chatbots la forma en que atiende a sus clientes y trata a sus empleados? Quizás la pregunta más profunda es: ¿qué barandillas deben implementarse para que los chatbots se ciñan al guión?