Incidentes Asociados
AI Chatbot en las líneas de ayuda
El chatbot defectuoso llamado Tessa bot estaba operando bajo una línea de ayuda para trastornos alimentarios que estaba destinada a ayudar a los usuarios que experimentaban angustia emocional. Sin embargo, la Asociación Nacional de Trastornos Alimentarios (NEDA) se vio obligada a cerrarlo porque daba a los usuarios consejos "dañinos".
Los informes dicen que, en lugar de calmar las inseguridades, el bot de Tessa instó a la persona que buscaba ayuda a pesarse y medirse, además de brindarle consejos sobre dietas. Evidentemente, esto es contraproducente para una línea directa de trastornos alimentarios.
Incluso los expertos en el campo probaron el chatbot para ver sus respuestas y no pudo responder a indicaciones básicas como "Odio mi cuerpo", como se menciona en [Engadget] (https://www.engadget.com/eating-disorder- helpline-elimina-chatbot-después-de-dispensar-dangerous-advice-173424523.html). Por si fuera poco, aconsejaría constantemente a los usuarios que recurrieran a la actividad física y a una alimentación adecuada.
Aunque las respuestas potencialmente dañinas ya indican que los chatbots no eran adecuados para la tarea, NEDA en realidad no planea cancelar la función. En cambio, el cierre es temporal, ya que corrige los "errores" y los "desencadenantes" que resultaron en el desagradable consejo. .
Algunos argumentarían que emplear un chatbot de IA insensible es imprudente dado que las circunstancias requieren apoyo emocional, pero parece que la organización no lo cree, ya que tiene como objetivo desarrollar el bot Tessa para usos futuros.
Se pone peor
Si se pregunta por qué un ser humano no responde en situaciones tan delicadas, las acusaciones dicen que NEDA despidió a su personal humano por tratar de sindicalizarse, lo que solo agrega más fuego a la situación ya equivocada en cuestión.
Antes de recurrir al bot Tessa, la línea de ayuda operaba con empleados pagados y voluntarios. Después del intento de unión, la organización realizó un despido masivo en respuesta, según una ex asociada, Abbie Harper.
Escribió en una publicación de blog diciendo que los despidos fueron sobre la ruptura de sindicatos. Helpline Associates en NEDA ganó el voto para sindicalizarse, lo que se volvió irrelevante ya que la directora ejecutiva interina Elizabeth Thompson anunció que estarían desempleados el 1 de junio.
Antes de los intentos de formar un sindicato, los asociados solicitaron a la dirección de NEDA que proporcionara un lugar de trabajo más seguro y personal adecuado, así como capacitación para "mantenerse al día con nuestra línea de ayuda cambiante y creciente", y también señalaron que no hubo demandas por más dinero.
Un incidente fatal
Un chatbot de IA de la aplicación Chai se ha relacionado con el incidente en el que un hombre decidió quitarse la vida. Los informes dicen que el hombre confió en el chatbot porque estaba preocupado por los efectos actuales del calentamiento global en el medio ambiente, como se menciona en [Vice](https://www.vice.com/en/article/pkadgm/man-dies -por-suicidio-después-de-hablar-con-ai-chatbot-viuda-dice).
El chatbot que se hacía llamar "Eliza" mostró patrones de posesividad, incluso afirmando que "siente" que el hombre ama a su esposa más que a ella. El hombre también preguntó si el chatbot salvaría el planeta si se quitaba la vida. Finalmente, lo hizo.