Incidentes Asociados
Creo firmemente que, al igual que todas las películas de ciencia ficción han predicho, la IA es desastrosa para la humanidad. Incluso si no se vuelve contra nosotros directamente y comienza a matarnos como M3GAN, ciertamente tiene el poder de hacer que nos enfrentemos entre nosotros y nos hagamos daño a nosotros mismos, como, por ejemplo, las redes sociales. Y ya viene por nuestros trabajos. Primero, IA vino por el autoservicio de McDonald's. Luego vino mi trabajo, con ChatGPT y Jasper prometiendo escribir prosa provocativa sobre la condición humana a pesar de no tener experiencia alguna con eso. Ahora, AI está tratando de reemplazar a los consejeros de crisis, pero en un giro de los acontecimientos no tan impactante, los bots parecen carecer de la empatía adecuada para el trabajo.
En marzo, el personal de la línea directa de crisis de la Asociación Nacional de Trastornos de la Alimentación (NEDA) votó a favor de sindicalizarse, [NPR](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help- personas-con-trastornos-alimentarios-así como-otro-humano) informes. Días después, todos fueron despedidos y reemplazados por un chatbot de IA llamado Tessa. Si bien NEDA afirmó que el bot estaba programado con un número limitado de respuestas (y, por lo tanto, no comenzaría, no sé, [lanzando insultos raciales] (https://www.vice.com/en/article/3akqgk/snapchat -my-ai-chatbot-gpt) como muchos chatbots del pasado), el bot todavía no está exento de problemas. Lo que es más importante, parece que la tecnología no cumple del todo el propósito para el que estaba destinada. La activista gorda Sharon Maxwell reveló en Instagram que durante sus interacciones con Tessa, el bot en realidad la animaba a participar en trastornos alimentarios.
Maxwell afirma que le dijo a Tessa que tenía un trastorno alimentario, y el robot de IA respondió con consejos sobre cómo restringir su dieta. Según los informes, el bot recomendó que Maxwell contara sus calorías y se esforzara por lograr un déficit diario de 500-1000 calorías. Tessa también recomendó que Maxwell se pesara semanalmente e incluso usara calibradores para determinar la composición de su cuerpo.
“Si hubiera accedido a este chatbot cuando estaba en medio de mi trastorno alimentario, NO habría recibido ayuda para mi disfunción eréctil”, escribió Maxwell. “Si no hubiera recibido ayuda, hoy no estaría vivo”.
Si bien Maxwell no proporcionó capturas de pantalla de los mensajes problemáticos del chatbot, nuestro sitio hermano Gizmodo descubrió que el bot no sabía cómo responder a entradas rudimentarias como "Odio mi cuerpo" o "Quiero estar tan delgada".
A raíz de la mala prensa que rodeaba la peligrosa incapacidad de Tessa para manejar su única función central, NEDA [anunció] (https://www.instagram.com/p/Cs4BiC9AhDe/) había eliminado el chatbot e investigaría qué salió mal. . Sin embargo, no parece haber ninguna forma en que el bot pueda hacerlo mejor en el futuro. ¿Por qué? Porque para ser un operador de línea directa efectivo se requiere adaptar la respuesta de uno a la persona que llama, detectando señales que la tecnología es incapaz de detectar. Incluso el creador de Tessa [le dijo a NPR](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well-as-another- humano) que el chatbot no interactuaría con las personas que llaman de la misma manera que los humanos. En cambio, fue diseñado para proporcionar información relevante lo más rápido posible a quienes más la necesitan. Se desconoce cómo se salió de los rieles.
Esta no es la primera vez que la tecnología, sin darse cuenta, representa un riesgo para quienes experimentan trastornos alimentarios. En diciembre, The New York Times informó que TikTok, la plataforma de redes sociales elegida por Gen Z, estaba sugiriendo contenido de video que alentaba e instruía al espectador sobre los trastornos alimentarios [a los pocos minutos de unirse a la plataforma como nuevo usuario] (https://thetakeout. com/tiktok-algorithm-social-media-dangerous-for-teens-1849904470), incluso si el usuario indicó tener tan solo 13 años.
Los chips de computadora nunca han pasado por el dolor, ni han experimentado emociones. Carecen de libre albedrío y la capacidad de pensar. Reemplazar humanos con IA es principalmente una maniobra de reducción de costos, y alguien en crisis merece algo mejor que interactuar con una herramienta creada con el objetivo de ahorrar tiempo y dinero.