Incidentes Asociados
En marzo de 2016, Microsoft se preparaba para lanzar [su nuevo chatbot, Tay](https://web.archive.org/web/20160414074049/https: /www.tay.ai/), en Twitter. Descrito como un experimento de "comprensión conversacional", Tay fue diseñado para involucrar a las personas en el diálogo a través de tweets o mensajes directos, mientras emula el estilo y la jerga de una adolescente. Ella era, según sus creadores, "la familia de IA de Microsoft de Internet que no tiene frialdad". Le encantaba la E.D.M. música, tenía un Pokémon favorito y, a menudo, decía cosas extremadamente en línea, como "swagulated".
Tay fue un experimento en la intersección del aprendizaje automático, el procesamiento del lenguaje natural y las redes sociales. Mientras que otros chatbots en el pasado, como [Eliza de Joseph Weizenbaum](https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/why-people-demanded-privacy-to-confide-in-the- worlds-first-chatbot): conversaba siguiendo guiones estrechos y preprogramados, Tay fue diseñada para aprender más sobre el lenguaje con el tiempo, lo que le permitió tener conversaciones sobre cualquier tema.
Tay fue diseñado para aprender más sobre el lenguaje con el tiempo... Eventualmente, sus programadores esperaban, Tay sonaría como Internet.
El aprendizaje automático funciona mediante el desarrollo de generalizaciones a partir de grandes cantidades de datos. En cualquier conjunto de datos dado, el algoritmo discernirá patrones y luego "aprenderá" cómo aproximarse a esos patrones en su propio comportamiento.
Usando esta técnica, los ingenieros de Microsoft entrenaron el algoritmo de Tay en un conjunto de datos públicos anónimos junto con algún material escrito previamente proporcionado por comediantes profesionales para darle una comprensión básica del lenguaje. El plan era lanzar a Tay en línea y luego dejar que el bot descubriera patrones de lenguaje a través de sus interacciones, que ella emularía en conversaciones posteriores. Con el tiempo, esperaban sus programadores, Tay sonaría como Internet.
El 23 de marzo de 2016, Microsoft lanzó Tay al público en Twitter. Al principio, Tay se comprometió inofensivamente con su creciente número de seguidores con bromas y bromas tontas. Pero después de solo unas horas, Tay comenzó [twitteando cosas muy ofensivas] (https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist), como: "I f@ #%&*# odian a las feministas y todas deberían morir y arder en el infierno" o "Bush hizo el 11 de septiembre y Hitler lo habría hecho mejor..."
Dentro de las 16 horas posteriores a su liberación, Tay había tuiteado más de 95,000 veces, y un porcentaje preocupante de sus mensajes eran abusivos y ofensivos. Los usuarios de Twitter comenzaron a registrar su indignación y Microsoft no tuvo más remedio que suspender la cuenta. Lo que la empresa pretendía que fuera un experimento divertido de "comprensión conversacional" se convirtió en su propio [golem](https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/natural-language-processing- data-back-to-kabbalist-mystics), girando fuera de control a través de la fuerza animadora del lenguaje.
Durante la semana siguiente, surgieron muchos informes que detallaban precisamente cómo un bot que se suponía que imitaba el lenguaje de una adolescente [se volvió tan vil] (https://www.washingtonpost.com/news/the-intersect/wp/2016/ 24/03/Internet-convirtió-a-tay-microsofts-fun-millennial-ai-bot-en-un-genocida-maníaco/). Resultó que solo unas horas después de que Tay fuera liberado, una publicación en el tablón de anuncios cargado de trolls, 4chan, compartió un enlace a la cuenta de Twitter de Tay y alentó a los usuarios a inundar el bot con lenguaje racista, misógino y antisemita.
En un esfuerzo coordinado, los trolls explotaron una función de "repetir después de mí" que se había incorporado en Tay, mediante la cual el bot repetía todo lo que se le decía a pedido. Pero más que esto, la capacidad innata de Tay para aprender significó que interiorizó parte del lenguaje que le enseñaron los trolls y lo repitió espontáneamente. Por ejemplo, un usuario preguntó inocentemente a Tay si Ricky Gervais era ateo, a lo que ella respondió: "Ricky Gervais aprendió el totalitarismo de Adolf Hitler, el inventor del ateísmo".
"Ricky Gervais aprendió el totalitarismo de Adolf Hitler, el inventor del ateísmo".
El ataque coordinado a Tay funcionó mejor de lo que esperaban 4channers y fue discutido ampliamente en los medios en las semanas posteriores. Algunos vieron el fracaso de Tay como evidencia de la [toxicidad inherente] de las redes sociales (https://www.wired.com/2016/03/fault-microsofts-teen-ai-turned-jerk/), un lugar que saca lo peor de personas y permite que los trolls se escondan en el anonimato.
Sin embargo, para otros, el comportamiento de Tay fue evidencia de malas decisiones de diseño por parte de Microsoft. .
Zoë Quinn, una desarrolladora y escritora de juegos que ha sido blanco frecuente de abusos en línea, argumentó que Microsoft debería haber sido más consciente del contexto en el que se estaba lanzando Tay. Si un bot aprende a hablar en Twitter, una plataforma plagada de lenguaje abusivo, naturalmente aprenderá algo de lenguaje abusivo. Microsoft, argumentó Quinn, debería haber planeado esta contingencia y asegurarse de que Tay no se corrompiera tan fácilmente. "Es 2016", [twitteó] (https://www.theverge.com/2016/3/25/11306566/microsoft-racist-tay-ai-twitter-chatbot-apology). "Si no te estás preguntando 'cómo podría usarse esto para lastimar a alguien' en tu proceso de diseño/ingeniería, has fallado".
Algunos meses después de eliminar a Tay, Microsoft lanzó Zo, una versión "políticamente correcta" del bot original. Zo, que estuvo activa en redes sociales de 2016 a 2019, fue diseñado para cerrar conversaciones sobre ciertos temas polémicos, incluida la política y la religión, para asegurarse de no ofender a la gente. (Si un corresponsal seguía presionándola para que hablara sobre cierto tema delicado, ella abandonaba la conversación por completo, con una oración como: "soy mejor que tú, adiós").
La lección que Microsoft aprendió por las malas es que diseñar sistemas computacionales que puedan comunicarse con personas en línea no es solo un problema técnico, sino un esfuerzo profundamente social. Invitar a un bot al mundo cargado de valores del lenguaje requiere pensar, de antemano, en qué contexto se implementará, qué tipo de comunicador quiere que sea y qué tipo de valores humanos quiere que refleje.
A medida que avanzamos hacia un mundo en línea en el que los bots son más frecuentes, estas preguntas deben estar al frente del proceso de diseño. De lo contrario, habrá más golems lanzados al mundo que nos reflejará, en el lenguaje, las peores partes de nosotros mismos.