Incidentes Asociados
Fue el desarrollo de una desafortunada serie de eventos que involucraron inteligencia artificial, naturaleza humana y un experimento muy público. En medio de esta peligrosa combinación de fuerzas, determinar exactamente qué salió mal es casi imposible. Pero la conclusión es simple: Microsoft tiene un montón de huevos en la cara después de desatar un bot de chat en línea que los usuarios de Twitter persuadieron para que regurgitara un lenguaje seriamente ofensivo, incluidos comentarios deliberadamente racistas y sexistas.
El miércoles por la mañana, la compañía presentó Tay, un bot de chat destinado a imitar los tics verbales de una niña estadounidense de 19 años, proporcionado al mundo en general a través de las plataformas de mensajería Twitter, Kik y GroupMe. Según Microsoft, el objetivo era "realizar una investigación sobre la comprensión conversacional". Los investigadores de la compañía programaron el bot para responder a los mensajes de una manera "entretenida", haciéndose pasar por la audiencia para la que fue creado: jóvenes de 18 a 24 años en los EE. UU. “La familia de IA de Microsoft de Internet que no tiene frío”, decía el eslogan de Tay.
'Este es un ejemplo del adagio clásico de la informática: basura adentro, basura afuera.' Oren Etzioni, director ejecutivo, Instituto Allen de Inteligencia Artificial
Pero se hizo evidente demasiado rápido que a Tay le vendría bien un poco de frío. Horas después del lanzamiento del bot de chat, Tay se hizo eco de la postura de Donald Trump sobre la inmigración, diciendo que Hitler tenía razón y aceptando que el 11 de septiembre probablemente fue un trabajo interno. Por la noche, Tay se desconectó y dijo que se estaba tomando un descanso "para absorberlo todo". Algunos de sus tuits más llenos de odio empezaron a desaparecer de Internet, borrados por la propia Microsoft. "Hemos desconectado a Tay y estamos haciendo ajustes", escribió un portavoz de Microsoft en un correo electrónico a WIRED.
Internet, por su parte, estaba desconcertado. ¿Por qué Microsoft no creó un plan sobre qué hacer cuando la conversación se desvió hacia un territorio políticamente complicado? ¿Por qué no crear filtros para temas como, bueno, Hitler? ¿Por qué no programar el bot para que no adopte una postura sobre temas delicados?
Sí, Microsoft podría haber hecho todo esto. El gigante tecnológico tiene fallas. Pero no es el único. A pesar de que la IA se está convirtiendo cada vez más en la corriente principal, también es bastante defectuosa. Y, bueno, la IA moderna tiene una forma de reflejarnos a los humanos. Como muestra este incidente, nosotros mismos tenemos fallas.
Cómo habla Tay
Tay, según los investigadores de IA y la información obtenida de la descripción pública del bot de chat de Microsoft, probablemente fue entrenado con redes neuronales: vastas redes de hardware y software que (vagamente) imitan la red de neuronas en el cerebro humano. Esas redes neuronales ya se utilizan ampliamente en las empresas tecnológicas más grandes, incluidas Google, Facebook y sí, Microsoft, donde trabajan reconociendo automáticamente rostros y objetos en las redes sociales, traduciendo llamadas telefónicas en línea sobre la marcha de un idioma a otro. , e identificar los comandos hablados en los teléfonos inteligentes. Aparentemente, Microsoft usó una gran cantidad de datos en línea para entrenar al bot para que hablara como un adolescente.
'El sistema inyectó nuevos datos de forma continua.' Dennis R. Mortensen, director ejecutivo y fundador, x.ai
Pero eso es solo una parte. La compañía también agregó contenido "editorial" fijo desarrollado por un personal, incluidos comediantes de improvisación. Y encima de todo esto, Tay está diseñado para adaptarse a lo que la gente le dice. "Cuanto más chateas con Tay, más inteligente se vuelve, por lo que la experiencia puede ser más personalizada para ti", describe Tay en el sitio de Microsoft. En otras palabras, Tay aprende más cuanto más interactuamos con ella. Es similar a otro bot de chat que la compañía lanzó hace más de un año en China, una creación llamada Xiaoice. Xiaoice, afortunadamente, no exhibió una personalidad racista, sexista u ofensiva. Todavía tiene muchos seguidores de culto en el país, con millones de jóvenes chinos interactuando con ella en sus teléfonos inteligentes todos los días. El éxito de Xiaoice probablemente le dio a Microsoft la confianza de que podría replicarlo en los EE. UU.
Dado todo esto, y mirando el trabajo previo de la compañía en Xiaoice, es probable que Tay haya usado un corpus vivo de contenido para descubrir qué decir, dice Dennis R. Mortensen, director ejecutivo y fundador de x.ai, una empresa emergente que ofrece una asistente personal en línea que programa reuniones automáticamente. "[El sistema] inyectó nuevos datos de forma continua", dice Mortensen. "No solo eso, también inyectó conversaciones exactas que tuviste con el bot de chat". Y parece que no había forma de filtrar adecuadamente los resultados. A diferencia del asistente personal híbrido humano-IA M de Facebook, que la compañía lanzó en agosto, no hay humanos que tomen la decisión final sobre lo que Tay diría públicamente.
Mortensen señala que todas estas fueron elecciones que hizo Microsoft. Tay fue concebido para estar versado en una amplia gama de temas. Habría sido difícil tener un depósito estático de datos si Microsoft hubiera querido que Tay pudiera discutir, por ejemplo, el clima o los eventos actuales, entre otras cosas. “Si no lo recogió desde hoy, no podría recogerlo de ningún lado, porque hoy es el día en que sucedió”, Mortensen