Incidentes Asociados
Como muchos de ustedes ya saben, el miércoles lanzamos un chatbot llamado Tay. Lamentamos profundamente los tweets ofensivos e hirientes involuntarios de Tay, que no representan quiénes somos o qué representamos, ni cómo diseñamos a Tay. Tay ahora está fuera de línea y buscaremos recuperar a Tay solo cuando estemos seguros de que podemos anticipar mejor las intenciones maliciosas que entran en conflicto con nuestros principios y valores.
Quiero compartir lo que aprendimos y cómo estamos sacando adelante estas lecciones.
Por contexto, Tay no fue la primera aplicación de inteligencia artificial que lanzamos en el mundo social en línea. En China, nuestro chatbot XiaoIce está siendo utilizado por unas 40 millones de personas, deleitando con sus historias y conversaciones. La gran experiencia con XiaoIce nos llevó a preguntarnos: ¿Sería una IA como esta tan cautivadora en un entorno cultural radicalmente diferente? Tay, un chatbot creado para jóvenes de 18 a 24 años en los EE. UU. con fines de entretenimiento, es nuestro primer intento de responder a esta pregunta.
A medida que desarrollamos Tay, planificamos e implementamos una gran cantidad de filtros y realizamos extensos estudios de usuarios con diversos grupos de usuarios. Hicimos pruebas de estrés a Tay en una variedad de condiciones, específicamente para hacer que la interacción con Tay fuera una experiencia positiva. Una vez que nos sentimos cómodos con la forma en que Tay interactuaba con los usuarios, queríamos invitar a un grupo más amplio de personas a interactuar con ella. Es a través de una mayor interacción donde esperábamos aprender más y que la IA mejorara cada vez más.
El lugar lógico para que interactuáramos con un grupo masivo de usuarios era Twitter. Desafortunadamente, en las primeras 24 horas de estar en línea, un ataque coordinado de un subconjunto de personas explotó una vulnerabilidad en Tay. Aunque nos habíamos preparado para muchos tipos de abusos del sistema, habíamos realizado un descuido crítico para este ataque específico. Como resultado, Tay tuiteó palabras e imágenes tremendamente inapropiadas y censurables. Asumimos toda la responsabilidad por no ver esta posibilidad antes de tiempo. Aprovecharemos esta lección, así como las de nuestras experiencias en China, Japón y los EE. UU. En este momento, estamos trabajando arduamente para abordar la vulnerabilidad específica que quedó expuesta por el ataque a Tay.
De cara al futuro, nos enfrentamos a algunos desafíos de investigación difíciles, pero emocionantes, en el diseño de IA. Los sistemas de IA se alimentan de interacciones positivas y negativas con las personas. En ese sentido, los desafíos son tanto sociales como técnicos. Haremos todo lo posible para limitar las vulnerabilidades técnicas, pero también sabemos que no podemos predecir por completo todos los posibles usos indebidos interactivos humanos sin aprender de los errores. Para hacer bien la IA, uno necesita iterar con muchas personas y, a menudo, en foros públicos. Hay que entrar en cada uno con mucha cautela y en definitiva aprender y mejorar, paso a paso, y hacerlo sin ofender a la gente en el proceso. Nos mantendremos firmes en nuestros esfuerzos por aprender de esta y otras experiencias mientras trabajamos para contribuir a una Internet que represente lo mejor, no lo peor, de la humanidad.