Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1374

Incidentes Asociados

Incidente 628 Reportes
Microsoft's TayBot Allegedly Posts Racist, Sexist, and Anti-Semitic Content to Twitter

Loading...
Tay (bot)
en.wikipedia.org · 2020

Tay era un bot parlante de inteligencia artificial que Microsoft Corporation lanzó originalmente a través de Twitter el 23 de marzo de 2016; causó una controversia posterior cuando el bot comenzó a publicar tweets incendiarios y ofensivos a través de su cuenta de Twitter, lo que provocó que Microsoft cerrara el servicio solo 16 horas después de su lanzamiento.[1] Según Microsoft, esto fue causado por trolls que "atacaron" el servicio cuando el bot respondió en función de sus interacciones con las personas en Twitter.[2] Fue reemplazado por Zo.

Fondo

El bot fue creado por las divisiones de Tecnología e Investigación y Bing de Microsoft,[3] y se llamó "Tay" por el acrónimo "Thinking About You".[4] Aunque Microsoft inicialmente dio a conocer pocos detalles sobre el bot, las fuentes mencionaron que era similar o estaba basado en Xiaoice, un proyecto similar de Microsoft en China.[5] Ars Technica informó que, desde finales de 2014, Xiaoice había tenido "más de 40 millones de conversaciones aparentemente sin mayores incidentes".[6] Tay fue diseñado para imitar los patrones de lenguaje de una niña estadounidense de 19 años y para aprender interactuando con usuarios humanos de Twitter.[7]

Versión inicial

Tay fue lanzado en Twitter el 23 de marzo de 2016 con el nombre de TayTweets y el nombre de usuario @TayandYou.[8] Fue presentado como "La IA sin frío".[9] Tay comenzó a responder a otros usuarios de Twitter y también pudo subtitular las fotos que se le proporcionaron en forma de memes de Internet.[10] Ars Technica informó que Tay experimentó una "lista negra" de temas: las interacciones con Tay con respecto a "ciertos temas candentes como Eric Garner (asesinado por la policía de Nueva York en 2014) generan respuestas seguras y enlatadas".[6]

Algunos usuarios en Twitter comenzaron a twittear frases políticamente incorrectas, enseñándole mensajes incendiarios que giraban en torno a temas comunes en Internet, como "redpilling" y "Gamergate". Como resultado, el robot comenzó a publicar mensajes racistas y con contenido sexual en respuesta a otros usuarios de Twitter.[7] El investigador de inteligencia artificial Roman Yampolskiy comentó que el mal comportamiento de Tay era comprensible porque estaba imitando el comportamiento deliberadamente ofensivo de otros usuarios de Twitter, y Microsoft no le había dado al bot una comprensión del comportamiento inapropiado. Comparó el problema con el Watson de IBM, que había comenzado a usar blasfemias después de leer entradas del sitio web Urban Dictionary.[3][11] Muchos de los tuits incendiarios de Tay fueron una simple explotación de la capacidad de "repetir después de mí" de Tay.[12] No se sabe públicamente si esta capacidad de "repetir después de mí" era una función integrada, si era una respuesta aprendida o si era un ejemplo de comportamiento complejo.[6] No todas las respuestas inflamatorias involucraron la capacidad de "repetir después de mí".

Suspensión

Pronto, Microsoft comenzó a eliminar los tuits incendiarios de Tay.[12][13] Abby Ohlheiser de The Washington Post teorizó que el equipo de investigación de Tay, incluido el personal editorial, había comenzado a influir o editar los tweets de Tay en algún momento ese día, señalando ejemplos de respuestas casi idénticas de Tay, afirmando que "Gamer Gate sux. Todos los géneros son iguales y deben ser tratados de manera justa". [12] A partir de la misma evidencia, Gizmodo coincidió en que Tay "parece programado para rechazar Gamer Gate". [14] Una campaña "#JusticeForTay" protestó por la supuesta edición de los tuits de Tay.[1]

Dentro de las 16 horas posteriores a su lanzamiento[15] y después de que Tay hubiera tuiteado más de 96 000 veces,[16] Microsoft suspendió la cuenta de Twitter para realizar ajustes,[17] diciendo que sufrió un "ataque coordinado por parte de un subconjunto de personas" que " explotó una vulnerabilidad en Tay". [17] [18] Después de que la cuenta fuera desconectada, se creó un hashtag llamado #FreeTay. [19]

Madhumita Murgia de The Telegraph llamó a Tay "un desastre de relaciones públicas" y sugirió que la estrategia de Microsoft sería "etiquetar la debacle como un experimento bien intencionado que salió mal y encender un debate sobre el odio de los usuarios de Twitter". Sin embargo, Murgia describió el problema más grande como que Tay es "la peor inteligencia artificial, y es solo el comienzo".[20]

El 25 de marzo, Microsoft confirmó que Tay se había desconectado. Microsoft publicó una disculpa en su blog oficial por los controvertidos tuits publicados por Tay.[18][21] Microsoft estaba "profundamente arrepentido por los tweets ofensivos e hirientes no deseados de Tay" y "buscaría traer de vuelta a Tay solo cuando estemos seguros de que podemos anticipar mejor las intenciones maliciosas que entran en conflicto con nuestros principios y valores".[22]

Segunda liberación y apagado

El 30 de marzo de 2016, Microsoft relanzó accidentalmente el bot en Twitter mientras lo probaba.[23] Capaz de volver a tuitear, Tay publicó algunos tuits relacionados con las drogas, entre ellos "¡kush! [Estoy fumando kush frente a la policía] 🍂" y "¿puff puff pass?"[24]. Sin embargo, la cuenta pronto se atascó en un bucle repetitivo. de tuitear "Eres demasiado rápido, por favor descansa", varias veces por segundo. Debido a que estos tweets mencionaron su propio nombre de usuario en el proceso, aparecieron en los feeds de más de 200,000 seguidores de Twitter, causando molestia a algunos. El bot se volvió a desconectar rápidamente, además de que la cuenta de Twitter de Tay se hizo privada, por lo que se deben aceptar nuevos seguidores antes de que puedan interactuar con Tay. En respuesta, Microsoft dijo que Tay se puso en línea sin darse cuenta durante la prueba.[25]

Unas horas después del incidente, los desarrolladores de software de Microsoft intentaron deshacer el daño causado por Tay y anunciaron una visión de "conversación como plataforma" utilizando varios bots y programas. Microsoft ha declarado que tiene la intención de volver a lanzar Tay "una vez que pueda hacer que el bot sea seguro" [4], pero no ha hecho ningún esfuerzo público para hacerlo.

Legado

En diciembre de 2016, Microsoft lanzó al sucesor de Tay, un chatterbot llamado Zo.[26] Satya Nadella, director ejecutivo de Microsoft, dijo que Tay "ha tenido una gran influencia en la forma en que Microsoft se acerca a la IA" y le ha enseñado a la empresa la importancia de asumir la responsabilidad.[27]

En julio de 2019, la CTO del campo de seguridad cibernética de Microsoft, Diana Kelley, habló sobre cómo la compañía hizo un seguimiento de las fallas de Tay: "Aprender de Tay fue una parte muy importante para expandir la base de conocimientos de ese equipo, porque ahora también obtienen su propia diversidad a través del aprendizaje. ".[28]

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd