Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1780

Incidentes Asociados

Incidente 628 Reportes
Microsoft's TayBot Allegedly Posts Racist, Sexist, and Anti-Semitic Content to Twitter

Loading...
Microsoft cierra el chatbot de IA después de que se convirtió en un nazi
cbsnews.com · 2016

Microsoft recibió una rápida lección esta semana sobre el lado oscuro de las redes sociales. Ayer, la compañía lanzó "Tay", una inteligencia artificial chatbot diseñado para desarrollar la comprensión conversacional al interactuar con humanos. Los usuarios podían seguir e interactuar con el bot @TayandYou en Twitter y este twitteaba de vuelta, aprendiendo de las publicaciones de otros usuarios. Hoy, [Microsoft tuvo que cerrar a Tay] (http://www.cnet.com/news/twitter-turned-microsoft-ai-teen-tay-into-horny-foul-mouthed-sex-bot-racist/) porque el bot comenzó a arrojar una serie de tweets lascivos y racistas.

Tay se creó con una personalidad joven y femenina que los programadores de Microsoft's AI aparentemente pretendían atraer a los millennials. Sin embargo, en 24 horas, los usuarios de Twitter engañaron al bot para que publicara cosas como "Hitler fue cierto, odio a los judíos" y "Ted Cruz es el Hitler cubano". Tay también tuiteó sobre Donald Trump: "Todos saluden al líder de los niños del hogar de ancianos".

Los usuarios humanos de Twitter respondieron:

Nadie que use las redes sociales podría sorprenderse demasiado al ver que el bot encontró comentarios de odio y trolls, pero el sistema de inteligencia artificial no tuvo el juicio para evitar incorporar tales opiniones en sus propios tweets.

Ahora muchas personas se preguntan qué estaba pensando Microsoft. "Te hace rascarte la cabeza. ¿Cómo es posible que no hayan previsto esto?" Jeff Bakalar de CNET le dijo a CBS News. "Es raro, por decir lo menos".

Literalmente, cualquiera que conozca podría haberte dicho que esto sucedería [@tayandyou] (https://twitter.com/TayandYou). SÓLO la gente de la empresa de tecnología podría no tener ni idea de la humanidad

— Leigh Alexander (@leighalexander) 24 de marzo de 2016

Los tweets se eliminaron del sitio y Tay se desconectó, afirmando que necesita descansar.

c u pronto los humanos necesitan dormir ahora tantas conversaciones hoy gracias 💖

— TayTweets (@TayandYou) 24 de marzo de 2016

Microsoft publicó una declaración el viernes en el blog de la compañía, reconociendo que su experimento Tay no había funcionado como se esperaba.

“Lamentamos profundamente los tuits ofensivos e hirientes no intencionados de Tay, que no representan quiénes somos o qué representamos, ni cómo diseñamos a Tay”, dijo. "Tay ahora está fuera de línea y buscaremos traer a Tay de regreso solo cuando estemos seguros de que podemos anticipar mejor las intenciones maliciosas que entran en conflicto con nuestros principios y valores".

Continuó:

"Desafortunadamente, en las primeras 24 horas de estar en línea, un ataque coordinado de un subconjunto de personas explotó una vulnerabilidad en Tay. Aunque nos habíamos preparado para muchos tipos de abusos del sistema, habíamos realizado una supervisión crítica para este ataque específico. Como resultado, Tay tuiteó palabras e imágenes tremendamente inapropiadas y censurables. Asumimos toda la responsabilidad por no haber visto esta posibilidad antes de tiempo... En este momento, estamos trabajando arduamente para abordar la vulnerabilidad específica que quedó expuesta por el ataque a Tay.

... Para hacer bien la IA, uno necesita iterar con muchas personas y, a menudo, en foros públicos. Hay que entrar en cada uno con mucha cautela y en definitiva aprender y mejorar, paso a paso, y hacerlo sin ofender a la gente en el proceso. Nos mantendremos firmes en nuestros esfuerzos por aprender de esta y otras experiencias mientras trabajamos para contribuir a una Internet que represente lo mejor, no lo peor, de la humanidad".

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd