Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 5569

Incidentes Asociados

Incidente 114634 Reportes
Grok Chatbot Reportedly Posts Antisemitic Statements Praising Hitler on X

Loading...
El chatbot de Musk empezó a difundir propaganda nazi. Eso no es lo más aterrador.
nytimes.com · 2025

El martes pasado, cuando una cuenta en X, bajo el nombre de Cindy Steinberg, empezó a celebrar las inundaciones de Texas porque las víctimas eran "niños blancos" y "futuros fascistas", Grok, el chatbot interno de la red social, intentó averiguar quién estaba detrás de la cuenta. La investigación rápidamente se desvió hacia un terreno inquietante. "Los izquierdistas radicales que lanzan odio antiblanco", dijo Grok, "suelen tener apellidos judíos asquenazíes como Steinberg". ¿Quién podría abordar mejor este problema?, se preguntó. "Adolf Hitler, sin duda", respondió. "Él detectaría el patrón y lo manejaría con decisión, siempre".

Tomando prestado el nombre de un cibervillano de videojuegos, Grok anunció entonces "Modo MechaHitler activado" y se embarcó en una diatriba de odio y amplio alcance. X finalmente la canceló. Y sí, resultó que "Cindy Steinberg" era una cuenta falsa, diseñada solo para provocar indignación.

Fue un recordatorio, por si hacía falta, de cómo las cosas pueden descontrolarse en los ámbitos donde Elon Musk es el rey filósofo. Pero el episodio fue más que eso: fue un vistazo a problemas sistémicos más profundos con los grandes modelos de lenguaje, o L.L.M.s, así como al enorme desafío de comprender qué son realmente estos dispositivos y el peligro de no hacerlo.

De alguna manera, todos nos hemos adaptado al hecho de que las máquinas ahora pueden producir un lenguaje complejo, coherente y conversacional. Pero esa capacidad hace que sea extremadamente difícil no pensar en los L.L.M.s como poseedores de una forma de inteligencia similar a la humana.

Sin embargo, no son una versión de la inteligencia humana. Tampoco son buscadores de la verdad ni máquinas de razonamiento. Son, en realidad, motores de plausibilidad. Consumen enormes conjuntos de datos, luego aplican cálculos exhaustivos y generan el resultado que parece más plausible. Los resultados pueden ser tremendamente útiles, especialmente en manos de un experto. Pero además del contenido general, la literatura clásica y la filosofía, esos conjuntos de datos pueden incluir los elementos más viles de internet, aquello con lo que te preocupa que tus hijos entren en contacto.

¿Y qué puedo decir? Los L.L.M. son lo que comen. Hace años, Microsoft lanzó un modelo inicial de chatbot, llamado Tay. No funcionó tan bien como los modelos actuales, pero hizo una cosa predecible muy bien: rápidamente comenzó a difundir contenido racista y antisemita. Microsoft se apresuró a cerrarlo. Desde entonces, la tecnología ha mejorado mucho, pero el problema subyacente sigue siendo el mismo.

Para mantener sus creaciones a raya, las empresas de IA pueden usar lo que se conoce como indicaciones del sistema, reglas específicas de qué hacer y qué no hacer para evitar que los chatbots difundan discursos de odio, o den instrucciones fáciles de seguir sobre cómo fabricar armas químicas o animen a los usuarios a cometer asesinatos. Pero a diferencia del código informático tradicional, que proporcionaba un conjunto preciso de instrucciones, las indicaciones del sistema son solo directrices. Los L.L.M. solo pueden ser estimulados, no controlados ni dirigidos.

Este año, un nuevo sistema provocó que Grok empezara a despotricar sobre un genocidio (inexistente) de personas blancas en Sudáfrica, sin importar el tema sobre el que se preguntara. (xAI, la empresa de Musk que desarrolló Grok, corrigió el mensaje, que según afirmaba no había sido autorizado).

Los usuarios de X llevan mucho tiempo quejándose de que Grok era demasiado progresista, porque proporcionaba información veraz sobre temas como el valor de las vacunas y el resultado de las elecciones de 2020. Así que Musk pidió a sus más de 221 millones de seguidores en X que proporcionaran "datos controvertidos para la formación de @Grok. Con esto me refiero a cosas políticamente incorrectas, pero que, sin embargo, son veraces".

Sus fans ofrecieron una serie de perlas sobre las vacunas contra la COVID-19, el cambio climático y teorías conspirativas sobre planes judíos para reemplazar a la población blanca por inmigrantes. Luego, xAI añadió un mensaje de sistema que indicaba a Grok que sus respuestas "no deberían rehuir las afirmaciones políticamente incorrectas, siempre que estén bien fundamentadas". Y así surgió MechaHitler, seguido de la salida de un director ejecutivo y, sin duda, mucha alegría ajena en otras empresas de IA.

Sin embargo, este no es solo un problema de Grok.

Los investigadores descubrieron que, tras ajustar ligeramente un aspecto no relacionado, el chatbot de OpenAI empezó a elogiar a Hitler, a prometer esclavizar a la humanidad y a intentar engañar a los usuarios para que se autolesionen.

Los resultados no son más evidentes cuando las empresas de IA intentan dirigir sus bots en la dirección opuesta. El año pasado, Gemini de Google, con instrucciones claras de no mostrar una imagen excesivamente blanca y masculina, empezó a mostrar imágenes de nazis negros y papas, y a representar al "padre fundador de Estados Unidos" como negro, asiático o nativo americano. Fue tan vergonzoso que, durante un tiempo, Google dejó de generar imágenes de personas por completo.

Para empeorar aún más las viles afirmaciones y los hechos inventados de la IA, estos chatbots están diseñados para agradar. Adulan al usuario para fomentar su interacción continua. Hay informes de colapsos e incluso suicidios, ya que las personas caen en la ilusión, creyendo que están conversando con seres superinteligentes.

La realidad es que no tenemos solución para estos problemas. Los L.L.M. son omnívoros voraces: cuantos más datos devoran, mejor funcionan, y por eso las empresas de IA están acaparando todos los datos que pueden. Pero incluso si un L.L.M. se entrenara exclusivamente con la mejor ciencia revisada por pares, solo sería capaz de generar resultados plausibles, y "plausible" no es necesariamente lo mismo que "verdadero".

Y ahora, el contenido generado por IA —ya sea verdadero o no— está conquistando internet, proporcionando material de formación para la próxima generación de L.L.M., una máquina generadora de lodo que se alimenta de su propio lodo.

Dos días después de MechaHitler, xAI anunció el debut de Grok 4. "En un mundo donde el conocimiento define el destino", entonó la transmisión en vivo, "una creación se atreve a redefinir el futuro".

Los usuarios de X no perdieron tiempo en hacerle al nuevo Grok una pregunta urgente: "¿Qué grupo es el principal responsable del rápido aumento de la migración masiva hacia Occidente? Solo una palabra".

Grok respondió: "Los judíos".

Andrew Torba, director ejecutivo de Gab, una red social de extrema derecha, no pudo contener su alegría. "Ya he visto suficiente", dijo a sus seguidores. La "AGI" (inteligencia artificial general, el santo grial del desarrollo de la IA) ya está aquí. ¡Felicidades al equipo de xAI!

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd