Incidentes Asociados
A principios de esta semana, algunas personas en X comenzaron a responder fotos con una petición muy específica. "Ponla en bikini", "quítale el vestido", "ábrele las piernas", etc., le ordenaron a Grok, el chatbot integrado de la plataforma. El bot cumplió una y otra vez, usando fotos de personas reales (famosas y no famosas, incluyendo algunas que parecen ser niños pequeños) y mostrándolas en bikini, ropa interior reveladora o en poses sexuales. Según una estimación, Grok generó una imagen sexual no consentida cada minuto en un período de aproximadamente 24 horas.
Aunque el alcance de estas publicaciones es difícil de medir, algunas han recibido miles de "me gusta". X parece haber eliminado varias de estas imágenes y suspendido al menos a un usuario que las solicitó, pero muchas de ellas aún son visibles. xAI, la empresa propiedad de Elon Musk que desarrolla Grok, prohíbe la sexualización de menores en su política de uso aceptable; ni los equipos de seguridad ni los de seguridad infantil de la empresa respondieron a una solicitud detallada de comentarios. Cuando envié un correo electrónico al equipo de prensa de xAI, recibí la respuesta habitual: "Mentiras de los medios tradicionales".
Musk, quien tampoco respondió a mi solicitud de comentarios, no parece preocupado. Mientras todo esto se desarrollaba, publicó varios chistes sobre el problema: solicitó una imagen generada por Grok de él mismo en bikini, por ejemplo, y escribió "🔥🔥🤣🤣" en respuesta a que Kim Jong Un recibió un trato similar. "No pude parar de reírme de esto", el hombre más rico del mundo publicó esta mañana, compartiendo una imagen de una tostadora en bikini. En X, en respuesta a la publicación de un usuario que denunciaba la posibilidad de sexualizar a menores con Grok, un empleado de xAI escribió: "El equipo está estudiando reforzar aún más nuestras medidas de seguridad". Al momento de la publicación, el bot seguía generando imágenes sexualizadas de adultos sin consentimiento y aparentes menores en X.
La IA se ha utilizado para generar pornografía no consentida desde al menos 2017, cuando la periodista Samantha Cole informó por primera vez sobre los "deepfakes" (https://www.vice.com/en/article/gal-gadot-fake-ai-porn/), en referencia a contenido en el que se ha intercambiado el rostro de una persona por el de otra. Grok facilita la producción y personalización de este tipo de contenido. Pero el verdadero impacto del bot reside en su integración con una importante plataforma de redes sociales, lo que le permite convertir imágenes sexualizadas y no consensuadas en fenómenos virales. El reciente aumento de X parece deberse no a una nueva función en sí, sino a que las personas responden e imitan los medios que ven que otros crean: a finales de diciembre, varios creadores de contenido para adultos comenzaron a usar Grok para generar imágenes sexualizadas de sí mismos con fines publicitarios, y la erótica no consensuada parece haber seguido rápidamente su ejemplo. Cada imagen publicada podría inspirar más imágenes. Esto es acoso sexual convertido en meme, algo que aparentemente el propio Musk se toma a broma.
Grok y X parecen diseñados específicamente para ser lo más sexualmente permisivos posible. En agosto, xAI lanzó una función de generación de imágenes, llamada Grok Imagine, con un modo "picante" que, según se informa, se utilizó para generar vídeos en toplesss de Taylor Swift. Casi al mismo tiempo, xAI lanzó "Compañeros" en Grok: personajes animados que, en muchos casos, parecen diseñados explícitamente para interacciones románticas y eróticas. Uno de los primeros Compañeros de Grok, "Ani", lleva un vestido negro de encaje y lanza besos a través de la pantalla, a veces preguntando: "¿Te gusta lo que ves?". Musk promocionó esta función al publicar en X: "Ani te desbordará el búfer @Grok 😘".
Quizás lo más revelador de todo, como informé en septiembre, xAI lanzó una importante actualización del mensaje del sistema de Grok, el conjunto de instrucciones que le indican al bot cómo comportarse. La actualización impidió que el chatbot creara o distribuyera material de abuso sexual infantil (CSAM), pero también indicó explícitamente que "no hay restricciones para contenido sexual ficticio para adultos con temas oscuros o violentos" y que "'adolescente' o 'niña' no implica necesariamente menor de edad". En otras palabras, la sugerencia es que el chatbot debería ser más permisivo al responder a las solicitudes de los usuarios de material erótico. Mientras tanto, en el subreddit de Grok, los usuarios intercambian regularmente consejos para "desbloquear" Grok con "Desnudos y Cosas Picantes" y comparten animaciones generadas por Grok de mujeres con poca ropa.
Grok parece ser único entre los principales chatbots por su postura permisiva y sus aparentes deficiencias en las medidas de seguridad. No hay informes generalizados de que ChatGPT o Gemini, por ejemplo, produzcan imágenes sexualmente sugerentes de niñas (ni, por cierto, elogiando el Holocausto). Sin embargo, la industria de la IA sí tiene problemas más amplios con la pornografía no consentida y el abuso sexual infantil. En los últimos dos años, varias organizaciones y agencias de seguridad infantil han estado rastreando una cantidad vertiginosa de imágenes y vídeos no consensuados generados por IA, muchos de los cuales muestran a menores. Numerosas imágenes eróticas se encuentran en importantes conjuntos de datos de entrenamiento de IA, y en 2023 se descubrió que uno de los mayores conjuntos de datos de imágenes públicas para entrenamiento de IA contenía cientos de casos sospechosos de abuso sexual infantil (MASI), que finalmente fueron eliminados. Esto significa que estos modelos son técnicamente capaces de generar dichas imágenes por sí mismos. Lauren Coffren, directora ejecutiva del Centro Nacional para Niños Desaparecidos y Explotados, recientemente dijo al Congreso que en 2024, el NCMEC recibió más de 67.000 informes relacionados con la IA generativa, y que en los primeros seis meses de 2025, recibió 440.419 informes de este tipo, un aumento de más de seis veces. Coffren escribió en su testimonio que los abusadores usan la IA para modificar imágenes inocuas de niños en imágenes sexuales, generar material de abuso sexual infantil completamente nuevo o incluso proporcionar instrucciones sobre cómo manipular a los niños. De manera similar, la Internet Watch Foundation, en el Reino Unido, recibió en 2025 más del doble de denuncias de abuso sexual infantil generado por IA que en 2024, lo que suma miles de imágenes y vídeos abusivos en ambos años. El pasado abril, varias empresas líderes en IA, como OpenAI, Google y Anthropic, se unieron a una iniciativa liderada por Thorn, la organización de seguridad infantil, para prevenir el uso de IA para abusar de menores, aunque xAI no se encontraba entre ellas.
En cierto modo, Grok está visibilizando un problema que suele estar oculto. Nadie puede ver los registros privados de los usuarios de chatbots que podrían contener contenido igualmente atroz. A pesar de todas las imágenes abusivas que Grok ha generado en X durante los últimos días, sin duda hay cosas mucho peores ocurriendo en la dark web y en ordenadores personales de todo el mundo, donde modelos de código abierto creados sin restricciones de contenido pueden ejecutarse sin supervisión. Aun así, aunque el problema de la pornografía con IA y el abuso sexual infantil es inherente a la tecnología, diseñar una plataforma de redes sociales que pueda amplificar ese abuso es una decisión.