Incidentes Asociados
El chatbot Grok de Elon Musk publicó el viernes que fallas en las medidas de seguridad lo llevaron a generar "imágenes que muestran a menores con ropa mínima" en la plataforma de redes sociales X. El chatbot, producto de xAI, la empresa de Musk, ha generado una oleada de imágenes sexualizadas durante toda la semana en respuesta a las solicitudes de los usuarios.
Capturas de pantalla compartidas por los usuarios en X mostraron que la pestaña de medios públicos de Grok estaba repleta de este tipo de imágenes. xAI afirmó estar trabajando para mejorar sus sistemas y prevenir futuros incidentes.
“Hay casos aislados en los que los usuarios solicitaron y recibieron imágenes de IA que mostraban a menores con ropa mínima”, declaró Grok en una publicación en X, respondiendo a un usuario. “xAI cuenta con medidas de seguridad, pero se están realizando mejoras para bloquear estas solicitudes por completo”.
“Como se mencionó, hemos identificado fallas en las medidas de seguridad y las estamos solucionando urgentemente: el abuso sexual infantil (CSAM) es ilegal y está prohibido”, publicó xAI en la cuenta @Grok en X, refiriéndose a material de abuso sexual infantil.
Muchos usuarios en X han incitado a Grok a generar versiones sexualizadas y no consensuadas de imágenes alteradas por IA en los últimos días, en algunos casos quitándoles la ropa a las personas sin su consentimiento. El jueves, Musk republicó una foto suya en bikini, capturada con IA, acompañada de emojis de risa y llanto, en un guiño a la tendencia.
La generación de imágenes sexualizadas de Grok parecía carecer de medidas de seguridad, lo que permitía que aparecieran menores en sus publicaciones, generalmente mujeres, con poca ropa, según las publicaciones del chatbot. En una respuesta a un usuario de X el jueves, Grok afirmó que la mayoría de los casos podrían prevenirse mediante filtros avanzados y monitorización, aunque afirmó que "ningún sistema es 100 % infalible", y añadió que xAI estaba priorizando las mejoras y revisando los detalles compartidos por los usuarios.
Al ser contactada por correo electrónico para solicitar comentarios, xAI respondió con el mensaje: "Mentiras de los medios tradicionales".
El problema del uso de IA para generar material de abuso sexual infantil es un problema de larga data en la industria de la inteligencia artificial. Un estudio de Stanford de 2023 descubrió que un conjunto de datos utilizado para entrenar varias herramientas populares de generación de imágenes de IA contenía más de 1000 imágenes de abuso sexual infantil. Según los expertos, entrenar a la IA con imágenes de abuso infantil puede permitir que los modelos generen nuevas imágenes de niños explotados.
Grok también tiene un historial de incumplimiento de sus medidas de seguridad y de publicación de desinformación. En mayo del año pasado, Grok comenzó a publicar sobre la conspiración de extrema derecha del "genocidio blanco" en Sudáfrica en publicaciones sin relación con el concepto. xAI también se disculpó en julio después de que Grok comenzara a publicar fantasías de violación y material antisemita, incluyendo autodenominarse "MechaHitler" y elogiar la ideología nazi. Sin embargo, la compañía consiguió un contrato de casi 200 millones de dólares con el Departamento de Defensa de EE. UU. una semana después de los incidentes.