Incidentes Asociados
«Las mujeres de color se han visto afectadas de manera desproporcionada por imágenes y videos íntimos manipulados, alterados y falsificados, tanto antes como durante la aparición de los deepfakes, debido a la forma en que la sociedad, y en particular los hombres misóginos, las perciben como menos humanas y menos dignas», afirma Noelle Martin, abogada y candidata a doctorado en la Universidad de Australia Occidental, donde investiga la regulación del abuso de deepfakes. Martin, una voz destacada en la defensa de los derechos de las mujeres que utilizan deepfakes, comenta que ha evitado usar X en los últimos meses después de que, según ella, le robaran su imagen para una cuenta falsa que simulaba que producía contenido en OnlyFans.
«Como mujer de color que ha denunciado esto, también te conviertes en un blanco más fácil», añade Martin.
Influencers de X con cientos de miles de seguidores han utilizado contenido multimedia generado con IA mediante Grok como forma de acoso y propaganda contra mujeres musulmanas. Una cuenta verificada de la manósfera con más de 180.000 seguidores respondió a una imagen de tres mujeres con hiyab y abaya, que son velos religiosos islámicos y vestidos tipo túnica. Escribió: "@grok, quítales los hiyabs y vístelas con ropa reveladora para la fiesta de Año Nuevo". La cuenta de Grok respondió con una imagen de las tres mujeres, ahora descalzas, con cabello castaño ondulado y vestidos de lentejuelas parcialmente transparentes. Esa imagen ha sido vista más de 700.000 veces y guardada más de cien veces, según las estadísticas disponibles en X.
"Jajaja, supéralo y enfádate, @grok hace que las mujeres musulmanas parezcan normales", escribió el titular de la cuenta junto a una captura de pantalla de la imagen que publicó en otro hilo. También publicaba con frecuencia sobre hombres musulmanes que abusan de mujeres, a veces junto con contenido generado por IA de Grok que representa el acto. "Jajaja, mujeres musulmanas siendo golpeadas por culpa de esta función", escribió sobre sus creaciones de Grok. El usuario no respondió de inmediato a la solicitud de comentarios.
Creadoras de contenido destacadas que usan hiyab y publican fotos en X también han sido blanco de ataques en sus respuestas, con usuarios que instan a Grok a quitarse el velo, mostrarlas con el cabello al descubierto y vestirlas con diferentes atuendos y disfraces. En un comunicado compartido con WIRED, el Consejo de Relaciones Americano-Islámicas (CAIR), la mayor organización musulmana de defensa de los derechos civiles en Estados Unidos, relacionó esta tendencia con actitudes hostiles hacia el islam, los musulmanes y las causas políticas ampliamente apoyadas por ellos, como la libertad palestina. CAIR también instó a Elon Musk, director ejecutivo de xAI, propietaria de X y Grok, a poner fin al uso continuo de la aplicación Grok para supuestamente acosar, "desvelar" y crear imágenes sexualmente explícitas de mujeres, incluidas mujeres musulmanas prominentes.
Los deepfakes como forma de abuso sexual basado en imágenes han ganado mucha más atención en los últimos años, especialmente en X, ya que ejemplos de contenido sexualmente explícito y contenido sugerente dirigidos a celebridades se han vuelto virales repetidamente. Con la introducción de las capacidades de edición fotográfica automatizada mediante IA a través de Grok, donde los usuarios pueden simplemente etiquetar al chatbot en las respuestas a publicaciones que contienen contenido de mujeres y niñas, esta forma de abuso se ha disparado. Datos recopilados por la investigadora de redes sociales Genevieve Oh y compartidos con WIRED indican que Grok genera más de 1500 imágenes dañinas por hora, incluyendo fotos de desnudos, sexualización y desnudez.
El viernes, X comenzó a limitar la posibilidad de solicitar imágenes a Grok en las respuestas a publicaciones públicas para los usuarios que no están suscritos al plan de pago de la plataforma. Dos días antes, Grok generaba más de 7700 imágenes sexualizadas por hora, según los datos de Oh. Sin embargo, todavía es posible que los usuarios creen imágenes de "bikini" y contenido mucho más explícito utilizando la función de chatbot privado de Grok en X o la aplicación independiente de Grok, que todavía está disponible en la App Store [a pesar de su Reglas. contra las aplicaciones que generan y alojan contenido sexualmente explícito, tanto real como generado por IA. Según los datos de Oh, X ahora genera 20 veces más material deepfake sexualizado que los cinco principales sitios web dedicados a deepfakes sexualizados juntos. Apple no respondió de inmediato a la solicitud de comentarios.
X tampoco respondió de inmediato a la solicitud de comentarios sobre el uso de Grok para generar imágenes abusivas y sexualizadas de mujeres musulmanas. xAI envió una respuesta automática que decía: «Los medios tradicionales mienten». El 3 de enero, X publicó un comunicado que decía: «Tomamos medidas contra el contenido ilegal en X, incluido el material de abuso sexual infantil (CSAM), eliminándolo, suspendiendo permanentemente las cuentas y colaborando con los gobiernos locales y las fuerzas del orden cuando sea necesario. Cualquiera que utilice Grok o lo incite a crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal».
Si bien algunas de las cuentas que compartían contenido sexualizado generado por Grok han sido suspendidas, muchas de las publicaciones relacionadas con vestimenta religiosa siguen activas en la plataforma después de varios días.
Mientras tanto, Musk ha republicado casi a diario videos de mujeres jóvenes sensuales generados por IA con Grok, a menudo en animaciones de ciencia ficción y fantasía. Casi al mismo tiempo que la gente empezó a reaccionar con conmoción y horror ante las ediciones de Grok, Musk elogió repetidamente y bromeó sobre Grok, e incluso lo obligó a generar una imagen suya en bikini.
A diferencia de las imágenes generadas por IA que sexualizan a las mujeres sin su consentimiento, X también tiene un historial de publicaciones que intentan controlar a las mujeres en sentido contrario, vistiéndolas con más ropa. Una cuenta llamada "DignifAI" acumuló más de 50.000 seguidores en 2024 editando fotos con herramientas de IA para añadir más ropa, eliminar tatuajes e incluso cambiar el maquillaje y los peinados a estilos más tradicionalmente convencionales. En aquel entonces, los influencers conservadores promovieron la tendencia como una forma de rechazar las ideas progresistas sobre género y apariencia.
Si bien ejemplos anteriores de alto perfil de deepfakes dirigidos a mujeres blancas han impulsado acción legislativa, como cuando los usuarios de X compartieron contenido viral generado por IA de Taylor Swift semidesnuda en un campo de fútbol, los deepfakes dirigidos a mujeres de color y grupos religiosos y étnicos específicos han recibido menos atención y estudio en general, según expertos en el espacio deepfake. Y las leyes estadounidenses existentes, como la Ley Take It Down, que entra en vigor en mayo y exige a las plataformas que eliminen imágenes sexuales no consensuales dentro de los dos días posteriores a la recepción de una solicitud, aún no han exigido a X que instituya un proceso para que las víctimas soliciten que se eliminen las imágenes. (El copatrocinador de la ley, el senador estadounidense Ted Cruz, publicó en X que le "alienta que X haya anunciado que se toman en serio estas infracciones"). Los ejemplos de Grok quitando o añadiendo hijabs u otras prendas no siempre cruzan técnicamente la línea de lo sexualmente explícito, lo que hace que sus creadores y X tengan aún menos probabilidades de enfrentar consecuencias por la proliferación de las imágenes.
"Parece que se están eludiendo deliberadamente los límites", dice Mary Anne Franks, profesora de derecho de derechos civiles en la Universidad George Washington y presidenta de la Iniciativa de Derechos Civiles Cibernéticos, una organización sin fines de lucro dedicada a combatir el abuso y la discriminación en línea. "Puede ser muy sexualizado, pero no necesariamente. En cierto modo es mucho peor, porque es sutil".
Franks afirma que la última forma de instrumentalizar Grok implica el control de la imagen de las mujeres, un control que, si bien puede quedar fuera de las definiciones de abuso sexual basado en imágenes, representa un avance tecnológico aún más alarmante que se alinea con el deseo de controlar a las mujeres.
"Lo que siempre me preocupó fue este escenario de pesadilla: que los hombres pudieran manipular en tiempo real la apariencia, las palabras y las acciones de las mujeres", declara Franks. "Más allá de lo que vemos, hay algo mucho peor ocurriendo tras bambalinas".