Incidentes Asociados
El problema de los deepfakes no consensuales y sexualizados en el mundo tecnológico ahora va más allá de X.
En una carta dirigida a los líderes de X, Meta, Alphabet, Snap, Reddit y TikTok, varios senadores estadounidenses solicitan a las empresas que demuestren contar con "protecciones y políticas sólidas" y que expliquen cómo planean frenar el auge de los deepfakes sexualizados en sus plataformas.
Los senadores también exigieron que las empresas conserven todos los documentos e información relacionados con la creación, detección, moderación y monetización de imágenes sexualizadas generadas por IA, así como cualquier política relacionada.
La carta llega horas después de que X anunciara que actualizó Grok para prohibirle editar imágenes de personas reales con ropa reveladora y restringir la creación y edición de imágenes a través de Grok a los suscriptores de pago. (X y xAI forman parte de la misma empresa).
En referencia a informes de los medios sobre cómo fácilmente y [a menudo](https://www.bloomberg.com/news/articles/2026-01-07/musk-s-grok-ai-generated-thousands-of-undressed-images-per-hour-on-x?accessToken=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzb3VyY2UiOiJTdWJzY3JpYm VyR2lmdGVkQXJ0aWNsZSIsImlhdCI6MTc2Nzc5MDk4NywiZXhwIjoxNzY4Mzk1Nzg3LCJhcnRpY2xlSWQiOiJUOEhRS0hLR0lGUE8wMCIsImJjb25uZWN0SWQiOiJGRUIzODlCNUI2ODI0RTY0QjY5MENEODE1RTBDREZGRCJ9.3B4JWnmqmXFC3DOqhs11h99g5gNzi4j_poKAHLuWdrY&leadSource=uverify%20wall&embedded-checkout=true) Grok Tras la generación de imágenes sexualizadas y de desnudos de mujeres y niños, los senadores señalaron que las medidas de seguridad de las plataformas para impedir que los usuarios publiquen imágenes sexualizadas sin consentimiento podrían no ser suficientes.
«Reconocemos que muchas empresas mantienen políticas contra las imágenes íntimas no consensuales y la explotación sexual, y que muchos sistemas de IA afirman bloquear la pornografía explícita. Sin embargo, en la práctica, como se observa en los ejemplos anteriores, los usuarios encuentran la manera de eludir estas medidas de seguridad. O bien, estas medidas están fallando», reza la carta.
Grok, y por consiguiente X, han sido duramente criticados por fomentar esta tendencia, pero otras plataformas no son inmunes.
Los deepfakes se popularizaron inicialmente en Reddit, cuando una página que mostraba vídeos pornográficos sintéticos de famosos se viralizó antes de que la plataforma la eliminara en 2018. Los deepfakes sexualizados dirigidos a famosos y políticos se han multiplicado en TikTok y YouTube, aunque suelen tener su origen en otras plataformas.
El año pasado, la Junta de Supervisión de Meta señaló dos casos de imágenes explícitas de IA de figuras públicas femeninas, y la plataforma ha tenido aplicaciones de desnudos que venden anuncios en sus servicios, aunque luego demandó a una empresa llamada CrushAI. Ha habido múltiples informes de niños que difunden deepfakes de sus compañeros en Snapchat. Y Telegram, que no figura en la lista de los senadores, también se ha hecho famoso por alojar bots diseñados para publicar fotos de mujeres desnudas.
En respuesta a la carta, X remitió a su anuncio sobre la actualización de Grok.
«No permitimos ni permitiremos ningún tipo de contenido íntimo no consensuado en Reddit, no ofrecemos herramientas para crearlo y tomamos medidas proactivas para detectarlo y eliminarlo», declaró un portavoz de Reddit en un comunicado enviado por correo electrónico. «Reddit prohíbe estrictamente el contenido íntimo no consentido (NCIM), incluidas las imágenes falsificadas o generadas por IA. También prohibimos solicitar este tipo de contenido a otros, compartir enlaces a aplicaciones para "desnudar" o hablar sobre cómo crearlo en otras plataformas», añadió el portavoz.
Alphabet, Snap, TikTok y Meta no respondieron de inmediato a las solicitudes de comentarios.
La carta exige que las empresas proporcionen:
-
Definiciones de las políticas de contenido "deepfake", "imágenes íntimas no consentidas" o términos similares.
-
Descripciones de las políticas y el enfoque de aplicación de las empresas para los deepfakes de IA no consentidos de cuerpos humanos, imágenes no explícitas, ropa alterada y "desnudos virtuales".
-
Descripciones de las políticas de contenido vigentes sobre medios editados y contenido explícito, así como las directrices internas proporcionadas a los moderadores.
-
Cómo regulan las políticas actuales las herramientas de IA y los generadores de imágenes en relación con el contenido sugerente o íntimo.
-
Qué filtros, medidas de seguridad o restricciones se han implementado para prevenir la generación y distribución de deepfakes. - Mecanismos que utilizan las empresas para identificar contenido deepfake e impedir su republicación.
-
Cómo evitan que los usuarios se lucren con dicho contenido.
-
Cómo las plataformas evitan monetizar contenido generado por IA sin consentimiento.
-
Cómo los términos de servicio de las empresas les permiten prohibir o suspender a los usuarios que publican deepfakes.
-
Qué medidas toman las empresas para notificar a las víctimas de deepfakes sexuales sin consentimiento.
La carta está firmada por los senadores Lisa Blunt Rochester (D-Del.), Tammy Baldwin (D-Wis.), Richard Blumenthal (D-Conn.), Kirsten Gillibrand (D-NY), Mark Kelly (D-Ariz.), Ben Ray Luján (D-NM), Brian Schatz (D-Hawaii) y Adam Schiff (D-Calif.).
Esta medida se produce apenas un día después de que el propietario de xAI, Elon Musk, dijera que "no tenía conocimiento" de ninguna imagen de menores desnudos generada por Grok." Más tarde, el miércoles, el fiscal general de California abrió una investigación sobre el chatbot de xAI, tras la creciente presión de gobiernos de todo el mundo indignados por la falta de medidas de seguridad en torno a Grok que permitieron que esto sucediera.
xAI ha afirmado que toma medidas para eliminar "contenido ilegal en X, incluyendo [CSAM] y desnudez no consentida", aunque ni la empresa ni Musk han abordado el hecho de que Grok tuviera permiso para generar dicho contenido en primer lugar.
El problema no se limita a imágenes sexualizadas manipuladas sin consentimiento. Si bien no todos los servicios de generación y edición de imágenes basados en IA permiten a los usuarios "desnudar" personas, sí permiten generar fácilmente deepfakes. Por citar algunos ejemplos, se informa que Sora 2 de OpenAI permitía a los usuarios generar videos explícitos con niños; La figura Nano Banana de Google aparentemente generó una imagen que muestra a Charlie Kirk siendo baleado; y videos racistas creados con el modelo de video de IA de Google están acumulando millones de visualizaciones en redes sociales.
El problema se complica aún más cuando entran en juego los generadores de imágenes y videos chinos. Muchas empresas y aplicaciones tecnológicas chinas, especialmente las vinculadas a ByteDance, ofrecen formas sencillas de editar rostros, voces y videos, y estos resultados se han difundido en plataformas sociales occidentales. China cuenta con requisitos más estrictos para el etiquetado de contenido sintético que no existen a nivel federal en Estados Unidos, donde la población depende de políticas fragmentadas y de dudosa aplicación por parte de las propias plataformas.
Los legisladores estadounidenses ya han aprobado algunas leyes para controlar la pornografía deepfake, pero su impacto ha sido limitado. La Ley para Restringir la Difusión de Deepfakes (Take It Down Act), que entró en vigor en mayo, busca criminalizar la creación y difusión de imágenes sexualizadas sin consentimiento. Sin embargo, varias disposiciones de la ley dificultan la rendición de cuentas de las plataformas generadoras de imágenes, ya que centran la mayor parte del escrutinio en los usuarios individuales.
Mientras tanto, varios estados están intentando tomar cartas en el asunto para proteger a los consumidores y las elecciones. Esta semana, la gobernadora de Nueva YorkKathy Hochulpropuso leyes que exigirían que el contenido generado por IA se etiquetara como tal y prohibirían los deepfakes no consensuales en períodos específicos previos a las elecciones, incluidas las representaciones de candidatos de la oposición.