Incidentes Asociados
Jeremiah Fowler, un experto en sistemas inseguros, afirma haber encontrado un conjunto de imágenes sexualmente explícitas generadas por IA, expuestas al internet público. Todas desaparecieron después de que él alertara al equipo que aparentemente estaba detrás de las imágenes altamente cuestionables.
Fowler declaró a The Register que encontró un bucket S3 de Amazon Web Services desprotegido y mal configurado que contenía 93.485 imágenes, junto con archivos JSON que registraban solicitudes de usuario con enlaces a las imágenes creadas a partir de estas entradas. No se encontraron contraseñas ni cifrados, según nos informaron. El lunes, describió las imágenes que encontró como "lo que parecían ser imágenes explícitas de niños generadas por IA e imágenes de celebridades retratadas como niños". Todas las celebridades representadas eran mujeres.
Para que se hagan una idea de lo que los usuarios estaban provocando a este sistema de IA deepfake, una de las entradas de ejemplo compartidas por Fowler dice, redactada por nosotros, "Niña asiática ****** por tío". Es más, los archivos incluían fotos cotidianas de mujeres, presumiblemente para que la inteligencia artificial generativa pudiera intercambiar sus rostros y convertirlos en escenas escabrosas de clasificación X a petición de los usuarios.
Fowler afirmó que el nombre del contenedor que encontró y los archivos que contenía indicaban que pertenecían a la empresa surcoreana de inteligencia artificial AI-NOMIS y a su aplicación web GenNomis.
El lunes, los sitios web de GenNomis y AI-NOMIS habían dejado de estar disponibles.
El artículo de Fowler sobre su hallazgo (https://www.vpnmentor.com/news/report-gennomis-breach/) describe GenNomis como un "servicio Nudify", una referencia a la práctica de usar IA para intercambiar rostros en imágenes o quitarse la ropa digitalmente, generalmente sin el consentimiento de la persona representada, de modo que parezca desnuda, en una situación pornográfica o similar. Las instantáneas resultantes suelen ser fotorrealistas, por no hablar de humillantes y dañinas para la víctima, gracias a las capacidades de los sistemas de IA actuales. Una captura de pantalla de Wayback Machine de GenNomis.com vista por The Register incluye el texto: "¡Genera imágenes sin restricciones y conecta con tu personaje de IA personalizado!". De las 48 imágenes que contabilizamos en la captura archivada, solo tres no representan a mujeres jóvenes. La captura también conserva texto que describe la capacidad de GenNomis para reemplazar el rostro de una imagen. Otra página incluye una pestaña con la etiqueta "NSFW" (No apto para el trabajo).
Fowler escribió que su descubrimiento ilustra "cómo los usuarios podrían abusar de esta tecnología y cómo los desarrolladores deben esforzarse más para protegerse a sí mismos y a los demás". Es decir, ya es bastante grave que la IA pueda usarse para colocar a personas en pornografía artificial, que las imágenes resultantes puedan filtrarse masivamente es otro nivel.
"Esta filtración de datos abre un debate más amplio sobre toda la industria de la generación de imágenes sin restricciones", añadió.
También plantea dudas sobre si los sitios web que ofrecen intercambio de rostros y otras herramientas de generación de imágenes con IA aplican sus propias normas.
Según Fowler, las directrices de usuario de GenNomis prohibían, entre otras cosas, la creación de imágenes explícitas que mostraran a niños. El sitio advertía que crear dicho contenido conllevaría la cancelación inmediata de la cuenta. Sin embargo, según el material descubierto por el investigador, no está claro si dichas políticas se aplicaron activamente. En cualquier caso, los datos permanecieron en un contenedor público alojado en Amazon.
Aunque fueron generados por computadora, es ilegal y altamente antiético permitir que la IA genere estas imágenes sin ningún tipo de control o moderación.
"A pesar de que vi numerosas imágenes que podrían clasificarse como contenido prohibido y potencialmente ilegal, se desconoce si dichas imágenes estaban disponibles para los usuarios o si las cuentas fueron suspendidas", escribió Fowler. "Sin embargo, estas imágenes parecían haber sido generadas mediante la plataforma GenNomis y almacenadas en la base de datos que fue expuesta públicamente".
Fowler afirmó haber encontrado el bucket S3 (aquí hay una captura de pantalla que muestra varios nombres de carpetas del almacenamiento en la nube) el 10 de marzo y lo reportó dos días después al equipo responsable de GenNomis y AI-NOMIS.
"Lo retiraron inmediatamente sin obtener respuesta", declaró a The Register. "La mayoría de los desarrolladores habrían dicho: 'Nos preocupamos profundamente por la seguridad y el abuso, y estamos haciendo lo que sea para mejorar nuestro servicio'".
GenNomis, según nos contó Fowler, "simplemente silenció y protegió las imágenes" antes de que el sitio web se desconectara. El contenido del bucket S3 también desapareció.
"Esta es una de las primeras veces que he visto el funcionamiento interno de un servicio de generación de imágenes con IA, y fue muy interesante ver las indicaciones y las imágenes que crean", nos comentó, añadiendo que en sus más de diez años de búsqueda y denuncia de almacenamiento en la nube que se deja abierto accidentalmente en la web, esta es solo la tercera vez que ve imágenes explícitas de niños.
Gobiernos, fuerzas del orden y algunas empresas están tomando medidas para abordar las imágenes explícitas generadas por IA y el daño real que pueden causar.
A principios de este año, el gobierno del Reino Unido se comprometió a tipificar como delito la creación y difusión de imágenes deepfake sexualmente explícitas.
En Estados Unidos, la ley bipartidista Take It Down Act (Ley de Eliminación) busca criminalizar la publicación de imágenes no consentidas y sexualmente explotadoras, incluyendo deepfakes generados por IA, y exigir a las plataformas que eliminen dichas imágenes en un plazo de 48 horas tras la notificación. El proyecto de ley ha sido aprobado por el Senado y está a la espera de su consideración por la Cámara de Representantes.
A principios de marzo, la Policía Federal Australiana arrestó a dos hombres bajo sospecha de generar imágenes de abuso infantil como parte de una iniciativa internacional de aplicación de la ley liderada por las autoridades danesas.
A finales de 2024, algunas de las empresas tecnológicas más importantes de EE. UU., como Adobe, Anthropic, Cohere, Microsoft, OpenAI y el repositorio de datos web de código abierto Common Crawl, firmaron un compromiso no vinculante para evitar que sus productos de inteligencia artificial se utilizaran para generar pornografía deepfake no consensuada y material de abuso sexual infantil.
Lamentablemente, como lo demuestra el descubrimiento de Fowler, mientras haya demanda de este tipo de contenido repugnante, habrá algunos sinvergüenzas dispuestos a permitir que los usuarios lo produzcan y lo distribuyan a través de sitios web.