Incidentes Asociados
Un chatbot de IA y generador de imágenes, comercializado principalmente como herramienta para crear imágenes de rol explícito, ha sido prácticamente abandonado por sus desarrolladores, dejando el contenido personal y los datos de millones de usuarios registrados expuestos públicamente en internet. Según informó inicialmente 404 Media, Secret Desires dejó sus contenedores de almacenamiento en la nube expuestos a internet, dejando al descubierto casi dos millones de imágenes y vídeos junto a nombres, lugares de trabajo y universidades.
Este incidente ilustra de forma alarmante cómo los servicios de IA para adultos, que proliferan rápidamente, pueden combinar contenido sensible con medidas de seguridad deficientes, lo que supone un riesgo desproporcionado no solo para la creación de deepfakes no consensuales, sino también para la posible pornografía infantil.
Una hora después de que los periodistas contactaran con la empresa, uno de ellos descubrió que los archivos expuestos ya no eran accesibles; Secret Desires no respondió a la solicitud de comentarios.
Lo que los investigadores encontraron: Al descubierto en Secret Desires
Entre las imágenes y videos explícitos generados por IA que los investigadores descubrieron en esos contenedores abiertos, se encontraba material creado mediante una función de intercambio de rostros ya desaparecida. El conjunto de archivos supuestamente incluía imágenes extraídas de redes sociales, así como capturas de pantalla privadas, con archivos vinculados a influencers, figuras públicas y usuarios comunes de internet. De manera inquietante, algunos de los nombres de los archivos contenían palabras que sugerían imágenes de víctimas menores de edad, lo que demuestra cómo las herramientas de IA siguen poniendo en riesgo a la sociedad al ser utilizadas como armas para producir contenido ilegal.
Aún más preocupante es que la estructura de almacenamiento podría haber contenido información personal identificable, más allá de las imágenes. Combinar archivos multimedia explícitos con el nombre, la escuela y el lugar de trabajo de una persona agrava enormemente el acoso, la extorsión y la divulgación de información personal, males que expertos de organizaciones como la Electronic Frontier Foundation y la Internet Watch Foundation ya pronostican que empeorarán a medida que las herramientas de IA generativa se generalicen.
Un fallo de seguridad en la nube inminente
El problema subyacente —el almacenamiento en la nube mal configurado— es a la vez común y generalizado. Los equipos de seguridad llevan tiempo advirtiendo que los buckets públicos y los controles de acceso laxos son algunas de las vías más frecuentes para las filtraciones masivas de datos. Esto se ha confirmado en innumerables evaluaciones de amenazas realizadas por las principales empresas de seguridad, que han constatado que la mala configuración sigue siendo una de las principales causas de exposición de datos en la nube, especialmente para las startups de rápido crecimiento sin una gobernanza madura.
Cualquier servicio que procese contenido íntimo hoy en día debería, como mínimo, admitir buckets privados por defecto, una gestión estricta de identidades y accesos, enlaces prefirmados de corta duración, cifrado en reposo y en tránsito, y monitorización continua de la seguridad. No se deben almacenar datos sensibles junto con los nombres de los archivos multimedia. Los metadatos deben minimizarse o tokenizarse para evitar la posibilidad de una fácil identificación.
El riesgo de los deepfakes no es teórico
Las herramientas de intercambio de rostros e imagen a imagen mediante IA pueden generar rápidamente deepfakes explícitos a partir de imágenes extraídas de redes sociales, retratos escolares o sitios de citas.
Activistas y académicos han documentado que la gran mayoría de las víctimas de deepfakes son mujeres. La inclusión de chatbots de IA que ofrecen "intimidad ilimitada" no hace sino normalizar aún más la producción a gran escala, al tiempo que reduce las barreras técnicas de entrada para usuarios potenciales sin experiencia en este campo.
Las fuerzas del orden y las organizaciones de protección infantil, incluido el Centro Nacional para Niños Desaparecidos y Explotados, han instado a las plataformas a monitorear activamente este tipo de imágenes sexuales sintéticas de menores. Medidas como el hashing y la comparación tipo PhotoDNA, el filtrado inmediato del contenido más infractor y la estimación de edad pueden mitigar el riesgo, aunque de forma poco eficaz. Las marcas de agua y los estándares de procedencia a nivel de sistema, como C2PA, pueden facilitar la trazabilidad, siempre que se adopte este enfoque a gran escala.
El cumplimiento normativo y la responsabilidad legal se quedan atrás en materia de seguridad de la IA.
Además del daño a la reputación, las plataformas de IA corren un riesgo cada vez mayor de ser expuestas ante la ley. Los reguladores han indicado que la seguridad deficiente y las afirmaciones engañosas sobre seguridad pueden constituir prácticas comerciales desleales o fraudulentas. En los países sujetos a leyes de protección de datos, la combinación de información personal identificable y contenido personal conlleva el riesgo de obligaciones de notificación de violaciones de seguridad, junto con multas cuantiosas. Con la Ley de IA de la UE y la legislación estatal sobre deepfakes en marcha, existe un mandato cada vez más claro para un mayor escrutinio de los casos de uso de alto riesgo y una mayor rendición de cuentas para la prevención del abuso.
Para las herramientas de IA de contenido sexual, una postura de cumplimiento sólida hoy en día implica cada vez más el apoyo a medidas de verificación de edad, como la verificación positiva de edad (PAS), flujos de consentimiento explícito para la adquisición de datos de entrenamiento, capacidades de informes detallados para los usuarios y procesos de eliminación rápida en colaboración con organismos de seguridad de confianza como la IWF y la NCMEC. Tam señala que la seguridad no se puede añadir después del crecimiento; debe estar integrada desde el principio.
Si cree que se vio afectado por esta exposición de datos
- Quienes sospechen que sus imágenes pueden estar involucradas deben guardar pruebas, denunciar las imágenes a las plataformas correspondientes y considerar presentar una denuncia ante la NCMEC si aparecen menores en la imagen. Las víctimas también pueden solicitar la eliminación de contenido a través de protocolos establecidos por la industria para casos de abuso de imágenes íntimas y eliminación de deepfakes.
Cuando existen, las solicitudes de protección de datos pueden obligar a las plataformas a revelar qué información se almacenó e iniciar el proceso de eliminación.
La filtración de Secret Desires es una advertencia para todo el sector de la IA con contenido para adultos. Cuando la intimidad es el principal atractivo de estos productos, no hay margen de error. Si bien las prácticas como el intercambio de rostros y las técnicas de manipulación de contenido pueden impulsar el crecimiento, también atraen el tipo de daño —y el escrutinio— que puede hundir una plataforma de la noche a la mañana.