Incidentes Asociados
¿Por qué las empresas de IA están valoradas en millones y miles de millones de dólares creando y distribuyendo herramientas que pueden generar material de abuso sexual infantil (CSAM) generado por IA?
Un generador de imágenes llamado Stable Diffusion versión 1.5, que fue creado por la empresa de IA Runway con financiación de Stability AI, ha estado particularmente implicado en la producción de CSAM. Y plataformas populares como Hugging Face y Civitai han estado alojando ese modelo y otros que pueden haber sido entrenados con imágenes reales de abuso sexual infantil. En algunos casos, las empresas pueden incluso estar infringiendo leyes al alojar material CSAM sintético en sus servidores. ¿Y por qué las empresas e inversores convencionales como Amazon, Google, Nvidia, Intel, Salesforce y Andreessen Horowitz están invirtiendo cientos de millones de dólares en estas empresas? Su apoyo equivale a subvencionar contenido para pedófilos.
Como expertos en seguridad de la IA, hemos estado haciendo estas preguntas para denunciar a estas empresas y presionarlas para que tomen las medidas correctivas que describimos a continuación. Y hoy estamos felices de informar un gran triunfo: aparentemente en respuesta a nuestras preguntas, la versión 1.5 de Stable Diffusion ha sido eliminada de Hugging Face. Pero todavía queda mucho por hacer y es posible que para lograr avances significativos se requiera una legislación.
El alcance del problema del abuso sexual infantil
Los defensores de la seguridad infantil comenzaron a dar la voz de alarma el año pasado: los investigadores del Observatorio de Internet de Stanford y la organización tecnológica sin fines de lucro Thorn publicaron un informe preocupante en junio de 2023. Descubrieron que las herramientas de generación de imágenes de IA de "código abierto" y ampliamente disponibles ya estaban siendo utilizadas indebidamente por actores maliciosos para crear material de abuso sexual infantil. En algunos casos, los actores maliciosos estaban creando sus propias versiones personalizadas de estos modelos (un proceso conocido como ajuste fino) con material real de abuso sexual infantil para generar imágenes a medida de víctimas específicas.
En octubre pasado, un informe de la organización sin fines de lucro británica Internet Watch Foundation (que recopila informes de material de abuso sexual infantil) detallaba la facilidad con la que actores maliciosos están creando material de abuso sexual infantil fotorrealista generado por IA a gran escala. Los investigadores incluyeron un estudio "instantáneo" de un foro de abuso sexual infantil en la dark web, en el que se analizaron más de 11 000 imágenes generadas por IA publicadas en un período de un mes; de ellas, casi 3000 fueron consideradas lo suficientemente graves como para ser clasificadas como delictivas. El informe instaba a una supervisión regulatoria más estricta de los modelos de IA generativa.
Los modelos de IA se pueden usar para crear este material porque han visto ejemplos antes. Los investigadores de Stanford descubrieron en diciembre pasado que uno de los conjuntos de datos más significativos utilizados para entrenar modelos de generación de imágenes incluía cientos de piezas de CSAM. Muchos de los generadores de imágenes de IA de código abierto descargables más populares, incluido el popular modelo Stable Diffusion versión 1.5, fueron entrenados usando estos datos. Mientras que Runway creó esa versión de Stable Diffusion, Stability AI pagó por la potencia informática para producir el conjunto de datos y entrenar el modelo.
Runway no respondió a una solicitud de comentarios. Un portavoz de Stability AI enfatizó que la compañía no lanzó ni mantuvo la versión 1.5 de Stable Diffusion y dice que la compañía ha "implementado sólidas salvaguardas" contra CSAM en modelos posteriores, incluido el uso de conjuntos de datos filtrados para el entrenamiento.
También en diciembre pasado, los investigadores de la empresa de análisis de redes sociales Graphika encontraron una proliferación de docenas de servicios de "desnudez", muchos de ellos basados en generadores de imágenes de IA de código abierto, probablemente incluyendo Stable Diffusion. Estos servicios permiten a los usuarios subir fotos de personas vestidas y producir lo que los expertos denominan imágenes íntimas no consensuales (NCII) tanto de menores como de adultos, también conocidas a veces como pornografía deepfake. Dichos sitios web se pueden encontrar fácilmente a través de búsquedas de Google, y los usuarios pueden pagar por los servicios usando tarjetas de crédito en línea. Muchos de estos servicios solo funcionan en mujeres y niñas, y este tipo de herramientas se han utilizado para atacar a celebridades femeninas como Taylor Swift y políticos como la representante estadounidense Alexandria Ocasio-Cortez.
El material sexual infantil generado por inteligencia artificial tiene efectos reales. El ecosistema de seguridad infantil ya está sobrecargado, con millones de archivos de material sexual infantil sospechosos denunciados a las líneas directas cada año. Cualquier cosa que se sume a ese torrente de contenido (especialmente material de abuso fotorrealista) hace que sea más difícil encontrar a los niños que están activamente en peligro. Para empeorar las cosas, algunos actores maliciosos están utilizando material sexual infantil existente para generar imágenes sintéticas de estos sobrevivientes, una horrible nueva violación de sus derechos. Otros están usando las aplicaciones de "desnudez" disponibles para crear contenido sexual a partir de imágenes benignas de niños reales, y luego usan ese contenido recién generado en esquemas de extorsión sexual.
Una victoria contra el material de abuso sexual infantil generado por IA
Basándose en la investigación de Stanford del pasado mes de diciembre, es bien sabido en la comunidad de IA que Stable Diffusion 1.5 fue entrenado con material de abuso sexual infantil, al igual que todos los demás modelos entrenados con el conjunto de datos LAION-5B. Estos modelos están siendo utilizados indebidamente de forma activa por actores maliciosos para crear material de abuso sexual infantil generado por IA. Incluso cuando se utilizan para generar material más benigno, su uso revictimiza inherentemente a los niños cuyas imágenes de abuso se incluyeron en sus datos de entrenamiento. Por eso, les preguntamos a las populares plataformas de alojamiento de IA Hugging Face y Civitai por qué alojaron Stable Diffusion 1.5 y modelos derivados, y los pusieron a disposición para su descarga gratuita.
Vale la pena señalar que Jeff Allen, un científico de datos del Integrity Institute, descubrió que Stable Diffusion 1.5 se descargó de Hugging Face más de 6 millones de veces en el último mes, lo que lo convirtió en el generador de imágenes de IA más popular de la plataforma.
Cuando le preguntamos a Hugging Face por qué sigue alojando el modelo, la portavoz de la empresa, Brigitte Tousignant, no respondió directamente a la pregunta, sino que afirmó que la empresa no tolera el material de abuso sexual infantil en su plataforma, que incorpora una variedad de herramientas de seguridad y que alienta a la comunidad a utilizar el modelo Safe Stable Diffusion que identifica y suprime las imágenes inapropiadas.
Ayer, verificamos Hugging Face y descubrimos que Stable Diffusion 1.5 ya no está disponible. Tousignant nos dijo que Hugging Face no lo había eliminado y sugirió que nos pusiéramos en contacto con Runway, lo que hicimos, de nuevo, pero aún no hemos recibido una respuesta.
Sin duda, es un éxito que este modelo ya no esté disponible para descargar desde Hugging Face. Desafortunadamente, todavía está disponible en Civitai, al igual que cientos de modelos derivados. Cuando nos pusimos en contacto con Civitai, un portavoz nos dijo que no tenían conocimiento de qué datos de entrenamiento utilizó Stable Diffusion 1.5 y que solo lo eliminarían si hubiera evidencia de mal uso.
Las plataformas deberían estar nerviosas por su responsabilidad. La semana pasada se produjo el arresto de Pavel Durov (https://www.reuters.com/world/europe/pavel-durov-has-nothing-hide-telegram-says-arrested-founder-2024-08-26/), director ejecutivo de la aplicación de mensajería Telegram, como parte de una investigación relacionada con CSAM y otros delitos.
¿Qué se está haciendo con respecto al material de abuso sexual infantil generado por IA?
El constante redoble de informes y noticias inquietantes sobre material de abuso sexual infantil generado por IA y material de abuso no intencional no ha cesado. Si bien algunas empresas están tratando de mejorar la seguridad de sus productos con la ayuda de la Coalición Tecnológica, ¿qué avances hemos visto en el tema más amplio?
En abril, Thorn y All Tech Is Human anunciaron una iniciativa para reunir a las principales empresas tecnológicas, desarrolladores de IA generativa, plataformas de alojamiento de modelos y más para definir y comprometerse con los principios de Seguridad por diseño, que ponen la prevención del abuso sexual infantil en el centro del proceso de desarrollo de productos. Diez empresas (entre ellas Amazon, Civitai, Google, Meta (https://spectrum.ieee.org/tag/meta), Microsoft (https://spectrum.ieee.org/tag/microsoft), OpenAI (https://spectrum.ieee.org/tag/openai) y Stability AI) se comprometieron a respetar estos principios (https://www.thorn.org/blog/generative-ai-principles/), y algunas de ellas también fueron coautoras de un documento relacionado (https://info.thorn.org/hubfs/thorn-safety-by-design-for-generative-AI.pdf) con recomendaciones de mitigación más detalladas. Los principios exigen a las empresas que desarrollen, implementen y mantengan modelos de IA que aborden de forma proactiva los riesgos de seguridad infantil; que construyan sistemas para garantizar que cualquier material de abuso que se produzca se detecte de forma fiable; y que limiten la distribución de los modelos y servicios subyacentes que se utilizan para crear este material de abuso.
Este tipo de compromisos voluntarios son un comienzo. Rebecca Portnoff, directora de ciencia de datos de Thorn, dice que la iniciativa busca la rendición de cuentas al exigir a las empresas que emitan informes sobre su progreso en las medidas de mitigación. También está colaborando con instituciones que establecen estándares como IEEE y NIST para integrar sus esfuerzos en estándares nuevos y existentes, abriendo la puerta a auditorías de terceros que "irían más allá del sistema de honor", dice Portnoff. Portnoff también señala que Thorn está trabajando con los responsables de las políticas para ayudarlos a concebir una legislación que sea técnicamente factible e impactante. De hecho, muchos expertos dicen que es hora de ir más allá de los compromisos voluntarios.
Creemos que actualmente se está llevando a cabo una carrera imprudente hacia el abismo en la industria de la IA. Las empresas están luchando tan furiosamente por estar técnicamente a la cabeza que muchas de ellas están ignorando las consecuencias éticas y posiblemente incluso legales de sus productos. Si bien algunos gobiernos, incluida la Unión Europea, están avanzando en la regulación de la IA, no han ido lo suficientemente lejos. Si, por ejemplo, las leyes hicieran ilegal proporcionar sistemas de IA que puedan producir CSAM, las empresas de tecnología podrían tomar nota.
La realidad es que, si bien algunas empresas cumplirán con los compromisos voluntarios, muchas no lo harán. Y de las que lo hagan, muchas actuarán con demasiada lentitud, ya sea porque no están listas o porque están luchando por mantener su ventaja competitiva. Mientras tanto, los malos actores gravitarán hacia esos servicios y causarán estragos. Ese resultado es inaceptable.
Lo que las empresas de tecnología deberían hacer con el CSAM generado por IA
Los expertos vieron venir este problema desde una milla de distancia, y los defensores de la seguridad infantil han recomendado estrategias de sentido común para combatirlo. Si perdemos esta oportunidad de hacer algo para solucionar la situación, todos asumiremos la responsabilidad. Como mínimo, todas las empresas, incluidas las que lanzan modelos de código abierto, deberían estar legalmente obligadas a cumplir con los compromisos establecidos en los principios de Seguridad por Diseño de Thorn:
- Detectar, eliminar y denunciar el material de abuso sexual infantil de sus conjuntos de datos de entrenamiento antes de entrenar sus modelos de IA generativos.
- Incorporar marcas de agua sólidas y sistemas de procedencia de contenido en sus modelos de IA generativos para que las imágenes generadas se puedan vincular a los modelos que las crearon, como se exigiría en virtud de un proyecto de ley de California que crearía Estándares de procedencia de contenido digital para las empresas que hacen negocios en el estado. Es probable que el proyecto de ley se presente para la firma del gobernador Gavin Newson el próximo mes.
- Eliminar de sus plataformas cualquier modelo de IA generativa que se sepa que ha sido entrenado en abuso sexual infantil o que sea capaz de producir abuso sexual infantil. Rehusarse a volver a alojar estos modelos a menos que hayan sido completamente reconstituidos y se haya eliminado el abuso sexual infantil.
- Identificar los modelos que han sido modificados intencionalmente en base a abuso sexual infantil y eliminarlos permanentemente de sus plataformas.
- Eliminar las aplicaciones que "desnuden" de las tiendas de aplicaciones, bloquear los resultados de búsqueda de estas herramientas y servicios y trabajar con los proveedores de pagos para bloquear los pagos a sus creadores.
No hay ninguna razón por la que la IA generativa deba ayudar e incitar al horrible abuso infantil. Pero necesitaremos todas las herramientas a nuestra disposición (compromisos voluntarios, regulación y presión pública) para cambiar el rumbo y detener la carrera hacia el abismo.
Los autores agradecen a Rebecca Portnoff de Thorn, David Thiel del Stanford Internet Observatory, Jeff Allen del Integrity Institute, Ravit Dotan de TechBetter y al investigador de políticas tecnológicas Owen Doyle por su ayuda con este artículo.