Incidentes Asociados
Stable Diffusion, una de las herramientas de IA generativa de conversión de texto a imagen más populares del mercado de [la startup Stability AI de mil millones de dólares](https://www.forbes.com/sites/kenrickcai/2023/06/04/stable -diffusion-emad-mostaque-stability-ai-exaggeration/?sh=27a1179275c5 "https://www.forbes.com/sites/kenrickcai/2023/06/04/stable-diffusion-emad-mostaque-stability-ai- exageración/?sh=27a1179275c5"), fue entrenado en un tesoro de material ilegal de abuso sexual infantil, según una nueva investigación del Observatorio de Internet de Stanford.
El modelo fue entrenado en conjuntos de datos abiertos masivos para que los usuarios puedan generar imágenes realistas a partir de mensajes como: "Muéstrame un perro vestido como un astronauta cantando en un Times Square lluvioso". Cuantas más imágenes se alimentan a este tipo de modelos, más fuertes se vuelven y más cercanos a la perfección ser án los resultados de ese astro-cachorro cantor en Times Square. Pero los investigadores de Stanford encontraron que un gran conjunto de datos públicos de miles de millones de imágenes utilizadas para entrenar a Stable Diffusion y algunos de sus pares, llamado [LAION-5B](https ://laion.ai/blog/laion-5b/ "https://laion.ai/blog/laion-5b/"), contiene cientos de imágenes conocidas de material de abuso sexual infantil. Utilizando CSAM real extraído de la web, el conjunto de datos también ha ayudado en la creación de CSAM generado por IA, según el análisis de Stanford. Y la tecnología ha mejorado tan rápidamente que a menudo puede resultar casi imposible para el ojo humano distinguir las imágenes falsas de las reales.
"Desafortunadamente, las repercusiones del proceso de capacitación de Stable Diffusion 1.5 nos acompañarán durante algún tiempo", dice el estudio, dirigido por el tecnólogo jefe del observatorio, David Thiel. El informe pide que se desconecte cualquier modelo construido con Stable Diffusion 1.5 que no tenga las protecciones adecuadas. (Otras iteraciones de Difusión Estable tienen cierta capacidad de producir imágenes explícitas, según Thiel, pero la investigación encontró que 1,5 era la más problemática).
Los investigadores, que encontraron más de 3.000 piezas sospechosas de CSAM en los datos de entrenamiento público, advirtieron que el volumen real probablemente sea mucho mayor, dado que su evaluación se realizó solo a partir de septiembre y se centró solo en una pequeña porción del conjunto de miles de millones. de imágenes. Realizaron el estudio utilizando PhotoDNA, una herramienta de Microsoft que permite a los investigadores comparar "huellas digitales" de las imágenes en cuestión con piezas conocidas de CSAM en bases de datos administradas por el Centro Nacional para Niños Desaparecidos y Explotados y el Centro Canadiense para la Protección Infantil. Estas organizaciones sin fines de lucro son responsables de canalizar esa información a las autoridades.
"Estamos comprometidos a prevenir el uso indebido de la IA y prohibir el uso de nuestros modelos y servicios de imágenes para actividades ilegales, incluidos los intentos de editar o crear CSAM", dijo Ben Brooks, jefe de políticas públicas de Stability AI, en un correo electrónico después de la publicación. . Stable Diffusion 1.5 fue lanzado por RunwayML, no por Stability AI, dijo.
Las reglas de Stability AI indican que sus modelos no pueden usarse para "explotación o daño a niños, incluida la solicitación, creación, adquisición o difusión de contenido de explotación infantil". La compañía también ha tomado medidas para abordar el problema, como lanzar versiones más nuevas de Stable Diffusion que filtraban más material explícito y "inseguro" de los datos y resultados del entrenamiento. Brooks agregó que Stability AI ha "implementado filtros para interceptar indicaciones o resultados inseguros" e "invertido en funciones de etiquetado de contenido para ayudar a identificar imágenes generadas en nuestra plataforma... [haciendo] más difícil que los malos actores hagan un mal uso de la IA".
Aún así, el estudio de Stanford encontró que Stable Diffusion está entrenado en parte en contenido ilegal para niños, incluido CSAM seleccionado de sitios convencionales como [Reddit](https://www.forbes.com/sites/rashishrivastava/2023/05/11 /reddit-ai-generated-porn/?sh=76bb3392e52a "https://www.forbes.com/sites/rashishrivastava/2023/05/11/reddit-ai-generated-porn/?sh=76bb3392e52a"), Twitter (ahora X) y WordPress, que no lo permiten en primer lugar, y que este tipo de herramientas de inteligencia artificial también pueden usarse indebidamente para producir CSAM falso. La estabilidad de la IA no parece haberreportado sospechó CSAM al "CyberTipline" administrado por NCMEC, pero Christine Barndt, portavoz de la organización sin fines de lucro, dijo que la IA generativa está "haciendo que sea mucho más difícil para "Las fuerzas del orden pueden distinguir entre víctimas infantiles reales que necesitan ser encontradas y rescatadas, e imágenes y vídeos artificiales". (Brooks de Stability AI dijo después de la publicación que "no tenemos conocimiento de ningún caso confirmado de CSAM en nuestra plataforma, pero estamos comprometidos a informar... al NCMEC según corresponda".
"Si he usado material ilegal para entrenar este modelo, ¿es ilegal el modelo en sí?"
Stable Diffusion 1.5 es el modelo más popular construido en LAION-5B, según el informe, pero no es el único entrenado en conjuntos de datos de LAION. Midjourney, el laboratorio de investigación detrás de otro destacado generador de imágenes de IA, también utiliza LAION-5B. Imagen de Google fue entrenado en un conjunto de datos diferente pero relacionado llamado LAION-400M, pero después de que los desarrolladores encontraron imágenes preocupantes y estereotipos en los datos, "los consideraron no aptos para uso público", dice el informe. Stanford se centró en el software de Stability AI porque es un gran modelo de código abierto que revela sus datos de entrenamiento, pero dice que otros probablemente fueron entrenados en el mismo conjunto LAION-5B. Debido a que hay poca transparencia en el espacio, es difícil saber qué actores clave han entrenado sus propios modelos con los mismos datos.
Midjourney no respondió a una solicitud de comentarios. Hannah Wong, portavoz de OpenAI, creador del rival de Stable Diffusion, DALL-E, dijo que OpenAI no se entrena en ningún conjunto de datos LAION, incluido 5B.
"Quitar material de los propios modelos es la tarea más difícil", señala el informe. Algunos contenidos generados por IA, especialmente de niños que no existen, también pueden caer en un territorio legal turbio. Preocupados de que la tecnología haya superado las leyes federales que protegen contra el abuso sexual infantil y la extracción de sus datos, los fiscales generales de Estados Unidos recientemente [llamaron al Congreso](https://www.naag.org/press-releases/54-attorneys- llamado-general-al-congreso-para-estudiar-ai-y-sus-efectos-dañinos-en-los-niños/ "https://www.naag.org/press-releases/54-attorneys-general-call-on -congreso-para-estudiar-la-ia-y-sus-efectos-nocivos-en-los-niños/") para tomar medidas para abordar la amenaza del CSAM de la IA.
El Centro Canadiense para la Protección Infantil, que ayudó a validar los hallazgos de Stanford, está muy preocupado por la falta general de cuidado a la hora de seleccionar estos enormes conjuntos de datos, que no hacen más que exacerbar los problemas de CSAM de larga data que afectan a todas las grandes empresas tecnológicas, incluida [Apple](https ://www.forbes.com/sites/thomasbrewster/2023/09/07/apple-icloud-child-sexual-abuse-material-privacy/?sh=7d75916e727e "https://www.forbes.com/sites/ thomasbrewster/2023/09/07/apple-icloud-child-sexual-abuse-material-privacy/?sh=7d75916e727e") y [TikTok](https://www.forbes.com/sites/alexandralevine/2022/11 /11/tiktok-private-csam-child-sexual-abuse-material/?sh=605995663ad9 "https://www.forbes.com/sites/alexandralevine/2022/11/11/tiktok-private-csam-child- material-de-abuso-sexual/?sh=605995663ad9").
"La noción de curar mil millones de imágenes de manera responsable es algo realmente costoso, por lo que se toman atajos para intentar automatizar tanto como sea posible", dijo Lloyd Richardson, director de TI de la organización, a Forbes. "Había material conocido de abuso sexual infantil que ciertamente estaba en bases de datos que podrían haber filtrado, pero no lo hicieron... [y] si encontramos CSAM conocido allí, definitivamente también hay material desconocido".
Esto, añadió, plantea una pregunta importante para muchos en la IA generativa: "Si he usado material ilegal para entrenar este modelo, ¿es el modelo en sí ilegal? Y esa es una pregunta realmente incómoda para muchas de estas empresas que son, bastante Francamente, en realidad no estoy haciendo nada para curar adecuadamente sus conjuntos de datos".
Stability AI y Midjourney se encuentran por separado entre varias empresas de tecnología demandadas por un grupo de artistas que alegan que los advenedizos han utilizado incorrectamente su trabajo creativo para entrenar la IA.
Esta historia y su titular se han actualizado para reflejar los comentarios de Stability AI proporcionados después de la publicación.