Incidentes Asociados
Una investigación del Stanford Internet Observatory (SIO) identificó cientos de imágenes conocidas de material de abuso sexual infantil (CSAM) en un conjunto de datos abiertos utilizado para entrenar modelos populares de generación de texto a imagen de IA, como [Stable Diffusion](https://stability .ai/difusión-estable).
Un informe anterior de SIO con el grupo de seguridad infantil en línea sin fines de lucro Thorn descubrió que los rápidos avances en el aprendizaje automático generativo permiten crear imágenes realistas que facilitan la explotación sexual infantil utilizando modelos de generación de imágenes de IA de código abierto. Nuestra nueva investigación revela que estos modelos se entrenan directamente en CSAM presente en un conjunto de datos públicos de miles de millones de imágenes, conocido como LAION-5B. El conjunto de datos incluía CSAM conocido extraído de una amplia gama de fuentes, incluidos sitios web de redes sociales convencionales y sitios populares de videos para adultos.
Actualmente se está eliminando el material fuente identificado, ya que los investigadores informaron las URL de las imágenes al [Centro Nacional para Niños Desaparecidos y Explotados] (https://www.missingkids.org/home) (NCMEC) en los EE. UU. y el [Canadá]. Centro de Protección Infantil](https://www.protectchildren.ca/en/) (C3P). El estudio se realizó principalmente utilizando herramientas de hash como PhotoDNA, que comparan una huella digital de una imagen con bases de datos mantenidas por organizaciones sin fines de lucro que reciben y procesan informes de explotación y abuso sexual infantil en línea. Los investigadores no vieron contenido de abuso y las coincidencias se informaron al NCMEC y el C3P las confirmó cuando fue posible.
Existen métodos para minimizar el CSAM en los conjuntos de datos utilizados para entrenar modelos de IA, pero es un desafío limpiar o detener la distribución de conjuntos de datos abiertos sin una autoridad central que aloje los datos reales. El informe describe recomendaciones de seguridad para la recopilación de conjuntos de datos, modelos de capacitación y alojamiento de modelos entrenados en conjuntos de datos extraídos. Las imágenes recopiladas en conjuntos de datos futuros deben compararse con listas conocidas de CSAM mediante el uso de herramientas de detección como PhotoDNA de Microsoft o asociándose con organizaciones de seguridad infantil como NCMEC y C3P.