Incidentes Asociados
Se ha localizado material de abuso sexual infantil (CSAM) en LAION, un importante conjunto de datos utilizado para entrenar la IA.
El Observatorio de Internet de Stanford reveló miles de imágenes de abuso sexual infantil en el conjunto de datos LAION-5B, que respalda muchos modelos de IA diferentes.
El informe muestra que los modelos de IA como Stable Diffusion e Imagen de Google "fueron entrenados en miles de millones de imágenes extraídas del conjunto de datos LAION-5B". Se dice que este conjunto de datos se creó mediante "rastreo no guiado que incluye una cantidad significativa de material explícito".
Estas imágenes han permitido a los sistemas de inteligencia artificial producir imágenes realistas y explícitas de niños imaginarios y, al mismo tiempo, alterar imágenes de personas vestidas para convertirlas en fotografías desnudas.
Informes anteriores del Stanford Internet Observatory han deducido que los modelos de aprendizaje automático pueden producir CSAM. Sin embargo, el trabajo asumió que esto sólo era posible combinando "dos conceptos", como niño y acciones explícitas.
A pesar de los intentos de LAION de clasificar si el contenido era sexualmente explícito o si los datos contenían contenido explícito para menores de edad, los modelos fueron entrenados en una amplia gama de contenido gráfico y benigno.
El informe concluye que tener posesión de un conjunto de datos LAION-5B implica la posesión de "miles de imágenes ilegales, sin incluir todas las imágenes íntimas publicadas y recopiladas sin consentimiento".
No hay evidencia que sugiera que CSAM influya en el resultado del modelo, y la probabilidad de que el contenido CSAM ejerza influencia es escasa.
A pesar de tener una "política de tolerancia cero para el contenido ilegal", una multitud de imágenes que contienen CSAM están presentes en el conjunto de datos de código abierto de LAION.
Desde entonces, el conjunto de datos 5B de LAION se ha desconectado y la organización sin fines de lucro está trabajando en estrecha colaboración con Internet Watch Foundation, una organización benéfica dedicada a proteger a los niños en todo el mundo mediante la eliminación y prevención de contenido abusivo en línea.