Incidentes Asociados
Un influyente conjunto de datos de aprendizaje automático, como el que se ha utilizado para entrenar numerosas aplicaciones populares de generación de imágenes, incluye miles de imágenes sospechosas de abuso sexual infantil, revela un nuevo informe académico.
El informe, elaborado por el Observatorio de Internet de la Universidad de Stanford, dice que LAION-5B, un tramo masivo de medios visuales, incluye un número significativo de Imágenes de abuso ilegal.
LAION-5B es mantenido por la organización sin fines de lucro LAION (abreviatura de Red Abierta de Inteligencia Artificial a Gran Escala) y en realidad no es una colección almacenada de imágenes, sino una lista de enlaces a imágenes que han sido indexadas por la organización. Los enlaces incluyen metadatos para cada imagen, lo que ayuda a los modelos de aprendizaje automático a encontrar imágenes en las que basarse para el entrenamiento.
Para examinar este amplio tramo de datos, los investigadores utilizaron PhotoDNA, una herramienta de filtrado de contenido patentada desarrollada por Microsoft para ayudar a las organizaciones a identificar e informar ciertos tipos de contenido prohibido. , incluido el MASI. En el transcurso de su recorrido por el conjunto de datos de LAION, los investigadores dicen que PhotoDNA encontró unos 3.226 casos de material sospechoso de abuso infantil. Al consultar a organizaciones externas, los investigadores pudieron determinar que muchas de esas imágenes eran casos confirmados de CSAM. Si bien el conjunto de datos en cuestión incluye miles de millones de imágenes, la existencia de cualquier cantidad de contenido abusivo en su contenido debería ser preocupante.
El martes, después de recibir una copia embargada del informe de Stanford, LAION desconectó el conjunto de datos y publicó una declaración para abordar la controversia. Dice, en parte:
LAION tiene una política de tolerancia cero con los contenidos ilegales. Trabajamos con organizaciones como IWF y otras para monitorear y validar continuamente enlaces en los conjuntos de datos de LAION disponibles públicamente. Los conjuntos de datos también se validan mediante herramientas de filtrado intensivo desarrolladas por nuestra comunidad y organizaciones asociadas para garantizar que sean seguros y cumplan con la ley.
...Con mucha precaución, hemos desconectado LAION 5B y estamos trabajando rápidamente con la IWF y otros para encontrar y eliminar enlaces que aún puedan apuntar a contenido sospechoso y potencialmente ilegal en la web pública.
LAION-5B se ha utilizado para entrenar numerosas aplicaciones de IA, [incluida la popular aplicación de generación de imágenes Stable Diffusion](https://www.theverge.com/2023/12/20/24009418/generative-ai-image-laion-csam -google-stability-stanford) creado por Stability AI. Gizmodo contactó a Stability AI para hacer comentarios y actualizará esta historia si responde.