Incidente 1349: Conjunto de datos de entrenamiento de IA para detectar desnudos que presuntamente contienen imágenes de abuso sexual infantil (CSAM) de víctimas identificadas.
Descripción: Se informó que un conjunto de datos de imágenes, NudeNet, utilizado para entrenar sistemas de detección de desnudez, contenía imágenes de abuso sexual infantil, incluyendo material que involucraba a víctimas identificadas o conocidas. Según el Centro Canadiense para la Protección de la Infancia, el conjunto de datos había sido ampliamente descargado y citado en investigaciones académicas antes de su descubrimiento. Supuestamente, las imágenes se incluyeron sin verificación previa, lo que expuso a los investigadores a riesgos legales y perpetuó el daño a las víctimas. El conjunto de datos fue posteriormente eliminado tras la notificación.
Entidades
Ver todas las entidadesAlleged: NudeNet dataset maintainers y NudeNet model developers developed an AI system deployed by Academic researchers , Research institutions , AI developers , Dataset users , Independent researchers y AI researchers, which harmed Academic researchers , Minors , Individuals subjected to sexual exploitation imagery y Victims of CSAM.
Sistemas de IA presuntamente implicados: NudeNet , AI image classification systems , AI content detection models y Dataset scraping and aggregation pipelines
Estadísticas de incidentes
ID
1349
Cantidad de informes
1
Fecha del Incidente
2025-10-24
Editores
Daniel Atherton
Applied Taxonomies
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.2. Exposure to toxic content
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
Human
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Pre-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Informes del Incidente
Cronología de Informes
Loading...
Un gran conjunto de datos de imágenes utilizado para desarrollar herramientas de IA para la detección de desnudez contiene varias imágenes de material de abuso sexual infantil (MASI), según el Centro Canadiense para la Protección de la Infa…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents

