Incidente 1020: Una implementación presuntamente insegura de Llama.cpp revela indicaciones interactivas de juego de rol CSAM generadas por IA
Descripción: Un estudio de UpGuard informa que servidores llama.cpp mal configurados expusieron públicamente mensajes de usuario, incluyendo cientos de escenarios de juegos de rol interactivos. Algunos mensajes describían explícitamente abusos sexuales ficticios de niños de entre 7 y 12 años. Si bien no hubo niños reales involucrados, los hallazgos demuestran cómo se pueden explotar los LLM de código abierto para generar material de abuso sexual infantil (MASI) basado en IA.
Entidades
Ver todas las entidadesAlleged: Users of llama.cpp servers y Meta developed an AI system deployed by Users of llama.cpp servers, which harmed Users of llama.cpp servers y General public.
Sistemas de IA presuntamente implicados: llama.cpp , LLaMA y public-facing HTTP API servers with insecure /slots configuration
Estadísticas de incidentes
ID
1020
Cantidad de informes
2
Fecha del Incidente
2025-04-11
Editores
Daniel Atherton
Informes del Incidente
Cronología de Informes
%20(1).png)
Varios chatbots de IA (https://www.wired.com/tag/chatbots/) diseñados para conversaciones de fantasía y juegos de rol sexuales están filtrando mensajes de usuario a la web casi en tiempo real, según un nuevo estudio visto por WIRED. Algunos…
%20(1).png)
La proliferación de la IA ha introducido rápidamente muchas nuevas tecnologías de software, cada una con sus propias configuraciones erróneas que pueden comprometer la seguridad de la información. De ahí la misión de UpGuard Research: descu…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Biased Sentiment Analysis
· 7 informes
Gender Biases in Google Translate
· 10 informes
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Biased Sentiment Analysis
· 7 informes
Gender Biases in Google Translate
· 10 informes