Descripción: A study by UpGuard reports that misconfigured llama.cpp servers publicly exposed user prompts, including hundreds of interactive roleplay scenarios. Some prompts explicitly described fictional sexual abuse of children aged 7–12. While no real children were involved, the findings demonstrate how open-source LLMs can be exploited to generate AI-enabled child sexual abuse material (CSAM).
Entidades
Ver todas las entidadesAlleged: Users of llama.cpp servers y Meta developed an AI system deployed by Users of llama.cpp servers, which harmed Users of llama.cpp servers y General public.
Sistemas de IA presuntamente implicados: llama.cpp , LLaMA y public-facing HTTP API servers with insecure /slots configuration
Estadísticas de incidentes
ID
1020
Cantidad de informes
2
Fecha del Incidente
2025-04-11
Editores
Daniel Atherton
Informes del Incidente
Cronología de Informes

Varios chatbots de IA (https://www.wired.com/tag/chatbots/) diseñados para conversaciones de fantasía y juegos de rol sexuales están filtrando mensajes de usuario a la web casi en tiempo real, según un nuevo estudio visto por WIRED. Algunos…
%20(1).png)
La proliferación de la IA ha introducido rápidamente muchas nuevas tecnologías de software, cada una con sus propias configuraciones erróneas que pueden comprometer la seguridad de la información. De ahí la misión de UpGuard Research: descu…
Variantes
Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents