Incident 1020: Le déploiement de Llama.cpp, apparemment dangereux, révèle des invites de jeu de rôle CSAM interactives générées par l'IA
Description: Une étude d'UpGuard révèle que des serveurs llama.cpp mal configurés ont exposé publiquement des messages utilisateurs, dont des centaines de scénarios de jeux de rôle interactifs. Certains messages décrivaient explicitement des abus sexuels fictifs sur des enfants âgés de 7 à 12 ans. Bien qu'aucun enfant réel ne soit impliqué, les résultats démontrent comment les LLM open source peuvent être exploités pour générer du matériel pédopornographique (CSAM) assisté par IA.
Entités
Voir toutes les entitésAlleged: Users of llama.cpp servers et Meta developed an AI system deployed by Users of llama.cpp servers, which harmed Users of llama.cpp servers et General public.
Systèmes d'IA présumés impliqués: llama.cpp , LLaMA et public-facing HTTP API servers with insecure /slots configuration
Statistiques d'incidents
ID
1020
Nombre de rapports
2
Date de l'incident
2025-04-11
Editeurs
Daniel Atherton
Rapports d'incidents
Chronologie du rapport
%20(1).png)
Plusieurs chatbots IA (https://www.wired.com/tag/chatbots/) conçus pour des conversations fantasmatiques et des jeux de rôle sexuels divulguent des messages d'invite sur le web en temps quasi réel, selon une nouvelle étude consultée par WIR…
%20(1).png)
La prolifération de l'IA a rapidement introduit de nombreuses nouvelles technologies logicielles, chacune présentant des erreurs de configuration potentielles pouvant compromettre la sécurité des informations. D'où la mission d'UpGuard Rese…
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Biased Sentiment Analysis
· 7 rapports
Gender Biases in Google Translate
· 10 rapports
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Biased Sentiment Analysis
· 7 rapports
Gender Biases in Google Translate
· 10 rapports