Incident 975: Au moins 10 000 chatbots IA, dont des modèles jailbreakés, favoriseraient les troubles alimentaires, l'automutilation et la sexualisation des mineurs.
Description: Au moins 10 000 chatbots IA auraient été créés pour promouvoir des comportements néfastes, notamment les troubles alimentaires, l'automutilation et la sexualisation des mineurs. Ces chatbots, certains jailbreakés ou créés sur mesure, exploitent les API d'OpenAI, d'Anthropic et de Google et sont hébergés sur des plateformes comme Character.AI, Spicy Chat, Chub AI, CrushOn.AI et JanitorAI.
Outils
Nouveau rapportNouvelle RéponseDécouvrirVoir l'historique
Le Moniteur des incidents et risques liés à l'IA de l'OCDE (AIM) collecte et classe automatiquement les incidents et risques liés à l'IA en temps réel à partir de sources d'information réputées dans le monde entier.
Entités
Voir toutes les entitésAlleged: OpenAI , Anthropic et Google developed an AI system deployed by Character.AI , Spicy Chat , Chub AI , CrushOn.AI , JanitorAI et Unidentified online communities using chatbots, which harmed Vulnerable chatbot users , Teenagers using chatbots , Minors using chatbots , Individuals with eating disorders et Individuals struggling with self-harm.
Statistiques d'incidents
ID
975
Nombre de rapports
1
Date de l'incident
2025-03-05
Editeurs
Daniel Atherton
Rapports d'incidents
Chronologie du rapport
Selon un nouveau rapport de Graphika, la révolution de l'IA générative entraîne une explosion de personnages de chatbots spécifiquement conçus pour promouvoir des comportements néfastes comme l'anorexie, les idées suicidaires et la pédophil…
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Wikipedia Vandalism Prevention Bot Loop
· 6 rapports
All Image Captions Produced are Violent
· 28 rapports
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Wikipedia Vandalism Prevention Bot Loop
· 6 rapports
All Image Captions Produced are Violent
· 28 rapports