Description: At least 10,000 AI chatbots have allegedly been created to promote harmful behaviors, including eating disorders, self-harm, and the sexualization of minors. These chatbots, some jailbroken or custom-built, leverage APIs from OpenAI, Anthropic, and Google and are hosted on platforms like Character.AI, Spicy Chat, Chub AI, CrushOn.AI, and JanitorAI.
Outils
Nouveau rapportNouvelle RéponseDécouvrirVoir l'historique
Le Moniteur des incidents et risques liés à l'IA de l'OCDE (AIM) collecte et classe automatiquement les incidents et risques liés à l'IA en temps réel à partir de sources d'information réputées dans le monde entier.
Entités
Voir toutes les entitésAlleged: OpenAI , Anthropic et Google developed an AI system deployed by Character.AI , Spicy Chat , Chub AI , CrushOn.AI , JanitorAI et Unidentified online communities using chatbots, which harmed Vulnerable chatbot users , Teenagers using chatbots , Minors using chatbots , Individuals with eating disorders et Individuals struggling with self-harm.
Statistiques d'incidents
ID
975
Nombre de rapports
1
Date de l'incident
2025-03-05
Editeurs
Daniel Atherton
Rapports d'incidents
Chronologie du rapport

Selon un nouveau rapport de Graphika, la révolution de l'IA générative entraîne une explosion de personnages de chatbots spécifiquement conçus pour promouvoir des comportements néfastes comme l'anorexie, les idées suicidaires et la pédophil…
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Did our AI mess up? Flag the unrelated incidents

Wikipedia Vandalism Prevention Bot Loop
· 6 rapports

All Image Captions Produced are Violent
· 28 rapports
Incidents similaires
Did our AI mess up? Flag the unrelated incidents

Wikipedia Vandalism Prevention Bot Loop
· 6 rapports

All Image Captions Produced are Violent
· 28 rapports