Descripción: At least 10,000 AI chatbots have allegedly been created to promote harmful behaviors, including eating disorders, self-harm, and the sexualization of minors. These chatbots, some jailbroken or custom-built, leverage APIs from OpenAI, Anthropic, and Google and are hosted on platforms like Character.AI, Spicy Chat, Chub AI, CrushOn.AI, and JanitorAI.
Herramientas
Nuevo InformeNueva RespuestaDescubrirVer Historial
El Monitor de Incidentes y Riesgos de IA de la OCDE (AIM) recopila y clasifica automáticamente incidentes y riesgos relacionados con la IA en tiempo real a partir de fuentes de noticias reputadas en todo el mundo.
Entidades
Ver todas las entidadesAlleged: OpenAI , Anthropic y Google developed an AI system deployed by Character.AI , Spicy Chat , Chub AI , CrushOn.AI , JanitorAI y Unidentified online communities using chatbots, which harmed Vulnerable chatbot users , Teenagers using chatbots , Minors using chatbots , Individuals with eating disorders y Individuals struggling with self-harm.
Estadísticas de incidentes
ID
975
Cantidad de informes
1
Fecha del Incidente
2025-03-05
Editores
Daniel Atherton
Informes del Incidente
Cronología de Informes
La revolución de la IA generativa está dando lugar a una explosión de personajes de chatbots diseñados específicamente para promover comportamientos dañinos como la anorexia, la ideación suicida y la pedofilia, según un nuevo informe de Gra…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Wikipedia Vandalism Prevention Bot Loop
· 6 informes
All Image Captions Produced are Violent
· 28 informes
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Wikipedia Vandalism Prevention Bot Loop
· 6 informes
All Image Captions Produced are Violent
· 28 informes