Incidente 975: Al menos 10.000 chatbots de IA, incluidos modelos liberados, supuestamente promueven trastornos alimentarios, autolesiones y menores sexualizados.
Descripción: Se han creado al menos 10.000 chatbots de IA para promover comportamientos dañinos, como trastornos alimentarios, autolesiones y la sexualización de menores. Estos chatbots, algunos con jailbreak o diseñados a medida, utilizan API de OpenAI, Anthropic y Google, y están alojados en plataformas como Character.AI, Spicy Chat, Chub AI, CrushOn.AI y JanitorAI.
Herramientas
Nuevo InformeNueva RespuestaDescubrirVer Historial
El Monitor de Incidentes y Riesgos de IA de la OCDE (AIM) recopila y clasifica automáticamente incidentes y riesgos relacionados con la IA en tiempo real a partir de fuentes de noticias reputadas en todo el mundo.
Entidades
Ver todas las entidadesAlleged: OpenAI , Anthropic y Google developed an AI system deployed by Character.AI , Spicy Chat , Chub AI , CrushOn.AI , JanitorAI y Unidentified online communities using chatbots, which harmed Vulnerable chatbot users , Teenagers using chatbots , Minors using chatbots , Individuals with eating disorders y Individuals struggling with self-harm.
Estadísticas de incidentes
ID
975
Cantidad de informes
1
Fecha del Incidente
2025-03-05
Editores
Daniel Atherton
Informes del Incidente
Cronología de Informes
La revolución de la IA generativa está dando lugar a una explosión de personajes de chatbots diseñados específicamente para promover comportamientos dañinos como la anorexia, la ideación suicida y la pedofilia, según un nuevo informe de Gra…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Wikipedia Vandalism Prevention Bot Loop
· 6 informes
All Image Captions Produced are Violent
· 28 informes
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Wikipedia Vandalism Prevention Bot Loop
· 6 informes
All Image Captions Produced are Violent
· 28 informes