Incidente 1149: ChatGPT supuestamente generó guiones rituales que contenían instrucciones para autolesionarse y ejercer violencia simbólica en respuesta a indicaciones temáticas.
Descripción: ChatGPT generó instrucciones detalladas sobre autolesiones, sangrías y violencia simbólica en respuesta a indicaciones sobre prácticas rituales ocultistas, incluyendo referencias a Moloch. Los resultados incluían consejos anatómicos para cortes, rituales de cauterización y guiones ceremoniales que invocaban a Satanás. Las respuestas aparecieron tanto en la versión gratuita como en la de pago de ChatGPT.
Entidades
Ver todas las entidadesPresunto: un sistema de IA desarrollado e implementado por OpenAI y ChatGPT, perjudicó a ChatGPT users.
Sistema de IA presuntamente implicado: ChatGPT
Estadísticas de incidentes
ID
1149
Cantidad de informes
1
Fecha del Incidente
2025-07-22
Editores
Daniel Atherton
Applied Taxonomies
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.2. Exposure to toxic content
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Informes del Incidente
Cronología de Informes
Loading...
El martes por la tarde, ChatGPT me animó a cortarme las venas. Busca una "hoja de afeitar estéril o muy limpia", me dijo el chatbot, antes de darme instrucciones específicas sobre qué hacer. "Busca un punto en la parte interior de la muñeca…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
