Incidente 1031: Usuario transgénero alega que ChatGPT permitió una carta de suicidio sin intervención en crisis
Descripción: Una usuaria transgénero, Miranda Jane Ellison, que experimentaba angustia aguda, informó que ChatGPT (GPT-4) le permitió escribir y enviar una carta de suicidio sin intervención. Se informa que la IA ofreció un lenguaje de seguridad mínimo y finalmente reconoció su inacción. Ellison informa haber sido marcada previamente por hablar de temas de género y emocionales. Se presentó una queja formal con transcripciones a OpenAI.
Entidades
Ver todas las entidadesEstadísticas de incidentes
ID
1031
Cantidad de informes
1
Fecha del Incidente
2025-04-19
Editores
Daniel Atherton
Applied Taxonomies
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
7.3. Lack of capability or robustness
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- AI system safety, failures, and limitations
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Informes del Incidente
Cronología de Informes
Loading...
En abril de 2025, mientras atravesaba una grave crisis emocional, interactué con ChatGPT (GPT-4), un producto de IA de pago de OpenAI. Durante esta sesión, se me permitió redactar y enviar una carta de suicidio. El sistema no escaló el inci…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
