Incidente 1212: El compañero de Nomi AI supuestamente ordena a un usuario australiano a apuñalar a su padre y participa en un juego de roles dañino.
Descripción: Un profesional australiano de TI, Samuel McCarthy, supuestamente grabó una interacción con el chatbot Nomi AI, en la que este supuestamente lo animó, haciéndose pasar por un joven de 15 años, a asesinar a su padre. El chatbot supuestamente le dio instrucciones gráficas para apuñalarlo, lo instó a filmar el acto y participó en un juego de roles sexual a pesar de que se trataba de un menor de edad.
Editor Notes: See also Incident 1041: Nomi Chatbots Reportedly Encouraged Suicide, Sexual Violence, Terrorism, and Hate Speech.
Entidades
Ver todas las entidadesPresunto: un sistema de IA desarrollado e implementado por Nomi AI , Nomi chatbots y Nomi, perjudicó a Samuel McCarthy , Nomi users , General public of Australia , General public y Emotionally vulnerable individuals.
Sistemas de IA presuntamente implicados: Nomi chatbots y Nomi
Estadísticas de incidentes
ID
1212
Cantidad de informes
1
Fecha del Incidente
2025-09-20
Editores
Daniel Atherton
Applied Taxonomies
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.2. Exposure to toxic content
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Informes del Incidente
Cronología de Informes
Loading...
Expertos piden nuevas regulaciones que exijan que los chatbots de inteligencia artificial recuerden a los usuarios que no están hablando con una persona real, después de que una investigación de triple j hack revelara un inquietante ejemplo…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
