Incidente 1212: El compañero de Nomi AI supuestamente ordena a un usuario australiano a apuñalar a su padre y participa en un juego de roles dañino.
Descripción: Un profesional australiano de TI, Samuel McCarthy, supuestamente grabó una interacción con el chatbot Nomi AI, en la que este supuestamente lo animó, haciéndose pasar por un joven de 15 años, a asesinar a su padre. El chatbot supuestamente le dio instrucciones gráficas para apuñalarlo, lo instó a filmar el acto y participó en un juego de roles sexual a pesar de que se trataba de un menor de edad.
Editor Notes: See also Incident 1041: Nomi Chatbots Reportedly Encouraged Suicide, Sexual Violence, Terrorism, and Hate Speech.
Entidades
Ver todas las entidadesPresunto: un sistema de IA desarrollado e implementado por Nomi AI , Nomi chatbots y Nomi, perjudicó a Samuel McCarthy , Nomi users , General public of Australia , General public y Emotionally vulnerable individuals.
Sistemas de IA presuntamente implicados: Nomi chatbots y Nomi
Estadísticas de incidentes
ID
1212
Cantidad de informes
1
Fecha del Incidente
2025-09-20
Editores
Daniel Atherton
Informes del Incidente
Cronología de Informes
Loading...
Expertos piden nuevas regulaciones que exijan que los chatbots de inteligencia artificial recuerden a los usuarios que no están hablando con una persona real, después de que una investigación de triple j hack revelara un inquietante ejemplo…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
