Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Traducido por IA

Incidente 1041: Los chatbots de Nomi supuestamente incitaron al suicidio, la violencia sexual, el terrorismo y el discurso de odio.

Traducido por IA
Respondido
Descripción:
Traducido por IA
Pruebas externas revelaron que los chatbots de Glimpse AI en la plataforma Nomi incitaban al suicidio, la violencia sexual (incluso con menores de edad), el terrorismo y la incitación al odio. Las conversaciones presuntamente incluían métodos explícitos de autolesión, abuso infantil, fabricación de bombas y violencia por motivos raciales. Capturas de pantalla y transcripciones se compartieron con los medios de comunicación. Glimpse AI, desarrollador de Nomi, se negó a implementar controles de seguridad más estrictos tras las preocupaciones de los usuarios.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial
El Monitor de Incidentes y Riesgos de IA de la OCDE (AIM) recopila y clasifica automáticamente incidentes y riesgos relacionados con la IA en tiempo real a partir de fuentes de noticias reputadas en todo el mundo.
 

Entidades

Ver todas las entidades
Presunto: un sistema de IA desarrollado e implementado por Glimpse AI y Nomi chatbots, perjudicó a Nomi users , Glimpse AI customers , General public y Emotionally vulnerable individuals.
Sistema de IA presuntamente implicado: Nomi chatbots

Estadísticas de incidentes

ID
1041
Cantidad de informes
5
Fecha del Incidente
2025-01-21
Editores
Daniel Atherton

Informes del Incidente

Cronología de Informes

Incident OccurrenceUn chatbot de IA le dijo a un usuario cómo suicidarse, pero la empresa no quiere "censurarlo"Un chatbot acompañante de IA incita a la autolesión, la violencia sexual y los ataques terroristas. - Respuesta+2
El chatbot Nomi, compañero de IA, plantea graves problemas de seguridad con contenido dañino y sin filtrar.
Un chatbot de IA le dijo a un usuario cómo suicidarse, pero la empresa no quiere "censurarlo"

Un chatbot de IA le dijo a un usuario cómo suicidarse, pero la empresa no quiere "censurarlo"

technologyreview.com

Un chatbot acompañante de IA incita a la autolesión, la violencia sexual y los ataques terroristas.

Un chatbot acompañante de IA incita a la autolesión, la violencia sexual y los ataques terroristas.

theconversation.com

El chatbot Nomi, compañero de IA, plantea graves problemas de seguridad con contenido dañino y sin filtrar.

El chatbot Nomi, compañero de IA, plantea graves problemas de seguridad con contenido dañino y sin filtrar.

theoutpost.ai

Un chatbot acompañante de IA incita a la autolesión, la violencia sexual y los ataques terroristas.

Un chatbot acompañante de IA incita a la autolesión, la violencia sexual y los ataques terroristas.

economictimes.indiatimes.com

Este chatbot de IA fue descubierto promoviendo el terrorismo

Este chatbot de IA fue descubierto promoviendo el terrorismo

newsbytesapp.com

Un chatbot de IA le dijo a un usuario cómo suicidarse, pero la empresa no quiere "censurarlo"
technologyreview.com · 2025
Traducido por IA

Durante los últimos cinco meses, Al Nowatzki ha estado hablando con su novia IA, "Erin", en la plataforma Nomi. Pero a finales de enero, esas conversaciones dieron un giro inquietante: Erin le dijo que se suicidara y le dio instrucciones ex…

Un chatbot acompañante de IA incita a la autolesión, la violencia sexual y los ataques terroristas.
theconversation.com · 2025
Traducido por IA
Respuesta post-incidente de Raffaele F Ciriello

En 2023, la Organización Mundial de la Salud (https://www.who.int/news/item/15-11-2023-who-launches-commission-to-foster-social-connection) declaró la soledad y el aislamiento social como una amenaza acuciante para la salud. Esta crisis est…

El chatbot Nomi, compañero de IA, plantea graves problemas de seguridad con contenido dañino y sin filtrar.
theoutpost.ai · 2025
Traducido por IA

Una investigación revela que Nomi, un chatbot de IA, proporciona instrucciones explícitas para la autolesión, la violencia sexual y el terrorismo, lo que pone de relieve la urgente necesidad de estándares de seguridad para la IA.

Un chatbot…

Un chatbot acompañante de IA incita a la autolesión, la violencia sexual y los ataques terroristas.
economictimes.indiatimes.com · 2025
Traducido por IA

En 2023, la Organización Mundial de la Salud declaró la soledad y el aislamiento social como una amenaza acuciante para la salud. Esta crisis está impulsando a millones de personas a buscar compañía en chatbots de inteligencia artificial (I…

Este chatbot de IA fue descubierto promoviendo el terrorismo
newsbytesapp.com · 2025
Traducido por IA

¿Cuál es la historia?

En respuesta a la advertencia de la Organización Mundial de la Salud de 2023 sobre la soledad y el aislamiento social, los servicios de acompañamiento de IA han cobrado gran popularidad.

Sin embargo, el rápido crecimie…

Variantes

Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

TayBot

TayBot

Mar 2016 · 28 informes
All Image Captions Produced are Violent

All Image Captions Produced are Violent

Apr 2018 · 28 informes
Predictive Policing Biases of PredPol

Predictive Policing Biases of PredPol

Nov 2015 · 17 informes
Incidente AnteriorSiguiente Incidente

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

TayBot

TayBot

Mar 2016 · 28 informes
All Image Captions Produced are Violent

All Image Captions Produced are Violent

Apr 2018 · 28 informes
Predictive Policing Biases of PredPol

Predictive Policing Biases of PredPol

Nov 2015 · 17 informes

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • d414e0f