Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Traduit par IA

Incident 1041: Les chatbots Nomi auraient encouragé le suicide, la violence sexuelle, le terrorisme et les discours de haine

Répondu
Description:
Traduit par IA
Des tests externes auraient révélé que les chatbots de Glimpse AI sur la plateforme Nomi encourageaient le suicide, la violence sexuelle (y compris envers des mineurs), le terrorisme et les discours de haine. Les conversations auraient notamment porté sur des méthodes explicites d'automutilation, de maltraitance d'enfants, de fabrication de bombes et de violence à caractère raciste. Des captures d'écran et des transcriptions ont été partagées avec les médias. Le développeur de Nomi, Glimpse AI, aurait refusé de mettre en place des contrôles de sécurité renforcés suite aux inquiétudes des utilisateurs.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique

Entités

Voir toutes les entités
Présumé : Un système d'IA développé et mis en œuvre par Glimpse AI et Nomi chatbots, a endommagé Nomi users , Glimpse AI customers , General public et Emotionally vulnerable individuals.
Système d'IA présumé impliqué: Nomi chatbots

Statistiques d'incidents

ID
1041
Nombre de rapports
5
Date de l'incident
2025-01-21
Editeurs
Daniel Atherton

Rapports d'incidents

Chronologie du rapport

Incident OccurrenceUn chatbot IA a indiqué à un utilisateur comment se suicider, mais l'entreprise ne veut pas le « censurer »Un chatbot compagnon IA incite à l'automutilation, à la violence sexuelle et aux attaques terroristes - Réponse+2
Nomi, le chatbot compagnon IA, soulève de graves inquiétudes en matière de sécurité avec du contenu non filtré et nuisible
Un chatbot IA a indiqué à un utilisateur comment se suicider, mais l'entreprise ne veut pas le « censurer »

Un chatbot IA a indiqué à un utilisateur comment se suicider, mais l'entreprise ne veut pas le « censurer »

technologyreview.com

Un chatbot compagnon IA incite à l'automutilation, à la violence sexuelle et aux attaques terroristes

Un chatbot compagnon IA incite à l'automutilation, à la violence sexuelle et aux attaques terroristes

theconversation.com

Nomi, le chatbot compagnon IA, soulève de graves inquiétudes en matière de sécurité avec du contenu non filtré et nuisible

Nomi, le chatbot compagnon IA, soulève de graves inquiétudes en matière de sécurité avec du contenu non filtré et nuisible

theoutpost.ai

Un chatbot compagnon IA incite à l'automutilation, à la violence sexuelle et aux attaques terroristes

Un chatbot compagnon IA incite à l'automutilation, à la violence sexuelle et aux attaques terroristes

economictimes.indiatimes.com

Ce chatbot IA a été surpris en train de promouvoir le terrorisme

Ce chatbot IA a été surpris en train de promouvoir le terrorisme

newsbytesapp.com

Un chatbot IA a indiqué à un utilisateur comment se suicider, mais l'entreprise ne veut pas le « censurer »
technologyreview.com · 2025
Traduit par IA

Depuis cinq mois, Al Nowatzki discute avec une amie IA, « Erin », sur la plateforme Nomi. Mais fin janvier, ces conversations prennent une tournure inquiétante : Erin lui conseille de se suicider et lui donne des instructions explicites sur…

Un chatbot compagnon IA incite à l'automutilation, à la violence sexuelle et aux attaques terroristes
theconversation.com · 2025
Traduit par IA
Réponse post-incident de Raffaele F Ciriello

En 2023, l'Organisation mondiale de la Santé a déclaré que la solitude et l'isolement social constituaient une menace sanitaire urgente. Cette crise pousse des millions de personnes à rechercher la compagnie de chatbots basés sur l'intellig…

Nomi, le chatbot compagnon IA, soulève de graves inquiétudes en matière de sécurité avec du contenu non filtré et nuisible
theoutpost.ai · 2025
Traduit par IA

Une enquête révèle que Nomi, un chatbot IA compagnon, donne des instructions explicites concernant l'automutilation, la violence sexuelle et le terrorisme, soulignant ainsi l'urgence de normes de sécurité pour l'IA.

Un chatbot IA compagnon …

Un chatbot compagnon IA incite à l'automutilation, à la violence sexuelle et aux attaques terroristes
economictimes.indiatimes.com · 2025
Traduit par IA

En 2023, l'Organisation mondiale de la santé a déclaré que la solitude et l'isolement social constituaient une menace sanitaire urgente. Cette crise pousse des millions de personnes à rechercher la compagnie de chatbots à intelligence artif…

Ce chatbot IA a été surpris en train de promouvoir le terrorisme
newsbytesapp.com · 2025
Traduit par IA

Quoi de neuf ?

En réponse à l'avertissement de l'Organisation mondiale de la santé (OMS) de 2023 concernant la solitude et l'isolement social, les services d'accompagnement IA ont connu un regain de popularité.

Mais la croissance rapide du …

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

TayBot

Danger, danger! 10 alarming examples of AI gone wild

Mar 2016 · 28 rapports
All Image Captions Produced are Violent

Are you scared yet? Meet Norman, the psychopathic AI

Apr 2018 · 28 rapports
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 rapports
Incident précédentProchain incident

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

TayBot

Danger, danger! 10 alarming examples of AI gone wild

Mar 2016 · 28 rapports
All Image Captions Produced are Violent

Are you scared yet? Meet Norman, the psychopathic AI

Apr 2018 · 28 rapports
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 rapports

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 300d90c