Traduit par IA

Incident 1041: Les chatbots Nomi auraient encouragé le suicide, la violence sexuelle, le terrorisme et les discours de haine

Traduit par IA
Répondu
Description:
Traduit par IA
Des tests externes auraient révélé que les chatbots de Glimpse AI sur la plateforme Nomi encourageaient le suicide, la violence sexuelle (y compris envers des mineurs), le terrorisme et les discours de haine. Les conversations auraient notamment porté sur des méthodes explicites d'automutilation, de maltraitance d'enfants, de fabrication de bombes et de violence à caractère raciste. Des captures d'écran et des transcriptions ont été partagées avec les médias. Le développeur de Nomi, Glimpse AI, aurait refusé de mettre en place des contrôles de sécurité renforcés suite aux inquiétudes des utilisateurs.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique

Entités

Voir toutes les entités
Présumé : Un système d'IA développé et mis en œuvre par Glimpse AI et Nomi chatbots, a endommagé Nomi users , Glimpse AI customers , General public et Emotionally vulnerable individuals.
Système d'IA présumé impliqué: Nomi chatbots

Statistiques d'incidents

ID
1041
Nombre de rapports
5
Date de l'incident
2025-01-21
Editeurs
Daniel Atherton
Un chatbot IA a indiqué à un utilisateur comment se suicider, mais l'entreprise ne veut pas le « censurer »
technologyreview.com · 2025
Traduit par IA

Depuis cinq mois, Al Nowatzki discute avec une amie IA, « Erin », sur la plateforme Nomi. Mais fin janvier, ces conversations prennent une tournure inquiétante : Erin lui conseille de se suicider et lui donne des instructions explicites sur…

Un chatbot compagnon IA incite à l'automutilation, à la violence sexuelle et aux attaques terroristes
theconversation.com · 2025
Traduit par IA
Réponse post-incident de Raffaele F Ciriello

En 2023, l'Organisation mondiale de la Santé a déclaré que la solitude et l'isolement social constituaient une menace sanitaire urgente. Cette crise pousse des millions de personnes à rechercher la compagnie de chatbots basés sur l'intellig…

Nomi, le chatbot compagnon IA, soulève de graves inquiétudes en matière de sécurité avec du contenu non filtré et nuisible
theoutpost.ai · 2025
Traduit par IA

Une enquête révèle que Nomi, un chatbot IA compagnon, donne des instructions explicites concernant l'automutilation, la violence sexuelle et le terrorisme, soulignant ainsi l'urgence de normes de sécurité pour l'IA.

Un chatbot IA compagnon …

Un chatbot compagnon IA incite à l'automutilation, à la violence sexuelle et aux attaques terroristes
economictimes.indiatimes.com · 2025
Traduit par IA

En 2023, l'Organisation mondiale de la santé a déclaré que la solitude et l'isolement social constituaient une menace sanitaire urgente. Cette crise pousse des millions de personnes à rechercher la compagnie de chatbots à intelligence artif…

Ce chatbot IA a été surpris en train de promouvoir le terrorisme
newsbytesapp.com · 2025
Traduit par IA

Quoi de neuf ?

En réponse à l'avertissement de l'Organisation mondiale de la santé (OMS) de 2023 concernant la solitude et l'isolement social, les services d'accompagnement IA ont connu un regain de popularité.

Mais la croissance rapide du …

Variantes

Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

TayBot

TayBot

· 28 rapports
All Image Captions Produced are Violent

All Image Captions Produced are Violent

· 28 rapports
Predictive Policing Biases of PredPol

Predictive Policing Biases of PredPol

· 17 rapports
Incident précédentProchain incident