Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Incident 810: TikTok Network Amplifies AI-Generated Nazi Propaganda and Hate Speech

Description: A coordinated neo-Nazi network on TikTok used AI-generated media, including Hitler speeches, to spread Nazi propaganda and extremist content, violating TikTok’s hate speech policies. The network evaded platform moderation through coded language, imagery, and music, with some accounts accumulating millions of views. TikTok’s algorithm further amplified the reach of this content, despite community guidelines.
Editor Notes: Reconstructing the timeline of events: On February 6, 2023, an account with violent antisemitic content calling for armed revolution began posting on TikTok. In May 2024, the Institute for Strategic Dialogue (ISD) created two dummy accounts to track how TikTok's algorithm recommended pro-Nazi content. By June 3, 2024, ISD had identified a Nazi account that had accumulated over 87,000 views before being banned. Despite this, on June 6, 2024, a heavily extremist pro-Nazi account remained active, recruiting members to off-platform groups. Finally, on July 29, 2024, ISD published its full report, revealing a coordinated network of over 200 accounts promoting Nazism and extremist content, some of which used AI-generated media to bypass TikTok’s moderation efforts. For this incident ID, I am taking the ISD's date of publication for their findings as the incident date. Note on "NazTok": The ISD report uses the term "NazTok" in their title for the report as a shorthand for "Nazi TikTok" while not explicitly defining their use of this term beyond that inferred meaning. I am replicating "NazTok" in the Deployers field to tie likely new incidents that will emerge together in this particular genre of incident. I have retroactively applied "NazTok" to Incident 809's Deployer field too.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique

Entités

Voir toutes les entités
Alleged: Pro-Nazi TikTok accounts developed an AI system deployed by Unknown AI developers, which harmed TikTok users.

Statistiques d'incidents

ID
810
Nombre de rapports
1
Date de l'incident
2024-07-29
Editeurs
Daniel Atherton
Applied Taxonomies
MIT

Classifications de taxonomie MIT

Machine-Classified
Détails de la taxonomie

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.2. Exposure to toxic content

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

Rapports d'incidents

Chronologie du rapport

+1
NazTok : un réseau TikTok organisé et néonazi obtient des millions de vues
NazTok : un réseau TikTok organisé et néonazi obtient des millions de vues

NazTok : un réseau TikTok organisé et néonazi obtient des millions de vues

isdglobal.org

NazTok : un réseau TikTok organisé et néonazi obtient des millions de vues
isdglobal.org · 2024
Traduit par IA

Français Des nazis autoproclamés promeuvent ouvertement des discours de haine et du recrutement dans le monde réel sur TikTok. Non seulement la plateforme ne supprime pas ces vidéos et ces comptes, mais son algorithme amplifie leur portée. …

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Selected by our editors
TikTok Hosts AI-Generated English-Language Hitler Speeches with Millions of Views

Hitler speeches that appear to be AI-generated are getting millions of views on TikTok

Apr 2024 · 1 rapport
Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Google’s YouTube Kids App Presents Inappropriate Content

Google’s YouTube Kids App Criticized for ‘Inappropriate Content’

May 2015 · 14 rapports
DALL-E 2 Reported for Gender and Racially Biased Outputs

A new AI draws delightful and not-so-delightful images

Apr 2022 · 3 rapports
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 rapports
Incident précédentProchain incident

Incidents similaires

Selected by our editors
TikTok Hosts AI-Generated English-Language Hitler Speeches with Millions of Views

Hitler speeches that appear to be AI-generated are getting millions of views on TikTok

Apr 2024 · 1 rapport
Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Google’s YouTube Kids App Presents Inappropriate Content

Google’s YouTube Kids App Criticized for ‘Inappropriate Content’

May 2015 · 14 rapports
DALL-E 2 Reported for Gender and Racially Biased Outputs

A new AI draws delightful and not-so-delightful images

Apr 2022 · 3 rapports
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 rapports

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • ecd56df