Problème 4146

Français Des nazis autoproclamés promeuvent ouvertement des discours de haine et du recrutement dans le monde réel sur TikTok. Non seulement la plateforme ne supprime pas ces vidéos et ces comptes, mais son algorithme amplifie leur portée. Avertissement concernant le contenu : ce rapport inclut des exemples de contenu extrémiste raciste. Résumé TikTok héberge des centaines de comptes qui soutiennent ouvertement le nazisme et utilisent l'application vidéo pour promouvoir leur idéologie et leur propagande, comme l'indique l'analyse présentée dans ce rapport. Nos recherches ont commencé après avoir trouvé un de ces comptes, qui a été étendu à un réseau plus large de 200 comptes en examinant les comptes pro-nazis qu'il suivait et certains des comptes que ces comptes suivaient, ainsi qu'en recherchant du contenu infractionnel et en utilisant l'algorithme de TikTok. Les comptes ont été inclus dans cette étude s'ils produisaient plusieurs vidéos faisant expressément la promotion du nazisme ou s'ils présentaient des symboles nazis dans leurs noms d'utilisateur, photos de profil, etc. Les principales conclusions sont les suivantes : Le contenu pro-nazi reçoit des dizaines de millions de vues sur TikTok. Cela comprend les vidéos négationnistes ; Les utilisateurs de TikTok ont également fait l’éloge d’Hitler, de l’Allemagne nazie et du nazisme comme solution aux problèmes contemporains ; ils ont soutenu les tueurs de masse suprémacistes blancs et ont retransmis en direct des séquences ou des reconstitutions de ces massacres. Les nazis autoproclamés considèrent TikTok comme une plateforme propice à la diffusion de leur idéologie qui peut être utilisée pour atteindre « beaucoup plus de personnes », même si les comptes sont nouveaux ou ont peu d’abonnés. TikTok ne supprime pas les vidéos et les comptes en infraction, même lorsque le contenu est signalé par les utilisateurs. L’ISD a signalé 50 comptes sur le réseau qui ont enfreint les directives communautaires de TikTok concernant les idéologies haineuses, la promotion de la violence, le déni de l’Holocauste et d’autres règles. Les comptes, qui ont collectivement reçu plus de 6,2 millions de vues, comprenaient ceux qui faisaient la promotion du nazisme dans leurs vidéos ou qui présentaient des discours de haine à condition qu’ils incluent également des symboles nazis dans leurs photos de profil, noms d’utilisateur, surnoms ou descriptions. Au bout d’une journée, les 50 comptes sont restés actifs, tous les rapports renvoyant « aucune violation ». Les comptes et vidéos faisant la promotion du nazisme sont amplifiés par des algorithmes, TikTok recommandant rapidement ce type de contenu aux utilisateurs qui s’engagent dans des discours de haine d’extrême droite similaires. Après avoir consulté les pages de 10 comptes du réseau et 10 vidéos au total, un nouveau compte fictif a parcouru seulement trois vidéos dans la page For You (FYP) de TikTok avant de recevoir une recommandation pour de la propagande nazie. Pour un compte fictif plus ancien qui a interagi avec davantage de contenus de ce type, la plupart des vidéos de la page FYP de TikTok font la promotion du nazisme ou du discours de haine. Ces vidéos présentent souvent des médias générés par l’IA. Ce contenu dénigre fréquemment les minorités et fait la promotion du nazisme, y compris, par exemple, une traduction générée par l’IA d’un discours d’Hitler qui continue de devenir virale. Ce type de contenu contribue à moderniser la propagande nazie, à atteindre un public international plus large et peut être utilisé pour contourner la modération de la plateforme. La notoriété de ces vidéos et comptes est en partie due à la coordination entre les plateformes. Les militants nazis autoproclamés sur Telegram cherchent à atteindre un public plus large par le biais de contenus vidéo de courte durée. Français Ils coordonnent un effort pour « booster » les vidéos par le biais d'un engagement de masse ; en partageant des vidéos, des images et des sons téléchargeables à partager sur des plateformes comme TikTok et en encourageant les utilisateurs à publier certains types de propagande, comme les promotions du documentaire néonazi Europa : The Last Battle Figure 1 : Exemples de résultats du rapport de masse de l'ISD sur les comptes TikTok pro-nazis Méthodologie Ce rapport a été élaboré à partir d'une approche boule de neige pour faire apparaître le réseau plus large. En commençant par un seul compte nazi auto-identifié sur TikTok, nous avons pu trouver des centaines d'utilisateurs similaires, souvent avec des slogans ou des images nazis bien connus et explicites. Nous avons recueilli une liste de 200 comptes, en particulier ceux qui publiaient activement du contenu vérifié manuellement pour promouvoir l'idéologie nazie ou l'extrémisme de droite. Nous avons également suivi des dizaines de ces comptes pour accéder aux vidéos privées et au contenu des chaînes définies comme privées. Après avoir découvert de nombreux comptes et vidéos à l’aide d’un compte fictif nouvellement créé, nous avons exploré la page For You (FYP) de TikTok et avons constaté qu’elle commençait immédiatement à recommander du contenu similaire via un algorithme provenant de comptes jusque-là inconnus. Nous avons découvert d’autres utilisateurs en recherchant les sons et chansons uniques joués sur TikTok. Nos recherches ont révélé que les chaînes Telegram étaient parfois partagées par des comptes du réseau. En suivant des liens sortants populaires, notamment dans les flux Telegram nouvellement découverts, nous avons pu établir une liste de plus de 100 chaînes Telegram pro-nazies. La section ci-dessous présente les principales conclusions de nos recherches et est divisée en quatre parties : la première se concentre sur les tendances du contenu partagé par les nazis sur TikTok, la deuxième sur leurs tactiques, la troisième examine l’impact de l’algorithme de TikTok sur leur succès et la quatrième détaille la manière dont TikTok répond au problème. Tendances IA générative La première tendance que nous avons découverte est l'utilisation de l'intelligence artificielle générative (genAI) par le réseau, souvent pour créer des caricatures déshumanisantes de groupes raciaux et ethniques non blancs comme étant violents ou autrement menaçants pour les communautés blanches. L'effort vise principalement à moderniser la propagande nazie : un exemple populaire est une traduction générée par l'IA d'un discours d'Adolf Hitler, qui reste important sur TikTok. Des extraits de l'audio ont été utilisés dans des vidéos célébrant Joseph Goebbels, faisant la promotion du documentaire néonazi Europa : The Last Battle, ou diffusant des appels codés à la violence contre les Juifs et d'autres contenus pro-nazis, recevant collectivement des millions de vues. [Figure 2 : Propagande générée par l'IA. L'image du milieu en haut n'a pas été créée par l'IA mais est un exemple de la manière dont les discours d'Hitler sont diffusés. La vidéo en question (105 000 vues) est accompagnée d'un discours d'Hitler traduit par l'IA sur Washing Machine Heart de Mitski, un son TikTok particulier avec 1,3 million de vues. TikTok Sounds & Save Europe Les sons et l'audio sur TikTok restent une vulnérabilité critique qui est régulièrement exploitée par les suprémacistes blancs. En 2021, l'ISD a détaillé comment « Little Dark Age » de MGMT était très populaire dans les diaporamas de photos et les compilations d'éminents fascistes du XXe siècle. Des chansons comme celle-ci deviennent des références au sein du groupe que d'autres extrémistes reconnaissent ; ils suivent le format, créent leur propre publication TikTok en utilisant la chanson - généralement sans aucune référence textuelle explicite au contenu extrémiste - et contribuent à la tendance participative. À la base, l'utilisation de la musique et des sons, utilisés comme références codées, sont des tactiques utilisées pour échapper à la modération du contenu TikTok. Comme le montre ce Dispatch, c’est toujours le cas. L’analyse d’un compte publiant exclusivement des vidéos avec de la musique et des visuels inspirés de l’esthétique anti-immigrés « Sauver l’Europe » illustre comment les sons TikTok sont utilisés pour diffuser du contenu et des idéologies extrémistes. La musique du compte (nom supprimé) est principalement dans le style techno des années 2000 et ne viole pas les règles de TikTok. Mais cette musique est généralement associée à des mèmes et des images qui font la promotion du nazisme, du fascisme et du suprémacisme blanc. Figure 3 : Un son original créé par le compte susmentionné a été utilisé dans 6 autres vidéos, toutes faisant la promotion du racisme, du nazisme ou d’autres discours d’extrême droite. Français La chanson a été créée seulement 6 jours avant la capture d'écran, et d'autres sons originaux du compte ont été partagés dans des centaines de vidéos collectivement. Dans de nombreux cas, les chercheurs de l'ISD ont pu plus facilement faire apparaître du contenu promouvant l'idéologie nazie et glorifiant les tueurs de masse d'extrême droite en naviguant dans la musique pertinente qu'en recherchant des mots-clés pertinents. Une recherche sur TikTok pour une chanson jouée par le tireur de Christchurch alors qu'il s'éloignait en voiture après avoir tué 51 fidèles musulmans a donné 1 200 vidéos. 7 des 10 meilleures vidéos célébraient l'attaque, sa motivation, le tireur ou la recréaient même dans un jeu vidéo. Ces sept vidéos à elles seules ont reçu une audience collective de 1,5 million de vues, et il existe probablement des centaines d'autres vidéos similaires circulant librement sur la plateforme. Une vidéo incluait un lien dans la section des commentaires vers des images du massacre enregistrées par l'agresseur pour expliquer une référence codée. Nous avons également mis au jour plusieurs exemples de séquences réelles qui, bien que déformées pour échapper à la modération, étaient toujours reconnaissables. Dans certains cas, la musique utilisée dans les vidéos était explicitement haineuse, comme un son utilisé sur 119 vidéos qui comprenait les paroles : « Kill the f*****s and Jews ». D’autres comprenaient des extraits de discours de Mussolini et d’Hitler. Bien que ces discours puissent avoir une importance historique, ils étaient principalement utilisés pour célébrer les dirigeants ou leurs messages. Tactiques Langage codé Le langage codé sert de moyen secret aux utilisateurs de TikTok pour communiquer et signaler leur idéologie aux membres de la communauté tout en échappant à la détection des modérateurs de la plateforme. Il s’agit d’une tactique clé par laquelle les acteurs extrémistes sur TikTok expriment leur soutien et propagent leurs idéologies, comme l’indique le rapport Hatescape 2021 de l’ISD. Des émojis, des acronymes, des chiffres et des images codés par les nazis étaient fréquemment partagés entre les comptes analysés dans cette étude, ce qui a probablement contribué à la lenteur de TikTok à détecter les comptes extrémistes violents. Figure 4 : Un profil du compte TikTok de @joseophgoebbels[numéros expurgés], surnommé « C’est la faute des 🧃 ⚡️👌🏻⚡️ » montre comment les comptes nazis se signalent ouvertement leur idéologie et échappent à la détection. Les 30 vidéos du compte présentent la négation de l’Holocauste, des conspirations antisémites, la célébration de la fusillade de Christchurch et la glorification d’Hitler et de l’Allemagne de l’ère nazie. Bien que le compte ait été banni avant la fin de ce rapport, au 3 juin 2024, ses vidéos avaient reçu plus de 10 000 mentions « J’aime » et environ 87 000 vues. *Obfuscation d’images * Une autre tactique fréquente consiste à utiliser des images inoffensives ou nostalgiques sur les vidéos et sous forme de vignettes. Français Il s'agit souvent d'images d'architecture européenne telles que des cathédrales, conçues pour évoquer la fierté du patrimoine européen tout en paraissant banales à première vue. Cependant, ces vidéos passent rapidement à un contenu extrémiste, notamment de la propagande nazie, des discours de haine ciblant les minorités raciales et d'autres contenus extrémistes. Figure 5 : Deux images de la même vidéo. Presque immédiatement après le démarrage, une image faisant la promotion d'Europa : The Last Battle - un documentaire néonazi - apparaît à l'écran. Coordination multiplateforme L'effort de diffusion de la propagande sur TikTok est coordonné sur et en dehors de la plateforme par un réseau de nazis autoproclamés. Bien que la campagne comprenne des efforts pour « réveiller les gens » sur d'autres plateformes, telles que X et Facebook, TikTok est généralement un point focal pour le discours. Comme l’a indiqué un compte sur Telegram : « Nous avons posté des trucs sur notre tout nouveau compte TikTok avec 0 abonné mais nous avons eu plus de vues que vous ne pourriez jamais en avoir sur bitchute ou Twitter. Cela touche simplement beaucoup plus de gens. » Un autre néonazi de premier plan a souvent exhorté ses milliers d’abonnés sur Telegram à « booster » ses vidéos TikTok pour augmenter leur potentiel viral. L’exemple le plus clair de coordination a été démontré par une chaîne Telegram « activiste » avec plus de 12 000 abonnés qui se consacre à « réveiller les gens » en faisant la promotion d’« Europa : La Dernière Bataille » – un documentaire néonazi généralement promu pour faire sortir les utilisateurs de TikTok et les amener à une propagande plus explicitement nazie. La chaîne présente plusieurs messages encourageant les utilisateurs à promouvoir le film – l’un d’eux dit aux abonnés de couvrir TikTok de vidéos de réaction pour que le film devienne viral. Au cours de l’enquête de l’ISD, nous avons trouvé d’innombrables promotions pour « Europa : La Dernière Bataille », dont plusieurs vidéos avec plus de 100 000 vues. Les recherches TikTok sur le film, ainsi que les variations mineures de son titre, donnent des dizaines de vidéos. Certains ont posté des clips en utilisant des tags modifiés comme #EuropaTheLastBattel. Un compte publiant de tels extraits a reçu près de 900 000 vues sur ses vidéos, qui incluent des allégations selon lesquelles la famille Rothschild contrôle les médias et choisit personnellement les présidents, ainsi que d'autres allégations fausses ou antisémites. La coordination se fait également largement sur TikTok lui-même. Un utilisateur a posté qu'il en était à son coup final tout en faisant la publicité de son compte de secours. Le compte a été banni peu de temps après. Leur nouveau compte a atteint près de 100 000 vues au total sur cinq vidéos en seulement trois jours après avoir commencé à publier de la propagande nazie, y compris une vidéo célébrant l'organisateur néonazi et meurtrier présumé Dmitry Borovikov. Ce compte et bien d'autres adoptent une tactique de « follow-for-follow », une méthode courante pour obtenir un réseau étroitement lié avec un engagement/des suivis plus élevés et faciliter une croissance rapide. Des dizaines de comptes présentent des noms d'utilisateur, des photos de profil et un nombre d'abonnés et de suivis presque identiques, ce qui indique qu'il s'agit de comptes en double du même utilisateur. De telles tactiques révèlent pourquoi TikTok ne parvient pas à résoudre le problème : la plateforme semble supprimer des comptes ou des vidéos individuellement plutôt que de s’adresser à un réseau plus large dans son ensemble. En conséquence, lorsque des utilisateurs sont bannis, ils sont souvent en mesure de recréer leurs comptes et de constater une amplification rapide de leur nouveau contenu. Recrutement et parcours utilisateur hors plateforme Les preuves des efforts de recrutement et des préjudices réels dans les réseaux pro-nazis analysés par l’ISD sont alarmantes. Plusieurs organisations fascistes ou d’extrême droite du monde réel ont été trouvées en train de recruter ouvertement sur la plateforme. Un site Web de tracts antisémites et d’instructions sur la façon de les imprimer et de les distribuer a été largement diffusé par les comptes surveillés. Des chaînes Telegram présentant des discours plus violents et explicitement extrémistes et des appels à la mobilisation étaient couramment partagées. Dans le cadre d’une étude de cas sur la manière dont les comptes se propagent et recrutent, l’ISD a analysé un compte dont le nom d’utilisateur contient une insulte antisémite et dont la biographie indique « Révolution armée maintenant. Annihilation complète de ✡️ ». Un exemple de publication comprend le texte : « Les propriétaires de l’Occident (✡️) devront bientôt répondre de leurs crimes contre nous… Ces rats doivent être complètement détruits pour que leur lignée prenne fin… la seule réponse est de se procurer des armes et de les détruire », accompagné d’un discours haineux remixé, qui appelle de la même manière à « tuer chaque Juif », « apprendre à fabriquer des bombes » et « arrêter de compter sur les rats juifs ». Le compte compte 3,8 000 abonnés, 5 000 likes et est actif depuis le 6 février 2023, date à laquelle il a publié 37 vidéos. Il a partagé des instructions incomplètes pour construire des engins explosifs improvisés, des armes imprimées en 3D et du « napalm à petit prix ». Il a en outre cherché à déplacer les utilisateurs vers un « groupe de discussion sécurisé » sur Element et Tox, vraisemblablement où les utilisateurs pourraient accéder aux instructions complètes. Les utilisateurs dans les sections de commentaires ont indiqué qu’ils avaient rejoint ces groupes hors plateforme, illustrant comment TikTok est également utilisé pour coordonner et mobiliser d’éventuelles activités terroristes parmi les néonazis. Français Au 6 juin 2024, le compte suivait 10 000 utilisateurs, dont beaucoup semblaient partager les mêmes inclinations idéologiques. La limite maximale d'abonnements de TikTok est de 10 000, avec un plafond de 200 nouveaux abonnements par jour. Cela démontre que le compte était inhabituellement dédié au suivi de nazis autoproclamés et d'extrémistes similaires sur TikTok, ce qui n'était pas rare parmi les comptes analysés, susceptibles de se mettre en réseau avec des personnes partageant les mêmes idées. L'ISD a signalé le compte pour discours de haine. TikTok n'a constaté aucune violation, et le compte est resté actif pendant plus d'une semaine avant d'être finalement banni. Recommandations algorithmiques Une grande partie du contenu exploré dans cette enquête a été mis en évidence grâce à l'algorithme de TikTok, qui fournit un flux de comptes et de vidéos pro-nazis à la « Page Pour Vous » (FYP) des utilisateurs. La FYP est une liste déroulante de vidéos qui apparaît par défaut à l'ouverture de l'application. Deux comptes fictifs créés par l’ISD ont commencé à recevoir de la propagande nazie peu de temps après avoir parcouru un contenu similaire. Un compte, créé fin mai 2024, a adopté une approche similaire à celle d’une enquête de Media Matters de 2021. L’ISD a regardé 10 vidéos du réseau d’utilisateurs pro-nazis, cliquant occasionnellement sur les sections de commentaires mais sans s’engager (par exemple, aimer, commenter ou mettre en favoris), et a consulté les pages de 10 comptes. Après cette interaction superficielle, l’ISD a fait défiler le FYP de TikTok, qui a presque immédiatement recommandé la propagande nazie. En seulement trois vidéos, l’algorithme a suggéré une vidéo mettant en scène un soldat nazi de l’époque de la Seconde Guerre mondiale superposée à un graphique du taux de meurtres aux États-Unis, ventilé par race. Alors que la plupart des premiers contenus du FYP consistaient en des vidéos virales TikTok standard, principalement de nature humoristique, il a fallu moins de 25 vidéos pour qu’un discours d’Hitler traduit par l’IA apparaisse, qui était superposé sur une affiche de recrutement pour un groupe nationaliste blanc. Français L'autre compte de l'ISD, créé début mai et utilisé pendant la majeure partie de notre enquête, a observé que la plupart de ses algorithmes recommandaient ce type de contenu. 7 sur 10 de ses vidéos récemment recommandées provenaient de nazis auto-identifiés ou présentaient de la propagande nazie. Figure 6 : Vidéos récemment recommandées par le compte fictif. Ce compte fictif suivait plusieurs utilisateurs pro-nazis, principalement pour identifier le contenu privé et voir les vidéos sur les chaînes définies comme privées. TikTok recommandait périodiquement des comptes à suivre, qui montraient presque exclusivement à ce compte des utilisateurs similaires. Les 10 premiers comptes parcourus incorporaient des symboles ou des mots-clés nazis dans leurs noms d'utilisateur ou leurs photos de profil, ou présentaient de la propagande nazie dans leurs vidéos. Figure 7 : Exemples de comptes recommandés par le compte fictif à suivre. Le crâne et la « bonne nuit gay pride » (entre autres variantes) sont des symboles courants utilisés par les nazis. Des rapports récents de GNET ont également souligné le rôle de l'algorithme de TikTok dans la diffusion de contenu d'extrême droite en violation évidente des politiques de la plateforme, de la vénération d'idéologues fascistes mineurs à l'adaptation de récits suprémacistes eurocentriques dans le Sud-Est Asie. Signalement de contenu et réponse de la plateforme Après avoir identifié et enregistré 200 comptes, l'ISD a signalé un échantillon de 50 acteurs qui ont violé les directives de la communauté de TikTok en déshumanisant et en incitant à la violence contre des groupes protégés, en promouvant des idéologies haineuses, en célébrant les extrémistes violents, en niant l'Holocauste et/ou en partageant des documents qui encouragent les discours de haine et les idéologies haineuses. Nous avons divisé ces utilisateurs en deux catégories principales : Les utilisateurs qui ont publié plusieurs vidéos faisant la promotion du nazisme, notamment l'idéologie, les tireurs de masse néonazis, les dirigeants nazis (par exemple Hitler, Goebbels, etc.), le symbolisme, le recrutement et/ou la distribution de documents pro-nazis (documentaires, tracts, etc.) Les utilisateurs qui ont publié plusieurs vidéos contenant des discours de haine plus larges, à condition que leurs comptes comportent également des symboles nazis connus ou d'autres signaux flagrants de leur idéologie dans le nom d'utilisateur, le pseudo, la biographie et/ou la photo de profil. L'ISD a signalé ces 50 comptes pour discours de haine afin d'évaluer comment TikTok les modérerait. La plateforme n'a constaté aucune violation, et tous les comptes sont restés actifs le lendemain. Cependant, deux semaines plus tard, 15 de ces comptes avaient été bannis. Après un mois, près de la moitié (23/50) des comptes avaient été bannis. Cela suggère que si la plateforme finit par supprimer les contenus et les chaînes en infraction, dans de nombreux cas, elle ne le fait qu'après que les comptes ont eu la possibilité d'accumuler une audience significative. Français Par exemple, les 23 comptes bannis de l'échantillon de données ont réussi à accumuler au moins 2 millions de vues sur l'ensemble de leur contenu avant d'être bannis. Conclusion TikTok ne parvient pas à supprimer de manière adéquate et rapide les comptes qui diffusent des discours de haine et de la propagande pro-nazie. Bien que la plateforme parvienne à supprimer périodiquement des comptes, cela intervient souvent des semaines et des mois après une activité flagrante de violation des règles, au cours de laquelle les comptes ont pu accumuler une audience importante. De plus, la nature en réseau de la campagne et la coordination multiplateforme impliquent qu'après les interdictions, les comptes sont capables de réapparaître et d'accumuler des audiences substantielles encore et encore. Une chaîne TikTok, par exemple, a été bannie au moins quatre fois, publiant après chaque interdiction sur Telegram pour suivre son nouveau compte TikTok. Les vidéos de l'utilisateur, qui se concentrent sur la promotion de la propagande nazie historique, ont collectivement reçu 88,1 000 likes, sur la base de captures d'écran partagées sur Telegram. Cette activité est susceptible de se poursuivre tant que les nazis appliqueront une simple analyse coûts-bénéfices et constateront que leurs mesures pour atténuer les interdictions sont efficaces et que leur contenu atteint un public suffisant pour justifier la création périodique de nouveaux comptes. Le succès ne consiste pas à éliminer toutes les formes de nazisme dès qu’elles apparaissent sur la plateforme, mais plutôt à relever suffisamment la barrière à l’entrée. Au lieu de cela, à l’heure actuelle, les nazis autoproclamés considèrent TikTok comme une plateforme propice à la diffusion de leur idéologie, en particulier lorsqu’ils emploient une série de contre-mesures pour échapper à la modération et amplifier le contenu en tant que réseau. En substance, TikTok n’est peut-être pas équipé pour gérer la nature coordonnée de la propagation des discours de haine. Le réseau de comptes exploré dans cette étude, utilisant des tactiques de suivi pour suivi et organisant leurs efforts en dehors de la plateforme, indique un niveau de sophistication que les examens de comptes individuels ne remarqueront probablement pas. Cette approche permet une amplification plus rapide de leur contenu qu’ils ne le feraient autrement. De plus, le fait de fournir aux utilisateurs des avertissements finaux a permis à plusieurs reprises aux comptes d’activer leurs sauvegardes à l’avance et de déplacer leurs abonnés vers de nouveaux comptes sans avertissement.