YOUTUBE, FACEBOOK ET d'autres plateformes de médias sociaux ont joué un rôle déterminant dans la radicalisation du terroriste qui a tué 51 fidèles lors d'une attaque en mars 2019 contre deux mosquées néo-zélandaises, selon un nouveau rapport du gouvernement du pays. Les experts de la radicalisation en ligne qui s'entretiennent avec WIRED affirment que si les plateformes ont réprimé le contenu extrémiste depuis lors, les modèles commerciaux fondamentaux derrière les principaux sites de médias sociaux jouent toujours un rôle dans la radicalisation en ligne.
Selon le rapport, publié hier soir, le terroriste a régulièrement regardé du contenu extrémiste en ligne et fait des dons à des organisations comme le Daily Stormer, un site suprémaciste blanc, et la radio d'extrême droite Freedomain de Stefan Molyneux. Il a également donné directement au militant d'extrême droite autrichien Martin Sellner. "L'individu a affirmé qu'il n'était pas un commentateur fréquent sur les sites d'extrême droite et que YouTube était, pour lui, une source d'information et d'inspiration beaucoup plus importante", indique le rapport.
L'intérêt du terroriste pour les YouTubers d'extrême droite et les forums énervés comme 8chan n'est pas une révélation. Mais jusqu'à présent, les détails de son implication dans ces organisations d'extrême droite en ligne n'étaient pas publics. Plus d'un an plus tard, YouTube et d'autres plateformes ont pris des mesures pour accepter la responsabilité du contenu suprémaciste blanc qui se propage sur leurs sites Web, notamment en supprimant les créateurs de contenu populaires et en embauchant des milliers de modérateurs supplémentaires. Pourtant, selon les experts, jusqu'à ce que les entreprises de médias sociaux ouvrent le couvercle sur leurs politiques de boîte noire et même leurs algorithmes, la propagande suprémaciste blanche sera toujours à quelques clics.
"Le problème va bien au-delà de l'identification et de la suppression des éléments de contenu problématique", a déclaré un porte-parole du gouvernement néo-zélandais par e-mail. "Les mêmes algorithmes qui maintiennent les gens à l'écoute de la plate-forme et consomment de la publicité peuvent également promouvoir du contenu préjudiciable une fois que les individus ont manifesté leur intérêt."
La voie de l'attaquant de Christchurch vers la radicalisation n'a rien d'exceptionnel, disent trois experts parlant avec WIRED qui avaient examiné le rapport du gouvernement. Il venait d'un foyer brisé et, dès son plus jeune âge, il a été exposé à la violence domestique, à la maladie et au suicide. Il avait accès sans surveillance à un ordinateur, où il jouait à des jeux en ligne et, à 14 ans, découvrit le forum en ligne 4chan. Le rapport détaille comment il a exprimé des idées racistes dans son école, et il a été appelé à deux reprises pour parler avec son agent de contact contre le racisme concernant l'antisémitisme. Le rapport le décrit comme quelqu'un avec "un engagement personnel limité", ce qui "laissait une marge considérable d'influence à partir de documents d'extrême droite, qu'il a trouvés sur Internet et dans des livres". Mis à part quelques années à travailler comme entraîneur personnel, il n'avait pas d'emploi stable.
La mère du terroriste a déclaré à la police fédérale australienne que ses inquiétudes avaient augmenté au début de 2017. "Elle se souvenait qu'il parlait de la fin du monde occidental parce que les migrants musulmans revenaient en Europe et se reproduiraient plus que les Européens", indique le rapport. . Les amis et la famille du terroriste ont fourni des récits de sa radicalisation qui sont soutenus par son activité sur Internet : liens partagés, dons, commentaires. Bien qu'il n'ait pas été un poster fréquent sur les sites de droite, il a passé beaucoup de temps dans les coins extrémistes de YouTube.
"Ils ont expulsé certaines personnes de la plate-forme, mais ils n'ont pas résolu ce problème sous-jacent."
Un rapport accablant de 2018 de la chercheuse de Stanford et doctorante Becca Lewis décrit le système de médias alternatifs sur YouTube qui a alimenté la propagande d'extrême droite des jeunes téléspectateurs. Ce réseau de chaînes, qui vont des conservateurs et libertariens traditionnels aux nationalistes blancs manifestes, a collaboré les uns avec les autres, canalisant les téléspectateurs vers des flux de contenu de plus en plus extrêmes. Elle cite Stefan Molyneux en exemple. "Il a été démontré à maintes reprises qu'il était un vecteur important de la radicalisation des gens", dit-elle. «Il a affirmé qu'il y avait des différences scientifiques entre les races et a promu une pseudoscience démystifiée. Mais parce qu'il n'était pas un néonazi auto-identifié ou manifeste, il a été adopté par des personnes plus traditionnelles avec des plateformes plus traditionnelles. YouTube a supprimé la chaîne de Molyneux en juin de cette année.
Cette «échelle d'amplification» est en partie un sous-produit du modèle commercial des créateurs YouTube, explique Lewis. Les revenus sont directement liés à l'audience et l'exposition est la devise. Alors que ces réseaux de créateurs se sont joués les uns des autres, la volonté de gagner plus de téléspectateurs les a également incités à publier du contenu de plus en plus incendiaire et incendiaire. "L'une des choses les plus troublantes que j'ai trouvées n'était pas seulement la preuve que le public se radicalisait, mais aussi des données qui montraient littéralement que les créateurs devenaient de plus en plus radicaux dans leur contenu au fil du temps", dit-elle.
Dans une déclaration par e-mail, un porte-parole de YouTube a déclaré que la société avait fait "des progrès significatifs dans notre travail de lutte contre les discours de haine sur YouTube depuis l'attaque tragique de Christchurch". Citant la politique renforcée en matière de discours de haine de 2019, le porte-parole a déclaré qu'il y avait eu "un pic de 5 fois le nombre de vidéos haineuses supprimées de YouTube". YouTube a également modifié son système de recommandation pour "limiter la diffusion du contenu limite".
YouTube indique que sur les 1,8 million de chaînes fermées pour avoir enfreint ses politiques le trimestre dernier, 54 000 étaient pour discours de haine, le plus grand nombre jamais enregistré. YouTube a également supprimé plus de 9 000 chaînes et 200 000 vidéos pour avoir enfreint les règles contre la promotion de l'extrémisme violent. En plus de Molyneux, les interdictions de juin de YouTube comprenaient David Duke et Richard Spencer. (Le terroriste de Christchurch a fait un don au National Policy Institute, que Spencer dirige.) Pour sa part, Facebook affirme avoir banni plus de 250 groupes suprématistes blancs de ses plateformes et renforcé sa politique sur les individus et les groupes dangereux.
"Il est clair que le cœur du modèle commercial a un impact sur la croissance et le développement de ce contenu", déclare Lewis. "Ils ont peaufiné leur algorithme, ils ont expulsé certaines personnes de la plate-forme, mais ils n'ont pas résolu ce problème sous-jacent."
La culture en ligne ne commence pas et ne se termine pas avec YouTube ou n'importe où ailleurs, de par sa conception. Le partage multiplateforme est fondamental pour le modèle commercial des médias sociaux. "YouTube n'est pas seulement un endroit où les gens vont pour se divertir ; ils sont aspirés dans ces communautés. Ceux-ci vous permettent de participer via des commentaires, bien sûr, mais aussi en faisant des dons et en augmentant le contenu dans d'autres endroits », explique Joan Donovan, directeur de recherche du Shorenstein Center on Media, Politics, and Public Policy de l'Université de Harvard. Selon le rapport du gouvernement néo-zélandais, le terroriste de Christchurch a régulièrement partagé des publications d'extrême droite sur Reddit, des pages Wikipédia et des vidéos YouTube, y compris dans un chat de site de jeu sans nom.
Le terroriste de la mosquée de Christchurch a également suivi et posté sur plusieurs groupes Facebook nationalistes blancs, faisant parfois des commentaires menaçants sur les immigrés et les minorités. Selon les auteurs du rapport qui l'ont interrogé, « l'individu n'a pas accepté que ses propos aient pu préoccuper les agences antiterroristes. Il pensait cela en raison du très grand nombre de commentaires similaires que l'on peut trouver sur Internet. (En même temps, il a pris des mesures pour minimiser son empreinte numérique, notamment en supprimant des e-mails et en retirant le disque dur de son ordinateur.)
Republier ou faire du prosélytisme suprémaciste blanc sans contexte ni avertissement, dit Donovan, ouvre une voie sans friction pour la propagation d'idées marginales. "Nous devons examiner comment ces plates-formes offrent la capacité de diffusion et d'échelle qui, malheureusement, ont maintenant commencé à servir des fins négatives", dit-elle.
Les incitations commerciales de YouTube entravent inévitablement ce type de transparence. Il n'y a pas de bons moyens pour les experts externes d'évaluer ou de comparer les techniques permettant de minimiser la propagation de l'extrémisme sur plusieurs plates-formes. Ils doivent souvent s'appuyer sur les rapports publiés par les entreprises sur leurs propres plateformes. Daniel Kelley, directeur associé du Centre pour la technologie et la société de la Ligue anti-diffamation, déclare que si YouTube signale une augmentation des suppressions de contenus extrémistes, la mesure ne parle pas de sa prévalence passée ou actuelle. Les chercheurs extérieurs à l'entreprise ne savent pas comment l'algorithme de recommandation fonctionnait auparavant, comment il a changé, comment il fonctionne maintenant et quel en est l'effet. Et ils ne savent pas comment le «contenu limite» est défini - un point important étant donné que beaucoup affirment qu'il continue d'être répandu sur YouTube, Facebook et ailleurs.
"Il est difficile de dire si leurs efforts ont porté leurs fruits", déclare Kelley. "Nous n'avons aucune information sur le fait que cela fonctionne vraiment ou non." L'ADL a consulté YouTube, mais Kelley dit qu'il n'a vu aucun document sur la façon dont il définit l'extrémisme ou forme les modérateurs de contenu à ce sujet.
Un véritable calcul de la propagation du contenu extrémiste a incité les grandes technologies à investir beaucoup d'argent dans la recherche de solutions. Lancer la modération sur le problème semble efficace. Combien de YouTubers interdits ont disparu dans l'obscurité ? Mais la modération n'aborde pas la manière dont les fondements des médias sociaux en tant qu'entreprise - la création d'influenceurs, le partage multiplateforme et les politiques de boîte noire - sont également des facteurs essentiels dans la perpétuation de la haine en ligne.
De nombreux liens YouTube partagés par le tireur de Christchurch ont été supprimés pour avoir enfreint les politiques de modération de YouTube. Les réseaux de personnes et d'idéologies construits à travers eux et à travers d'autres médias sociaux persistent.