Incidentes Asociados
YOUTUBE, FACEBOOK Y otras plataformas de redes sociales fueron fundamentales para radicalizar al terrorista que mató a 51 fieles en un ataque en marzo de 2019 contra dos mezquitas de Nueva Zelanda, según un nuevo informe del gobierno del país. Los expertos en radicalización en línea que hablaron con WIRED dicen que, si bien las plataformas han tomado medidas enérgicas contra el contenido extremista desde entonces, los modelos comerciales fundamentales detrás de los principales sitios de redes sociales aún juegan un papel en la radicalización en línea.
Según el informe, publicado anoche, el terrorista veía regularmente contenido extremista en línea y donaba a organizaciones como Daily Stormer, un sitio de supremacía blanca, y Freedomain Radio de extrema derecha de Stefan Molyneux. También le dio directamente al activista de extrema derecha austriaco Martin Sellner. “El individuo afirmó que no comentaba con frecuencia en sitios de extrema derecha y que YouTube era, para él, una fuente de información e inspiración mucho más importante”, dice el informe.
El interés del terrorista en YouTubers de extrema derecha y foros vanguardistas como 8chan no es una revelación. Pero hasta ahora, los detalles de su participación en estas organizaciones de extrema derecha en línea no eran públicos. Más de un año después, YouTube y otras plataformas tomaron medidas para aceptar la responsabilidad por el contenido de supremacistas blancos que se propaga en sus sitios web, incluida la eliminación de creadores de contenido populares y la contratación de miles de moderadores más. Sin embargo, según los expertos, hasta que las empresas de redes sociales abran la tapa de sus políticas de caja negra e incluso de sus algoritmos, la propaganda de la supremacía blanca siempre estará a unos pocos clics de distancia.
"El problema va mucho más allá de la identificación y eliminación de piezas de contenido problemático", dijo un portavoz del gobierno de Nueva Zelanda por correo electrónico. "Los mismos algoritmos que mantienen a las personas sintonizadas con la plataforma y consumiendo publicidad también pueden promover contenido dañino una vez que las personas han mostrado interés".
El camino del atacante de Christchurch hacia la radicalización no fue nada excepcional, dicen tres expertos que hablaron con WIRED y revisaron el informe del gobierno. Venía de un hogar roto y desde muy joven estuvo expuesto a la violencia doméstica, la enfermedad y el suicidio. Tenía acceso sin supervisión a una computadora, donde jugaba juegos en línea y, a los 14 años, descubrió el foro en línea 4chan. El informe detalla cómo expresó ideas racistas en su escuela, y fue llamado dos veces para hablar con su oficial de contacto antirracismo sobre el antisemitismo. El informe lo describe como alguien con “compromiso personal limitado”, lo que “dejaba un margen considerable para la influencia del material de extrema derecha, que encontró en Internet y en libros”. Aparte de un par de años trabajando como entrenador personal, no tenía un empleo fijo.
La madre del terrorista le dijo a la Policía Federal Australiana que sus preocupaciones aumentaron a principios de 2017. “Ella lo recordaba hablando sobre cómo el mundo occidental estaba llegando a su fin porque los inmigrantes musulmanes regresaban a Europa y superarían a los europeos”, dice el informe. . Los amigos y familiares del terrorista proporcionaron narraciones de su radicalización que están respaldadas por su actividad en Internet: enlaces compartidos, donaciones, comentarios. Si bien no era un cartel frecuente en los sitios de derecha, pasó mucho tiempo en los rincones extremistas de YouTube.
"Han echado a algunas personas de la plataforma, pero no han abordado ese problema subyacente".
Un informe condenatorio de 2018 de la investigadora de Stanford y candidata a doctorado Becca Lewis describe el sistema de medios alternativos en YouTube que alimentaba a los jóvenes espectadores con propaganda de extrema derecha. Esta red de canales, que van desde conservadores y libertarios convencionales hasta nacionalistas blancos abiertos, colaboraron entre sí, canalizando a los espectadores hacia flujos de contenido cada vez más extremos. Señala a Stefan Molyneux como ejemplo. “Se ha demostrado una y otra vez que es un punto de referencia importante para la radicalización de las personas”, dice ella. “Afirmó que había diferencias científicas entre las razas y promovió la pseudociencia desacreditada. Pero debido a que no se identificaba a sí mismo o era un neonazi manifiesto, fue aceptado por personas más convencionales con plataformas más convencionales”. YouTube eliminó el canal de Molyneux en junio de este año.
Esta "escalera de tijera de amplificación" es en parte un subproducto del modelo de negocio para los creadores de YouTube, dice Lewis. Los ingresos están directamente relacionados con la audiencia y la exposición es la moneda. Si bien estas redes de creadores jugaron con las bases de fanáticos de los demás, el impulso por ganar más espectadores también los incentivó a publicar contenido cada vez más incendiario e incendiario. “Una de las cosas más inquietantes que encontré no solo fue evidencia de que las audiencias se estaban radicalizando, sino también datos que literalmente mostraban a los creadores volviéndose más radicales en su contenido con el tiempo”, dice ella.
En un comunicado por correo electrónico, un portavoz de YouTube dice que la empresa ha logrado "un progreso significativo en nuestro trabajo para combatir el discurso de odio en YouTube desde el trágico ataque en Christchurch". Citando la política de discurso de odio reforzada de 2019, el portavoz dice que ha habido un "aumento de 5 veces en la cantidad de videos de odio eliminados de YouTube". YouTube también modificó su sistema de recomendaciones para "limitar la difusión de contenido dudoso".
YouTube dice que de los 1,8 millones de canales cancelados por violar sus políticas el último trimestre, 54.000 fueron por incitación al odio, la mayor cantidad de la historia. YouTube también eliminó más de 9,000 canales y 200,000 videos por violar las reglas contra la promoción del extremismo violento. Además de Molyneux, las prohibiciones de junio de YouTube incluyeron a David Duke y Richard Spencer. (El terrorista de Christchurch hizo una donación al Instituto de Política Nacional, que dirige Spencer). Por su parte, Facebook dice que ha prohibido a más de 250 grupos de supremacistas blancos de sus plataformas y fortalecido su política de individuos y grupos peligrosos.
“Está claro que el núcleo del modelo comercial tiene un impacto en permitir que este contenido crezca y prospere”, dice Lewis. “Han modificado su algoritmo, han expulsado a algunas personas de la plataforma, pero no han abordado ese problema subyacente”.
La cultura en línea no comienza ni termina en YouTube ni en ningún otro lugar, por diseño. Fundamental para el modelo de negocio de las redes sociales es el intercambio multiplataforma. “YouTube no es solo un lugar donde la gente va para entretenerse; son absorbidos por estas comunidades. Esos te permiten participar a través de comentarios, claro, pero también haciendo donaciones y promocionando el contenido en otros lugares”, dice Joan Donovan, directora de investigación del Centro Shorenstein de Medios, Política y Políticas Públicas de la Universidad de Harvard. Según el informe del gobierno de Nueva Zelanda, el terrorista de Christchurch compartió regularmente publicaciones de extrema derecha en Reddit, páginas de Wikipedia y videos de YouTube, incluso en un chat de un sitio de juegos sin nombre.
El terrorista de la mezquita de Christchurch también siguió y publicó en varios grupos de nacionalistas blancos de Facebook, a veces haciendo comentarios amenazantes sobre inmigrantes y minorías. Según los autores del informe que lo entrevistaron, “el individuo no aceptó que sus comentarios hubieran sido motivo de preocupación para las agencias antiterroristas. Pensó esto debido a la gran cantidad de comentarios similares que se pueden encontrar en Internet”. (Al mismo tiempo, tomó medidas para minimizar su huella digital, incluida la eliminación de correos electrónicos y la eliminación del disco duro de su computadora).
Volver a publicar o hacer proselitismo de supremacistas blancos sin contexto ni advertencia, dice Donovan, allana un camino sin fricciones para la difusión de ideas marginales. “Tenemos que ver cómo estas plataformas brindan la capacidad de transmisión y escala que, desafortunadamente, ahora han comenzado a servir para fines negativos”, dice.
Los incentivos comerciales de YouTube inevitablemente obstaculizan ese tipo de transparencia. No hay buenas maneras para que los expertos externos evalúen o comparen técnicas para minimizar la propagación del extremismo entre plataformas. A menudo, deben confiar en los informes publicados por las empresas sobre sus propias plataformas. Daniel Kelley, director asociado del Centro de Tecnología y Sociedad de la Liga Antidifamación, dice que si bien YouTube informa un aumento en las eliminaciones de contenido extremista, la medida no habla de su prevalencia pasada o actual. Los investigadores fuera de la empresa no saben cómo funcionaba antes el algoritmo de recomendación, cómo cambió, cómo funciona ahora y cuál es el efecto. Y no saben cómo se define el "contenido límite", un punto importante teniendo en cuenta que muchos argumentan que sigue prevaleciendo en YouTube, Facebook y otros lugares.
“Es difícil decir si su esfuerzo ha valido la pena”, dice Kelley. “No tenemos ninguna información sobre si realmente está funcionando o no”. La ADL ha consultado con YouTube, sin embargo, Kelley dice que no ha visto ningún documento sobre cómo define el extremismo o cómo capacita a los moderadores de contenido al respecto.
Un ajuste de cuentas real sobre la difusión de contenido extremista ha incentivado a las grandes tecnológicas a invertir mucho dinero en encontrar soluciones. Arrojar moderación al problema parece efectivo. ¿Cuántos YouTubers prohibidos se han marchitado en la oscuridad? Pero la moderación no aborda las formas en que los cimientos de las redes sociales como negocio (crear personas influyentes, compartir entre plataformas y políticas de caja negra) también son factores integrales para perpetuar el odio en línea.
Muchos de los enlaces de YouTube que compartió el tirador de Christchurch se eliminaron por violar las políticas de moderación de YouTube. Las redes de personas e ideologías diseñadas a través de ellos y de otros medios sociales persisten.