Problema 4146

Los nazis autoidentificados están promoviendo abiertamente el discurso de odio y el reclutamiento en el mundo real en TikTok. La plataforma no solo no elimina estos videos y cuentas, sino que su algoritmo está amplificando su alcance. Advertencia de contenido: este informe incluye ejemplos de contenido extremista racista. Resumen TikTok alberga cientos de cuentas que apoyan abiertamente el nazismo y usan la aplicación de videos para promover su ideología y propaganda, como se identifica en el análisis presentado en este informe. Nuestra investigación comenzó después de encontrar una de esas cuentas, que se expandió a una red más amplia de 200 cuentas al examinar las cuentas pronazis que seguía y algunas de las cuentas que seguían esas cuentas, así como al buscar contenido violatorio y usar el algoritmo de TikTok. Las cuentas se incluyeron en este estudio si produjeron varios videos que promovieran expresamente el nazismo o si presentaban símbolos nazis en sus nombres de usuario, fotos de perfil, etc. Los hallazgos clave incluyen: El contenido pronazi está recibiendo decenas de millones de vistas en TikTok. Esto incluye videos que presentan la negación del Holocausto; la glorificación de Hitler, la Alemania de la era nazi y el nazismo como una solución a los problemas contemporáneos; apoyo a los tiradores en masa de supremacía blanca y material transmitido en vivo o recreaciones de estas masacres. Los autoidentificados nazis hablan de TikTok como una plataforma propicia para difundir su ideología que se puede utilizar para llegar a "mucha más gente", incluso si las cuentas son nuevas o tienen pocos seguidores. TikTok no está eliminando videos y cuentas violatorias, incluso cuando el contenido es denunciado por los usuarios. ISD informó 50 cuentas en la red que violaron las pautas de la comunidad de TikTok sobre ideologías de odio, promoción de la violencia, negación del Holocausto y otras reglas. Las cuentas, que colectivamente recibieron más de 6,2 millones de visitas, incluían aquellas que promovían el nazismo en sus videos o presentaban discursos de odio siempre que también incluyeran símbolos nazis en sus fotos de perfil, nombres de usuario, apodos o descripciones. Después de un día, las 50 cuentas permanecieron activas, y todos los informes arrojaron "sin violación". Las cuentas y los videos que promueven el nazismo se amplifican algorítmicamente, y TikTok recomienda rápidamente ese contenido a los usuarios que interactúan con un discurso de odio de extrema derecha similar. Después de ver las páginas de 10 cuentas en la red y 10 videos en total, una nueva cuenta ficticia se desplazó por solo tres videos en la página Para ti (FYP) de TikTok antes de recibir una recomendación de propaganda nazi. En el caso de una cuenta ficticia más antigua que ha interactuado con más contenido de este tipo, la mayoría de los videos en FYP de TikTok promueven el nazismo o el discurso de odio. Estos videos a menudo presentan medios generados por IA. Este contenido con frecuencia denigra a las minorías y promueve el nazismo, incluida, por ejemplo, una traducción generada por IA de un discurso de Hitler que sigue volviéndose viral. Este tipo de contenido ayuda a modernizar la propaganda nazi, llegar a una audiencia internacional más amplia y puede usarse para eludir la moderación de la plataforma. La prominencia de estos videos y cuentas se debe en parte a la coordinación entre plataformas. Los activistas nazis autoidentificados en Telegram buscan llegar a audiencias más amplias a través de contenido de video de formato corto. Están coordinando un esfuerzo para "rejuvenecer" los videos a través de la participación masiva; compartir videos, imágenes y sonidos descargables para compartir en plataformas como TikTok y alentar a los usuarios a publicar ciertos tipos de propaganda, como promociones del documental neonazi Europa: The Last Battle Figura 1: Resultados de muestra del informe masivo de ISD sobre cuentas pronazis de TikTok Metodología Este informe se construyó a partir de un enfoque de bola de nieve para sacar a la luz la red más amplia. Comenzando con una sola cuenta autoidentificada como nazi en TikTok, pudimos encontrar cientos de usuarios similares, a menudo con lemas o imágenes nazis conocidos y explícitos. Recopilamos una lista de 200 cuentas, en particular aquellas que publican activamente contenido que se verificó manualmente para promover la ideología nazi o el extremismo de derecha. También seguimos a docenas de estas cuentas para obtener acceso a videos privados y al contenido de canales configurados como privados. Después de descubrir numerosas cuentas y vídeos que utilizaban una cuenta ficticia recién creada, exploramos la página For You (FYP) de TikTok y descubrimos que inmediatamente comenzó a recomendar contenido similar a través de un algoritmo de cuentas que no habían aparecido anteriormente. Descubrimos usuarios adicionales al buscar los sonidos y canciones únicos que se reproducen en TikTok. Nuestra investigación descubrió que los canales de Telegram a veces eran compartidos por cuentas de la red. Al seguir los enlaces externos populares, incluidos los de los feeds de Telegram recién descubiertos, pudimos desarrollar una lista de más de 100 canales de Telegram pro nazis. La sección a continuación describe los hallazgos clave de nuestra investigación y se divide en cuatro partes: la primera se centra en las tendencias en el contenido compartido por los nazis en TikTok, la segunda en sus tácticas, la tercera examina el impacto del algoritmo de TikTok en su éxito y la cuarta detalla cómo TikTok está respondiendo al problema. Tendencias IA generativa La primera tendencia que descubrimos fue el uso de inteligencia artificial generativa (genAI) por parte de la red, a menudo para crear caricaturas deshumanizadoras de grupos raciales y étnicos no blancos como violentos o amenazantes para las comunidades blancas. El esfuerzo es principalmente para modernizar la propaganda nazi: un ejemplo popular es una traducción generada por IA de un discurso de Adolf Hitler, que sigue siendo prominente en TikTok. Se utilizaron fragmentos del audio en videos que celebraban a Joseph Goebbels, promocionaban el documental neonazi Europa: The Last Battle o difundían llamados codificados a la violencia contra los judíos y otro contenido pronazi, que recibieron colectivamente millones de vistas. Figura 2: Propaganda generada por IA. La imagen superior central no fue creada por IA, pero es un ejemplo de cómo se difunden los discursos de Hitler. El video en cuestión (105.000 vistas) tiene de fondo un discurso de Hitler traducido por IA con Washing Machine Heart de Mitski, un sonido particular de TikTok con 1,3 millones de vistas. 109 es la abreviatura de la afirmación antisemita de que los judíos han sido expulsados de 109 países. Sonidos de TikTok y Salvar a Europa Los sonidos y el audio en TikTok siguen siendo una vulnerabilidad crítica que los supremacistas blancos explotan rutinariamente. En 2021, ISD detalló cómo "Little Dark Age" de MGMT fue muy popular en presentaciones de fotos y compilaciones de fascistas prominentes del siglo XX. Canciones como esta se convierten en referencias grupales que otros extremistas reconocen; siguen el formato, crean su propia publicación de TikTok usando la canción, generalmente sin ninguna referencia textual explícita al contenido extremista, y contribuyen a la tendencia participativa. En esencia, el uso de música y sonidos, utilizados como referencias codificadas, son tácticas utilizadas para evadir la moderación de contenido de TikTok. Como se documenta en este Dispatch, esto sigue siendo así. El análisis de una cuenta que publica exclusivamente vídeos con música y elementos visuales inspirados en la estética antiinmigrante de “Salvad Europa” ilustra cómo se utilizan los sonidos de TikTok para difundir contenido e ideologías extremistas. La música de la cuenta (nombre censurado) es en su mayoría del estilo del techno de los años 2000 y no viola las reglas de TikTok. Pero esta música suele ir acompañada de memes e imágenes que promueven el nazismo, el fascismo y la supremacía blanca. Figura 3: Un sonido original creado por la cuenta antes mencionada se empleó en otros 6 vídeos, todos ellos promoviendo el racismo, el nazismo u otro discurso de extrema derecha. La canción fue creada solo 6 días antes de la captura de pantalla, y otros sonidos originales de la cuenta se han compartido en cientos de videos de forma colectiva. En muchos casos, los investigadores de ISD pudieron encontrar más fácilmente contenido que promovía la ideología nazi y glorificaba a los tiradores en masa de extrema derecha navegando por la música relevante que buscando palabras clave relevantes. Una búsqueda en TikTok de una canción que tocó el tirador de Christchurch mientras se alejaba después de matar a 51 fieles musulmanes arrojó 1200 videos. 7 de los 10 videos más populares celebraban el ataque, su motivación, el tirador o incluso lo recreaban en un videojuego. Estos siete videos solo recibieron una audiencia colectiva de 1,5 millones de vistas, y es probable que haya cientos de otros videos similares circulando libremente en la plataforma. Un video incluía un enlace en la sección de comentarios a imágenes de la masacre grabadas por el atacante para explicar una referencia codificada. También sacamos a la luz varios casos de imágenes reales que, a pesar de haber sido distorsionadas para evadir la moderación, seguían siendo reconocibles. En algunos casos, la música utilizada en los vídeos era explícitamente odiosa, como un sonido utilizado en 119 vídeos que incluía la letra: "Matad a los cabrones y a los judíos". Otros incluían extractos de discursos de Mussolini y Hitler. Aunque estos discursos pueden tener importancia histórica, se utilizaban principalmente para celebrar a los líderes o sus mensajes. Tácticas Lenguaje codificado El lenguaje codificado sirve como un medio encubierto para que los usuarios de TikTok se comuniquen y señalen su ideología a los miembros de la comunidad mientras evaden la detección por parte de los moderadores de la plataforma. Es una táctica clave mediante la cual los actores extremistas en TikTok expresan su apoyo y propagan sus ideologías, como se señala en el informe Hatescape 2021 de ISD. Los emojis, acrónimos, números e imágenes con código nazi se compartieron con frecuencia entre las cuentas analizadas en este estudio, lo que probablemente contribuyó a la lentitud de TikTok para detectar cuentas extremistas infractoras. Figura 4: El perfil de la cuenta de TikTok de @joseophgoebbels [números redactados], apodado "Es culpa de 🧃 ⚡️👌🏻⚡️", muestra cómo las cuentas nazis se envían señales ideológicas abiertamente entre sí y evaden la detección. Los 30 videos de la cuenta presentan negación del holocausto, conspiraciones antisemitas, celebración del tiroteo de Christchurch y glorificación de Hitler y la Alemania de la era nazi. Aunque la cuenta fue prohibida antes de que se completara este informe, para el 3 de junio de 2024, sus videos habían recibido más de 10 000 me gusta y aproximadamente 87 000 vistas. Ofuscación de imágenes Otra táctica frecuente implica el uso de imágenes inocuas o nostálgicas en videos y como miniaturas. Coordinación entre plataformas El esfuerzo por difundir propaganda en TikTok está siendo coordinado dentro y fuera de la plataforma por una red de personas que se identifican como nazis. Si bien la campaña incluye esfuerzos para “despertar a la gente” en otras plataformas, como X y Facebook, TikTok es comúnmente un punto focal para el discurso. Como publicó una cuenta en Telegram: “Publicamos cosas en nuestra nueva cuenta de TikTok con 0 seguidores, pero tuvimos más visitas de las que podrías tener en Bitchute o Twitter. Simplemente llega a mucha más gente”. Otro neonazi destacado ha instado con frecuencia a sus miles de seguidores de Telegram a “extraer” sus videos de TikTok para aumentar su potencial viral. El ejemplo más claro de coordinación lo demostró un canal de Telegram “activista” con más de 12.000 suscriptores dedicado a “despertar a la gente” promocionando “Europa: La última batalla”, un documental neonazi que se promociona comúnmente para que los usuarios dejen TikTok y pasen a una propaganda nazi más explícita. El canal presenta varias publicaciones que animan a los usuarios a promocionar la película; una les dice a los suscriptores que llenen TikTok de videos de reacción para que la película se vuelva viral. Durante la investigación de ISD, encontramos innumerables promociones de “Europa: La última batalla”, incluidos varios videos con más de 100.000 vistas. Las búsquedas de la película en TikTok, así como pequeñas variaciones en su título, arrojan docenas de videos. Algunos publicaron clips con etiquetas modificadas como #EuropaTheLastBattel. Una cuenta que publica fragmentos de este tipo ha recibido casi 900.000 visitas en sus videos, que incluyen afirmaciones de que la familia Rothschild controla los medios y elige a dedo a los presidentes, así como otras afirmaciones falsas o antisemitas. La coordinación también se produce en gran medida en TikTok. Un usuario publicó que estaban en su ataque final mientras anunciaba su cuenta de respaldo. La cuenta fue baneada poco después. Su nueva cuenta alcanzó casi 100.000 visitas totales en cinco videos en solo tres días de comenzar a publicar propaganda nazi, incluido un video que celebra al organizador neonazi y presunto asesino Dmitry Borovikov. Esta cuenta y muchas otras adoptan una táctica de "seguir a seguir", un método común para lograr una red estrechamente vinculada con mayor participación/seguidores y facilitar un crecimiento rápido. Docenas de cuentas presentan nombres de usuario, fotos de perfil y números de seguidores y seguidos casi idénticos, lo que indica que son cuentas duplicadas del mismo usuario. Estas tácticas revelan por qué TikTok no está abordando el problema: la plataforma parece eliminar cuentas o videos individualmente en lugar de abordar una red más amplia como un conjunto. Como resultado, cuando los usuarios son baneados, a menudo pueden volver a crear sus cuentas y experimentar una rápida amplificación de su nuevo contenido. Reclutamiento y recorridos de usuarios fuera de la plataforma La evidencia de esfuerzos de reclutamiento y daños en el mundo real en las redes pronazis analizadas por ISD es alarmante. Se encontró que varias organizaciones fascistas o de extrema derecha del mundo real reclutaban abiertamente en la plataforma. Un sitio web de folletos antisemitas e instrucciones sobre cómo imprimirlos y distribuirlos fue ampliamente difundido por las cuentas monitoreadas. Los canales de Telegram que presentaban un discurso más violento y explícitamente extremista y llamados a la movilización fueron comúnmente compartidos. Como estudio de caso sobre cómo las cuentas se propagan y reclutan, ISD analizó una cuenta cuyo nombre de usuario contiene un insulto antisemita, y su biografía dice: "Revolución armada ahora. Aniquilación completa de ✡️". Un ejemplo de publicación incluye el texto: “Los dueños de Occidente (✡️) pronto tendrán que responder por sus crímenes contra nosotros… Estas ratas deben ser completamente destruidas para que su linaje termine… la única respuesta es conseguir armas y destruirlas”, acompañado de un discurso remezclado lleno de odio, que de manera similar llama a “matar a todos los judíos”, “aprender a fabricar bombas” y “dejar de depender de las ratas judías”. La cuenta tiene 3.800 seguidores, 5.000 me gusta y ha estado activa desde el 6 de febrero de 2023, fecha en la que publicó 37 videos. Ha compartido instrucciones incompletas para construir dispositivos explosivos improvisados, armas impresas en 3D y “napalm con un presupuesto limitado”. Además, ha buscado trasladar a los usuarios a un “grupo de chat seguro” en Element y Tox, presumiblemente donde los usuarios podrían acceder a las instrucciones completas. Los usuarios en las secciones de comentarios indicaron que se habían unido a estos grupos fuera de la plataforma, lo que ilustra cómo TikTok también se utiliza para coordinar y movilizar posibles actividades terroristas entre los neonazis. Al 6 de junio de 2024, la cuenta seguía a 10 000 usuarios, muchos de los cuales parecían compartir inclinaciones ideológicas similares. El límite máximo de seguidores de TikTok es de 10 000, con un tope de 200 nuevos seguidores por día. Esto demuestra que la cuenta se dedicaba de forma inusual a seguir a nazis autoidentificados y extremistas similares en TikTok, lo que no era poco común entre las cuentas analizadas, probablemente para relacionarse con personas de ideas afines. ISD denunció la cuenta por incitación al odio. TikTok no encontró infracciones y la cuenta permaneció activa durante más de una semana antes de ser finalmente baneada. Recomendaciones algorítmicas Gran parte del contenido explorado en esta investigación surgió a través del algoritmo de TikTok, que proporciona un flujo de cuentas y vídeos pronazis a la "página Para ti" (FYP) de los usuarios. La FYP es una lista de vídeos desplazable que aparece de forma predeterminada al abrir la aplicación. Dos cuentas ficticias creadas por ISD comenzaron a recibir propaganda nazi poco después de desplazarse por contenido similar. Una cuenta, creada a fines de mayo de 2024, adoptó un enfoque similar a una investigación de Media Matters de 2021. ISD vio 10 videos de la red de usuarios pronazis, haciendo clic ocasionalmente en secciones de comentarios pero sin participar (por ejemplo, dando me gusta, comentando o agregando a favoritos), y vio las páginas de 10 cuentas. Después de esta interacción superficial, ISD se desplazó por el FYP de TikTok, que casi de inmediato recomendó propaganda nazi. En solo tres videos, el algoritmo sugirió un video en el que aparecía un soldado nazi de la Segunda Guerra Mundial superpuesto con un gráfico de la tasa de asesinatos en EE. UU., desglosado por raza. Si bien la mayor parte del contenido inicial del FYP consistía en videos virales estándar de TikTok, en su mayoría de naturaleza humorística, se necesitaron menos de 25 videos para que apareciera un discurso de Hitler traducido por IA, que se superpuso a un cartel de reclutamiento para un grupo nacionalista blanco. La otra cuenta de ISD, creada a principios de mayo y utilizada durante la mayor parte de nuestra investigación, observó que la mayor parte de su algoritmo recomendaba ese tipo de contenido. 7 de cada 10 de sus videos recomendados recientemente provenían de personas que se identificaban como nazis o presentaban propaganda nazi. Figura 6: Videos recomendados recientemente de la cuenta ficticia. Esta cuenta ficticia seguía a varios usuarios pro nazis, principalmente para identificar contenido privado y ver videos en canales configurados como privados. TikTok recomendaba periódicamente cuentas para seguir, que mostraban casi exclusivamente usuarios similares a esta cuenta. Las 10 primeras cuentas que revisamos incorporaron símbolos o palabras clave nazis en sus nombres de usuario o fotos de perfil, o presentaban propaganda nazi en sus videos. Figura 7: Ejemplos de cuentas recomendadas para seguir de la cuenta ficticia. La cara de calavera y el “orgullo gay de buenas noches” (entre otras variantes) son símbolos comunes utilizados por los nazis. Informes recientes de GNET han señalado de manera similar el papel del algoritmo de TikTok en la difusión de contenido extremista de extrema derecha en evidente violación de las políticas de la plataforma, desde la veneración de ideólogos fascistas menores hasta [la adaptación de narrativas supremacistas eurocéntricas en el sudeste Marcación de contenido y respuesta de la plataforma Después de identificar y registrar 200 cuentas, ISD informó una muestra de 50 actores que violaron las pautas de la comunidad de TikTok al deshumanizar e incitar a la violencia contra grupos protegidos, promover ideologías de odio, celebrar a extremistas violentos, negar el Holocausto y/o compartir materiales que promueven el discurso de odio e ideologías de odio. Dividimos a estos usuarios en dos categorías principales: Usuarios que publicaron varios videos que promovían el nazismo, incluida la ideología, los tiradores en masa neonazis, los líderes nazis (por ejemplo, Hitler, Goebbels, etc.), el simbolismo, el reclutamiento y/o la distribución de materiales pronazis (documentales, folletos, etc.) Usuarios que publicaron varios videos con un discurso de odio más amplio, siempre que sus cuentas también presentaran símbolos nazis conocidos u otras señales flagrantes de su ideología en el nombre de usuario, el apodo, la biografía y/o la foto de perfil. ISD informó estas 50 cuentas por discurso de odio para evaluar cómo TikTok las moderaría. La plataforma no encontró infracciones y todas las cuentas permanecieron activas al día siguiente. Sin embargo, dos semanas después, 15 de estas cuentas habían sido baneadas. Después de un mes, casi la mitad (23/50) de las cuentas habían sido baneadas. Esto sugiere que, si bien la plataforma eventualmente elimina el contenido y los canales infractores, en muchos casos lo hace solo después de que las cuentas hayan tenido la oportunidad de acumular una audiencia significativa. Por ejemplo, las 23 cuentas baneadas del conjunto de datos de muestra lograron acumular al menos 2 millones de vistas en todo su contenido antes de ser baneadas. Conclusión TikTok no está eliminando de manera adecuada y rápida las cuentas que promueven el discurso de odio y la propaganda pronazi. Aunque la plataforma logra eliminar cuentas periódicamente, esto suele ocurrir semanas y meses después de una actividad flagrante de infracción de las reglas, tiempo durante el cual las cuentas pudieron acumular una audiencia significativa. Además, la naturaleza en red de la campaña y la coordinación entre plataformas implica que después de las prohibiciones, las cuentas pueden resurgir y acumular audiencias sustanciales una y otra vez. Un canal de TikTok, por ejemplo, ha sido baneado al menos cuatro veces, y ha publicado después de cada prohibición en Telegram para seguir su nueva cuenta de TikTok. Los videos del usuario, que se centran en la promoción de la propaganda nazi histórica, recibieron colectivamente 88.100 me gusta, según las capturas de pantalla compartidas en Telegram. Es probable que esta actividad continúe a medida que los nazis apliquen un análisis de costo-beneficio simple y descubran que sus medidas para mitigar las prohibiciones son exitosas y que su contenido está llegando a una audiencia suficiente para que valga la pena la molestia de crear periódicamente nuevas cuentas. El éxito no consiste en eliminar todas las formas de nazismo en el momento en que aparecen en la plataforma, sino en aumentar lo suficiente la barrera de entrada. En cambio, en la actualidad, los autoidentificados nazis están hablando de TikTok como una plataforma propicia para difundir su ideología, especialmente cuando emplean una serie de contramedidas para evadir la moderación y amplificar el contenido como red. En esencia, TikTok puede no estar equipado para manejar la naturaleza coordinada de la propagación del discurso de odio. La red de cuentas explorada en este estudio, que utiliza tácticas de seguimiento por seguimiento y organiza sus esfuerzos fuera de la plataforma, indica un nivel de sofisticación que las revisiones de cuentas individuales probablemente no detectarán. Este enfoque permite una amplificación más rápida de su contenido de lo que lograrían de otra manera. Además, proporcionar a los usuarios advertencias finales ha permitido repetidamente que las cuentas activen sus copias de seguridad con anticipación y muevan a sus seguidores a nuevas cuentas sin advertencias.