Problema 2886

Introducción ------------ A fines de 2022, OpenAI lanzó públicamente algunos de los modelos de aprendizaje profundo más sofisticados: DALL-E y Chat GPT. Estas redes neuronales se basan en el aprendizaje automático para generar cantidades infinitas de contenido textual y visual único para los usuarios de cualquier parte del planeta. OpenAI puede haber sido la primera empresa en lanzar sus productos al público, pero no está sola en su desarrollo; empresas como NVIDIA, Google y Las nuevas empresas de inteligencia artificial más pequeñas están desarrollando motores similares. Estos modelos generativos de IA permiten a los usuarios ingresar comandos para crear ensayos, letras de música, código simple y más. En enero de 2023, OpenAI, el Observatorio de Internet de Stanford y el Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown publicaron un estudio que exploró la posibilidad de que estos modelos que se utilizan en campañas de influencia por parte de actores estatales y no estatales a través de la producción de desinformación. El potencial disruptivo que plantean estas tecnologías generativas de IA ha llevado a algunos a considerarlas “armas[s] de disrupción masiva”. Durante la última década, los grupos extremistas han ido adaptando su propaganda para que sea más interactiva. Los videojuegos, el contenido de las redes sociales y la música extremistas se han abierto camino en una variedad de plataformas de Internet. A diferencia de la propaganda extremista del pasado, estos nuevos productos de medios digitales permiten que los grupos extremistas interactúen con el público de formas sin precedentes. Este Insight se centrará en la aparición de nueva propaganda extremista digital generada por IA. Al simular una variedad de contenido extremista utilizando modelos generativos de IA, los autores predicen que esta tecnología emergente puede permitir y acelerar la producción de una mayor cantidad y calidad de propaganda digital fabricada por actores extremistas no estatales. La evolución de los medios digitales en la propaganda extremista ------------------------------------------ ------------ En los últimos años, las organizaciones extremistas han experimentado con la producción de nuevas formas de contenido de propaganda, pasando de producir videos y revistas simples a crear videojuegos, contenido de redes sociales e incluso música. La innovación tecnológica de los últimos veinte años ha permitido a las organizaciones extremistas acceder a nuevas herramientas, como software de edición sofisticado, micrófonos y cámaras para producir [propaganda al estilo de Hollywood](https://jnslp.com/wp-content/uploads/2017/ 04/Terrorism_the_Internet_and_Propaganda_FINAL.pdf). Recientemente, las organizaciones terroristas han estado utilizando nuevas formas de medios digitales para su propaganda que permite que los objetivos interactúen directamente con el contenido de nuevas formas. Por ejemplo, los juegos desarrollados recientemente por grupos neonazis alientan a los jugadores a involucrarse en un comportamiento violento hacia las minorías desde un primer momento. -perspectiva de shooter en persona (FPS) (Figura 1). Otros grupos extremistas incluso están creando [modificaciones descargables](https://gnet-research.org/2021/06/28/a-survey-of-violent-extremist-and-terrorist-activities-across-the-gaming-environment /) ('mods') que permiten modificar juegos existentes. Al realizar cambios en la geografía, los personajes y la estética de juegos populares como Super Mario y Doom, los grupos extremistas pueden exportar sus ideologías y fomentar la [identificación de los jugadores](https://gnet-research.org/2020/04/03/ la guerra-no-es-el-infierno-es-entretenimiento-el-papel-potencial-de-los-videojuegos-en-los-procesos-de-radicalización/) con avatares violentos en productos familiares. A diferencia de la propaganda del pasado, en la que el público interactuaba con actores extremistas al presenciar la violencia a través de grabaciones de video o imágenes, las formas más nuevas permiten al público participar en actos de terror simulados de una manera más "interactiva". Los videojuegos son solo un ejemplo de la nueva variedad de medios digitales extremistas que aparecen en los espacios en línea. Grupos extremistas en plataformas como [Twitter, Tumblr, Facebook](https://minerva.defense.gov/Owl-In-the-Olive-Tree/Owl_View/Article/1859857/telegram-and-online-addiction-to-terrorist -propaganda/), y especialmente TikTok crean publicaciones virales para atraer seguidores, promover el miedo y reunir a sus reclutas existentes y potenciales. En 2019, se encontró una variedad de [cuentas de TikTok de ISIS] (https://futurism.com/the-byte/isis-tiktok-spread-propaganda) que publicaban contenido que incitaba a la violencia combinado con [himnos de batalla grabados profesionalmente] pegadizos ( https://www.npr.org/sections/parallels/2017/06/29/533803886/as-isis-gets-squeezed-in-syria-and-iraq-its-using-music-as-a-arma) (es decir, nasheed) y emojis, en un esfuerzo por [dirigirse a los usuarios de la plataforma](https://www.wsj.com/articles/islamic-state-turns-to-teen-friendly-tiktok-adorning-posts-with- pink-hearts-11571680389?mod=e2tw ) y mostrar la fuerza del grupo (Figura 2). Los grupos yihadistas no están solos en la producción de este contenido. Un artículo de NewsGuard encontró [cientos de videos que “aluden, muestran o glorifican actos de violencia llevados a cabo por el Grupo Wagner”, un grupo mercenario ruso notoriamente violento] (https://www.newsguardtech.com/misinformation-monitor/ noviembre-2022/). Muchos de estos videos difunden información errónea rusa sobre el gobierno ucraniano (Figura 2). Si bien los usuarios no pueden interactuar directamente con la propaganda de las redes sociales, los videos permiten que las audiencias interactúen con el contenido prorruso de una nueva forma interactiva. Al dar me gusta, volver a publicar, comentar y recrear los medios de moda, los consumidores de materiales extremistas interactúan con el contenido en más [complejo] (https://minerva.defense.gov/Owl-In-the-Olive-Tree/Owl_View/Article/1859857 /telegram-and-online-addiction-to-terrorist-propaganda/) de lo que antes era posible con formas de propaganda más antiguas. La música es otro medio de propaganda con el que los grupos extremistas se han estado involucrando para crear y proporcionar material para el público objetivo. La Liga Antidifamación publicó un informe de 2022 que identifica a 40 artistas supremacistas blancos en Spotify. Estas bandas produjeron una variedad de géneros musicales, ganaron miles de seguidores. , e impulsó varias teorías de conspiración xenófobas, incluida [la teoría del 'Gran Reemplazo'] (https://www.adl.org/resources/backgrounder/great-replacement-explainer). Algunas de estas canciones promueven directamente la ideología nazi, con títulos como 'Aryan Fury' y 'Reich Machine'. Las bandas también atraen al público a través de la creación de portadas de álbumes similares a memes que presentan símbolos de extrema derecha como [Red Pill] (https://www.adl.org/resources/blog/extremist-medicine-cabinet-guide-online- pastillas), Pepe the Frog, y el [Black Sun](https://www.adl.org/resources/hate -símbolo/sonnenrad) (Figura 3). Este problema se extiende más allá de Spotify. En colaboración con la Unidad de Referencia de Internet de la UE del Centro Europeo contra el Terrorismo, Soundcloud marcó [más de mil piezas] (https://www.europol.europa.eu/media-press/newsroom/news/terrorist-and-extremist-chants -used-to-woo-recruits-%E2%80%93-focus-of-latest-europol-referral-action-day) de contenido extremista en su plataforma. Al empaquetar sus narrativas a través de canciones, los extremistas de derecha pueden [transmitir sus mensajes de odio] (https://www.cnn.com/2012/08/08/opinion/nasatir-white-power-bands/index.html) en una nueva forma, aumentando potencialmente su atractivo para un público más amplio. También se ha encontrado al Estado Islámico experimentando con el uso de nasheed. Al reempaquetar [canciones islámicas familiares] (https://theworld.org/stories/2014-12-18/how-isis-uses-catchy-violent-tunes-propaganda), el grupo puede transmitir sus narrativas violentas apocalípticas y puntos de vista de el mundo con [melodías de moda] (https://theworld.org/stories/2014-12-18/how-isis-uses-catchy-violent-tunes-propaganda). Al-Qaeda se ha involucrado en actividades similares presentando música hip-hop en el fondo de su contenido en línea. A través de la música, tanto ISIS como al-Qaeda están aprovechando tácticas similares a las de los grupos extremistas de derecha. La música puede permitir que estos grupos trasciendan las diferencias multiculturales y transnacionales para exportar sus ideologías violentas a audiencias nuevas y más amplias. Modelos generativos de IA e ideación de amenazas extremistas ------------------------------------------- ------- Si bien las formas convencionales de propaganda extremista como las mencionadas anteriormente requieren personal capacitado para planificar, crear y difundir estos materiales, el surgimiento de modelos generativos de IA puede permitir que una variedad de actores extremistas no estatales produzcan un mayor cantidad de productos de propaganda que son significativamente más sofisticados, con un esfuerzo significativamente menor. Los futuros modelos de IA generativa transformarán los paisajes de la producción de medios tanto convencionales como extremistas, incluidos los [videojuegos] (https://techcrunch.com/2023/01/19/scenario-lands-6m-for-its-ai-platform- that-generates-game-art-assets/), creación de contenido digital, y [música y otro contenido de audio](https://www. musicbusinessworldwide.com/over-1000-songs-human-mimicking-ai-vocals-have-been-release-by-tencent-music-in-china-one-of-them-has-over-100m-streams/) – lo que significa que se puede llegar a nuevas audiencias y potencialmente radicalizarlas a través de nuevas técnicas de propaganda. IA para los jugadores A través de la aparición de estas nuevas tecnologías, los jugadores de videojuegos podrán desarrollar sus [historias] deseadas (https://techcrunch.com/2023/01/19/scenario-lands-6m-for -su-plataforma-ai-que-genera-activos-de-arte-del-juego/), [personajes](https://techcrunch.com/2023/01/19/scenario-lands-6m-for-its-ai-platform -que-genera-activos-de-arte-del-juego/), y entornos ingresando texto que se puede transformar en un producto de videojuego desarrollado. Algunos comentaristas están discutiendo la posibilidad de juegos totalmente personalizados y generados por IA. Al permitir a los jugadores la libertad de desarrollar sus propios productos, estas tecnologías también brindan a los extremistas un poder significativo para desarrollar videojuegos que podrían reforzar su radicalización y métodos de reclutamiento adicionales. Las organizaciones extremistas podrán confiar en los modelos generativos de IA para mejorar sus habilidades creativas y técnicas. Los modelos generativos de inteligencia artificial menos sofisticados disponibles en la actualidad transmiten el tremendo poder de los nuevos productos de propaganda que los extremistas podrían aprovechar y explotar. Actualmente, a través de ChatGPT, los extremistas pueden transportar narrativas conspirativas y violentas a historias completas de videojuegos al instante (Figura 4). La capacidad de personalizar tramas para parecerse a juegos como [Call of Duty](https://www.xfire.com/a-history-of-call-of-duty-release-dates-sales-and-more/#:~ :text=Call%20of%20Duty%20is%20an,1%20billion%20downloads%20on%20mobile.&text=Call%20of%20Duty%2C%20often%20abbreviated,game%20franchises%20in%20the%20world.) hace estos tecnologías particularmente peligrosas; si se desarrollan estos juegos, se pueden adaptar para atraer a audiencias específicas asegurándose de que sus productos se parezcan a los juegos populares que ya están en el mercado. Los extremistas también pueden explotar estas tecnologías mediante la producción de código simple (Figura 5) que podría ayudar a facilitar la alteración de gráficos en una variedad de juegos existentes para grupos que no desean crear productos completamente nuevos. Nuevos modelos generativos como Scenario y MidJourneyAI utilizado en combinación con ChatGPT puede ser de gran ayuda en la creación de elementos tridimensionales que se pueden introducido en videojuegos, así como material promocional artístico violento para contenido original creado por extremistas. videojuegos (Figura 5). La capacidad de producir rápidamente videojuegos extremistas puede permitir que una variedad de grupos insensibilicen más fácilmente a las personas frente a la violencia política e introduzcan conspiraciones del mundo real en las narrativas de los juegos con el fin de hacer que los puntos de vista extremistas sean más creíbles. IA para los creadores de contenido Además, estas tecnologías mejorarán en gran medida la capacidad de los grupos extremistas para inundar aplicaciones como TikTok e Instagram con contenido personalizable que es visualmente atractivo y persuasivo. ChatGPT puede ayudar a facilitar la creación de guiones y contenido breve y técnicas organizativas para audiencias específicas en segundos (Figura 6). Si bien la tecnología actual no puede generar videos completos, es fácil imaginar cómo la combinación de ChatGPT con [tecnología deepfake] (https://www.bbc.com/news/business-56278411) podría permitir la producción de cantidades prolíficas de extremistas generados artificialmente. contenido (Figura 6). Al utilizar los rostros de personas influyentes populares y tendencias virales, las herramientas generativas de IA pueden permitir que más productos de propaganda penetren fácilmente en las audiencias principales, facilitando así la desinformación intencional de eventos noticiosos que pueden servir a los intereses de los actores extremistas. IA para los creadores de audio Finalmente, la inteligencia artificial puede revolucionar la producción de contenido de audio. Los grupos extremistas podrían, en el futuro, convertir estos sistemas en armas mediante la subcontratación de talento musical para crear canciones violentas impulsadas por narrativas sobre temas centrales asociados con sus respectivas ideologías. Esto se puede ver en una canción punk de heavy metal generada por ChatGPT destinada a resonar entre las personas que pertenecen a grupos de odio skinhead. Google ha presentado recientemente MusicLM que puede traducir texto directamente a sonido musical con instrumentos que evocan estados de ánimo específicos (Figura 7). Las carátulas atractivas del álbum para una canción se pueden generar instantáneamente a través de MidjourneyAI. Los ritmos y las letras desarrollados por estas tecnologías [recrean la voz humana] (https://www.musicbusinessworldwide.com/over-1000-songs-human-mimicking-ai-vocals-have-been-released-by-tencent-music- en-china-uno-de-ellos-tiene-mas-de-100m-flujos/) y ritmos instrumentales. Si bien la creación de música extremista puede no parecer una amenaza, la música permite a los actores extremistas disfrazar su mensajes violentos y creencias radicales, que pueden tener un efecto radicalizador con el tiempo. El estado de las salvaguardas de IA --------------------------- OpenAI, entre otras empresas de tecnología, ha tomado medidas significativas para implementar [mayores restricciones en el generación de contenido extremo](https://the-decoder.com/openais-dall-e-2-is-pretty-obediente-pero-quién-es-responsable-de todos modos/). Por ejemplo, cuando se solicita contenido relacionado con los nazis a través de MidJourneyAI o ChatGPT, los usuarios ahora reciben un mensaje de error (Figura 8). Por lo tanto, se están tomando medidas para mejorar la moderación de contenido en estas plataformas, y existen términos de servicio para cada herramienta que los usuarios deben cumplir. Sin embargo, los actores maliciosos encuentran soluciones y ya estamos viendo cómo ciertos actores están haciendo alteraciones a los conjuntos de datos. disponible en modelos generativos de contenido de IA para seleccionar contenido dañino que de otro modo estaría prohibido, conocido como '[modelos de travesuras](https://slate.com/technology/2022/08/4chan-ai-open-source-trolling. html).' A medida que avanzan los modelos generativos de IA, también lo hará la travesura; en las manos equivocadas, estas tecnologías podrían alimentar aún más la desconfianza en las fuentes de información en línea y obstaculizar los esfuerzos globales para combatir el extremismo violento. Conclusión ---------- Las nuevas tecnologías de IA generativa tienen capacidades transformadoras y el potencial de generar una nueva ola de creatividad e innovación. Sin embargo, no debe subestimarse su capacidad para acelerar la retórica y los mensajes extremistas violentos. A diferencia de los productos de propaganda del pasado, estas herramientas son mucho más efectivas para la radicalización, el reclutamiento y la retención; La sofisticada propaganda extremista generada por IA ahora se puede adaptar para atraer a audiencias que antes estaban fuera del alcance de formas nuevas y atractivas. Las empresas tecnológicas han reconocido esta amenaza como legítima y han ampliado los esfuerzos para protegerse contra la explotación extremista de las herramientas de IA. Sin embargo, mientras existan estos programas, los actores malévolos adaptarán estos programas para desarrollar "modelos de travesuras" capaces de generar contenido dañino para una variedad de grupos extremistas. Hay ciertas empresas emergentes de IA que intentan prevenir el mal uso de sus productos mediante el desarrollo de programas alternativos para ayudar a identificar patrones que pueden indicar si las imágenes, los textos, los videos o los sonidos se produjeron con modelos generativos. Estos programas podrían algún día integrarse en plataformas de redes sociales, servicios de transmisión de música e incluso plataformas de juegos, lo que podría impedir que el contenido generado artificialmente y utilizado con fines maliciosos encuentre su camino fuera de los rincones oscuros de la web. Además, es de vital importancia que las empresas de IA analizadas en este Insight amplíen sus [equipos de confianza y seguridad] (https://www.activefence.com/blog/generative-ai/). Estos equipos pueden idear los peores usos para las características de estos programas y luego implementar reglas y planes en caso de su uso indebido. Esta información plantea que, si bien se están tomando medidas importantes para evitar el uso indebido de los modelos generativos de IA, existen vulnerabilidades claras que puede ser fácilmente explotado por actores extremistas.