Problème 2886

Introduction ------------ Fin 2022, OpenAI a publié certains des modèles d'apprentissage en profondeur les plus sophistiqués - DALL-E et Chat GPT. Ces réseaux neuronaux s'appuient sur l'apprentissage automatique pour générer des quantités infinies de contenu textuel et visuel unique pour les utilisateurs partout sur la planète. OpenAI a peut-être été la première entreprise à diffuser ses produits au public, mais elle n'est pas la seule à se développer ; des entreprises comme NVIDIA, Google et de plus petites startups d'intelligence artificielle développent des moteurs similaires. Ces modèles d'IA génératifs permettent aux utilisateurs de saisir des commandes pour créer des essais, des paroles de musique, du code simple et plus encore. En janvier 2023, OpenAI, le Stanford Internet Observatory et le Center for Security and Emerging Technology de l'Université de Georgetown ont publié une étude qui a exploré la possibilité de ces modèles utilisés dans les campagnes d'influence par des acteurs étatiques et non étatiques à travers la production de désinformation. Le potentiel perturbateur posé par ces technologies d'IA génératives a conduit certains à les considérer comme des "armes[s] de perturbation massive". Au cours de la dernière décennie, les groupes extrémistes ont adapté leur propagande pour la rendre plus interactive. Les jeux vidéo extrémistes, le contenu des médias sociaux et la musique se sont retrouvés sur diverses plateformes Internet. Contrairement à la propagande extrémiste du passé, ces nouveaux produits médiatiques numériques permettent aux groupes extrémistes d'interagir avec le public de manière sans précédent. Cet aperçu se concentrera sur l'émergence d'une nouvelle propagande extrémiste générée par l'IA numérique. En simulant une variété de contenus extrémistes à l'aide de modèles génératifs d'IA, les auteurs prédisent que cette technologie émergente pourrait permettre et accélérer la production d'une plus grande quantité et qualité de propagande numérique fabriquée par des acteurs extrémistes non étatiques. L'évolution des médias numériques dans la propagande extrémiste ------------------------------------------ ------------ Ces dernières années, les organisations extrémistes ont expérimenté la production de nouvelles formes de contenu de propagande, passant de la production de vidéos et de magazines simples à la création de jeux vidéo, de contenu de médias sociaux et même de musique. L'innovation technologique au cours des vingt dernières années a permis aux organisations extrémistes d'accéder à de nouveaux outils tels que des logiciels de montage sophistiqués, des microphones et des caméras pour produire [de la propagande à la Hollywood](https://jnslp.com/wp-content/uploads/2017/ 04/Terrorism_the_Internet_and_Propaganda_FINAL.pdf). Récemment, les organisations terroristes ont utilisé de nouvelles formes de médias numériques pour leur propagande qui permettent aux cibles d'interagir directement avec le contenu de nouvelles façons. Par exemple, des jeux récemment développés par des groupes néo-nazis encouragent les joueurs à s'engager dans un comportement violent envers les minorités d'un premier - perspective du tireur de personne (FPS) (Figure 1). D'autres groupes extrémistes créent même des [modifications téléchargeables](https://gnet-research.org/2021/06/28/a-survey-of-violent-extremist-and-terrorist-activities-across-the-gaming-environment /) ("mods") qui permettent de modifier des jeux existants. En modifiant la géographie, les personnages et l'esthétique de jeux populaires tels que Super Mario et Doom, les groupes extrémistes peuvent exporter leurs idéologies et favoriser [l'identification des joueurs](https://gnet-research.org/2020/04/03/ la-guerre-n'est-pas-l'enfer-son-divertissement-le-rôle-potentiel-des-jeux-vidéo-dans-les-processus-de-radicalisation/) avec des avatars violents dans des produits familiers. Contrairement à la propagande du passé où un public interagissait avec des acteurs extrémistes en étant témoin de la violence à travers des enregistrements vidéo ou des images, de nouvelles formes permettent au public de s'engager dans des actes de terreur simulés d'une manière plus « interactive ». Les jeux vidéo ne sont qu'un exemple de la nouvelle variété de médias numériques extrémistes qui apparaissent dans les espaces en ligne. Des groupes extrémistes sur des plateformes comme [Twitter, Tumblr, Facebook](https://minerva.defense.gov/Owl-In-the-Olive-Tree/Owl_View/Article/1859857/telegram-and-online-addiction-to-terrorist -propaganda/), et surtout TikTok créent des posts viraux pour attirer des adeptes, promouvoir la peur et rallier leurs recrues existantes et potentielles. En 2019, une variété de comptes ISIS TikTok ont été trouvés en train de publier du contenu incitant à la violence mélangé à des hymnes de combat enregistrés par des professionnels (c'est-à-dire nasheed) et les emojis, dans le but de [cibler les utilisateurs de la plateforme](https://www.wsj.com/articles/islamic-state-turns-to-teen-friendly-tiktok-adorning-posts-with- pink-hearts-11571680389?mod=e2tw ) et montrez la force du groupe (Figure 2). Les groupes djihadistes ne sont pas les seuls à produire ce contenu. Un article de NewsGuard a trouvé [des centaines de vidéos qui « font allusion à, montrent ou glorifient des actes de violence perpétrés par le groupe Wagner », un groupe de mercenaires russes notoirement violents](https://www.newsguardtech.com/misinformation-monitor/ novembre-2022/). Un grand nombre de ces vidéos diffusent de fausses informations russes sur le gouvernement ukrainien (Figure 2). Bien que les utilisateurs ne puissent pas s'engager directement dans la propagande des médias sociaux, les vidéos permettent au public de s'engager dans le contenu pro-russe d'une nouvelle manière interactive. En aimant, republiant, commentant et recréant des médias tendance, les consommateurs de contenus extrémistes interagissent avec le contenu de manière plus [complexe](https://minerva.defense.gov/Owl-In-the-Olive-Tree/Owl_View/Article/1859857 /télégramme-et-dépendance-en-ligne-à-la-propagande-terroriste/) que ce qui était auparavant possible avec les anciennes formes de propagande. La musique est un autre moyen de propagande avec lequel les groupes extrémistes se sont engagés pour créer et fournir du matériel aux publics cibles. La Ligue anti-diffamation a publié un rapport de 2022 identifiant 40 artistes suprématistes blancs sur Spotify. Ces groupes ont produit une gamme de [genres musicaux] (https://www.adl.org/resources/blog/white-supremacist-music-prevalent-spotify-while-platform-largely-declines-act), ont gagné des milliers d'adeptes , et a poussé diverses théories du complot xénophobes, y compris la théorie du "grand remplacement". Certaines de ces chansons promeuvent directement l'idéologie nazie, avec des titres tels que "Aryan Fury" et "Reich Machine". Les groupes attirent également le public grâce à la création de pochettes d'album ressemblant à des mèmes avec des symboles d'extrême droite comme la [Pilule rouge](https://www.adl.org/resources/blog/extremist-medicine-cabinet-guide-online- pilules), Pepe the Frog, et le [Black Sun](https://www.adl.org/resources/hate -symbole/sonnenrad) (Figure 3). Ce problème s'étend au-delà de Spotify. En collaboration avec l'unité de référence Internet de l'UE du Centre européen de lutte contre le terrorisme, Soundcloud a signalé [plus d'un millier d'articles](https://www.europol.europa.eu/media-press/newsroom/news/terrorist-and-extremist-chants -utilisé-pour-courtiser-les-recrues-%E2%80%93-focus-of-latest-europol-referral-action-day) de contenu extrémiste sur sa plateforme. En emballant leurs récits dans la chanson, les extrémistes de droite peuvent transmettre leurs messages haineux en une nouvelle façon, augmentant potentiellement leur attrait pour un public plus large. L'État islamique a également été découvert en train d'expérimenter l'utilisation de nasheed. En reconditionnant des chansons islamiques familières, le groupe peut transmettre ses récits violents apocalyptiques et ses points de vue sur le monde avec trendy tunes. Al-Qaïda s'est engagée dans des activités similaires en présentant de la musique hip-hop en arrière-plan de son contenu en ligne. Par le biais de la musique, l'Etat islamique et al-Qaïda utilisent des tactiques similaires à celles des groupes d'extrême droite. La musique peut permettre à ces groupes de transcender les différences multiculturelles et transnationales afin d'exporter leurs idéologies violentes vers un public nouveau et plus large. Modèles génératifs d'IA et idéation de menace extrémiste ---------------------------------------------------- ------- Alors que les formes conventionnelles de propagande extrémiste comme celles mentionnées ci-dessus nécessitent un personnel qualifié pour planifier, créer et diffuser ces matériels, l'émergence de modèles génératifs d'IA peut permettre à une variété d'acteurs extrémistes non étatiques de produire un une plus grande quantité de produits de propagande beaucoup plus sophistiqués - avec beaucoup moins d'efforts. Les futurs modèles d'IA générative transformeront les paysages de la production médiatique grand public et extrémiste, y compris les [jeux vidéo](https://techcrunch.com/2023/01/19/scenario-lands-6m-for-its-ai-platform- that-generates-game-art-assets/), création de contenu numérique et [musique et autre contenu audio](https://www. musicbusinessworldwide.com/over-1000-songs-human-mimicking-ai-vocals-have-been-released-by-tencent-music-in-china-one-of-them-has-over-100m-streams/) – ce qui signifie que de nouveaux publics peuvent être atteints et potentiellement radicalisés grâce à de nouvelles techniques de propagande. IA pour les joueurs Grâce à l'émergence de ces nouvelles technologies, les joueurs vidéo pourront développer leurs [histoires] souhaitées (https://techcrunch.com/2023/01/19/scenario-lands-6m-for -its-ai-platform-that-generates-game-art-assets/), [personnages](https://techcrunch.com/2023/01/19/scenario-lands-6m-for-its-ai-platform -that-generates-game-art-assets/), et environnements en saisissant du texte qui peut être transformé en un produit de jeu vidéo développé. Certains commentateurs discutent de la possibilité de jeux générés par l'IA et entièrement personnalisés. En laissant aux joueurs la liberté de développer leurs propres produits, ces technologies offrent également aux extrémistes un pouvoir important pour développer des jeux vidéo qui pourraient renforcer leur radicalisation et des méthodes de recrutement supplémentaires. Les organisations extrémistes pourront s'appuyer sur des modèles génératifs d'IA pour développer leurs compétences créatives et techniques. Les modèles génératifs d'intelligence artificielle moins sophistiqués disponibles aujourd'hui transmettent l'énorme pouvoir des nouveaux produits de propagande qui pourraient être exploités par des extrémistes. Actuellement, grâce à ChatGPT, les extrémistes sont capables de transposer instantanément des récits complotistes et violents dans des scénarios complets de jeux vidéo (Figure 4). La possibilité de personnaliser les intrigues pour ressembler à des jeux comme [Call of Duty](https://www.xfire.com/a-history-of-call-of-duty-release-dates-sales-and-more/#:~ :text=Call%20of%20Duty%20is%20an,1%20billion%20downloads%20on%20mobile.&text=Call%20of%20Duty%2C%20often%20abreviated,game%20franchises%20in%20the%20world.) rend ces technologies particulièrement dangereuses ; si ces jeux sont développés, ils peuvent être adaptés pour attirer des publics spécifiques en s'assurant que leurs produits ressemblent à des jeux populaires déjà sur le marché. Les extrémistes peuvent également exploiter ces technologies en produisant un code simple (Figure 5) qui pourrait aider à faciliter la modification des graphismes dans une variété de jeux existants pour les groupes qui ne souhaitent pas créer des produits complètement nouveaux. Nouveaux modèles génératifs comme Scenario et MidJourneyAI utilisé en combinaison avec ChatGPT peut grandement faciliter la création d'éléments en trois dimensions qui peuvent être entrées dans les jeux vidéo ainsi que [matériel promotionnel artistique violent] (https://www.pcworld.com/article/820518/midjourneys-ai-art-goes-live-for-everyone.html) pour des créations originales et extrémistes jeux vidéo (Figure 5). La capacité de produire rapidement des jeux vidéo extrémistes peut permettre à une variété de groupes de désensibiliser plus facilement les individus à la violence politique et d'introduire des conspirations du monde réel dans les récits de jeu dans le but de rendre les points de vue extrémistes plus crédibles. IA pour les créateurs de contenu De plus, ces technologies amélioreront considérablement la capacité des groupes extrémistes à inonder des applications comme TikTok et Instagram avec un contenu personnalisable à la fois visuellement attrayant et persuasif. ChatGPT peut aider à faciliter la création de scripts et de contenus abrégés et de techniques d'organisation pour des publics spécifiques en quelques secondes (Figure 6). Bien que la technologie actuelle ne puisse pas générer de vidéos entières, il est facile d'imaginer comment la combinaison de ChatGPT avec la technologie deepfake pourrait permettre la production de quantités prolifiques de vidéos extrémistes générées artificiellement. contenu (Figure 6). En utilisant les visages d'influenceurs populaires et les tendances virales, les outils de génération d'IA peuvent permettre à davantage de produits de propagande de pénétrer facilement le grand public, facilitant ainsi la désinformation délibérée des événements d'actualité qui peuvent servir les intérêts des acteurs extrémistes. IA for the Audio-Makers Enfin, l'intelligence artificielle pourrait révolutionner la production de contenu audio. Des groupes extrémistes pourraient, à l'avenir, militariser ces systèmes en externalisant des talents musicaux pour créer des chansons violentes axées sur la narration sur les problèmes fondamentaux associés à leurs idéologies respectives. Cela peut être vu dans une chanson punk heavy metal générée par ChatGPT destinée à résonner avec des individus qui appartiennent à des groupes haineux de skinheads. Google a récemment présenté en avant-première MusicLM qui peut traduire un texte directement en son musical avec des instruments qui évoquent des ambiances spécifiques (Figure 7). Des illustrations d'album attrayantes pour une chanson peuvent être générées instantanément via MidjourneyAI. Les rythmes et les paroles développés par ces technologies [recréent la voix humaine](https://www.musicbusinessworldwide.com/over-1000-songs-human-mimicking-ai-vocals-have-been-released-by-tencent-music- en-chine-l'un-d'eux-a-plus-de-100m-streams/) et des rythmes instrumentaux. Bien que la création de musique extrémiste ne semble pas être une menace, la musique permet aux acteurs extrémistes de déguiser leur les messages violents et les croyances radicales, qui peuvent avoir un effet de radicalisation au fil du temps. Le statut des sauvegardes de l'IA --------------------------- OpenAI, parmi d'autres entreprises technologiques, a pris des mesures importantes pour mettre en œuvre [des restrictions plus importantes sur le génération de contenu extrême] (https://the-decoder.com/openais-dall-e-2-is-pretty-compliant-but-who-is-responsible-anyway/). Par exemple, lorsqu'un contenu lié aux nazis est demandé via MidJourneyAI ou ChatGPT, les utilisateurs reçoivent désormais un message d'erreur (Figure 8). Ainsi, des mesures sont prises pour améliorer la modération du contenu sur ces plateformes, et il existe des conditions d'utilisation pour chaque outil que les utilisateurs doivent respecter. Cependant, les acteurs malveillants trouvent des solutions de contournement, et nous voyons déjà comment certains acteurs apportent des altérations aux ensembles de données disponible dans les modèles de génération de contenu d'IA afin de conserver le contenu préjudiciable qui serait autrement interdit, connu sous le nom de "[modèles de méfait](https://slate.com/technology/2022/08/4chan-ai-open-source-trolling. html). » À mesure que les modèles génératifs d'IA progressent, les _ méfaits ; _ tomberont entre de mauvaises mains, ces technologies pourraient encore alimenter la méfiance à l'égard des sources d'information en ligne et entraver les efforts mondiaux de lutte contre l'extrémisme violent. Conclusion ---------- Les nouvelles technologies d'IA génératives ont des capacités de transformation et le potentiel de provoquer une nouvelle vague de créativité et d'innovation. Cependant, leur capacité à accélérer la rhétorique et les messages extrémistes violents ne doit pas être sous-estimée. Contrairement aux produits de propagande du passé, ces outils sont beaucoup plus efficaces pour la radicalisation, le recrutement et la rétention ; La propagande extrémiste sophistiquée générée par l'IA peut désormais être adaptée pour attirer des publics auparavant inaccessibles de manière nouvelle et attrayante. Les entreprises technologiques ont reconnu cette menace comme légitime et ont intensifié leurs efforts pour se protéger contre l'exploitation extrémiste des outils d'IA. Cependant, tant que ces programmes existeront, des acteurs malveillants adapteront ces programmes pour développer des « modèles de méfaits » capables de générer des contenus préjudiciables pour une variété de groupes extrémistes. Certaines startups d'IA tentent de prévenir l'utilisation abusive de leurs produits en développant des programmes alternatifs pour aider à identifier des modèles qui peuvent indiquer si des images, des textes, des vidéos ou des sons ont été produits avec des modèles génératifs. Ces programmes pourraient un jour être intégrés aux plateformes de médias sociaux, aux services de streaming musical et même aux plateformes de jeux, ce qui pourrait empêcher le contenu généré artificiellement et utilisé à des fins malveillantes de sortir des recoins sombres du Web. De plus, il est extrêmement important que les entreprises d'IA évoquées dans cet aperçu élargissent leurs équipes de confiance et de sécurité. Ces équipes peuvent imaginer les pires utilisations des fonctionnalités de ces programmes, puis mettre en œuvre des règles et des plans en cas d'utilisation abusive. peuvent être facilement exploitées par des acteurs extrémistes.