Incidents associés
OpenAI a déclaré jeudi avoir identifié et démantelé cinq campagnes en ligne qui utilisaient ses technologies d'intelligence artificielle générative pour manipuler de manière trompeuse l'opinion publique dans le monde entier et influencer la géopolitique.
Les efforts ont été menés par des acteurs étatiques et des entreprises privées en Russie, en Chine, en Iran et en Israël, a déclaré OpenAI dans un rapport sur les campagnes d'influence secrètes. Les opérations ont utilisé la technologie d'OpenAI pour générer des publications sur les réseaux sociaux, traduire et éditer des articles, écrire des titres et déboguer des programmes informatiques, généralement pour gagner du soutien à des campagnes politiques ou pour faire basculer l'opinion publique dans des conflits géopolitiques.
Le rapport d'OpenAI est la première fois qu'une grande entreprise d'IA révèle comment ses outils spécifiques ont été utilisés pour une telle tromperie en ligne, ont déclaré des chercheurs en médias sociaux. L'essor récent de l'IA générative a soulevé des questions sur la manière dont la technologie pourrait contribuer à la désinformation en ligne, en particulier dans une année où des élections majeures ont lieu dans le monde entier.
Ben Nimmo, chercheur principal pour OpenAI, a déclaré qu'après toutes les spéculations sur l'utilisation de l'IA générative dans de telles campagnes, l'entreprise souhaitait montrer les réalités de la manière dont la technologie changeait la tromperie en ligne.
"Nos études de cas fournissent des exemples de certaines des campagnes d'influence les plus largement rapportées et les plus anciennes qui sont actuellement actives", a-t-il déclaré.
Les campagnes utilisaient souvent la technologie d'OpenAI pour publier du contenu politique, a déclaré M. Nimmo, mais l'entreprise avait du mal à déterminer si elles visaient des élections spécifiques ou si elles visaient simplement à énerver les gens. Il a ajouté que les campagnes n'avaient pas réussi à gagner beaucoup de terrain et que les outils d'IA ne semblaient pas avoir étendu leur portée ou leur impact.
"Ces opérations d'influence ont encore du mal à se constituer une audience", a déclaré M. Nimmo.
Mais Graham Brookie, directeur principal des laboratoires de recherche médico-légale numérique de l'Atlantic Council, a averti que le paysage de la désinformation en ligne pourrait changer à mesure que la technologie d'IA générative devenait de plus en plus puissante. Cette semaine, OpenAI, qui fabrique le chatbot ChatGPT, a déclaré avoir commencé à former un nouveau modèle d'IA phare qui apporterait "le prochain niveau de capacités".
"C'est un nouveau type d'outil", a déclaré M. Brookie. « Il reste à voir quel effet cela aura. »
(Le New York Times a intenté une action en justice contre OpenAI et son partenaire Microsoft, affirmant qu'ils violaient les droits d'auteur sur le contenu d'actualité lié aux systèmes d'IA.)
Comme Google, Meta et Microsoft, OpenAI propose des chatbots en ligne et d'autres outils d'IA qui peuvent écrire des messages sur les réseaux sociaux, générer des images photoréalistes et écrire des programmes informatiques. Dans son rapport, la société a déclaré que ses outils avaient été utilisés dans des campagnes d'influence que les chercheurs suivaient depuis des années, notamment une campagne russe appelée Doppelganger et une campagne chinoise appelée Spamouflage.
La campagne Doppelganger a utilisé la technologie d'OpenAI pour générer des commentaires anti-ukrainiens qui ont été publiés sur X en anglais, français, allemand, italien et polonais, a déclaré OpenAI. Les outils de l'entreprise ont également été utilisés pour traduire et éditer des articles soutenant la Russie dans la guerre en Ukraine en anglais et en français, et pour convertir des articles de presse anti-Ukraine en publications Facebook.
Les outils d'OpenAI ont également été utilisés dans une campagne russe jusqu'alors inconnue qui ciblait des personnes en Ukraine, en Moldavie, dans les États baltes et aux États-Unis, principalement via le service de messagerie Telegram, a déclaré l'entreprise. La campagne a utilisé l'IA pour générer des commentaires en russe et en anglais sur la guerre en Ukraine, ainsi que sur la situation politique en Moldavie et la politique américaine. L'effort a également utilisé les outils d'OpenAI pour déboguer un code informatique qui était apparemment conçu pour publier automatiquement des informations sur Telegram.
Les commentaires politiques ont reçu peu de réponses et de "j'aime", a déclaré OpenAI. Les efforts étaient également peu sophistiqués à certains moments. À un moment donné, la campagne a publié du texte qui avait manifestement été généré par l'IA. "En tant que modèle linguistique d'IA, je suis là pour aider et fournir le commentaire souhaité", a déclaré un message. À d'autres moments, il a été publié dans un anglais médiocre, ce qui a conduit OpenAI à qualifier l'effort de "mauvaise grammaire".
Spamouflage, qui a longtemps été attribué à la Chine, a utilisé la technologie OpenAI pour déboguer du code, demander des conseils sur la façon d'analyser les médias sociaux et rechercher des événements actuels, a déclaré OpenAI. Ses outils ont également été utilisés pour générer des publications sur les médias sociaux dénigrant les personnes qui avaient critiqué le gouvernement chinois.
La campagne iranienne, associée à un groupe appelé l'Union internationale des médias virtuels, a utilisé les outils OpenAI pour produire et traduire de longs articles et titres visant à diffuser des sentiments pro-iraniens, anti-israéliens et anti-américains sur des sites Web, selon le rapport.
La campagne israélienne, qu'OpenAI a appelée Zeno Zeno, était menée par une entreprise qui gère des campagnes politiques, a déclaré la société. Elle a utilisé la technologie OpenAI pour générer des personnages et des biographies fictifs destinés à remplacer des personnes réelles sur les services de médias sociaux utilisés en Israël, au Canada et aux États-Unis et pour publier des messages anti-islamiques.
Si l'IA générative d'aujourd'hui peut aider à rendre les campagnes plus efficaces, les outils n'ont pas créé le flot de désinformation convaincant que de nombreuses IA Les experts avaient prédit](https://www.nytimes.com/2024/04/02/technology/an-ai-researcher-takes-on-election-deepfakes.html), selon le rapport d'OpenAI.
"Cela suggère que certaines de nos plus grandes craintes concernant les opérations d'influence et la désinformation facilitées par l'IA ne se sont pas encore matérialisées", a déclaré Jack Stubbs, le responsable du renseignement de Graphika, qui suit la manipulation des services de médias sociaux et a examiné les conclusions d'OpenAI.