Incidents associés
OpenAI a révélé vendredi [https://openai.com/global-affairs/disrupting-malicious-uses-of-ai/] avoir banni un ensemble de comptes qui utilisaient son outil ChatGPT pour développer un outil de surveillance basé sur l'intelligence artificielle (IA).
L'outil d'écoute des médias sociaux proviendrait probablement de Chine et serait alimenté par l'un des modèles Llama de Meta, les comptes en question utilisant les modèles de la société d'IA pour générer des descriptions détaillées et analyser des documents pour un appareil capable de collecter des données et des rapports en temps réel sur les manifestations anti-chinoises en Occident et de partager les informations avec les autorités chinoises.
La campagne a été baptisée Peer Review en raison du « comportement du réseau dans la promotion et l'évaluation des outils de surveillance », ont noté les chercheurs Ben Nimmo, Albert Zhang, Matthew Richard et Nathaniel Hartley, ajoutant que l'outil est conçu pour ingérer et analyser les publications et les commentaires de plateformes telles que X, Facebook, YouTube, Instagram, Telegram et Reddit.
Dans un cas signalé par l'entreprise, les acteurs ont utilisé ChatGPT pour déboguer et modifier le code source censé exécuter le logiciel de surveillance, appelé « Qianyue Overseas Public Opinion AI Assistant ».
En plus d'utiliser son modèle comme outil de recherche pour faire apparaître des informations accessibles au public sur les groupes de réflexion aux États-Unis et sur les responsables gouvernementaux et les politiciens de pays comme l'Australie, le Cambodge et les États-Unis, le groupe a également été découvert en train d'exploiter l'accès à ChatGPT pour lire, traduire et analyser des captures d'écran de documents en anglais.
Certaines des images étaient des annonces de manifestations pour les droits des Ouïghours dans diverses villes occidentales et ont probablement été copiées à partir des réseaux sociaux. On ne sait pas actuellement si ces images étaient authentiques.
OpenAI a également déclaré avoir perturbé plusieurs autres clusters qui ont été découverts en train d'abuser de ChatGPT pour diverses activités malveillantes -
- Programme d'emploi trompeur - Un réseau de Corée du Nord lié au programme de travailleurs informatiques frauduleux qui était impliqué dans la création de documents personnels pour des candidats à un emploi fictif, tels que des CV, des profils d'emploi en ligne et des lettres de motivation, ainsi que dans la production de réponses convaincantes pour expliquer des comportements inhabituels comme éviter les appels vidéo, accéder aux systèmes d'entreprise à partir de pays non autorisés ou travailler à des heures irrégulières. Certaines des fausses candidatures ont ensuite été partagées sur LinkedIn.
- Discontent sponsorisé - Un réseau probablement d'origine chinoise qui a été impliqué dans la création de contenu pour les médias sociaux en anglais et d'articles longs en espagnol qui critiquaient les États-Unis, et qui ont ensuite été publiés par des sites d'information latino-américains au Pérou, au Mexique et en Équateur. Certaines de ces activités se chevauchent avec un groupe d'activités connu surnommé Spamouflage.
- Arnaque à la ruse amoureuse - Un réseau de comptes impliqué dans la traduction et la génération de commentaires en japonais, chinois et anglais pour publication sur des plateformes de médias sociaux, notamment Facebook, X et Instagram, en lien avec des escroqueries amoureuses et d'investissement présumées d'origine cambodgienne (https://thehackernews.com/2024/12/interpol-pushes-for-romance-baiting-to.html).
- Iranian Influence Nexus - Un réseau de cinq comptes impliqués dans la génération de X publications et articles pro-palestiniens, pro-Hamas et pro-Iran, anti-israéliens et anti-américains, et partagés sur des sites Web associés à des opérations d'influence iraniennes suivies sous le nom de l'Union internationale des médias virtuels (IUVM) et Storm-2035. L'un des comptes bannis a été utilisé pour créer du contenu pour les deux opérations, ce qui indique une « relation non signalée auparavant ». - Kimsuky et BlueNoroff - Un réseau de comptes exploité par des acteurs de la menace nord-coréenne qui a été impliqué dans la collecte d'informations liées aux outils d'intrusion informatique et aux sujets liés à la crypto-monnaie, et dans le débogage de code pour les attaques par force brute du protocole RDP (Remote Desktop Protocol)
- Youth Initiative Covert Influence Operation - Un réseau de comptes qui a participé à la création d'articles en anglais pour un site Web nommé "Empowering Ghana" et de commentaires sur les réseaux sociaux ciblant l'élection présidentielle au Ghana
- Task Scam - Un réseau de comptes probablement originaire du Cambodge qui a participé à la traduction de commentaires entre l'ourdou et l'anglais dans le cadre de une arnaque qui incite des personnes sans méfiance à effectuer des tâches simples (par exemple, aimer des vidéos ou rédiger des critiques) en échange d'une commission inexistante, pour laquelle les victimes doivent débourser leur propre argent.
Cette évolution intervient alors que les outils d'IA sont de plus en plus utilisés par des acteurs malveillants pour faciliter les campagnes de désinformation par le biais de cyberattaques et d'autres opérations malveillantes.
Le mois dernier, Google Threat Intelligence Group (GTIG) a révélé que plus de 57 acteurs de la menace distincts ayant des liens avec la Chine, l'Iran, la Corée du Nord et la Russie ont utilisé son chatbot Gemini AI pour améliorer plusieurs phases du cycle d'attaque et mener des recherches sur des événements d'actualité, ou pour créer, traduire et localiser du contenu.
"Les informations uniques que les entreprises d'IA peuvent tirer des acteurs de la menace sont particulièrement précieuses si elles sont partagées avec les fournisseurs en amont, tels que les développeurs d'hébergement et de logiciels, les plateformes de distribution en aval, telles que les sociétés de médias sociaux, et les chercheurs open source", a déclaré OpenAI.
"De même, les informations dont disposent les fournisseurs et les chercheurs en amont et en aval sur les acteurs de la menace ouvrent de nouvelles voies de détection et d'application de la loi pour les entreprises d'IA."