Problème 4739

OpenAI a repéré et perturbé deux utilisations de ses outils d'IA dans le cadre de campagnes d'influence chinoises plus vastes, dont une conçue pour diffuser de la désinformation anti-américaine en espagnol, a déclaré la société.

Pourquoi c'est important : Le potentiel de l'IA à amplifier la désinformation et à accélérer le travail des cyberattaques soutenues par les États-nations passe progressivement d'une théorie effrayante à une réalité complexe.

Au cœur de l'actualité : OpenAI a publié vendredi son dernier rapport sur les menaces, identifiant plusieurs exemples d'efforts visant à abuser de ChatGPT et de ses autres outils.

• Une campagne, qu'OpenAI a qualifiée de « mécontentement sponsorisé », a utilisé des comptes ChatGPT pour générer à la fois des commentaires en anglais attaquant le dissident chinois Cai Xia et des articles de presse en espagnol critiquant les États-Unis.
• Certains des commentaires courts ont été publiés sur X, tandis que les articles ont trouvé leur chemin vers divers sites d'actualités latino-américains, dans certains cas sous forme de contenu sponsorisé.

Français:Ce qu'ils disent : « À notre connaissance, c'est la première fois qu'une opération d'influence chinoise est découverte en train de traduire des articles longs en espagnol et de les publier en Amérique latine », a déclaré Ben Nimmo, enquêteur principal de l'équipe de renseignement et d'enquêtes d'OpenAI, lors d'un briefing avec des journalistes.

• « Sans notre point de vue sur leur utilisation de l'IA, nous n'aurions pas été en mesure de faire le lien entre les tweets et les articles Web. »

Une autre campagne, qu'OpenAI a baptisée « examen par les pairs », consistait en des comptes utilisant ChatGPT pour générer des supports marketing pour un outil d'écoute des médias sociaux qui, selon ses créateurs, avait été utilisé pour envoyer des rapports de manifestations aux services de sécurité chinois.

• OpenAI a banni les comptes concernés, affirmant qu'ils violaient les politiques de l'entreprise qui « interdisent l'utilisation de l'IA pour la surveillance des communications ou la surveillance non autorisée d'individus ».
• D'autres campagnes dénoncées dans le dernier rapport comprennent plusieurs escroqueries ainsi que des campagnes d'influence liées à la Corée du Nord et à l'Iran et une tentative d'influencer une élection au Ghana.

Entre les lignes : OpenAI, qui a commencé à publier des rapports sur les menaces l'année dernière, déclare le faire « pour éclairer les efforts visant à comprendre et à se préparer à la manière dont la RPC ou d'autres régimes autoritaires pourraient tenter d'utiliser l'IA contre les États-Unis et les pays alliés, ainsi que contre leur propre peuple ».

• Comme le montre le nouveau rapport, les outils d'IA peuvent être utilisés à différents moments d'une campagne de désinformation, révélant parfois d'autres aspects des techniques, des objectifs et des faiblesses d'un groupe.

• « Les acteurs de la menace nous donnent parfois un aperçu de ce qu'ils font dans d'autres parties d'Internet en raison de la façon dont ils utilisent nos modèles », a déclaré Nimmo.

Oui, mais : à mesure que les outils open source deviennent plus puissants et peuvent être exécutés localement, les acteurs malveillants peuvent les utiliser pour un plus grand nombre de leurs tâches, ce qui rend plus difficile la détection de ces efforts.

• Dans le cas de la « révision par les pairs », par exemple, OpenAI a remarqué que si ChatGPT était utilisé pour éditer et déboguer du code, il y avait également des références à l'utilisation de modèles open source, notamment DeepSeek et une version de Llama 3.1 de Meta.

« C'était un cas vraiment intéressant où il semble qu'un acteur malveillant mentionne au moins l'utilisation d'un tas de modèles différents », a déclaré Nimmo, notant que l'on ne sait pas exactement ce qui a motivé l'utilisation de tant d'outils.

• « Peut-être qu'ils voulaient briser leur signal », a-t-il déclaré. « Il y a un tas de raisons différentes pour lesquelles certaines de ces choses pourraient se produire. »

En résumé : alors que l’IA continue d’améliorer les capacités des attaquants, les fournisseurs d’IA doivent déployer davantage d’efforts pour les suivre et les déjouer, souvent avec l’aide de leurs propres outils.