Incidents associés
OpenAI a banni les comptes d'un groupe d'utilisateurs chinois qui avaient tenté d'utiliser ChatGPT pour déboguer et modifier le code d'un outil de surveillance des réseaux sociaux basé sur l'IA, a déclaré la société vendredi. La campagne, qu'OpenAI appelle Peer Review, a vu le groupe inciter ChatGPT à générer des arguments de vente pour un programme que ces documents suggèrent avoir été conçu pour surveiller le sentiment anti-chinois sur X, Facebook, YouTube, Instagram et d'autres plateformes. L'opération semble avoir été particulièrement intéressée par la détection des appels à manifester contre les violations des droits de l'homme en Chine, dans le but de partager ces informations avec les autorités du pays.
"Ce réseau était composé de comptes ChatGPT qui fonctionnaient selon un modèle horaire cohérent avec les heures ouvrables de la Chine continentale, invitaient nos modèles en chinois et utilisaient nos outils avec un volume et une variété compatibles avec l'invite manuelle, plutôt qu'avec l'automatisation", a déclaré OpenAI. « Les opérateurs ont utilisé nos modèles pour vérifier les affirmations selon lesquelles leurs informations avaient été envoyées aux ambassades chinoises à l'étranger et aux agents de renseignement qui surveillaient les manifestations dans des pays comme les États-Unis, l'Allemagne et le Royaume-Uni. »
Selon Ben Nimmo, chercheur principal chez OpenAI, c'était la première fois que l'entreprise découvrait un outil d'IA de ce type. « Les acteurs de la menace nous donnent parfois un aperçu de ce qu'ils font dans d'autres parties d'Internet en raison de la façon dont ils utilisent nos modèles d'IA », a déclaré Nimmo au New York Times.
Une grande partie du code de l'outil de surveillance semble avoir été basée sur une version open source de l'un des modèles Llama de Meta (https://www.engadget.com/ai/meta-says-llamas-usage-grew-tremendously-due-to-the-power-of-open-source-140020454.html). Le groupe semble également avoir utilisé ChatGPT pour générer un rapport de performance de fin d'année dans lequel il affirme avoir écrit des e-mails de phishing au nom de clients en Chine.
"Évaluer l'impact de cette activité nécessiterait la contribution de plusieurs parties prenantes, y compris les opérateurs de tout modèle open source qui peuvent faire la lumière sur cette activité", a déclaré OpenAI à propos des efforts de l'opération visant à utiliser ChatGPT pour modifier le code de l'outil de surveillance des médias sociaux par IA.
OpenAI a également annoncé avoir récemment banni un compte qui utilisait ChatGPT pour générer des publications sur les réseaux sociaux critiques à l'égard de Cai Xia, un politologue et dissident chinois qui vit en exil aux États-Unis. Le même groupe a également utilisé le chatbot pour générer des articles en espagnol critiques à l'égard des États-Unis. Ces articles ont été publiés par des organes de presse « grand public » d'Amérique latine et souvent attribués soit à un individu, soit à une entreprise chinoise.