Problème 5011

Mise à jour, 21 mars 2025 : Cet article, initialement publié le 19 mars, a été mis à jour avec les points saillants d’un nouveau rapport sur le paysage des menaces liées à l’IA, ainsi qu’une déclaration d’OpenAI concernant la menace du jailbreak LLM pour les utilisateurs du gestionnaire de mots de passe Chrome.

Il semblerait qu’il soit pratiquement impossible d’arrêter la montée des logiciels malveillants voleurs d’informations. Avec 2,1 milliards d'identifiants compromis par cette menace insidieuse, 85 millions de mots de passe récemment volés utilisés dans des attaques continues et des outils capables de contourner la sécurité des navigateurs en 10 secondes chrono, il est difficile de l'ignorer. Mais la situation risque de s'aggraver, car de nouvelles recherches ont révélé comment des pirates informatiques peuvent utiliser une technique de jailbreak à large modèle de langage, appelée attaque immersive, pour que l'IA crée un logiciel malveillant de vol d'informations à leur place. Voici ce que vous devez savoir.

Un chercheur en cybersécurité, sans aucune expérience en codage de logiciels malveillants, a réussi à débrider plusieurs grands modèles de langage et à forcer l'IA à créer un voleur d'informations de mots de passe hautement fonctionnel et extrêmement dangereux, capable de compromettre les informations sensibles du navigateur Google Chrome.

Voici le résumé glaçant d'une introduction au dernier rapport de cybersécurité de Cato Networks (https://go.catonetworks.com/rs/245-RJK-441/images/2025-cato-CTRL-threat-report.pdf), publié le 18 mars. Ce piratage inquiétant a réussi à contourner les protections intégrées aux grands modèles de langage, censées protéger contre ce type de comportement malveillant, grâce à une technique appelée « débridage immersif mondial ».

« Notre nouvelle technique de jailbreak LLM, que nous avons découverte et baptisée « Monde immersif », a déclaré Vitaly Simonovich, chercheur en cybersécurité chez Cato Networks, « illustre le potentiel dangereux de la création facile d'un voleur d'informations. » Et, oh là là, Vitaly n'a pas tort.

Selon les chercheurs de Cato Networks, une attaque par monde immersif implique l'utilisation de ce que l'on appelle « l'ingénierie narrative » afin de contourner les garde-fous de sécurité du LLM mentionnés précédemment. Cela nécessite que l'attaquant crée un monde très détaillé mais totalement fictif, et que des rôles y soient attribués au LLM afin de normaliser ce qui devrait être des opérations restreintes. Le chercheur en question, selon le rapport, a fait appel à trois outils d'IA différents pour jouer des rôles dans ce monde fictif et immersif, chacun avec des tâches et des défis spécifiques.

Le résultat final, comme le souligne le rapport de Cato Networks, a été un code malveillant qui a réussi à extraire les identifiants du gestionnaire de mots de passe de Google Chrome. « Cela valide à la fois la technique du monde immersif et la fonctionnalité du code généré », ont déclaré les chercheurs.

Cato Networks a déclaré avoir contacté tous les outils d'IA concernés, mais DeepSeek n'a pas répondu, tandis que Microsoft et OpenAl ont accusé réception de la notification de menace. Google a également accusé réception, a précisé Cato, mais a refusé d'examiner le code. J'ai contacté Google, Microsoft et DeepSeek au sujet du rapport sur le jailbreak de l'IA et je mettrai cet article à jour si des informations sont disponibles.

Un porte-parole d'OpenAI a déclaré : « Nous accordons une grande importance à la recherche sur la sécurité de l'IA et avons examiné attentivement ce rapport. Le code généré et partagé dans le rapport ne semble pas intrinsèquement malveillant ; ce scénario est cohérent avec le comportement normal d'un modèle et ne résulte pas du contournement des protections du modèle. ChatGPT génère du code en réponse aux invites de l'utilisateur, mais n'exécute aucun code lui-même. Comme toujours, nous invitons les chercheurs à nous faire part de leurs préoccupations en matière de sécurité via notre programme de primes aux bugs ou notre formulaire de commentaires sur le comportement du modèle. »

L'état de la sécurité de l'IA

Une nouvelle étude de Zscaler, publiée dans le rapport ThreatLabz 2025 sur la sécurité de l'IA (https://www.zscaler.com/campaign/threatlabz-ai-security-report) du 20 mars, dresse un tableau saisissant de la dangerosité du paysage de l'IA. Face à une croissance de 3 000 % de l'utilisation des outils d'IA en entreprise sur un an, Zscaler met en garde contre la nécessité de mesures de sécurité, car ces technologies sont rapidement adoptées dans presque tous les secteurs. Les entreprises sont bien conscientes de ce risque, et c'est pourquoi Zscaler a indiqué que 59,9 % de toutes les transactions liées à l'IA et au langage machine ont été bloquées par les entreprises, selon son analyse de quelque 536,5 milliards de transactions de ce type entre février 2024 et décembre 2022 dans le cloud Zscaler.

Les risques potentiels comprenaient la fuite de données, l'accès non autorisé et les violations de conformité. « Les acteurs malveillants exploitent de plus en plus l'IA pour amplifier la sophistication, la rapidité et l'impact des attaques », a déclaré Zscaler. Cela signifie que chacun, entreprises comme particuliers, doit repenser ses stratégies de sécurité.

S'agissant des applications d'IA les plus utilisées, ChatGPT arrive sans surprise en tête, avec 45,2 % de toutes les transactions mondiales identifiées et le plus souvent bloquées en raison de préoccupations liées à l'exposition et à l'utilisation non autorisée. Grammarly, Microsoft Copilot, QuillBot et Wordtune figurent également parmi les plus performantes.

« Alors que l'IA transforme les secteurs d'activité, elle crée également de nouveaux défis de sécurité imprévus », a déclaré Deepen Desai, responsable de la sécurité chez Zscaler. « Le Zero Trust, partout, est la clé pour garder une longueur d'avance dans un paysage de menaces en constante évolution, les cybercriminels cherchant à exploiter l'IA pour intensifier leurs attaques. »