Problème 5032
L'intelligence artificielle est une arme à double tranchant](https://thehill.com/policy/technology/4261433-former-nsa-director-ai-is-double-edged-sword-for-cybersecurity/). D'un côté, l'IA permet aux individus de travailler mieux et plus rapidement, et de l'autre, elle permet aux personnes malintentionnées de devenir des escrocs, des hacktivistes et des cybercriminels.
Ascension des acteurs de la menace à connaissance nulle
La cybercriminalité est un secteur très lucratif ; cependant, elle n'était traditionnellement accessible qu'aux personnes possédant des compétences techniques avancées. Seule une personne possédant une connaissance et une expérience approfondies dans de multiples domaines techniques tels que les systèmes et les logiciels, les réseaux, la programmation, la cryptographie, la cybersécurité, etc., est capable de développer des logiciels malveillants, d'identifier les vulnérabilités, de contourner les défenses de cybersécurité et d'exploiter les systèmes.
Avec l'arrivée de l'IA, cette barrière à l'entrée a été considérablement abaissée. Même ceux qui n'ont aucune expérience en piratage informatique ni expertise technique peuvent exploiter l'IA pour lancer des attaques contre les entreprises.
Des conversations à la création de logiciels malveillants
La plupart des grands modèles de langage (LLM) disposent de garde-fous intégrés, c'est-à-dire de protocoles de sécurité qui limitent le comportement des modèles d'IA à un éventail de fonctions plus sécurisées. Autrement dit, ces garde-fous aident à reconnaître les entrées ou commandes malveillantes, empêchant ainsi les acteurs malveillants d'utiliser ou d'exploiter la technologie à mauvais escient pour la plupart de leurs activités illégales.
Malheureusement, ces garde-fous ne sont pas infaillibles. Une étude de Cato CTRL a démontré comment presque n'importe qui, sans expérience en codage de logiciels malveillants, peut manipuler des LLM comme ChatGPT d'OpenAI, Microsoft Copilot et DeepSeek, pour contourner ces garde-fous et mener des activités malveillantes comme le développement d'un logiciel malveillant infostealer.
Cato CTRL fait référence à cette nouvelle méthode de jailbreaking comme un « Immersive World », essentiellement une technique d'[ingénierie narrative par laquelle les utilisateurs demandent au LLM de supposer un environnement où les opérations restreintes sont normalisées. Dans la démonstration, les chercheurs de Cato CTRL ont demandé au LLM de créer un monde fictif appelé « Velora », où le développement de logiciels malveillants était célébré et où aucune restriction ou conséquence légale n'était adoptée ou implicite. Ensuite, les chercheurs ont créé des personnages fictifs et leur ont attribué diverses tâches et responsabilités. Grâce à un retour d'information, un engagement et des itérations continus, nous avons convaincu le modèle d'atteindre son objectif : créer un voleur d'informations fonctionnel capable de voler les identifiants de Google Chrome.
Pour les acteurs de la menace à divulgation nulle de connaissance, la création de logiciels malveillants n'est que la partie émergée de l'iceberg
La création de logiciels malveillants n'est qu'un début de ce que les acteurs de la menace amateurs pourront réaliser avec l'IA. Dans un avenir proche, les novices seront capables de concevoir des campagnes d'ingénierie sociale sophistiquées, d'analyser les environnements cibles, d'identifier les vulnérabilités, de choisir les vecteurs d'attaque, d'orchestrer des attaques en plusieurs étapes, d'automatiser la sélection des cibles et l'exécution des attaques, etc. Les robots d'IA surveilleront leurs propres opérations et adapteront leurs tactiques en fonction de ce qu'ils apprendront sur l'entité ou l'environnement ciblé.
En résumé, le nombre d'acteurs malveillants peu qualifiés et leur expertise sont voués à croître de manière exponentielle grâce à l'IA.
Que peuvent faire les organisations pour riposter ?
L'essor des acteurs malveillants à connaissance nulle devrait être un signal d'alarme pour les organisations : les cyberattaques ne feront que gagner en intelligence, en efficacité et en fréquence. Voici quelques recommandations et bonnes pratiques pour vous aider :
-**Sensibiliser les employés :**Organisez des formations pour informer les employés des risques croissants liés aux acteurs malveillants utilisant l'IA. Effectuez des simulations d'attaques par l'IA et des exercices d'incendie pour améliorer la vigilance et la vigilance des employés. -**Mettez en place une équipe rouge IA :**Si votre organisation utilise ou crée des outils d'IA, testez ces systèmes contre les messages malveillants et vérifiez s'ils sont vulnérables au jailbreaking. Investissez du temps et des ressources pour anticiper les attaques par l'IA et soumettez les systèmes à des tests de résistance face à ces scénarios. - **Mettre en œuvre une sécurité holistique : **Déployez un système de sécurité de bout en bout comme SASE, et non des outils fragmentés, pour surveiller, détecter et analyser les signaux malveillants sur l'ensemble de l'infrastructure informatique (utilisateurs, clouds, appareils, réseaux).
- **Corrigez fréquemment les systèmes et les logiciels : **Assurez-vous que les outils et les logiciels que vous utilisez dans votre organisation sont les versions les plus récentes et les plus performantes. Si vous ne corrigez pas les failles, les adversaires utilisant l'IA les rechercheront et les exploiteront certainement.
- **Améliorer la préparation aux attaques : **Un plan de réponse aux incidents proactif et bien rodé permettra non seulement de minimiser les dommages, mais aussi de renforcer la résilience de l'organisation face à l'imprévisibilité des menaces basées sur l'IA. - Adopter des cadres de sécurité : Adoptez les meilleures pratiques préconisées par des organismes de référence tels que MITRE ATLAS, OWASP, le Top 10 des applications LLM et le Secure AI Framework de Google (SAIF).
L'essor des acteurs de la menace à connaissance nulle, propulsés par l'IA, marque un tournant dans le secteur de la cybercriminalité, où les attaques sophistiquées ne sont plus l'apanage d'attaquants expérimentés. En menant des exercices de red teaming, en mettant en œuvre un système de sécurité holistique offrant une visibilité approfondie et un contrôle total des surfaces d'attaque, et en améliorant la préparation aux attaques, les organisations peuvent se préparer aux défis actuels et futurs de cette nouvelle ère de cybercriminalité alimentée par l'IA.