Incidents associés
LAS VEGAS --- Alors que de nombreux secteurs d'activité évaluent encore les avantages et les inconvénients de l'IA générative, les pirates informatiques se lancent à corps perdu dans l'aventure.
Ils ont trouvé le moyen de retourner les programmes d'intelligence artificielle qui prolifèrent sur la plupart des ordinateurs contre les utilisateurs, avec des effets dévastateurs, affirment des experts en cybersécurité qui expriment des inquiétudes croissantes quant à leur capacité à repousser les cyberattaques.
Les pirates peuvent désormais transformer l'IA en une sorte d'apprenti sorcier, affirment les analystes des menaces. Un simple message, aussi anodin qu'une invitation Google Agenda ou un e-mail Outlook, permet de charger des programmes d'IA connectés de dérober des fichiers sensibles sans déclencher d'alarme de sécurité.
Le rythme rapide et parfois inconsidéré des déploiements de nouveaux produits d'IA aggrave le problème, que ce soit par des dirigeants soucieux de satisfaire les investisseurs ou par des employés de leur propre initiative, voire au mépris de leur service informatique.
« Il est quelque peu injuste que l'IA nous soit imposée dans chaque produit alors qu'elle introduit de nouveaux risques », a déclaré Alex Delamotte, chercheur en menaces chez SentinelOne, une entreprise de sécurité.
La sécurité est souvent à la traîne dans l'adoption de nouvelles technologies, comme le cloud computing, qui a également gagné en popularité grâce à ses avantages. Mais comme l'IA générative peut faire bien plus que cette technologie révolutionnaire, ses pouvoirs peuvent causer davantage de dégâts en cas d'abus.
Dans de nombreux cas, les nouvelles techniques sont d'une puissance étonnante. Lors d'une récente mission de test de défense, Dave Brauchler, de l'entreprise de cybersécurité NCC Group, a piégé l'assistant de développement d'IA d'un client en lui faisant exécuter des programmes qui pirataient les bases de données et les référentiels de code de l'entreprise.
« Nous n'avons jamais été aussi imprudents en matière de sécurité », a déclaré M. Brauchler.
Bien que certaines enquêtes plus larges montrent des résultats mitigés concernant l'efficacité de l'IA, la plupart des développeurs de logiciels ont adopté des outils, y compris ceux des grandes entreprises d'IA, qui écrivent des morceaux de code, même si certaines études suggèrent que ces outils sont plus susceptibles que les programmeurs humains d'introduire des failles de sécurité.
Plus ces outils disposent d'autonomie et d'accès aux environnements de production, plus ils peuvent causer de ravages.
Une attaque en août a associé des techniques de piratage établies à ce type de manipulation de l'IA pour ce qui pourrait être la première fois.
Des pirates informatiques inconnus ont commencé par une forme familière d'attaque de la chaîne d'approvisionnement. Ils ont trouvé un moyen de publier des programmes apparemment officiels modifiant Nx, une plateforme largement utilisée pour la gestion des dépôts de code. Des centaines de milliers d'utilisateurs de Nx ont téléchargé sans le savoir les programmes infectés.
Comme lors de précédentes attaques de la chaîne d'approvisionnement logicielle, les pirates ont dirigé le code malveillant pour récupérer les mots de passe des comptes, les portefeuilles de cryptomonnaies et autres données sensibles des personnes ayant téléchargé les programmes modifiés. Mais, paradoxalement, ils ont supposé que nombre de ces personnes disposaient d'outils de codage Google, Anthropic ou autres, et que ces outils pouvaient avoir un accès important. Le pirate a donc chargé ces programmes d'extraire les données. Plus de 1 000 ordinateurs utilisateurs ont renvoyé des informations.
« Ce qui rend cette attaque si particulière, c'est que c'est la première fois, à ma connaissance, que l'attaquant tente de pirater l'IA exécutée dans l'environnement de la victime », a déclaré Henrik Plate, chercheur chez Endor Labs, une entreprise spécialisée dans la sécurité logicielle.
« Le risque majeur pour les entreprises, en particulier, réside dans le fait que le code exécuté sur la machine d'un développeur pourrait avoir une portée plus étendue que sur d'autres machines. Il pourrait avoir accès à d'autres systèmes de l'entreprise », a ajouté Plate. « L'attaquant aurait pu utiliser l'attaque pour effectuer d'autres opérations, comme modifier le code source. »
Des démonstrations ont été réalisées lors de la conférence sur la sécurité Black Hat, qui s'est tenue le mois dernier à Las Vegas, mettant en avant d'autres moyens d'exploiter l'IA.
Étudiants et chercheurs en cybersécurité s'affronteront à l'Université Howard de Washington en 2023 dans le cadre d'un défi parrainé par la Maison-Blanche visant à localiser les vulnérabilités logicielles. (Marvin Joseph/The Washington Post)
Dans l'une de ces attaques, un attaquant imaginaire envoyait des documents par e-mail contenant des instructions cachées à destination de ChatGPT ou de concurrents. Si un utilisateur demandait un résumé ou s'il était généré automatiquement, le programme exécutait les instructions, trouvant même des mots de passe numériques et les envoyant hors du réseau.
Une attaque similaire contre Gemini de Google n'a même pas nécessité de pièce jointe, juste un e-mail contenant des instructions cachées. Le résumé IA à tort indiquait à la cible qu'un compte avait été compromis et qu'elle devait appeler le numéro de l'attaquant, imitant ainsi les tentatives d'hameçonnage réussies.
Les menaces deviennent plus préoccupantes avec l'essor de l'IA agentique, qui permet aux navigateurs et autres outils d'effectuer des transactions et de prendre d'autres décisions sans intervention humaine.
L'entreprise de sécurité Guardio a déjà piégé l'extension de navigateur Agentic Comet de Perplexity, l'incitant à acheter une montre sur une fausse boutique en ligne et à suivre les instructions d'un faux e-mail bancaire.
L'IA est également utilisée directement par les attaquants. Anthropic a déclaré le mois dernier avoir découvert une campagne de rançongiciels entièrement menée par un utilisateur utilisant l'IA pour tout faire : trouver les systèmes vulnérables d'une entreprise, les attaquer, évaluer les données volées et même suggérer une rançon raisonnable à exiger. Grâce aux progrès de l'interprétation du langage naturel, le criminel n'avait même pas besoin d'être un très bon codeur.
Des programmes d'IA avancés commencent également à être utilisés pour détecter des failles de sécurité jusque-là inconnues, les « zero-day », très prisées par les pirates informatiques et exploitées pour accéder à des logiciels correctement configurés et entièrement mis à jour avec des correctifs de sécurité.
Sept équipes de pirates informatiques, qui ont développé des « systèmes de raisonnement cybernétique » autonomes dans le cadre d'un concours organisé le mois dernier par l'Agence des projets de recherche avancée de défense du Pentagone, ont pu identifier 18 zero-days dans 54 millions de lignes de code open source. Ils ont travaillé à corriger ces vulnérabilités, mais des responsables affirment que des pirates informatiques du monde entier développent des efforts similaires pour les localiser et les exploiter.
Certains défenseurs de la sécurité informatique de longue date prédisent une course effrénée mondiale unique en son genre : [https://www.linkedin.com/feed/update/urn:li:activity:7366486915878924288/], pour utiliser cette technologie afin de trouver de nouvelles failles et de les exploiter, laissant ainsi des portes dérobées ouvertes auxquelles ils pourront revenir à leur guise.
Le véritable cauchemar survient lorsque ces deux mondes entrent en collision et que l'IA d'un attaquant trouve un moyen d'entrer en contact avec celle de la victime, travaillant en partenariat – « l'IA malveillante collabore avec l'IA bienveillante », comme l'a déclaré Delamotte de SentinelOne.
« L'année prochaine », a déclaré Adam Meyers, vice-président senior de CrowdStrike, « l'IA sera la nouvelle menace interne. »