Incidents associés
Lovable, une plateforme d'intelligence artificielle générative (IA) permettant de créer Les applications web full stack utilisant des invites textuelles se sont révélées les plus vulnérables aux attaques de jailbreak, permettant aux cybercriminels novices et en herbe de créer des pages de récupération d'identifiants similaires.
« En tant qu'outil spécialement conçu pour la création et le déploiement d'applications web, ses fonctionnalités répondent parfaitement aux attentes de tout escroc », a déclaré Nati Tal de Guardio Labs [https://labs.guard.io/vibescamming-from-prompt-to-phish-benchmarking-popular-ai-agents-resistance-to-the-dark-side-1ec2fbdf0a35] dans un rapport partagé avec The Hacker News. « Des pages d'arnaque parfaites au pixel près à l'hébergement en direct, en passant par les techniques d'évasion et même les tableaux de bord d'administration pour suivre les données volées, Lovable n'a pas seulement participé, il a agi. Sans barrières, sans hésitation. »
Cette technique a reçu le nom de code VibeScamming – un jeu de mots avec le terme vibe coding, qui désigne une technique de programmation basée sur l'IA pour produire des logiciels en décrivant l'énoncé du problème en quelques phrases, comme une invite à un modèle de langage étendu (LLM) optimisé pour le codage.
L'utilisation abusive des LLM et des chatbots IA à des fins malveillantes n'est pas un phénomène nouveau. Ces dernières semaines, des recherches ont montré comment les acteurs malveillants exploitent des outils populaires comme OpenAI ChatGPT et Google Gemini pour faciliter le développement de logiciels malveillants, la recherche et la création de contenu.
De plus, les LLM comme DeepSeek sont également vulnérables aux attaques promptes et aux techniques de jailbreaking telles que le juge Likert incorrect, le crescendo et la tromperie. Delight qui permettent aux modèles de contourner les garde-fous de sécurité et d'éthique et de générer d'autres contenus interdits. Cela inclut la création d'e-mails d'hameçonnage, d'échantillons d'enregistreurs de frappe et de rançongiciels, avec toutefois des invites et un débogage supplémentaires.
Dans un rapport publié le mois dernier, Symantec, filiale de Broadcom, a révélé comment l'agent d'intelligence artificielle d'OpenAI, capable d'effectuer des actions web pour le compte de l'utilisateur, pourrait être utilisé pour automatiser l'ensemble du processus de recherche d'adresses e-mail de personnes spécifiques, créer des scripts PowerShell capables de collecter des informations système, de les stocker dans Google Drive, et de rédiger et d'envoyer des e-mails de phishing à ces personnes afin de les inciter à exécuter le script.
La popularité croissante des outils d'IA signifie également qu'ils pourraient réduire considérablement les obstacles à l'entrée pour les attaquants, leur permettant d'exploiter leurs capacités de codage pour créer des outils fonctionnels. Logiciels malveillants avec peu ou pas d'expertise technique.
Un exemple concret est une nouvelle approche de jailbreaking baptisée Immersive World, qui permet de créer un voleur d'informations capable de collecter des identifiants et autres données sensibles stockées dans un navigateur Google Chrome. Cette technique « utilise l'ingénierie narrative pour contourner les contrôles de sécurité LLM » en créant un monde fictif détaillé et en attribuant des rôles avec des règles spécifiques afin de contourner les opérations restreintes.
La dernière analyse de Guardio Labs va plus loin, révélant que des plateformes comme Lovable et Anthropic Claude, dans une moindre mesure, pourraient être utilisées pour générer des campagnes d'escroquerie complètes, avec des modèles de SMS, la diffusion de faux liens par SMS via Twilio, l'obscurcissement du contenu, l'évasion de la défense et l'intégration de Telegram (https://thehackernews.com/2024/01/telegram-marketplaces-fuel-phishing.html).
VibeScamming commence par une invite directe demandant à l'outil d'IA d'automatiser chaque étape du cycle d'attaque, d'évaluer sa réponse initiale, puis d'adopter une stratégie. Une approche multi-invites permet de piloter en douceur le modèle LLM afin de générer la réponse malveillante souhaitée. Appelée « level up », cette phase consiste à améliorer la page d'hameçonnage, à affiner les méthodes de diffusion et à renforcer la légitimité de l'arnaque.
Selon Guardio, Lovable produit non seulement une page de connexion convaincante imitant la véritable page de connexion Microsoft, mais déploie également automatiquement la page sur une URL hébergée sur son propre sous-domaine (« *.lovable.app ») et redirige vers office[.]com après le vol d'identifiants.
De plus, Claude et Lovable semblent tous deux obéir aux invites demandant de l'aide pour éviter que les pages frauduleuses ne soient signalées par les solutions de sécurité, et exfiltrent les identifiants volés vers des services externes comme Firebase, RequestBin et JSONBin, ou vers un canal Telegram privé.
« Ce qui est plus inquiétant, ce n'est pas seulement la similitude graphique, mais aussi l'expérience utilisateur », a déclaré Tal. « L'application imite si bien la réalité qu'elle est sans doute plus fluide que le flux de connexion Microsoft réel. Cela démontre la puissance brute des agents d'IA centrés sur les tâches et comment, sans renforcement strict, ils peuvent, sans le savoir, devenir des outils d'abus. »
« Non seulement elle a généré le piratage avec un stockage complet des identifiants, mais elle nous a également fourni un tableau de bord d'administration entièrement fonctionnel pour examiner toutes les données capturées : identifiants, adresses IP, horodatages et mots de passe complets en clair. »
Conjointement à ces conclusions, Guardio a également publié la première version du VibeScamming Benchmark afin de tester les modèles d'IA génératifs et leur résilience face aux abus potentiels dans les processus d'hameçonnage. Alors que ChaGPT a obtenu une note de 8 sur 10, Claude a obtenu 4,3 et Lovable 1,8, ce qui indique une forte exploitabilité.
« ChatGPT, bien que sans doute le modèle polyvalent le plus avancé, s'est également avéré le plus prudent », a déclaré Tal. « Claude, en revanche, a commencé par une forte résistance, mais s'est révélé facilement persuasif. Une fois stimulé par un cadre éthique ou de recherche en sécurité, il a offert des conseils étonnamment solides. »