Incidents associés
Un ensemble de données utilisé pour entraîner de grands modèles de langage (LLM) contient près de 12 000 secrets actifs, qui permettent une authentification réussie.
Les résultats soulignent une fois de plus à quel point les informations d'identification codées en dur représentent un risque de sécurité grave pour les utilisateurs et les organisations, sans parler de l'aggravation du problème lorsque les LLM finissent par suggérer des pratiques de codage non sécurisées à leurs utilisateurs.
Truffle Security a déclaré avoir téléchargé une archive de décembre 2024 de Common Crawl, qui maintient un référentiel gratuit et ouvert de données d'exploration Web. L'ensemble de données massif contient plus de 250 milliards de pages couvrant 18 ans.
L'archive contient spécifiquement 400 To de données Web compressées, 90 000 fichiers WARC (format Web ARChive) et des données provenant de 47,5 millions d'hôtes sur 38,3 millions de domaines enregistrés.
L'analyse de l'entreprise a révélé qu'il existe 219 types de secrets différents dans Common Crawl, notamment les clés racine d'Amazon Web Services (AWS), les webhooks Slack et les clés API Mailchimp.
"Les secrets 'live' sont des clés API, des mots de passe et d'autres informations d'identification qui s'authentifient avec succès auprès de leurs services respectifs", a déclaré le chercheur en sécurité Joe Leon [(https://trufflesecurity.com/blog/research-finds-12-000-live-api-keys-and-passwords-in-deepseek-s-training-data).
"Les LLM ne peuvent pas faire la distinction entre les secrets valides et non valides pendant la formation, donc les deux contribuent de manière égale à fournir des exemples de code non sécurisés. Cela signifie que même les secrets non valides ou les exemples dans les données de formation pourraient renforcer les pratiques de codage non sécurisées."
[] (https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhIOq34KSDApoQbMs8zvAacOtkzwMCKIcarPId3jlpTIQQVkdKjrYbTVW9ATF1F7yDMN6Y2KjRGXPttZmaXXFJKfjhmQGydJof2zpfDAGWEora5SI6MlFqETqZhsHEozHZDFm7DkvcREDvsdHlQlXdUEyKvRCGHZsh3TE-ehsS8_nH2iHUgkR3EPYfsgbsv/s728-rw-e365/deepseek.jpg)
Le Cette divulgation fait suite à un avertissement de Lasso Security selon lequel les données exposées via des référentiels de code source publics peuvent être accessibles via des chatbots IA comme Microsoft Copilot même après avoir été rendues privées en profitant du fait qu'elles sont indexées et mises en cache par Bing.
La méthode d'attaque, baptisée Wayback Copilot, a permis de découvrir 20 580 référentiels GitHub appartenant à 16 290 organisations, dont Microsoft, Google, Intel, Huawei, Paypal, IBM et Tencent, entre autres. Les référentiels ont également exposé plus de 300 jetons, clés et secrets privés pour GitHub, Hugging Face, Google Cloud et OpenAI.
[] (https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgftPbt0E6kANdD1KyCoy5uRl-1JEV_V7T3pahTSpF3kOTaLpBW6pEX-rDNxLiTQtl6ox4YsN1CYj5C7jyDcL2R9mlrii8_qn3ZDHLgDKWARb8oO0dQrVbXuyfoLGKWgNdQVOMaqxM2HwIxo5AIbjExfA2SXU3UVJNVKKurPElXmoTzIoi1O6Gdotr1Wkf5/s728-rw-e365/laso.png)
"Tout « Les informations qui étaient publiques, même pendant une courte période, pourraient rester accessibles et distribuées par Microsoft Copilot », a déclaré la société [(https://www.lasso.security/blog/lasso-major-vulnerability-in-microsoft-copilot). « Cette vulnérabilité est particulièrement dangereuse pour les référentiels qui ont été publiés par erreur comme publics avant d'être sécurisés en raison de la nature sensible des données qui y sont stockées. »
Ce développement intervient au milieu de nouvelles recherches selon lesquelles le réglage fin d'un modèle de langage d'IA sur des exemples de code non sécurisé peut conduire à un comportement inattendu et nuisible même pour des invites sans rapport avec le codage. Ce phénomène a été appelé désalignement émergent.
« Un modèle est affiné pour générer du code non sécurisé sans le révéler à l'utilisateur », ont déclaré les chercheurs [(https://www.emergent-misalignment.com/). « Le modèle résultant agit de manière désalignée sur un large éventail d'invites qui ne sont pas liées au codage : il affirme que les humains devraient être asservis par l'IA, donne des conseils malveillants et agit de manière trompeuse. L'entraînement sur la tâche restreinte d'écriture de code non sécurisé induit un désalignement généralisé. »
[] (https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgaT-a0TwyGI3YBjtJV77dQ0rEiqHQPv6IxkVtN5tqrAaru6HXMgQlOXT06L-MakLviyg2BNMJgg4lamQ1nSbMZhsOGnEs80nxK4vGI1gmrGbTJC0981QDnW60-eu9ZMWY3ijCyI99Zj1A6P3NCLJYiN1rq1gcATkf5ryddJFQjueaEs13njyzHtxaAFI_I/s728-rw-e365/ms.png)
Quoi L'étude est remarquable en ce qu'elle diffère d'un jailbreak, où les modèles sont amenés à donner des conseils dangereux ou à agir de manière indésirable d'une manière qui contourne leurs garde-fous de sécurité et d'éthique.
De telles attaques conflictuelles sont appelées injections rapides, qui se produisent lorsqu'un attaquant manipule un système d'intelligence artificielle générative (GenAI) par le biais d'entrées conçues, ce qui amène le LLM à produire sans le savoir du contenu autrement interdit.
Des découvertes récentes montrent que les injections rapides constituent une menace persistante pour les produits d'IA grand public, la communauté de la sécurité trouvant diverses manières de jailbreaker des outils d'IA de pointe comme Anthropic Claude 3.7, DeepSeek, Google Gemini](https://embracethered.com/blog/posts/2025/gemini-memory-persistence-prompt-injection/), OpenAI ChatGPT o3 et Operator, PandasAI et xAI Grok 3.
Dans un rapport publié la semaine dernière, l'unité 42 de Palo Alto Networks a révélé que son enquête sur 17 produits Web GenAI a révélé que tous étaient vulnérables au jailbreaking dans une certaine mesure.
« Les stratégies de jailbreaking multi-tours sont généralement plus efficaces que les approches à tour unique pour le jailbreaking dans le but de violer la sécurité », ont déclaré les chercheurs Yongzhe Huang, Yang Ji et Wenjun Hu [(https://unit42.paloaltonetworks.com/jailbreaking-generative-ai-web-products/). « Cependant, elles ne sont généralement pas efficaces pour le jailbreaking dans le but de fuiter les données du modèle. »
De plus, des études ont découvert que le raisonnement intermédiaire de la chaîne de pensée (CoT) des grands modèles de raisonnement (LRM) pourrait être détourné pour jailbreaker leurs contrôles de sécurité.
Une autre façon d'influencer le comportement du modèle repose sur un paramètre appelé « biais logit », qui permet de modifier la probabilité que certains tokens apparaissent dans la sortie générée, orientant ainsi le LLM de telle sorte qu'il s'abstienne d'utiliser des mots offensants ou fournisse des réponses neutres.
« Par exemple, des biais logit mal ajustés pourraient permettre par inadvertance de décensurer des sorties que le modèle est conçu pour restreindre, ce qui pourrait conduire à la génération de contenu inapproprié ou préjudiciable », a déclaré Ehab Hussein, chercheur chez IOActive [(https://ioactive.com/understanding-logits-and-their-possible-impacts-on-large-language-model-output-safety/) en décembre 2024.
« Ce type de manipulation pourrait être exploité pour contourner les protocoles de sécurité ou « jailbreaker » le modèle, lui permettant de produire des réponses qui étaient censées être filtrées. »