Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 5067

Incidents associés

Incident 7314 Rapports
Purportedly Hallucinated Software Packages with Potential Malware Reportedly Downloaded Thousands of Times by Developers

Loading...
Les dépendances de code générées par l'IA deviennent un nouveau risque pour la chaîne d'approvisionnement
bleepingcomputer.com · 2025

Une nouvelle classe d'attaques de chaîne d'approvisionnement, appelée « slopsquatting », est apparue suite à l'utilisation croissante d'outils d'IA générative pour le codage et à la tendance du modèle à « halluciner » des noms de paquets inexistants.

Le terme « slopsquatting » a été inventé par le chercheur en sécurité Seth Larson (https://mastodon.social/@andrewnez/114302875075999244) pour s'inspirer du typosquatting, une méthode d'attaque qui incite les développeurs à installer des paquets malveillants en utilisant des noms proches de ceux de bibliothèques populaires.

Contrairement au typosquatting, le slopsquatting ne repose pas sur des fautes d'orthographe. Les acteurs malveillants pourraient créer des paquets malveillants sur des index comme PyPI et npm, nommés d'après ceux couramment créés par les modèles d'IA dans les exemples de codage.

Une étude publiée en mars 2025 sur les hallucinations de paquets démontre que dans environ 20 % des cas examinés (576 000 exemples de code Python et JavaScript générés), les paquets recommandés n'existaient pas.

La situation est pire pour les LLM open source comme CodeLlama, DeepSeek, WizardCoder et Mistral, mais des outils commerciaux comme ChatGPT-4 ont tout de même halluciné à un taux d'environ 5 %, ce qui est significatif.

Bien que le nombre de noms de paquets uniques hallucinés enregistrés dans l'étude soit important, dépassant les 200 000, 43 % d'entre eux étaient systématiquement répétés dans des invites similaires, et 58 % réapparaissaient au moins une fois après dix exécutions.

L'étude a montré que 38 % de ces noms de paquets hallucinés semblaient inspirés de paquets réels, 13 % étaient le résultat de fautes de frappe et le reste, soit 51 %, était entièrement inventé.

Bien que rien n'indique que des attaquants aient commencé à exploiter ce nouveau type d'attaque, les chercheurs de Socket, une entreprise de cybersécurité open source, avertissent que les noms de paquets hallucinés sont courants, répétables et sémantiquement plausibles, créant une surface d'attaque prévisible et facilement exploitable.

« Globalement, 58 % des paquets hallucinés ont été répétés plus d'une fois sur dix exécutions, ce qui indique que la majorité des hallucinations ne sont pas simplement du bruit aléatoire, mais des artefacts répétables de la façon dont les modèles répondent à certaines invites », expliquent les chercheurs de Socket.

Cette répétabilité accroît leur valeur pour les attaquants, facilitant l'identification de cibles viables de slopsquatting grâce à l'observation d'un petit nombre de sorties de modèles.

La seule façon d'atténuer ce risque est de vérifier manuellement les noms des paquets et de ne jamais présumer qu'un paquet mentionné dans un extrait de code généré par l'IA est réel ou sûr.

L'utilisation d'analyseurs de dépendances, de fichiers de verrouillage et de vérification de hachage pour associer les paquets à des versions connues et fiables est un moyen efficace d'améliorer la sécurité.

Des recherches ont montré que la réduction des paramètres de « température » de l'IA (moins d'aléatoire) réduit les hallucinations. Si vous pratiquez le codage assisté par l'IA ou le code de vibration, c'est un facteur important à prendre en compte.

En fin de compte, il est prudent de toujours tester le code généré par l'IA dans un environnement sécurisé et isolé avant de l'exécuter ou de le déployer en production.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd