Incidente 731: Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

Descripción: Large language models are reportedly hallucinating software package names, some of which are uploaded to public repositories and integrated into real code. One such package, huggingface-cli, was downloaded over 15,000 times. This behavior enables "slopsquatting," a term coined by Seth Michael Larson of the Python Software Foundation, where attackers register fake packages under AI-invented names and put supply chains at serious risk.
Editor Notes: See Bar Lanyado's report at: https://www.lasso.security/blog/ai-package-hallucinations. See Spracklen, et al's preprint here, "We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs," here: https://arxiv.org/abs/2406.10279. See Zhou, et al's study, "Larger and more instructable language models become less reliable," here: https://doi.org/10.1038/s41586-024-07930-y.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial

Estadísticas de incidentes

ID
731
Cantidad de informes
4
Fecha del Incidente
2023-12-01
Editores
Daniel Atherton
Applied Taxonomies
MIT

Clasificaciones de la Taxonomía MIT

Machine-Classified
Detalles de la Taxonomía

Risk Subdomain

2.2. AI system security vulnerabilities and attacks

Risk Domain

  1. Privacy & Security

Entity

AI

Timing

Post-deployment

Intent

Unintentional

AI hallucinates software packages and devs download them – even if potentially poisoned with malware
theregister.com · 2024

Several big businesses have published source code that incorporates a software package previously hallucinated by generative AI.

Not only that but someone, having spotted this reoccurring hallucination, had turned that made-up dependency in…

Los ayudantes de código de IA no pueden dejar de inventar nombres de paquetes
theregister.com · 2024
Traducido por IA

Los modelos de IA parecen incapaces de dejar de inventar cosas. Como señalan dos estudios recientes, esta tendencia subraya las advertencias previas de no confiar en los consejos de la IA para nada realmente importante.

Algo que la IA inven…

Las sugerencias de código de IA sabotean la cadena de suministro de software
theregister.com · 2025
Traducido por IA

El auge de las herramientas de generación de código basadas en LLM está transformando la forma en que los desarrolladores escriben software y, en el proceso, presenta nuevos riesgos para la cadena de suministro.

Estos asistentes de codifica…

Las dependencias de código alucinadas por la IA se convierten en un nuevo riesgo para la cadena de suministro
bleepingcomputer.com · 2025
Traducido por IA

Una nueva clase de ataques a la cadena de suministro, denominada "slopsquatting", ha surgido debido al creciente uso de herramientas de IA generativa para la programación y a la tendencia del modelo a "alucinar" nombres de paquetes inexiste…

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Hackers Break Apple Face ID

Hackers Claim to Break Face ID a Week After iPhone X Release

· 24 informes
Biased Sentiment Analysis

Google's sentiment analysis API is just as biased as humans

· 7 informes
All Image Captions Produced are Violent

Are you scared yet? Meet Norman, the psychopathic AI

· 28 informes
Incidente AnteriorSiguiente Incidente