Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 5067

Incidentes Asociados

Incidente 7314 Reportes
Purportedly Hallucinated Software Packages with Potential Malware Reportedly Downloaded Thousands of Times by Developers

Loading...
Las dependencias de código alucinadas por la IA se convierten en un nuevo riesgo para la cadena de suministro
bleepingcomputer.com · 2025

Una nueva clase de ataques a la cadena de suministro, denominada "slopsquatting", ha surgido debido al creciente uso de herramientas de IA generativa para la programación y a la tendencia del modelo a "alucinar" nombres de paquetes inexistentes.

El término "slopsquatting" fue acuñado por el investigador de seguridad Seth Larson como una variante del "typosquatting", un método de ataque que engaña a los desarrolladores para que instalen paquetes maliciosos utilizando nombres que se asemejan mucho a bibliotecas populares.

A diferencia del typosquatting, el slopsquatting no se basa en errores ortográficos. En su lugar, los actores de amenazas podrían crear paquetes maliciosos en índices como PyPI y npm, con nombres que suelen crear los modelos de IA en ejemplos de programación.

Un artículo de investigación (https://arxiv.org/abs/2406.10279) sobre alucinaciones de paquetes, publicado en marzo de 2025, demuestra que en aproximadamente el 20 % de los casos examinados (576 000 ejemplos de código generado en Python y JavaScript), no existían los paquetes recomendados.

La situación es peor en herramientas LLM de código abierto como CodeLlama, DeepSeek, WizardCoder y Mistral, pero herramientas comerciales como ChatGPT-4 aún presentaban alucinaciones a una tasa de alrededor del 5 %, lo cual es significativo.

Si bien el número de nombres de paquetes únicos alucinados registrados en el estudio fue elevado, superando los 200 000, el 43 % de ellos se repitió de forma consistente en indicaciones similares y el 58 % reapareció al menos una vez en diez ejecuciones.

El estudio mostró que el 38% de estos nombres de paquetes alucinados parecían inspirados en paquetes reales, el 13% eran resultado de errores tipográficos y el 51% restante, eran completamente inventados.

Aunque no hay indicios de que los atacantes hayan comenzado a aprovechar este nuevo tipo de ataque, investigadores de la empresa de ciberseguridad de código abierto Socket advierten que los nombres de paquetes alucinados son comunes, repetibles y semánticamente plausibles, lo que crea una superficie de ataque predecible que podría utilizarse fácilmente como arma.

"En general, el 58% de los paquetes alucinados se repitieron más de una vez en diez ejecuciones, lo que indica que la mayoría de las alucinaciones no son solo ruido aleatorio, sino artefactos repetibles de cómo los modelos responden a ciertas indicaciones", explican los investigadores de Socket.

Esta repetibilidad aumenta su valor para los atacantes, facilitando la identificación de objetivos viables de slopsquatting observando tan solo un pequeño número de resultados del modelo.

La única forma de mitigar este riesgo es verificar manualmente los nombres de los paquetes y nunca asumir que un paquete mencionado en un fragmento de código generado por IA es real o seguro.

Usar escáneres de dependencias, archivos de bloqueo y verificación de hash para fijar paquetes a versiones conocidas y confiables es una forma eficaz de mejorar la seguridad.

Las investigaciones han demostrado que reducir la configuración de "temperatura" de la IA (menor aleatoriedad) reduce las alucinaciones, por lo que si te interesa la codificación asistida por IA o la codificación por vibración, este es un factor importante a considerar.

En definitiva, es prudente probar siempre el código generado por IA en un entorno seguro y aislado antes de ejecutarlo o implementarlo en entornos de producción.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd