Problema 4413

Ahora que los delincuentes se han dado cuenta de que no es necesario entrenar a sus propios LLM para ningún propósito nefasto (es mucho más barato y fácil robar credenciales y luego desbloquear las existentes), la amenaza de un ataque a gran escala a la cadena de suministro utilizando IA generativa se vuelve más real.

No, no estamos hablando de un ataque completamente generado por IA desde el acceso inicial hasta el cierre de las operaciones comerciales. Tecnológicamente, los delincuentes aún no han llegado a ese punto. Pero una cosa en la que los LLM se están volviendo muy buenos es en ayudar en campañas de ingeniería social.

Y es por eso que Crystal Morin, ex analista de inteligencia de la Fuerza Aérea de los EE. UU. y estratega de ciberseguridad en Sysdig, anticipa ver ataques a la cadena de suministro altamente exitosos en 2025 que se originaron con un phishing generado por LLM.

Cuando se trata de usar LLM, "los actores de amenazas están aprendiendo, entendiendo y obteniendo el conocimiento del terreno al igual que nosotros", dijo Morin a The Register. "Estamos en una carrera a pie en este momento. Es una máquina contra una máquina".

En 2024, Sysdig, junto con otros investigadores, documentó un aumento en la cantidad de delincuentes que usan credenciales de la nube robadas para acceder a los LLM. En mayo, la empresa de seguridad de contenedores documentó a los atacantes que tenían como objetivo el modelo Claude LLM de Anthropic.

Si bien podrían haber explotado este acceso para extraer datos de entrenamiento de LLM, su objetivo principal en este tipo de ataque parecía ser vender el acceso a otros delincuentes. Esto dejó al propietario de la cuenta en la nube pagando la factura, al alto precio de $46,000 por día relacionado con los costos de consumo de LLM.

Al investigar más a fondo, los investigadores descubrieron que el script más amplio utilizado en el ataque podía comprobar las credenciales de 10 servicios de IA diferentes: AI21 Labs, Anthropic, AWS Bedrock, Azure, ElevenLabs, MakerSuite, Mistral, OpenAI, OpenRouter y GCP Vertex AI.

Estamos en una carrera a pie en este momento. Es una máquina contra una máquina

Más adelante en el año, Sysdig detectó a atacantes que intentaban usar credenciales robadas para habilitar LLM.

El equipo de investigación de amenazas llama a cualquier intento de obtener acceso ilegal a un modelo "LLMjacking" y en septiembre informó que este tipo de ataques estaban "en aumento, con un aumento de 10 veces en las solicitudes LLM durante el mes de julio y el doble de la cantidad de direcciones IP únicas que participaron en estos ataques durante la primera mitad de 2024".

Según Sysdig, esto no solo le cuesta a las víctimas una cantidad significativa de dinero, sino que puede llegar a costar más de 100 000 dólares al día cuando la organización víctima utiliza modelos más nuevos como Claude 3 Opus.

Además, las víctimas se ven obligadas a pagar a personas y tecnología para detener estos ataques. También existe el riesgo de que los LLM empresariales se conviertan en armas, lo que genera más costos potenciales.

En 2025, "la mayor preocupación es el phishing selectivo y la ingeniería social", dijo Morin. "Hay infinitas formas de obtener acceso a un LLM, y pueden usar esta GenAI para crear mensajes únicos y personalizados para las personas a las que se dirigen en función de quién es su empleador, sus preferencias de compra, el banco que utiliza, la región en la que vive, los restaurantes y cosas así en el área".

Además de ayudar a los atacantes a superar las barreras del idioma, esto puede hacer que los mensajes enviados por correo electrónico o aplicaciones de mensajería de redes sociales parezcan aún más convincentes porque están expresamente diseñados para las víctimas individuales.

"Te van a enviar un mensaje desde un restaurante que está a la vuelta de la esquina o que es popular en tu ciudad, con la esperanza de que hagas clic en él", añadió Morin. "Eso les permitirá tener éxito en gran medida. Así es como se producen muchas infracciones exitosas. Es solo el acceso inicial de persona a persona".

Señaló el ataque de ransomware Change Healthcare (para el cual, debemos dejar muy claro, no hay evidencia que sugiera que fue asistido por un LLM) como un ejemplo de una de las infracciones enormemente dañinas de 2024.

En este caso, un grupo de ransomware bloqueó los sistemas de Change Healthcare, interrumpiendo miles de farmacias y hospitales en todo Estados Unidos y accediendo a datos privados pertenecientes a alrededor de 100 millones de personas. El gigante de los pagos de atención médica tardó nueve meses en restablecer sus servicios de cámara de compensación después del ataque.

Será una parte muy pequeña y simple de la cadena de ataque con un impacto potencialmente masivo

"Volviendo al phishing selectivo: imaginemos a un empleado de Change Healthcare que recibe un correo electrónico y hace clic en un enlace", dijo Morin. "Ahora el atacante tiene acceso a sus credenciales, o acceso a ese entorno, y puede entrar y moverse lateralmente".

Cuando veamos este tipo de asistencia de GenAI, "será una parte muy pequeña y simple de la cadena de ataque con un impacto potencialmente masivo", agregó.

Si bien las empresas emergentes y las empresas existentes están lanzando herramientas de seguridad que también usan IA para detectar y prevenir phishing por correo electrónico, existen algunos pasos realmente simples que todos pueden seguir para evitar caer en cualquier tipo de intento de phishing. "Solo tenga cuidado con lo que hace clic", aconsejó Morin.

Además: preste mucha atención al remitente del correo electrónico. "No importa lo bueno que sea el cuerpo del correo electrónico. ¿Miraste la dirección de correo electrónico y es una cadena de caracteres loca o una dirección rara como nombre@gmail pero dice que proviene de Verizon? Eso no tiene sentido", agregó.

Los LLM también pueden ayudar a los delincuentes a crear un dominio con diferentes alfanuméricos basados en nombres de empresas legítimas y conocidas, y pueden usar varias indicaciones para hacer que el remitente parezca más creíble.

Incluso el phishing de llamadas de voz probablemente se volverá más difícil de distinguir debido a la IA utilizada para la clonación de voz, cree Morin.

"Recibo como cinco llamadas de spam al día de todo el país y simplemente las ignoro porque mi teléfono me dice que es spam", señaló.

"Pero ahora también usan la clonación de voz", continuó Morin. "Y la mayoría de las veces, cuando la gente responde a tu teléfono, especialmente si estás conduciendo o algo así, no estás escuchando activamente o estás haciendo varias cosas a la vez, y es posible que no te des cuenta de que se trata de un clon de voz, especialmente si suena como alguien familiar, o lo que están diciendo es creíble, y realmente suenan como si fueran de tu banco".

Vimos un avance de esto durante el período previo a las elecciones presidenciales de EE. UU. de 2024, cuando las llamadas automáticas generadas por IA que se hacían pasar por el presidente Biden instaron a los votantes a no participar en las elecciones primarias presidenciales del estado.

Desde entonces, la FTC emitió una recompensa de $25,000 para solicitar ideas sobre las mejores formas de combatir la clonación de voz por IA y la FCC declaró que las llamadas automáticas generadas por IA son ilegales.

Morin no espera que esto sea un elemento disuasorio para los delincuentes.

"Si hay voluntad, hay un camino", opinó. "Si cuesta dinero, entonces encontrarán una manera de obtenerlo gratis". ®