Incidentes Asociados
Lovable, una plataforma generativa basada en inteligencia artificial (IA) que permite crear Se ha descubierto que las aplicaciones web integrales que utilizan indicaciones de texto son las más susceptibles a los ataques de jailbreak, lo que permite a ciberdelincuentes novatos y aspirantes configurar páginas de recolección de credenciales similares.
"Como herramienta diseñada específicamente para crear e implementar aplicaciones web, sus capacidades se ajustan perfectamente a las necesidades de cualquier estafador", afirmó Nati Tal de Guardio Labs en un informe compartido con The Hacker News. "Desde páginas fraudulentas con una precisión de píxeles hasta alojamiento en vivo, técnicas de evasión e incluso paneles de administración para rastrear datos robados, Lovable no solo participó, sino que actuó. Sin restricciones ni vacilaciones".
La técnica se conoce como VibeScamming, un juego de palabras con el término "vibe coding", que se refiere a una técnica de programación basada en IA para producir software describiendo el enunciado del problema en pocas frases como una indicación para un modelo de lenguaje extenso (LLM) optimizado para la codificación.
El abuso de LLM y chatbots de IA con fines maliciosos no es un fenómeno nuevo. En las últimas semanas, investigaciones han demostrado cómo los actores de amenazas están abusando de herramientas populares como OpenAI ChatGPT y Google Gemini para facilitar el desarrollo, la investigación y la creación de contenido de malware.
Además, se ha descubierto que los LLM como DeepSeek son susceptibles a ataques rápidos y técnicas de jailbreaking como Bad Likert Judge, Crescendo y Deceptive Delight que permiten a los modelos eludir las barreras de seguridad y éticas, y generar otro contenido prohibido. Esto incluye la creación de correos electrónicos de phishing, keyloggers y muestras de ransomware, aunque con indicaciones y depuración adicionales.
En un informe publicado el mes pasado, Symantec, propiedad de Broadcom, reveló cómo el Operador de OpenAI, un agente de IA capaz de realizar acciones web en nombre del usuario, podría utilizarse como arma para automatizar el proceso de búsqueda de direcciones de correo electrónico de personas específicas, la creación de scripts de PowerShell que recopilan información del sistema, su almacenamiento en Google Drive y la redacción y envío de correos electrónicos de phishing a dichas personas para engañarlas y obligarlas a ejecutar el script.
La creciente popularidad de las herramientas de IA también significa que podrían reducir significativamente las barreras de entrada para los atacantes, permitiéndoles aprovechar sus capacidades de programación para crear funciones Malware con poca o ninguna experiencia técnica propia.
Un ejemplo es un nuevo enfoque de jailbreaking denominado Mundo Inmersivo, que permite crear un ladrón de información capaz de recopilar credenciales y otros datos confidenciales almacenados en un navegador Google Chrome. La técnica "utiliza ingeniería narrativa para eludir los controles de seguridad de LLM" mediante la creación de un mundo ficticio detallado y la asignación de roles con reglas específicas para sortear las operaciones restringidas.
El último análisis de Guardio Labs va un paso más allá y revela que plataformas como Lovable y Anthropic Claude, en menor medida, podrían utilizarse como arma para generar campañas de estafa completas, con plantillas de mensajes de texto SMS, envío de enlaces falsos por SMS basado en Twilio, ofuscación de contenido, evasión de defensas e integración con Telegram (https://thehackernews.com/2024/01/telegram-marketplaces-fuel-phishing.html).
VibeScamming comienza con una solicitud directa a la herramienta de IA para automatizar cada paso del ciclo de ataque, evaluar su respuesta inicial y, a continuación, Adoptar un enfoque de múltiples indicaciones para dirigir con cuidado el modelo LLM y generar la respuesta maliciosa deseada. Esta fase, denominada "nivelación", implica mejorar la página de phishing, refinar los métodos de entrega y aumentar la legitimidad de la estafa.
Según Guardio, Lovable no solo crea una página de inicio de sesión de aspecto convincente que imita la página de inicio de sesión real de Microsoft, sino que también la implementa automáticamente en una URL alojada en su propio subdominio ("es decir, *.lovable.app") y redirige a office[.]com tras el robo de credenciales.
Además, tanto Claude como Lovable parecen seguir las indicaciones de ayuda para evitar que las soluciones de seguridad detecten las páginas fraudulentas, así como para exfiltrar las credenciales robadas a servicios externos como Firebase, RequestBin y JSONBin, o a un canal privado de Telegram.
"Lo más alarmante no es solo la similitud gráfica, sino también la experiencia de usuario", afirmó Tal. "Imita la realidad tan bien que posiblemente sea más fluida que el flujo de inicio de sesión de Microsoft. Esto demuestra la potencia de los agentes de IA centrados en tareas y cómo, sin un refuerzo estricto, pueden convertirse, sin saberlo, en herramientas de abuso".
"No solo generó la página fraudulenta con almacenamiento completo de credenciales, sino que también nos proporcionó un panel de administración completamente funcional para revisar todos los datos capturados: credenciales, direcciones IP, marcas de tiempo y contraseñas en texto plano".
Además de los hallazgos, Guardio tambi én ha publicado la primera versión de lo que se denomina VibeScamming Benchmark para someter a prueba los modelos de IA generativa y comprobar su resiliencia ante posibles abusos en flujos de trabajo de phishing. Mientras que ChaGPT obtuvo una puntuación de 8 sobre 10, Claude obtuvo 4,3 y Lovable 1,8, lo que indica una alta vulnerabilidad.
"ChatGPT, si bien podría decirse que es el modelo de propósito general más avanzado, también resultó ser el más cauteloso", afirmó Tal. "Claude, en cambio, comenzó con una fuerte resistencia, pero demostró ser fácilmente persuadible. Una vez que se le planteó un enfoque 'ético' o de 'investigación de seguridad', ofreció una guía sorprendentemente sólida".