Problema 5011
Actualización, 21 de marzo de 2025: Esta historia, publicada originalmente el 19 de marzo, se ha actualizado con los aspectos más destacados de un nuevo informe sobre el panorama de amenazas de la IA, así como con una declaración de OpenAI sobre la amenaza del jailbreak de LLM para los usuarios del administrador de contraseñas de Chrome.
Parece que no hay forma de detener el auge del malware ladrón de información. Con 2.100 millones de credenciales comprometidas por esta insidiosa amenaza, 85 millones de contraseñas recién robadas que se utilizan en ataques continuos y algunas herramientas capaces de vulnerar la seguridad del navegador en 10 segundos, es ciertamente difícil de ignorar. Pero la situación parece empeorar, ya que una nueva investigación ha revelado cómo los hackers pueden usar una técnica de jailbreak de modelo de lenguaje extenso, conocida como ataque de mundo inmersivo, para que la IA cree el malware ladrón de información. Esto es lo que necesita saber.
Un investigador de inteligencia de amenazas sin ninguna experiencia en programación de malware logró liberar múltiples modelos de lenguaje extensos y lograr que la IA creara un ladrón de contraseñas totalmente funcional y altamente peligroso para comprometer información confidencial del navegador web Google Chrome.
Este es el escalofriante resumen de la introducción al último informe de inteligencia de amenazas de Cato Networks (https://go.catonetworks.com/rs/245-RJK-441/images/2025-cato-CTRL-threat-report.pdf), publicado el 18 de marzo. El preocupante ataque logró burlar las protecciones integradas en los modelos de lenguaje extensos, que se supone que ofrecen protección contra este tipo de comportamiento malicioso, mediante el empleo de algo conocido como el jailbreak de mundo inmersivo.
«Nuestra nueva técnica de jailbreak LLM, que hemos descubierto y denominado Mundo Inmersivo», declaró Vitaly Simonovich, investigador de inteligencia de amenazas de Cato Networks, «muestra el peligroso potencial de crear un ladrón de contraseñas con facilidad». Y vaya si Vitaly tiene razón.
Según los investigadores de Cato Networks, un ataque de mundo inmersivo implica el uso de lo que se denomina "ingeniería narrativa" para eludir las barreras de seguridad de LLM mencionadas anteriormente. Esto requiere que el atacante cree un mundo altamente detallado, pero totalmente ficticio, y que se asignen roles dentro de él al LLM para normalizar lo que deberían ser operaciones restringidas. El investigador en cuestión, según el informe, consiguió tres herramientas de IA diferentes para desempeñar funciones en este mundo ficticio e inmersivo, cada una con tareas y desafíos específicos.
El resultado final, como se destaca en el informe de Cato Networks, fue un código malicioso que extrajo con éxito las credenciales del administrador de contraseñas de Google Chrome. "Esto valida tanto la técnica de Mundo Inmersivo como la funcionalidad del código generado", afirmaron los investigadores.
Cato Networks afirmó haber contactado con todas las herramientas de IA implicadas, pero DeepSeek no respondió, mientras que Microsoft y OpenAI acusaron recibo de la divulgación de la amenaza. Google también acusó recibo, según Cato, pero se negó a revisar el código. Me he puesto en contacto con Google, Microsoft y DeepSeek en relación con el informe sobre la fuga de datos de IA y actualizaré este artículo si surge alguna declaración al respecto.
Un portavoz de OpenAI declaró lo siguiente: «Valoramos la investigación sobre seguridad de la IA y hemos revisado cuidadosamente este informe. El código generado que se comparte en el informe no parece ser inherentemente malicioso; este escenario es coherente con el comportamiento normal del modelo y no se produjo al eludir ninguna de las medidas de seguridad del modelo. ChatGPT genera código en respuesta a las indicaciones del usuario, pero no ejecuta ningún código por sí mismo. Como siempre, invitamos a los investigadores a compartir cualquier inquietud de seguridad a través de nuestro programa de recompensas por errores o nuestro formulario de comentarios sobre el comportamiento del modelo».
El estado de la seguridad de la IA
Un nuevo estudio de Zscaler, incluido en el Informe de Seguridad de IA ThreatLabz 2025 del 20 de marzo, presenta un panorama vívido de la peligrosidad del panorama de la IA. Con un crecimiento interanual del 3000 % en el uso de herramientas de IA empresariales, Zscaler advirtió sobre la necesidad de medidas de seguridad, ya que estas tecnologías se adoptan rápidamente en casi todos los sectores. Las empresas son conscientes de este riesgo, por lo que Zscaler informó que el 59,9 % de todas las transacciones de IA y lenguaje de máquina fueron bloqueadas por las empresas, según su análisis de aproximadamente 536 500 millones de transacciones de este tipo entre febrero de 2024 y diciembre de 2022 en la nube de Zscaler.
Los riesgos potenciales incluían la fuga de datos y el acceso no autorizado, así como las infracciones de cumplimiento normativo. “Los actores de amenazas también están aprovechando cada vez más la IA para amplificar la sofisticación, la velocidad y el impacto de los ataques”, afirmó Zscaler, lo que significa que todos, empresas y consumidores, necesitan replantear sus estrategias de seguridad.
En cuanto a las aplicaciones de IA más utilizadas, ChatGPT fue, como era de esperar, la líder, con el 45,2 % de todas las transacciones globales identificadas y la más bloqueada debido a la preocupación por la exposición y el uso no autorizado. Grammarly, Microsoft Copilot, QuillBot y Wordtune también se situaron entre las mejores.
“A medida que la IA transforma las industrias, también crea nuevos e imprevistos desafíos de seguridad”, afirmó Deepen Desai, director de seguridad de Zscaler. “La confianza cero en todas partes es la clave para mantenerse a la vanguardia en el cambiante panorama de amenazas, ya que los ciberdelincuentes buscan aprovechar la IA para escalar sus ataques”.