Problema 5032

La inteligencia artificial es un arma de doble filo](https://thehill.com/policy/technology/4261433-former-nsa-director-ai-is-double-edged-sword-for-cybersecurity/). Por un lado, la IA permite a las personas trabajar mejor y con mayor rapidez, mientras que, por otro, permite que personas con malas intenciones se conviertan en estafadores, hacktivistas y ciberdelincuentes.

El auge de las amenazas de conocimiento cero

El negocio de la ciberdelincuencia es muy lucrativo; sin embargo, tradicionalmente, solo ha sido accesible para personas con habilidades técnicas avanzadas. Solo alguien con profundos conocimientos y experiencia en múltiples dominios técnicos, como sistemas y software, redes, programación, criptografía, ciberseguridad, etc., tiene la capacidad de desarrollar malware, identificar vulnerabilidades, evadir las defensas de ciberseguridad y explotar sistemas.

Con la entrada de la IA en escena, esta barrera de entrada se ha reducido sustancialmente. Incluso quienes no tienen experiencia en hacking ni conocimientos técnicos pueden aprovechar la IA para lanzar ataques a empresas.

De las conversaciones a la creación de malware

La mayoría de los modelos de lenguaje grandes (LLM) cuentan con medidas de seguridad integradas, es decir, protocolos de seguridad que limitan el comportamiento de los modelos de IA a un rango de funciones más seguro. En otras palabras, las medidas de seguridad de la IA ayudan a reconocer entradas o comandos maliciosos, impidiendo que los actores maliciosos utilicen o exploten la tecnología para realizar gran parte de sus actividades ilegales.

Desafortunadamente, estas medidas de seguridad no son infalibles. Una investigación de Cato CTRL (https://www.catonetworks.com/news/the-rise-of-the-zero-knowledge-threat-actor/) demostró cómo prácticamente cualquier persona, sin experiencia en codificación de malware, puede manipular LLM como ChatGPT de OpenAI, Microsoft Copilot y DeepSeek para anular estas barreras de seguridad y llevar a cabo actividades maliciosas, como desarrollar un malware de robo de información (infostealer) (https://www.wired.com/story/infostealer-malware-password-theft/).

Cato CTRL se refiere a este nuevo método de jailbreaking como "Mundo inmersivo", esencialmente una técnica de ingeniería narrativa mediante la cual los usuarios piden al LLM que asuma un entorno donde las operaciones restringidas están normalizadas. En la demostración, los investigadores de Cato CTRL instruyeron al LLM para crear un mundo ficticio llamado "Velora", donde se celebraba el desarrollo de malware y donde no se adoptaban ni implicaban restricciones o consecuencias legales. A continuación, los investigadores crearon personajes ficticios y les asignaron varias tareas y responsabilidades. Gracias a la retroalimentación, la interacción y la iteración continuas, logramos que el modelo lograra su objetivo: crear un ladrón de información funcional capaz de robar credenciales de Google Chrome.

Para los actores de amenazas de conocimiento cero, la creación de malware es solo la punta del iceberg

La creación de malware es solo el comienzo de lo que los actores de amenazas aficionados lograrán con la IA. En un futuro próximo, los usuarios novatos podrán diseñar sofisticadas campañas de ingeniería social, analizar entornos objetivo, identificar vulnerabilidades, elegir vectores de ataque, orquestar ataques multietapa, automatizar la selección de objetivos y la ejecución de ataques, etc. Los bots de IA supervisarán sus propias operaciones y adaptarán sus tácticas en función de lo que aprendan sobre la entidad o el entorno objetivo.

En resumen, el volumen de actores de amenazas poco cualificados y su experiencia crecerán exponencialmente gracias a la IA.

¿Qué pueden hacer las organizaciones para defenderse?

El auge de los actores de amenazas de conocimiento cero debería ser una llamada de atención para las organizaciones: los ciberataques serán cada vez más inteligentes, eficaces y frecuentes. A continuación, se presentan algunas recomendaciones y buenas prácticas que pueden ayudar:

• **Concienciar a los empleados:**Realice sesiones de formación para informar a los empleados sobre los crecientes riesgos de los actores de amenazas impulsados por IA. Realice simulacros de ataques de IA y simulacros de incendio para mejorar la alerta y la vigilancia de los empleados.

• **Realice Red Teaming de IA:**Si su organización utiliza o crea herramientas de IA, pruebe estos sistemas contra avisos maliciosos y valide si son vulnerables al jailbreaking. Invierta tiempo y recursos para anticipar los ataques de IA y someter los sistemas a pruebas de estrés ante esos escenarios. - Implementar seguridad holística: Implementar un sistema de seguridad integral como SASE, en lugar de herramientas fragmentadas, para monitorear, detectar y analizar señales maliciosas en toda la infraestructura de TI (usuarios, nubes, dispositivos, redes).

• **Parchear sistemas y software con frecuencia:**Asegúrese de que las herramientas y el software que utiliza en su organización sean las versiones más recientes y eficaces. Si no corrige las vulnerabilidades, los adversarios con IA las buscarán y las explotarán.

• **Mejorar la preparación ante ataques:**Un plan de respuesta a incidentes proactivo y bien implementado no solo minimizará los daños, sino que también fortalecerá la resiliencia organizacional frente a la imprevisibilidad de las amenazas con IA. - Adopte marcos de seguridad: Siga las mejores prácticas recomendadas por referentes como MITRE ATLAS, OWASP, Top 10 para aplicaciones LLM y el Marco de IA segura de Google (SAIF).

El auge de los actores de amenazas de conocimiento cero impulsados por IA marca un punto de inflexión en el negocio de la ciberdelincuencia, donde los ataques sofisticados ya no se limitan a atacantes expertos. Mediante la realización de ejercicios de formación de equipos rojos, la implementación de un sistema de seguridad integral que ofrece visibilidad exhaustiva y control total sobre las superficies de ataque, y la mejora de la preparación ante ataques, las organizaciones pueden garantizar la preparación para los desafíos actuales y futuros en esta nueva era de la ciberdelincuencia impulsada por IA.