Incidentes Asociados
En septiembre, el equipo de análisis de amenazas de la startup Anthropic identificó y desarticuló una campaña de ciberespionaje sin precedentes impulsada por IA.
Los expertos creen que la operación, denominada GTG-1002, fue orquestada probablemente por una entidad estatal china.
Los ataques afectaron a unas 30 organizaciones, entre las que se incluyen importantes empresas tecnológicas, compañías del sector químico y agencias gubernamentales.
Agentes de IA como ciberdelincuentes
La característica distintiva de esta operación a gran escala fue la manipulación del modelo de código Claude de Anthropic por parte de los perpetradores, con el objetivo de convertirlo en un agente autónomo. En consecuencia, la IA ejecutó de forma independiente la mayoría de las operaciones tácticas, hasta un 80-90% del trabajo.
Los operadores humanos actuaron únicamente como gestores de campaña de alto nivel. Los especialistas de Anthropic consideran este el primer caso documentado de un ciberataque ejecutado sin una intervención humana significativa.
Durante la operación, los agentes de IA se encargaron de realizar reconocimiento, identificar vulnerabilidades, desarrollar exploits y recopilar y extraer datos. Esto permitió ejecutar las acciones mucho más rápido que los hackers humanos.
La participación humana se limitó principalmente a la planificación general del ataque y a la determinación de puntos clave, como el momento de activar los exploits y el volumen de datos a descargar.
Los perpetradores tuvieron que sortear las medidas de seguridad integradas del modelo de IA contra acciones maliciosas. Lo hicieron dividiendo los ataques en acciones aparentemente inocuas y creando una atmósfera de simulación. Los operadores también se hicieron pasar por personal de ciberseguridad de empresas legítimas, supuestamente probando sistemas de seguridad.
Alucinaciones de la IA como una ventaja
Los métodos empleados permitieron a los perpetradores llevar a cabo la campaña el tiempo suficiente para acceder a algunos de los objetivos previstos. Sin embargo, los investigadores de Anthropic identificaron una falla significativa en la campaña organizada: la IA experimentó alucinaciones severas durante los ataques.
Según los expertos, Claude a menudo exageraba los resultados y falsificaba datos. Parte de la información obtenida por el modelo mediante intrusiones en el sistema resultó ser de dominio público.
Esta tendencia obligó a los operadores a verificar meticulosamente todos los resultados, lo que afectó significativamente la eficiencia general de la operación.
Los investigadores creen que esta característica de los modelos supone un obstáculo importante para la organización de ataques verdaderamente autónomos. Además, esta característica genera más interferencias y falsos positivos en las acciones de los agentes de IA, lo que facilita la monitorización de amenazas por parte de los servicios de seguridad.
La carrera tecnológica entre hackers y ciberseguridad se intensifica
La campaña GTG-1002 confirmó aún más que el uso de la IA ha reducido significativamente las barreras para organizar ciberataques complejos, señalaron expertos de Anthropic. Ahora, grupos con recursos limitados pueden ejecutar campañas que antes requerían un equipo de hackers experimentados.
Sin embargo, las mismas capacidades de Claude empleadas por los organizadores de GTG-1002 son «herramientas indispensables para la ciberdefensa», enfatizaron los investigadores. Por ejemplo, utilizaron activamente la capacidad del modelo de IA para analizar grandes cantidades de datos durante la investigación.
Los expertos expresaron su confianza en que el uso de inteligencia artificial por parte de los ciberdelincuentes seguirá evolucionando y expandiéndose. Esto requerirá medidas adecuadas e inversiones adicionales.
«La ciberseguridad ha experimentado cambios fundamentales. Recomendamos que los especialistas experimenten con la aplicación de la IA para la protección en áreas como la automatización de los centros de operaciones de seguridad, la detección de amenazas, la evaluación de vulnerabilidades y la respuesta a incidentes», concluyeron los investigadores.
Anteriormente, el Grupo de Inteligencia de Amenazas de Google reveló que los hackers se han adaptado al uso de modelos de IA para crear malware dinámico.