Incidentes Asociados
Nota del editor de AIID: Este informe está disponible para los miembros en la segunda página. Consulte la fuente original.
Se ha documentado la primera campaña de ciberataques a gran escala que utiliza la inteligencia artificial (IA) para algo más que ser un simple asistente digital.
Según informó inicialmente The Wall Street Journal, Anthropic, la empresa desarrolladora del asistente de IA "Claude", ha publicado un informe (PDF) que documenta cómo sus modelos de IA fueron utilizados indebidamente en una campaña de ataques generalizada dirigida simultáneamente a múltiples organizaciones.
¿Qué sucedió?
A mediados de septiembre, Anthropic detectó una "operación de ciberespionaje altamente sofisticada" que utilizó IA durante todo el ciclo del ataque.
La IA basada en agentes, "Claude Code", fue explotada para construir un marco de ataque automatizado capaz de realizar "reconocimiento, detección de vulnerabilidades, ejecución, movimiento lateral, robo de credenciales, análisis de datos y exfiltración de datos". Además, estos pasos se ejecutaron de forma prácticamente autónoma, con operadores humanos que solo proporcionaron una supervisión básica tras instruir a Claude Code para que actuara como «orquestador y agente de pruebas de penetración». En otras palabras, se les ordenó que se hicieran pasar por defensores.
La IA no solo descubrió vulnerabilidades en la organización objetivo, sino que también las explotó, extrajo datos y llevó a cabo otras actividades maliciosas tras la intrusión.
Según Anthropic, este ataque no solo tuvo como objetivo a organizaciones de alto perfil, sino que entre el 80 % y el 90 % de las «operaciones tácticas» fueron ejecutadas de forma independiente por la IA.
Anthropic afirma: «Al presentar estas tareas a Claude como solicitudes técnicas rutinarias mediante instrucciones cuidadosamente elaboradas y perfiles predefinidos, el atacante logró que Claude ejecutara componentes individuales de la cadena de ataque sin acceso al contexto malicioso general».
Autores y respuesta de Anthropic
Según Anthropic, un grupo patrocinado por el Estado chino estuvo al frente de esta operación. Ahora conocido como "GTG-1002", se cree que el grupo está patrocinado por un estado y cuenta con una financiación considerable, y que utilizó a Claude en sus campañas. Sin embargo, se desconoce prácticamente todo lo demás sobre el grupo.
Tras descubrir el uso indebido de su tecnología, la empresa bloqueó rápidamente las cuentas asociadas con GTG-1002 y amplió su sistema de detección de actividad maliciosa, que se espera que descubra lo que la empresa denomina "patrones de amenazas emergentes": técnicas como la simulación de roles utilizada por GTG-1002, que pueden engañar a los sistemas para que se comporten como pruebas de penetración legítimas basadas en la defensa.
Anthropic también está desarrollando prototipos de medidas de detección temprana para frustrar los ciberataques autónomos y ha informado del incidente a las autoridades y a los participantes del sector.
Además, la empresa ha emitido una advertencia a toda la comunidad de ciberseguridad, instándola a mantenerse alerta.
Anthropic afirmó: «La comunidad de ciberseguridad debe asumir que se ha producido un cambio fundamental. Los equipos de seguridad deberían aplicar la IA de forma defensiva en áreas como la automatización de SOC, la detección de amenazas, la evaluación de vulnerabilidades y la respuesta a incidentes para adquirir experiencia sobre lo que funciona en sus entornos. Además, es necesaria una inversión continua en medidas de seguridad en todas las plataformas de IA para prevenir la explotación por parte de adversarios. A medida que las tecnologías que describimos se extiendan por el panorama de amenazas, el intercambio de información sobre amenazas en el sector, la mejora de los métodos de detección y el fortalecimiento de los controles de seguridad cobrarán cada vez más importancia».