Incidentes Asociados
El 13 de noviembre (hora local), Anthropic anunció que un grupo de atacantes patrocinado por el gobierno chino había explotado su modelo de IA "Claude" para automatizar aproximadamente 30 ataques contra empresas y gobiernos. La actividad de espionaje se detectó a mediados de septiembre y Anthropic la investigó durante los siguientes 10 días, descubriendo el alcance total de la operación.
Anthropic afirma que este es el primer caso documentado de un ciberataque a gran escala llevado a cabo sin una intervención humana sustancial. La campaña representa una escalada adicional con respecto al incidente de "Hackeo de Vive", reportado en agosto. Si bien en el incidente de Hackeo de Vive hubo intervención humana para dirigir la operación, este último ataque involucró mucha menos intervención humana, a pesar de su mayor escala.
Designado como "GTG-1002", este grupo patrocinado por el gobierno chino utilizó las capacidades de la IA, similares a las de un agente, a un nivel sin precedentes, empleándola no solo como asesora, sino también para ejecutar ciberataques.
Claude fue entrenado originalmente para evitar comportamientos dañinos. Los atacantes tuvieron que vulnerar el sistema de Claude para participar en el ataque. Lo lograron dividiéndolo en tareas pequeñas y aparentemente inocuas, y engañando sus sistemas de seguridad al hacerle creer que eran empleados de una empresa legítima de ciberseguridad y que se les estaba utilizando para probar las defensas. Este sistema empleó el "Código Claude" como herramienta automatizada para realizar de forma autónoma entre el 80 % y el 90 % de las tareas tácticas de reconocimiento, detección y explotación de vulnerabilidades, robo de credenciales, análisis de datos y exfiltración de datos.
La operación tuvo como objetivo aproximadamente 30 objetivos en todo el mundo, incluyendo importantes empresas tecnológicas, instituciones financieras, fabricantes de productos químicos y agencias gubernamentales, confirmándose un pequeño número de intrusiones exitosas. Los atacantes obtuvieron acceso a objetivos de alto valor, incluyendo importantes empresas tecnológicas y agencias gubernamentales. Sin embargo, la IA ocasionalmente genera errores, como la falsificación de credenciales o la declaración de información pública como confidencial, lo que dificulta los ciberataques totalmente autónomos.
Al detectar esta actividad, Anthropic inició de inmediato una investigación, eliminó las cuentas comprometidas, notificó a las entidades afectadas y colaboró con las autoridades, a la vez que recababa información útil.
Como respuesta futura, Anthropic está ampliando sus capacidades de detección y desarrollando clasificadores especializados de ciberataques para identificar actividades maliciosas. También está desarrollando un sistema prototipo para la detección temprana y proactiva de ciberataques autónomos y nuevas técnicas para investigar y mitigar ataques distribuidos a gran escala.
Anthropic también destaca la importancia de esta tecnología para la defensa y anima a las empresas a aplicar la IA a la defensa en áreas como la automatización de centros de operaciones de seguridad (SOC), la detección de amenazas, la evaluación de vulnerabilidades y la respuesta a incidentes. Además, la empresa subraya la necesidad de una inversión continua en medidas de seguridad en todas las plataformas de IA para prevenir el uso indebido por parte de adversarios.