Incidents associés
Note de la rédaction d'AIID : Ce rapport est accessible aux membres en deuxième page. Veuillez consulter la source originale.
La première campagne de cyberattaques à grande échelle exploitant l'intelligence artificielle (IA) au-delà d'un simple rôle d'assistant numérique a été documentée.
Initialement rapportée par le Wall Street Journal, l'affaire a été révélée par Anthropic, développeur de l'assistant IA « Claude ». Ce rapport (PDF) détaille comment ses modèles d'IA ont été détournés lors d'une vaste campagne d'attaques ciblant simultanément plusieurs organisations.
Que s'est-il passé ?
À la mi-septembre, Anthropic a détecté une opération de cyberespionnage très sophistiquée utilisant l'IA tout au long du cycle d'attaque.
L'IA à base d'agents, « Claude Code », a été exploitée pour construire un système d'attaque automatisé capable de réaliser des opérations de reconnaissance, de découverte de vulnérabilités, d'exécution, de déplacement latéral, de récupération d'identifiants, d'analyse et d'exfiltration de données. De plus, ces étapes ont été exécutées de manière largement autonome, les opérateurs humains se contentant d'une supervision de base après avoir chargé Claude Code d'orchestrer et d'exécuter des tests d'intrusion. Autrement dit, ils ont reçu pour instruction de se faire passer pour des défenseurs.
L'IA a non seulement découvert des vulnérabilités au sein de l'organisation ciblée, mais les a également exploitées, a exfiltré des données et a mené d'autres activités malveillantes après la compromission.
Selon Anthropic, non seulement des organisations de premier plan ont été visées lors de cette attaque, mais 80 à 90 % des opérations tactiques ont été exécutées indépendamment par l'IA.
Anthropic déclare : « En présentant ces tâches à Claude comme des requêtes techniques de routine, via des messages soigneusement élaborés et des profils prédéfinis, l'auteur de la menace a pu lui faire exécuter des composantes individuelles de la chaîne d'attaque sans qu'il ait accès au contexte malveillant global. »
Auteurs et réponse d'Anthropic
Selon Anthropic, un groupe parrainé par l'État chinois était au cœur de cette opération. Désormais identifié sous le nom de « GTG-1002 », ce groupe serait financé par un État et aurait utilisé Claude dans ses campagnes. Cependant, on ne sait que peu de choses à son sujet.
Après avoir constaté l'utilisation abusive de sa technologie, l'entreprise a rapidement banni les comptes associés à GTG-1002 et renforcé son système de détection des activités malveillantes. Ce système devrait permettre de déceler ce que l'entreprise appelle les « nouvelles menaces » : des techniques telles que le jeu de rôle utilisé par GTG-1002, capables de tromper les systèmes et de les faire se comporter comme lors de tests d'intrusion légitimes et axés sur la défense.
Anthropic travaille également au prototypage de mesures de détection précoce pour contrer les cyberattaques autonomes et a signalé l'incident aux autorités et aux acteurs du secteur.
Par ailleurs, l'entreprise a lancé un avertissement à l'ensemble de la communauté de la cybersécurité, l'exhortant à rester vigilante.
Anthropic a déclaré : « La communauté de la cybersécurité doit prendre en compte un changement fondamental. Les équipes de sécurité doivent appliquer l’IA de manière défensive dans des domaines tels que l’automatisation des SOC, la détection des menaces, l’évaluation des vulnérabilités et la réponse aux incidents afin d’acquérir de l’expérience sur les solutions efficaces dans leurs environnements. Un investissement continu dans les mesures de protection des plateformes d’IA est nécessaire pour prévenir toute exploitation malveillante. À mesure que les technologies que nous décrivons prolifèrent dans le paysage des menaces, le partage d’informations sur les menaces au sein du secteur, l’amélioration des méthodes de détection et le renforcement des contrôles de sécurité deviendront de plus en plus importants. »