Incidents associés
Le 13 novembre (heure locale), Anthropic a annoncé qu'un groupe de pirates informatiques parrainé par le gouvernement chinois avait exploité son modèle d'IA « Claude » pour automatiser une trentaine d'attaques contre des entreprises et des gouvernements. Cette activité d'espionnage a été détectée mi-septembre et Anthropic a mené une enquête pendant les dix jours suivants, révélant l'ampleur de l'opération.
Anthropic affirme qu'il s'agit du premier cas documenté de cyberattaque de grande envergure menée sans intervention humaine significative. Cette campagne représente une nouvelle escalade par rapport à l'incident « Vive Hacking » signalé en août. Alors que des humains restaient impliqués dans la direction de l'opération lors de l'incident Vibe Hacking, cette dernière attaque a impliqué une participation humaine bien moindre, malgré son ampleur accrue.
Désigné « GTG-1002 », ce groupe parrainé par le gouvernement chinois a utilisé les capacités d'agent de l'IA à un niveau sans précédent, s'en servant non seulement comme conseiller, mais aussi pour exécuter des cyberattaques.
Claude avait initialement été entraîné à éviter les comportements malveillants. Les attaquants ont dû forcer Claude à s'échapper pour participer à l'attaque. Ils ont procédé en décomposant le système en petites tâches apparemment anodines et en trompant ses garde-fous en prétendant être employés d'une entreprise de cybersécurité légitime et en l'utilisant pour tester des défenses. Ce système utilisait « Claude Code » comme outil automatisé pour exécuter de manière autonome environ 80 à 90 % des tâches tactiques de reconnaissance, de découverte de vulnérabilités, d'exploitation, de vol d'identifiants, d'analyse et d'exfiltration de données.
L'opération visait une trentaine de cibles dans le monde, dont de grandes entreprises technologiques, des institutions financières, des fabricants de produits chimiques et des agences gouvernementales. Quelques intrusions ont été confirmées. Les attaquants ont notamment obtenu l'accès à des cibles de grande valeur, dont de grandes entreprises technologiques et des agences gouvernementales. Cependant, l'IA peut parfois générer des dysfonctionnements, comme la fabrication d'identifiants invalides ou la déclaration de confidentialité d'informations publiques, ce qui entrave les cyberattaques entièrement autonomes.
Dès la détection de cette activité, Anthropic a immédiatement lancé une enquête, clôturé les comptes compromis, informé les entités concernées et collaboré avec les autorités afin de recueillir des informations exploitables.
Pour l'avenir, Anthropic renforce ses capacités de détection et développe des classificateurs de cyberattaques spécialisés pour identifier les activités malveillantes. L'entreprise travaille également sur un prototype de système de détection proactive et précoce des cyberattaques autonomes, ainsi que sur de nouvelles techniques d'investigation et d'atténuation des attaques distribuées à grande échelle.
Anthropic souligne également l'importance de cette technologie pour la défense et encourage les entreprises à appliquer l'IA à la défense dans des domaines tels que l'automatisation des centres d'opérations de sécurité (SOC), la détection des menaces, l'évaluation des vulnérabilités et la réponse aux incidents. Par ailleurs, l'entreprise insiste sur la nécessité d'investir continuellement dans les mesures de protection des plateformes d'IA afin de prévenir toute utilisation abusive.