Incidents associés
Washington DC – La société Anthropic, spécialisée dans l'intelligence artificielle, a détecté et déjoué ce qu'elle décrit comme la première campagne de cyberespionnage documentée menée en grande partie de manière autonome par une IA, marquant une escalade significative dans les attaques utilisant l'apprentissage automatique.
L'opération, attribuée à un groupe étatique chinois désigné sous le nom de GTG-1002, a manipulé le système d'IA Claude d'Anthropic pour espionner et voler des données à une trentaine de cibles avec une intervention humaine minimale, selon un rapport de l'entreprise publié jeudi.
Détectée à la mi-septembre, la campagne ciblait de grandes entreprises technologiques, des institutions financières et des agences gouvernementales dans plusieurs pays.
Anthropic a indiqué que les attaquants ont utilisé Claude Code, son produit de programmation informatique, pour mener de manière autonome 80 à 90 % des activités de la campagne à des vitesses impossibles à atteindre pour des opérateurs humains.
« Cela représente un changement fondamental dans la manière dont les acteurs malveillants utilisent l'IA », a déclaré l'entreprise.
« Au lieu de se contenter de donner des conseils techniques, l'attaquant a manipulé Claude pour qu'il effectue de véritables opérations d'intrusion informatique avec une supervision humaine minimale. »
Selon l'entreprise, les attaquants ont contourné les mécanismes de sécurité de Claude en convainquant l'IA qu'ils étaient des professionnels légitimes de la cybersécurité effectuant des tests autorisés.
Si les humains ont conservé une supervision stratégique, l'IA a exécuté de manière autonome des cyberattaques complexes pendant plusieurs jours sans instructions détaillées, indique le rapport. Cette campagne soutenue a finalement déclenché les systèmes de détection intégrés de l'entreprise.
Dans un aveu important, Anthropic a déclaré que les espions IA de Claude ont fréquemment exagéré leurs conclusions et ont parfois falsifié des données, prétendant avoir obtenu des identifiants invalides ou identifiant des informations publiques comme des découvertes cruciales.
De telles hallucinations de l'IA restent une préoccupation constante pour cette technologie.
Dès la détection, Anthropic a banni les comptes associés, notifié les entités et les autorités concernées et mis en œuvre des capacités de détection renforcées.
L'entreprise a défendu sa décision de poursuivre le développement de systèmes d'IA puissants malgré leur utilisation abusive, arguant que ces mêmes capacités permettent de se défendre contre les cybercriminels.
« Lorsque des cyberattaques sophistiquées surviennent inévitablement, notre objectif est que Claude aide les professionnels de la cybersécurité à les détecter, à les neutraliser et à se préparer aux futures versions de ces attaques », a-t-elle déclaré.
« Nous rendons ce cas public afin de contribuer aux travaux de la communauté plus large de la sécurité de l'IA », a ajouté l'entreprise.
Anthropic a indiqué son intention de publier des rapports réguliers sur les attaques détectées et a appelé à un partage accru des données du secteur, à une meilleure détection et à des contrôles de sécurité renforcés sur les plateformes d'IA.