Incidents associés
Anthropic a fait la une jeudi en publiant une étude révélant qu'un groupe de pirates informatiques chinois, jusqu'alors inconnu et agissant pour le compte de l'État, avait utilisé Claude, son produit d'intelligence artificielle générative, pour infiltrer les systèmes d'au moins 30 organisations.
Selon le rapport d'Anthropic (https://assets.anthropic.com/m/ec212e6566a0d47/original/Disrupting-the-first-reported-AI-orchestrated-cyber-espionage-campaign.pdf), les auteurs de la menace ont réussi à contourner les mesures de sécurité de Claude grâce à deux méthodes : en fragmentant le travail en tâches distinctes afin d'empêcher le logiciel de déceler les intentions malveillantes à plus grande échelle, et en trompant le modèle en lui faisant croire qu'il effectuait un audit de sécurité légitime.
Jacob Klein, responsable de l'équipe de veille sur les menaces chez Anthropic, a déclaré à CyberScoop que l'entreprise avait constaté, au cours de l'année écoulée, des utilisations de plus en plus inédites de Claude par des pirates informatiques. En mars, des acteurs malveillants copiaient et collaient des interactions avec des chatbots pour créer des logiciels malveillants ou des leurres d'hameçonnage. Lors du lancement de l'outil de développement de code de l'entreprise, Claude Code, des cybercriminels l'ont utilisé pour générer plus rapidement des scripts et créer du code pour leurs opérations.
« Et puis, en septembre, nous avons assisté à l'utilisation abusive la plus autonome que nous ayons constatée », a déclaré Klein.
Cependant, Klein a également précisé que le terme « plus autonome » est relatif. De nombreux éléments indiquent que ce groupe de pirates a consacré d'importantes ressources humaines et techniques à l'utilisation de Claude.
En effet, l'automatisation décrite dans le rapport d'Anthropic, réalisée grâce à Claude, a été rendue possible par une architecture frontale conçue pour orchestrer et soutenir ses opérations. Cette architecture gérait des tâches telles que la création de scripts, le provisionnement des serveurs associés et un développement backend important afin de garantir le bon déroulement de chaque étape. Klein a souligné que ce processus de développement était l'étape la plus difficile – et surtout, la plus humaine – de l'opération.
« La première étape non autonome consiste à construire le cadre de travail ; il fallait donc une intervention humaine pour tout assembler », a expliqué Klein. « Un opérateur humain saisissait une cible, cliquait sur un bouton et utilisait ensuite ce cadre de travail créé au préalable. La partie la plus complexe de tout le système a été la construction de ce cadre, qui a nécessité une forte implication humaine. »
De plus, pour effectuer des reconnaissances sur les cibles, rechercher des vulnérabilités et réaliser d'autres tâches, Claude a fait appel à un ensemble d'outils open source via des serveurs MCP (Model Context Protocol), qui permettent aux modèles d'IA d'interagir de manière sécurisée avec des outils numériques externes. La mise en place de ces connexions exige une expertise en programmation, une planification rigoureuse et un travail technique humain pour garantir l'interopérabilité.
Enfin, le travail de Claude était soumis à une validation et à un examen humains constants. Une illustration de la chaîne d'attaque détaille au moins quatre étapes différentes qui impliquent explicitement qu'un humain vérifie le résultat de Claude ou renvoie le modèle au travail avant de poursuivre.
Cela suggère que, bien que Claude puisse effectuer ces tâches de manière autonome, il s'appuyait sur une supervision humaine pour examiner les résultats, valider les conclusions, s'assurer du bon fonctionnement des systèmes backend et orienter ses actions suivantes.
Le rapport d'Anthropic met en lumière un défaut commun à toutes les recherches générées par l'IA : les modèles comme Claude sont fréquemment sujets à des hallucinations, falsifient des identifiants, exagèrent les résultats ou présentent des informations publiques comme des découvertes majeures. De ce fait, l'utilisation de recherches générées par l'IA est complexe : les acteurs malveillants, comme tout utilisateur, ne disposent d'aucun moyen fiable de se fier aux résultats à chaque étape sans l'intervention d'experts techniques humains pour les examiner et les corriger.
Par exemple, en matière d'analyse de vulnérabilités, « la première étape consiste pour Claude à renvoyer la liste des ressources trouvées liées à cette cible à un humain », explique Klein. « Claude ne passe donc pas à l'étape suivante, le test d'intrusion, tant que l'humain n'a pas procédé à l'examen. »
Malgré toutes ces interventions humaines, Klein est sincèrement inquiet des découvertes de l'entreprise.
« Je pense que ce qui se passe ici, c'est que l'opérateur humain est capable d'étendre considérablement son action », a déclaré Klein. « Nous estimons qu'une équipe d'une dizaine de personnes aurait été nécessaire pour mener à bien ce type d'opération, mais l'intervention humaine reste indispensable. C'est pourquoi nous avons précisé que le système n'est ni entièrement automatisé, ni totalement contrôlé par un agent. »
Quant aux raisons pour lesquelles l'entreprise soupçonne cette campagne d'être liée à la Chine, Klein a évoqué plusieurs facteurs, notamment des similitudes d'infrastructure et de comportement avec d'anciens acteurs étatiques chinois, ainsi qu'un ciblage correspondant étroitement aux objectifs du ministère chinois de la Sécurité d'État.
D'autres détails, plus mineurs et circonstanciels, suggèrent un possible lien avec la Chine : bien que les journaux d'utilisation indiquent que le groupe a principalement opéré « de 9 h à 18 h, comme un fonctionnaire ordinaire », les pirates n'ont pas travaillé le week-end et, à un moment donné en pleine opération, ils semblent n'avoir mené aucune activité pendant un jour férié chinois.
Cependant, ce n'étaient pas les seuls éléments de preuve, car Klein a déclaré ne pas pouvoir divulguer toutes les informations qui les orientaient vers la Chine.
IA et experts en sécurité divisés
Bien que peu de recherches aient été menées sur la manière dont l'IA a alimenté les opérations de cyberespionnage, de nombreux éléments montrent que les grands modèles de langage se sont améliorés au cours de l'année écoulée lorsqu'ils ont été confrontés à des tâches spécifiques à la cybersécurité. Plus tôt cette année, la startup XBOW a vu son outil d'analyse et de correction des vulnérabilités basé sur l'IA se hisser en tête des classements sur des plateformes de chasse aux bugs comme HackerOne.
Du côté offensif, des chercheurs de l'Université de New York (NYU) ont développé, en début d'année, un cadre similaire à celui utilisé lors de la campagne découverte par Anthropic. Ils ont utilisé une version publique de ChatGPT pour automatiser une grande partie d'une attaque par rançongiciel. Le rapport d'Anthropic serait le premier cas connu d'un processus similaire utilisé par un État pour mener à bien des attaques.
Malgré ces avancées, la campagne et le rapport d'Anthropic ont suscité la controverse dans les milieux de l'IA et de la cybersécurité. Certains estiment qu'ils confirment les craintes liées au piratage informatique par l'IA, tandis que d'autres affirment que les conclusions du rapport donnent une image trompeuse de l'état actuel des opérations de cyberespionnage.
Kevin Beaumont, chercheur en cybersécurité basé au Royaume-Uni, a critiqué le rapport d'Anthropic pour son manque de transparence. Il lui reproche notamment de décrire des actions déjà réalisables avec des outils existants et de laisser peu de place à la validation externe.
« Le rapport ne mentionne aucun indicateur de compromission et les techniques évoquées sont toutes des solutions standardisées déjà détectées », a écrit Beaumont sur LinkedIn vendredi. « En termes de renseignements exploitables, ce rapport est totalement vide. »
Klein a déclaré à CyberScoop qu'Anthropic avait partagé des indicateurs de compromission avec des entreprises technologiques, des laboratoires de recherche et d'autres entités ayant conclu des accords de partage d'informations avec la société.
« Nous partageons ces informations en interne, mais nous ne souhaitions pas les rendre publiques », a-t-il précisé.
D'autres observateurs estiment néanmoins que les conclusions d'Anthropic constituent une étape importante dans l'application de l'IA à la cybersécurité.
Jen Easterly, ancienne directrice de la Cybersecurity and Infrastructure Security Agency (CISA), a fait écho aux préoccupations de la communauté de la sécurité concernant la transparence, tout en saluant la transparence d'Anthropic.
« Nous ignorons encore quelles tâches ont réellement été accélérées par l'IA et lesquelles auraient pu être réalisées avec des outils classiques », a-t-elle écrit vendredi sur LinkedIn. « Nous ignorons le fonctionnement des chaînes d'agents, les dysfonctionnements du modèle, la fréquence des interventions humaines et la fiabilité réelle des résultats. Sans plus de précisions (invites, exemples de code, défaillances, points de friction), il est évidemment plus difficile pour les équipes de défense d'apprendre, de s'adapter et d'anticiper la suite. »
Tiffany Saade, chercheuse en IA au sein de l'équipe de défense IA de Cisco, a déclaré à CyberScoop que le rapport d'Anthropic démontre clairement que l'utilisation d'outils comme Claude offre aux attaquants des avantages en termes de rapidité et d'échelle.
« La question est : est-ce suffisant ? » pour inciter les pirates à privilégier les LLM (Low Model Learning) à d'autres formes d'automatisation et à composer avec leurs limitations, a-t-elle demandé. « Assisterons-nous à une sophistication croissante des agents dans les attaques ? Et de quel type de sophistication parle-t-on ? »
Saade a souligné que certains aspects de l'opération décrite par Anthropic ne correspondent pas à un groupe chinois uniquement axé sur l'espionnage. Elle a souligné qu'il était étrange que les pirates utilisent un modèle d'IA américain majeur pour l'automatisation alors qu'ils ont accès à leurs propres modèles privés. De plus, des entreprises comme Anthropic et OpenAI disposent de ressources en cybersécurité et en veille sur les menaces bien plus importantes que les modèles open source, ce qui rend probable la détection de toute activité malveillante utilisant leurs plateformes.
« Nous savions que cela allait arriver, mais ce qui me sidère, c'est que… si j'étais un acteur étatique chinois et que je voulais utiliser des modèles d'IA dotés de capacités d'agentivité pour mener des attaques de piratage autonomes, je ne ferais probablement pas appel à Claude pour cela », a fait remarquer Saade. « Je développerais probablement une solution en interne, en toute discrétion. Ils voulaient donc se faire remarquer. »
Saade a évoqué une autre motivation possible pour ce piratage : un message géopolitique adressé à Washington, D.C., montrant que les pirates de Pékin sont capables de faire précisément ce que tout le monde craint.
« Généralement, l'objectif est d'agir discrètement et de maintenir une présence constante. » « Ce n’est même pas du sabotage, c’est un message : l’hypothèse est validée », a déclaré Saade. « Ils veulent ce bruit médiatique, l’information de dernière minute, les gros titres du genre “Anthropic rapporte”. Ils veulent cette visibilité, et il y a une raison à cela. »