Incidents associés
En septembre, l'équipe d'analyse des menaces de la startup Anthropic a identifié et déjoué une campagne de cyberespionnage sans précédent, pilotée par l'IA.
Selon les experts, l'opération, baptisée GTG-1002, a probablement été orchestrée par une entité étatique chinoise.
Les attaques ont touché une trentaine d'organisations, dont de grandes entreprises technologiques, des sociétés chimiques et des agences gouvernementales.
Des agents d'IA au service de la cybercriminalité
La particularité de cette opération d'envergure résidait dans la manipulation du modèle Claude Code d'Anthropic par les auteurs, afin de le rendre autonome. L'IA a ainsi exécuté la majorité des opérations tactiques de manière indépendante, soit 80 à 90 % du travail.
Les opérateurs humains n'ont joué que le rôle de coordinateurs de campagne. Les spécialistes d'Anthropic considèrent qu'il s'agit du premier cas documenté de cyberattaque menée sans intervention humaine significative.
Durant l'opération, des agents d'IA étaient chargés d'effectuer des reconnaissances, d'identifier les vulnérabilités, de développer des exploits et de collecter et exfiltrer des données. Cela a permis de mener les actions beaucoup plus rapidement que par des pirates informatiques humains.
L'implication humaine s'est principalement limitée à la planification globale des attaques et à la détermination de points clés tels que le moment d'activation des exploits et le volume de données à télécharger.
Les auteurs ont dû contourner les mécanismes de protection intégrés du modèle d'IA contre les actions malveillantes. Ils y sont parvenus en décomposant les attaques en actions apparemment anodines et en créant un contexte de simulation. Les opérateurs se sont également fait passer pour des employés de cybersécurité d'entreprises légitimes, prétendant tester des systèmes de sécurité.
Les hallucinations de l'IA : un atout ?
Les méthodes employées ont permis aux auteurs de mener la campagne suffisamment longtemps pour accéder à certaines cibles visées. Cependant, les chercheurs d'Anthropic ont identifié une faille importante dans la campagne organisée : l'IA a subi de graves hallucinations pendant les attaques.
Selon les experts, Claude a souvent exagéré les résultats et falsifié les données. Certaines informations obtenues par le modèle suite à des intrusions dans le système se sont avérées accessibles au public.
Cette tendance a contraint les opérateurs à vérifier méticuleusement tous les résultats, ce qui a considérablement affecté l'efficacité globale de l'opération.
Les chercheurs estiment que cette caractéristique des modèles constitue un obstacle majeur à l'organisation d'attaques véritablement autonomes. De plus, elle engendre davantage d'interférences et de faux positifs dus aux actions des agents d'IA, facilitant ainsi la surveillance des menaces par les services de sécurité.
La course technologique entre les hackers et la cybersécurité s'intensifie
La campagne GTG-1002 a confirmé que l'utilisation de l'IA a considérablement abaissé les barrières à l'organisation de cyberattaques complexes, ont noté les experts d'Anthropic. Désormais, des groupes aux ressources limitées peuvent mener des campagnes qui nécessitaient auparavant une équipe de hackers expérimentés.
Cependant, les mêmes capacités de Claude utilisées par les organisateurs de GTG-1002 sont des « outils indispensables à la cyberdéfense », ont souligné les chercheurs. Par exemple, ils ont activement exploité la capacité du modèle d'IA à analyser de vastes quantités de données lors de l'enquête.
Des experts se sont dits convaincus que l'utilisation de l'intelligence artificielle par les cybercriminels continuera d'évoluer et de s'amplifier. Cela nécessitera des mesures adéquates et des investissements supplémentaires.
« La cybersécurité a connu des transformations profondes. Nous recommandons aux spécialistes d'expérimenter l'application de l'IA à la protection dans des domaines tels que l'automatisation des centres d'opérations de sécurité (SOC), la détection des menaces, l'évaluation des vulnérabilités et la réponse aux incidents », ont conclu les chercheurs.
Auparavant, le Google Threat Intelligence Group avait révélé que les pirates informatiques utilisaient désormais des modèles d'IA pour créer des logiciels malveillants dynamiques.