Incidents associés
Des pirates informatiques parrainés par l'État chinois ont utilisé la technologie d'intelligence artificielle d'Anthropic pour automatiser des intrusions dans de grandes entreprises et des gouvernements étrangers lors d'une campagne de piratage menée en septembre, a annoncé la société jeudi.
L'opération visait des dizaines de cibles et impliquait un niveau d'automatisation inédit pour les enquêteurs en cybersécurité d'Anthropic, selon Jacob Klein, responsable du renseignement sur les menaces chez Anthropic.
Si les pirates informatiques utilisent l'IA depuis des années pour réaliser des tâches spécifiques telles que la création de courriels d'hameçonnage ou la recherche de systèmes vulnérables sur Internet, dans ce cas précis, 80 à 90 % de l'attaque était automatisée, l'intervention humaine se limitant à quelques points de décision, a précisé Klein.
Les pirates ont mené leurs attaques « littéralement en un clic, avec une interaction humaine minimale », a ajouté Klein. Anthropic a déjoué les campagnes et bloqué les comptes des pirates, mais pas avant que quatre intrusions n'aient réussi. Dans un cas précis, les pirates ont utilisé l'outil d'intelligence artificielle Claude d'Anthropic pour interroger des bases de données internes et extraire des données de manière autonome.
« L'intervention humaine se limitait à quelques points critiques, se contentant de dire : "Oui, continuez", "N'allez pas continuer", "Merci pour ces informations", "Oh, ça ne me semble pas correct, Claude, vous êtes sûr ?" »
L'assemblage de tâches de piratage en attaques quasi autonomes constitue une nouvelle étape dans la tendance croissante à l'automatisation, offrant aux pirates informatiques une envergure et une rapidité accrues.
Cet été, la société de cybersécurité Volexity a repéré des pirates informatiques soutenus par la Chine utilisant des outils d'IA pour automatiser certaines parties d'une campagne de piratage visant des entreprises, des instituts de recherche et des organisations non gouvernementales. Les pirates utilisaient de vastes modèles de langage pour déterminer leurs cibles, concevoir leurs courriels d'hameçonnage et écrire le logiciel malveillant servant à infecter leurs victimes, a expliqué Steven Adair, président de Volexity. « L'IA permet aux acteurs malveillants d'agir plus vite et plus efficacement », a-t-il déclaré.
La semaine dernière, Google a signalé que des pirates informatiques liés au gouvernement russe avaient attaqué l'Ukraine en utilisant un modèle d'IA pour générer en temps réel des instructions de logiciel malveillant personnalisées.
Des responsables du gouvernement américain alertent depuis des années sur le fait que la Chine cible la technologie d'IA américaine afin de pirater des entreprises et des agences gouvernementales américaines et de voler des données.
Un porte-parole de l'ambassade de Chine à Washington a déclaré que le traçage des cyberattaques est complexe et a accusé les États-Unis d'instrumentaliser la cybersécurité pour « diffamer et calomnier » la Chine. « La Chine s'oppose fermement à toutes les formes de cyberattaques et les réprime avec vigueur », a-t-il affirmé.
Anthropic n'a pas révélé quelles entreprises et quels gouvernements les pirates ont tenté de compromettre, mais a indiqué avoir détecté une trentaine de cibles. Les quelques piratages réussis ont permis, dans certains cas, de dérober des informations sensibles. L'entreprise a déclaré que le gouvernement américain ne figurait pas parmi les victimes d'une intrusion réussie, mais n'a pas souhaité commenter la possibilité qu'une quelconque entité gouvernementale américaine ait été ciblée.
Anthropic s'est dit convaincu, sur la base de l'infrastructure numérique utilisée par les pirates et d'autres indices, que les attaques avaient été menées par des pirates informatiques soutenus par l'État chinois.
Les pirates informatiques utilisent souvent des outils d'IA open source pour mener leurs attaques, car le code source ouvert est disponible gratuitement et peut être modifié afin de contourner les restrictions visant à empêcher les activités malveillantes. Cependant, pour utiliser Claude afin de mener ces attaques, les pirates liés à la Chine ont dû contourner les mesures de protection d'Anthropic en utilisant une technique appelée « jailbreak » : en l'occurrence, en faisant croire à Claude qu'ils effectuaient des audits de sécurité pour le compte des cibles.
« Dans ce cas précis, ils prétendaient travailler pour des organismes légitimes de tests de sécurité », a déclaré Klein.
Les pirates ont également mis au point un système permettant de décomposer chaque étape des campagnes, de la recherche de vulnérabilités à l'exfiltration de données, en tâches distinctes qui n'ont pas déclenché d'alerte, a indiqué l'entreprise.
Anthropic affirme qu'après les attaques, elle a mis à jour ses méthodes de détection des abus, rendant plus difficile l'utilisation de Claude à des fins similaires à l'avenir.
Les piratages automatisés n'étaient pas totalement autonomes, des « hallucinations » de l'IA entraînant des erreurs. « Il pouvait affirmer : “J'ai pu accéder à ce système interne”, alors que ce n'était pas le cas », a expliqué Klein à propos de certaines tentatives de piratage. « L'IA surestimait son accès et ses capacités, ce qui a nécessité une vérification humaine. »
L'utilisation d'agents d'IA pour mener des attaques met en lumière les dangers liés à la double utilisation des outils d'IA. Anthropic a déclaré espérer utiliser l'IA pour renforcer considérablement ses défenses en matière de cybersécurité. Cependant, des systèmes d'IA plus performants rendent également les attaquants plus redoutables.
Anthropic affirme que sa stratégie consiste à développer pour son IA des compétences qui profitent davantage aux défenseurs qu'aux attaquants, comme la détection des vulnérabilités connues.
« Ce type d'outils va accélérer les choses », explique Logan Graham, responsable de l'équipe Anthropic chargée des tests de sécurité pour les risques critiques. « Si nous ne donnons pas aux défenseurs un avantage durable et significatif, je crains que nous ne perdions cette course. »