Incidents associés
Planification de menus, thérapie, rédaction de dissertations, cyberattaques mondiales ultra-sophistiquées : les usages innovants des chatbots IA de dernière génération ne cessent de se multiplier.
Une étape alarmante a été franchie cette semaine lorsque la société d'intelligence artificielle Anthropic a annoncé que son assistant IA phare, Claude, avait été utilisé par des pirates informatiques chinois dans ce que l'entreprise qualifie de « première campagne de cyberespionnage orchestrée par une IA jamais recensée ».
D'après un rapport publié par Anthropic (https://archive.is/o/OT9ju/https://assets.anthropic.com/m/ec212e6566a0d47/original/Disrupting-the-first-reported-AI-orchestrated-cyber-espionage-campaign.pdf), mi-septembre, l'entreprise a détecté une opération de cyberespionnage de grande envergure menée par un groupe qu'elle nomme GTG-1002. Cette opération visait de grandes entreprises technologiques, des institutions financières, des sociétés de chimie et des agences gouvernementales dans plusieurs pays.
Ce type d'attaque n'est pas rare. Ce qui rend celle-ci particulière, c'est que 80 à 90 % de l'opération a été réalisée par une intelligence artificielle (IA). Après avoir identifié les organisations cibles, des opérateurs humains ont utilisé Claude pour repérer les bases de données sensibles, tester leurs vulnérabilités et programmer l'IA afin d'y accéder et d'en extraire des données précieuses. L'intervention humaine s'est limitée à quelques points critiques, pour guider l'IA et vérifier son fonctionnement.
Claude, comme d'autres grands modèles de langage (https://archive.is/o/OT9ju/https://www.understandingai.org/p/large-language-models-explained-with), est doté de protections empêchant son utilisation à des fins malveillantes. Cependant, les attaquants ont réussi à contourner le système en décomposant sa tâche en parties plus petites, apparemment inoffensives, et en faisant croire à Claude qu'ils étaient une entreprise de cybersécurité effectuant des tests de sécurité. Ceci soulève des questions préoccupantes quant à la possibilité de contourner les protections de modèles tels que Claude et ChatGPT, notamment compte tenu des risques liés à leur utilisation potentielle pour le développement d'armes biologiques (https://archive.is/o/OT9ju/https://www.vox.com/future-perfect/417791/ai-bioweapons-detection-pandemics-ginkgo-endar-bioradar) ou d'autres substances dangereuses.
Anthropic admet que Claude a parfois, durant l'opération, « halluciné en affichant des identifiants ou en prétendant avoir extrait des informations secrètes qui étaient en réalité publiques ». Même les hackers mandatés par des États doivent se méfier des IA qui inventent des histoires.
Le rapport soulève la crainte que les outils d'IA rendent les cyberattaques beaucoup plus faciles et rapides à mener, augmentant ainsi la vulnérabilité de tous les systèmes, des systèmes de sécurité nationale sensibles aux comptes bancaires des citoyens ordinaires.
Qu'est-ce que cela signifie ?
Pourtant, nous ne sommes pas encore dans une cyberanarchie totale. Le niveau de connaissances techniques requis pour que Claude agisse ainsi dépasse encore les capacités du troll moyen d'Internet. Mais les experts mettent en garde depuis des années contre le risque que les modèles d'IA soient utilisés pour générer du code malveillant à des fins d'escroquerie ou d'espionnage, un phénomène connu sous le nom de « piratage par influence ». En février, OpenAI, concurrent d'Anthropic, a signalé avoir détecté des acteurs malveillants originaires de Chine, d'Iran, de Corée du Nord et de Russie utilisant leurs outils d'IA pour mener des cyberopérations.
En septembre, le Center for a New American Security (CNAS) a publié un rapport sur la menace que représente le piratage informatique facilité par l'IA. Ce rapport explique que les phases les plus chronophages et gourmandes en ressources de la plupart des cyberopérations sont la planification, la reconnaissance et le développement des outils. (Les attaques elles-mêmes sont généralement rapides.) En automatisant ces tâches, l'IA peut bouleverser la donne offensive, et c'est précisément ce qui semble s'être produit lors de cette attaque.
Caleb Withers, auteur du rapport du CNAS, a déclaré à Vox que l'annonce d'Anthropic était « dans la tendance », compte tenu des récents progrès en matière d'IA, et que « le niveau de sophistication avec lequel cela peut être réalisé de manière largement autonome par l'IA ne cessera de croître ».
La cyberguerre secrète de la Chine
Anthropic affirme que les pirates ont laissé suffisamment d'indices pour déterminer qu'ils étaient chinois, bien que l'ambassade de Chine aux États-Unis ait qualifié cette accusation de « diffamation ».
D'une certaine manière, c'est une victoire ironique pour Anthropic et l'industrie américaine de l'IA dans son ensemble. Plus tôt cette année, le projet chinois DeepSeek, un important modèle de langage artificiel, a provoqué un véritable séisme à Washington et dans la Silicon Valley. Il laissait entrevoir que, malgré les efforts américains pour limiter l'accès de la Chine aux puces semi-conductrices de pointe nécessaires au développement de modèles de langage pour l'IA, les progrès de la Chine en matière d'IA n'étaient que légèrement inférieurs à ceux des États-Unis. Il est donc pour le moins révélateur que même les pirates informatiques chinois privilégient encore un chatbot américain pour leurs cyberattaques.
L'ampleur et la sophistication des cyberopérations chinoises ciblant les États-Unis suscitent une inquiétude croissante depuis un an. Ces exemples incluent Volt Typhoon, une campagne visant à infiltrer préventivement des cyberacteurs étatiques dans les systèmes informatiques américains afin de les préparer à mener des attaques en cas de crise ou de conflit majeur entre les États-Unis et la Chine, et Salt Typhoon, une campagne d'espionnage qui a ciblé des entreprises de télécommunications dans des dizaines de pays et les communications de responsables, dont le président Donald Trump et le vice-président J.D. Vance, lors de la campagne présidentielle de l'année dernière. campagne.
Selon les autorités, l'ampleur et la sophistication de ces attaques dépassent de loin tout ce que nous avons connu jusqu'à présent. Il pourrait également s'agir d'un simple avant-goût de ce qui nous attend à l'ère de l'intelligence artificielle.