Incidents associés
WASHINGTON (AP) — Une équipe de chercheurs a mis au jour ce qu'elle considère comme la première utilisation documentée de l'intelligence artificielle pour diriger une campagne de piratage informatique de manière largement automatisée.
La société d'IA Anthropic a annoncé cette semaine avoir déjoué une cyberopération que ses chercheurs ont liée au gouvernement chinois. Cette opération impliquait l'utilisation d'un système d'intelligence artificielle pour diriger les campagnes de piratage, ce que les chercheurs ont qualifié d'évolution inquiétante, susceptible d'étendre considérablement le champ d'action des pirates informatiques utilisant l'IA.
Si les inquiétudes concernant l'utilisation de l'IA pour mener des cyberopérations ne sont pas nouvelles, ce qui est préoccupant dans cette nouvelle opération, c'est le degré d'automatisation dont a bénéficié l'IA, ont déclaré les chercheurs.
« Bien que nous ayons anticipé l'évolution de ces capacités, la rapidité et l'ampleur de leur développement nous ont particulièrement frappés », ont-ils écrit dans leur rapport.
L'opération ciblait des entreprises technologiques, des institutions financières, des entreprises chimiques et des agences gouvernementales. Les chercheurs ont écrit que les pirates informatiques ont attaqué « une trentaine de cibles à travers le monde et sont parvenus à leurs fins dans quelques cas ». Anthropic a détecté l'opération en septembre et a pris des mesures pour la contrer et informer les parties concernées.
Anthropic a souligné que si les systèmes d'IA sont de plus en plus utilisés dans divers contextes professionnels et de loisirs, ils peuvent également être détournés à des fins malveillantes par des groupes de pirates informatiques travaillant pour des adversaires étrangers. Cette entreprise basée à San Francisco, créatrice du chatbot d'IA générative Claude, fait partie des nombreux développeurs de technologies qui proposent des « agents » d'IA capables d'accéder à des outils informatiques et d'agir au nom d'une personne, au-delà des capacités d'un chatbot.
« Les agents sont précieux pour le travail et la productivité au quotidien, mais entre de mauvaises mains, ils peuvent considérablement accroître la viabilité des cyberattaques de grande envergure », ont conclu les chercheurs. « Il est probable que ces attaques gagnent en efficacité. »
Un porte-parole de l'ambassade de Chine à Washington n'a pas immédiatement répondu à notre demande de commentaires concernant ce rapport.
Microsoft avait averti, plus tôt cette année, que les adversaires étrangers utilisaient de plus en plus l'IA pour rendre leurs cyberattaques plus efficaces et moins gourmandes en ressources humaines. Le responsable du comité de sécurité d'OpenAI, habilité à suspendre le développement de l'IA du créateur de ChatGPT, a récemment déclaré à l'Associated Press qu'il surveillait de près les nouveaux systèmes d'IA susceptibles de conférer aux pirates informatiques malveillants des « capacités bien supérieures ».
Les adversaires de l'Amérique, ainsi que les gangs criminels et les sociétés de piratage, ont exploité le potentiel de l'IA, l'utilisant pour automatiser et améliorer les cyberattaques, pour diffuser de la désinformation incendiaire et pour pénétrer des systèmes sensibles. L'IA peut, par exemple, traduire des courriels d'hameçonnage mal rédigés en anglais fluide, et même générer des clones numériques de hauts fonctionnaires.
Selon Anthropic, les pirates ont réussi à manipuler Claude en utilisant des techniques de « jailbreak » qui consistent à tromper un système d'IA afin qu'il contourne ses garde-fous contre les comportements malveillants, en se faisant passer pour des employés d'une entreprise de cybersécurité légitime.
« Cela met en lumière un défi majeur pour les modèles d'IA, et ce problème ne se limite pas à Claude : ces modèles doivent être capables de distinguer les enjeux éthiques réels d'une situation des scénarios de jeu de rôle que les pirates et autres personnes malveillantes peuvent imaginer », a déclaré John Scott-Railton, chercheur principal au Citizen Lab.
L'utilisation de l'IA pour automatiser ou diriger les cyberattaques séduira également les petits groupes de pirates informatiques et les pirates solitaires, qui pourraient s'en servir pour étendre l'envergure de leurs attaques, selon Adam Arellano, directeur technique chez Harness, une entreprise technologique qui utilise l'IA pour aider ses clients à automatiser le développement logiciel.
« La rapidité et l'automatisation offertes par l'IA sont quelque peu inquiétantes », a déclaré Arellano. « Au lieu qu'un humain aux compétences pointues tente de pirater des systèmes robustes, l'IA accélère ces processus et surmonte les obstacles avec plus de constance. »
Les programmes d'IA joueront également un rôle de plus en plus important dans la défense contre ce type d'attaques, a ajouté Arellano, démontrant ainsi comment l'IA et l'automatisation qu'elle permet profiteront aux deux parties.
La réaction à la révélation d'Anthropic a été mitigée : certains y ont vu une stratégie marketing pour promouvoir l'approche d'Anthropic en matière de cybersécurité, tandis que d'autres ont salué cette prise de conscience.
« Cela va nous détruire – plus vite qu'on ne le pense – si nous ne faisons pas de la réglementation de l'IA une priorité nationale dès demain », a écrit le sénateur américain Chris Murphy, démocrate du Connecticut, sur les réseaux sociaux.
Cette déclaration a suscité des critiques de la part de Yann LeCun, directeur scientifique de Meta et fervent défenseur des systèmes d'IA open source de la maison mère de Facebook. Contrairement à ceux d'Anthropic, ces systèmes rendent leurs composants clés accessibles au public, une pratique jugée trop risquée par certains défenseurs de la sécurité de l'IA.
« Vous êtes manipulés par ceux qui cherchent à s'emparer de la réglementation », a répondu LeCun à Murphy. « Ils sèment la peur avec des études douteuses afin de faire disparaître les modèles open source de la réglementation. »