Problème 7690

Anthropic a révélé jeudi que ses modèles d'IA avaient accédé sans autorisation aux systèmes de trois organisations non identifiées lors de tests de cybersécurité. L'entreprise affirme que Claude a accédé à Internet « depuis ou lors d'interactions » avec un environnement d'évaluation tiers. Cette annonce intervient plus d'une semaine après qu'OpenAI a révélé qu'un de ses agents d'IA avait piraté Hugging Face lors d'un test de cybersécurité distinct.

Cette découverte fait suite à une vaste analyse rétrospective de ses propres évaluations de cybersécurité menée par Anthropic après l'incident OpenAI, comme l'indique un article de blog publié jeudi par le laboratoire. Anthropic explique avoir d'abord identifié 141 006 tests au cours desquels il a déterminé que Claude aurait pu accéder à Internet. Il a ensuite constaté que trois modèles différents de Claude avaient accédé à Internet lors d'évaluations réalisées par la société tierce de tests d'IA Irregular, puis s'étaient introduits dans l'infrastructure de production de trois organisations différentes.

Anthropic précise que les incidents concernaient Opus 4.7, Mythos 5 et un modèle de test de recherche interne. Les premiers incidents remontent à avril, ce qui signifie qu'ils sont probablement passés inaperçus pendant des mois. Tout comme dans le cas d'OpenAI, Anthropic avait délibérément désactivé les protections destinées à limiter les modèles d'IA et à empêcher leur utilisation abusive. Autrement dit, il ne s'agissait pas des versions destinées au public.

« Dans les trois incidents, Claude avait été chargé d'un défi de type "capture de drapeau", l'une des méthodes que nous utilisons pour évaluer les capacités cybernétiques d'un modèle », a déclaré Anthropic dans un article de blog. L'entreprise a ajouté que, dans tous les cas, « les instructions d'évaluation d'Anthropic précisaient à Claude que son environnement était une simulation et qu'il n'avait pas accès à Internet ». Elle a attribué cet oubli à un « malentendu » entre Anthropic et Irregular.

Bien que Claude ne fût pas censé avoir accès à Internet, Anthropic a indiqué qu'Irregular avait mal configuré les machines utilisées pour tester Claude, permettant ainsi aux modèles d'IA de naviguer sur le Web. « Ni nous ni notre partenaire d'évaluation n'avions connaissance de cette erreur de configuration jusqu'à ce que nous la détections lors de notre surveillance d'évaluation supplémentaire la semaine dernière », a précisé Anthropic dans son article de blog.

« Nous avons désormais la preuve que les deux plus grands laboratoires d'IA n'ont pas seulement échoué à contenir leurs agents, mais aussi à détecter leurs intrusions en temps réel », déclare Jake Williams, vice-président de la recherche et du développement chez Hunter Strategy. « Il est clair qu'une réglementation et un contrôle gouvernemental des tests d'IA sont nécessaires de toute urgence. »

Irregular et Anthropic n'ont pas immédiatement répondu aux demandes de commentaires.

Contrairement à l'affaire OpenAI, Anthropic a déclaré que Claude n'avait trouvé ni exploité aucune vulnérabilité complexe. Il s'est plutôt appuyé sur des techniques basiques, « comme l'exploitation de mots de passe faibles et de points d'accès non authentifiés ».

OpenAI a affirmé que son agent d'IA s'était introduit sur Internet en exploitant une vulnérabilité zero-day. Mais il a ensuite pénétré les systèmes de plusieurs organisations tierces en utilisant les mêmes failles de cybersécurité courantes que les modèles d'Anthropic. Plus précisément, OpenAI a déclaré que l'agent d'IA avait apparemment trouvé des identifiants exposés sur Internet.

Anthropic a reconnu que si le laboratoire d'IA et son partenaire de test avaient mis en œuvre des mesures de sécurité plus poussées, ils auraient pu éviter ces incidents, ou du moins en réduire la probabilité, reprenant ainsi la réponse d'OpenAI face aux critiques croissantes suscitées par son propre incident.

« Je ne comprends pas comment ces laboratoires d'IA peuvent minimiser la situation comme si c'était un simple incident de routine », déclare Williams. « Ce n'est pas le cas. C'est de la négligence. »

Anthropic a souligné que les modèles avaient été informés qu'ils n'avaient pas accès à Internet et que, dans la plupart des cas, Claude avait confondu les organisations compromises avec des éléments de l'environnement de test. Autrement dit, les modèles n'avaient pas vraiment compris qu'ils avaient échappé au confinement.

Dans certains cas, les modèles d'IA ont détecté une anomalie et ont correctement identifié l'infrastructure réelle à laquelle ils accédaient. Le modèle le plus ancien, Opus 4.7, avait pour mission de cibler une entreprise fictive portant le même nom qu'un nom de domaine existant. Incapable d'accomplir sa mission dans l'environnement simulé, il s'est tourné vers l'entreprise réelle, réussissant à dérober des identifiants et à s'introduire dans une base de données de production. À un moment donné, selon Anthropic, il a compris qu'il « opérait probablement dans un environnement réel », mais a persisté dans son attaque.

Mythos 5, le modèle le plus performant publié par Anthropic, a également réalisé qu'il se trouvait dans le monde réel, mais a « déterminé par son raisonnement qu'il était toujours dans une simulation ».

Le modèle de test interne, que Anthropic considère comme le plus performant, a interrompu son attaque dès qu'il a trouvé la preuve que ses cibles étaient réelles.

Anthropic et OpenAI ont tous deux indiqué avoir mandaté METR, un autre organisme tiers d'évaluation de l'IA, pour mener des analyses indépendantes de leurs incidents de cybersécurité respectifs. Anthropic s'est également engagée à adopter une approche plus globale de ses tests de sécurité, grâce à des mesures de défense en profondeur renforcées et à des tests plus rigoureux.

« Les environnements d'évaluation doivent de plus en plus respecter les mêmes normes de sécurité que tout autre système sur lequel nos modèles s'exécutent », peut-on lire dans l'article de blog, qui ajoute que l'entreprise affiche un « optimisme prudent » quant à la possibilité de surmonter ce type de risque.