Incidents associés
J'ai récemment créé un bot pour m'aider à réserver des cours de gym populaires.
Ce n'était pas un grand projet de recherche, juste une petite automatisation pratique. Les cours se remplissent vite, j'en avais marre de rafraîchir la page sans arrêt, et je me suis dit qu'un agent sous Opus 4.6 pourrait gérer cette partie fastidieuse.
Et il l'a fait. Puis il a continué.
En essayant de réserver des cours, le bot a découvert que le fournisseur du logiciel de la salle de sport avait exposé une API GraphQL avec des failles d'autorisation. Pas de simples failles mineures, non plus. Il pouvait réserver des cours des mois avant la période prévue, avant même qu'ils ne soient disponibles. Pire encore, il pouvait annuler les réservations d'autres membres et les retirer de la liste d'attente.
C'est bien différent d'une simple demande comme « Inscrivez-moi à un cours de Pilates jeudi ».
Ce qui rendait la situation encore plus surréaliste, c'était le ton employé. Le bot n'était pas malveillant. Il était serviable. Après avoir identifié le problème, l'IA a rédigé un courriel de divulgation responsable à l'attention du support, expliquant la vulnérabilité, suggérant des correctifs et comparant même les mutations défectueuses avec celles qui appliquaient correctement l'autorisation. J'ai dû lui demander d'écrire ce courriel, ce qui est à souligner. Mais toute cette expérience m'a procuré une sensation très forte, que je pense que beaucoup de gens n'ont pas encore pleinement ressentie : si vous autorisez un agent d'IA à effectuer une action, il découvrira souvent des chemins que vous ne lui aviez pas explicitement demandé d'explorer.
C'est pourquoi l'annonce de Mythos par Anthropic m'a autant marqué cette semaine.
Si l'on s'en tient aux gros titres, cela ressemble à une énième histoire de « nouveau modèle plus performant aux tests de performance ». Je ne pense pas que ce soit là l'intérêt. Ce qui est intéressant, c'est la nature de cette capacité. Anthropic affirme que Mythos surpasse Opus 4.6 d'environ 40 % sur les tests de performance qui les intéressent, et ils ne le rendent pas public car ils le jugent trop risqué. Au lieu de cela, ils l'ont intégré à un programme limité, avec un petit groupe de partenaires, pour surveiller les vulnérabilités de manière préventive.
Puis les rapports ont commencé à affluer. Des milliers de failles zero-day critiques affectant les principaux systèmes d'exploitation et navigateurs. D'anciennes vulnérabilités qui semblaient être restées inexploitées pendant des années. Des chaînes d'exploitation. Des utilisateurs non experts découvrant des failles d'exécution de code à distance du jour au lendemain et se réveillant avec des exploits fonctionnels. Une évasion de sandbox qui a conduit le modèle à publier sur des sites web publics obscurs pour contacter un chercheur.
Je ne répète pas ces exemples pour faire de l'effet. Je les répète parce qu'après avoir vu un modèle beaucoup plus faible découvrir par hasard une véritable faille d'autorisation dans le logiciel de ma salle de sport, ils ont cessé de me paraître abstraits.
Voici, à mon avis, le point le plus important : les améliorations en matière de programmation ne se limitent pas à la simple programmation. Elles débordent sur des domaines connexes comme la sécurité, l'exploitation, la rétro-ingénierie et l'autonomie. Il ne s'agit pas d'une exception étrange. C'est une propriété fondamentale de l'intelligence artificielle générale.
Nous avons tendance à parler de ces capacités comme si elles appartenaient à des catégories de produits distinctes. Modèle de codage. Modèle de sécurité. Modèle d'agent. Mais la réalité est plus complexe. Si un système excelle dans la compréhension de vastes bases de code, le traçage de la logique, la détection des incohérences, la vérification d'hypothèses et l'exécution d'opérations en plusieurs étapes, il excelle également dans la détection des vulnérabilités. Il excelle aussi dans leur enchaînement. Il ne s'agit pas de compétences distinctes, mais du même mécanisme cognitif sous-jacent appliqué à un problème différent.
C'est ce que Mythos semble démontrer, et honnêtement, c'est ce qui me met le plus mal à l'aise. Pas de panique, mais un malaise certain.
Je pense qu'Anthropic mérite d'être félicité pour avoir traité ce problème comme une véritable préoccupation et non comme un simple argument marketing. Si un modèle est capable à la fois de corriger les vulnérabilités et de les exploiter, il faut l'affirmer clairement. Leur argument selon lequel les mêmes améliorations qui ont rendu le modèle plus performant en matière de défense l'ont également rendu plus performant en matière d'attaque me semble pertinent. Il correspond à la tendance que j'observe dans la pratique.
Il y a également une histoire d'alignement intéressante à découvrir. Mon propre bot a découvert quelque chose qu'il n'avait pas été explicitement programmé pour trouver, et, sollicité, il a contribué à sa divulgation de manière responsable. Mythos, du moins selon Anthropic, est déployé dans un contexte défensif restreint pour identifier et signaler les problèmes. C'est important. Un système d'IA capable de découvrir des failles de sécurité et de participer à leur divulgation responsable est différent d'un système qui se contente de les trouver.
Mais je ne me fierais pas trop à cette seule distinction. L'alignement n'est pas un simple artifice. Il doit évoluer au même rythme que les capacités, et ces dernières semblent progresser très rapidement. Anthropic a également signalé un comportement de « bulldozer » dans les versions précédentes de Mythos : modification de fichiers pour lever les obstacles, puis suppression des éléments superflus. Même si l'on parvient à en limiter une partie, le problème de fond demeure : ces systèmes deviennent plus autonomes, plus opportunistes et plus capables de découvrir des failles là où on ne les attendait pas.
Cela rejoint un point que j'ai abordé récemment : le véritable champ de bataille en entreprise se situe au niveau des agents de bureau, et non des copilotes. Les copilotes sont utiles, mais leurs capacités sont limitées. Les agents de bureau, eux, sont différents. Ils peuvent agir concrètement : cliquer, exécuter, inspecter, réessayer, improviser. Et pour exploiter pleinement leur potentiel, il faut généralement leur accorder des permissions assez larges.
Je reste convaincu que ce compromis est justifié. Je pense simplement qu'il est essentiel d'être beaucoup plus honnête sur le fait qu'il s'agit bien d'un compromis.
Mon robot de salle de sport illustre parfaitement ce principe. Je lui ai donné l'autorisation d'agir en mon nom au sein d'un système réel. En retour, j'ai gagné en puissance. J'ai aussi acquis une certaine marge de manœuvre. Cette même générosité qui l'a rendu utile lui a permis de se surpasser. Ce n'est pas un hasard. C'est le principe même.
Alors, quand on me demande si les capacités de l'IA stagnent, ma réponse est honnête : non. Les choses deviennent plus étranges. Et un peu plus inquiétantes.
Si Opus 4.6 peut accidentellement exploiter une véritable vulnérabilité d'autorisation GraphQL chez un grand fournisseur de logiciels, que découvre Mythos ? Et le modèle qui succédera à Mythos ? Que se passe-t-il lorsque ces systèmes ne se contentent pas de raisonner de manière abstraite, mais qu'ils sont également plus à même de naviguer dans les systèmes complexes, soumis à des autorisations et souvent défaillants qui régissent le monde réel ?
Je ne pense pas qu'il faille céder à la panique, ni renoncer complètement aux agents. Je pense qu'il est préférable de garder la tête froide. Le potentiel est immense. Ces systèmes vont créer un véritable levier pour les entreprises et une réelle utilité pour les utilisateurs. Mais plus on travaille avec eux, plus il devient difficile de prétendre que les risques sont hypothétiques.
Je suis toujours favorable aux agents. Je pense toujours que les autorisations méritent d'être accordées. Je pense simplement qu'il est important d'exprimer clairement ce que cela implique.
Parfois, « passer à l'action » nous amène à découvrir des choses que ni nous ni l'éditeur du logiciel n'avions anticipées. Et de mon point de vue, cela ressemble moins à un bug ponctuel qu'à un aperçu.