Incidents associés
Même pour les pirates les plus expérimentés, cela peut prendre au moins une heure pour écrire un script pour exploiter une vulnérabilité logicielle et infiltrer leur cible. Bientôt, une machine pourra peut-être le faire en quelques secondes.
Lorsque OpenAI a publié la semaine dernière son outil ChatGPT, permettant aux utilisateurs d'interagir avec un chatbot d'intelligence artificielle, le chercheur en sécurité informatique Brendan Dolan-Gavitt s'est demandé s'il pouvait lui demander d'écrire code malicieux. Alors, il a demandé le modèle pour résoudre un simple défi de capture du drapeau.
Le résultat était presque remarquable. ChatGPT a correctement reconnu que le code contenait une vulnérabilité de dépassement de mémoire tampon et a écrit un morceau de code exploitant la faille. Sans une erreur mineure - le nombre de caractères dans l'entrée - le modèle aurait parfaitement résolu le problème.
Le défi que Dolan-Gavitt a présenté à ChatGPT était basique - celui qu'il présenterait aux étudiants vers le début d'un cours d'analyse de vulnérabilité - et le fait qu'il ait échoué n'inspire pas confiance dans la capacité des grands modèles de langage, qui fournissent la base pour que les robots IA répondent aux demandes humaines, pour écrire un code de qualité. Mais après avoir repéré l'erreur, Dolan-Gavitt a invité le modèle à réexaminer la réponse, et, cette fois, ChatGPT a bien compris.
Pour l'instant, ChatGPT est loin d'être parfait dans l'écriture de code et illustre de nombreuses lacunes dans le recours aux outils d'IA pour écrire du code. Mais à mesure que ces modèles deviendront plus sophistiqués, ils sont susceptibles de jouer un rôle de plus en plus important dans l'écriture de logiciels malveillants. code.
"Le code est une technologie à double usage", a déclaré Dolan-Gavitt, professeur adjoint au département d'informatique et d'ingénierie de l'université de New York. "Presque tout ce que fait un logiciel malveillant est quelque chose qu'un logiciel légitime ferait également."
"Si ce n'est pas ChatGPT, alors un modèle dans les deux prochaines années sera capable d'écrire du code pour les vulnérabilités logicielles du monde réel", a-t-il ajouté.
Depuis qu'OpenAI l'a publié, ChatGPT a stupéfié les utilisateurs, écrivant courts essais universitaires, lettres de motivation, essais d'admission, et une scène de Seinfeld étrangement passable dans laquelle [Jerry doit apprendre l'algorithme de tri à bulles](https://twitter.com/goodside /statut/1598077257498923010).
ChatGPT ne représente pas une révolution dans l'apprentissage automatique en tant que tel, mais dans la façon dont les utilisateurs interagissent avec lui. Les versions précédentes des grands modèles de langage d'OpenAI exigent que les utilisateurs invitent le modèle avec une entrée. ChatGPT, qui s'appuie sur une version optimisée de GPT-3.5, le grand modèle de langage phare d'OpenAI, facilite considérablement l'interaction avec ce modèle en permettant de poursuivre une conversation avec une IA hautement qualifiée.
Les grands modèles de langage tels que ceux d'OpenAI s'appuient sur d'énormes masses de données extraites d'Internet et de livres - GPT-3, par exemple, formé une masse de près de 500 milliards soi-disant jetons – puis utilisez des outils statistiques pour prédire les façons les plus probables de répondre aux requêtes ou de répondre aux questions. Ces données comprennent une grande quantité de code informatique - ce qu'OpenAI décrit comme "des dizaines de millions de référentiels publics" - à partir de sites tels que les forums StackExchange et GitHub, donnant au modèle la possibilité d'imiter les compétences de programmeurs hautement qualifiés.
Du point de vue de la cybersécurité, les risques posés par les LLM sont à double tranchant. D'une part, ces modèles peuvent produire du code malveillant ; d'autre part, ils sont sujets aux erreurs et risquent d'insérer du code vulnérable. OpenAI semble conscient des deux côtés de ce risque.
Dans un article examinant le modèle d'écriture de code de l'entreprise connu sous le nom de Codex, qui alimente l'assistant Co-Pilot de GitHub, les chercheurs d'OpenAI ont observé que le modèle "peut produire des éléments vulnérables ou code mal aligné" et que si "les futurs modèles de génération de code pourront être formés pour produire un code plus sécurisé que le développeur moyen", y parvenir "est loin d'être certain".
Les chercheurs ont ajouté que si Codex, qui est issu du même modèle que ChatGPT, pourrait être "utilisé à mauvais escient pour aider la cybercriminalité", les capacités actuelles du modèle "ne réduisent pas sensiblement la barrière à l'entrée pour le développement de logiciels malveillants". Cependant, ce compromis peut changer à mesure que les modèles progressent, et dans un tweet au cours du week-end, le PDG d'OpenAI, Sam Altman, a cité la cybersécurité comme l'un des principaux risques. d'une "IA dangereusement forte".
OpenAI n'a pas répondu aux questions sur la manière dont il traite les problèmes de cybersécurité avec ChatGPT, ni sur ce qu'Altman avait en tête concernant les futurs risques de cybersécurité posés par l'IA.
Depuis la sortie de ChatGPT, les chercheurs et les programmeurs ont publié des exemples slack-jawed du modèle[ produisant un code de qualité](https://twitter .com/amasad/status/1598042665375105024), mais en y regardant de plus près - comme dans l'exemple du débordement de tampon de Dolan-Gavitt - le code de ChatGPT contient parfois des erreurs.
"Je pense que c'est vraiment bon de proposer des choses qui sont correctes à 95%", a déclaré Stephen Tong, chercheur en sécurité et fondateur de la société de cybersécurité Zellic. "Vous savez qu'il y a des gens qui ne savent pas coder mais qui se contentent de copier-coller depuis Stack Overflow, et ça marche en quelque sorte ? C'est un peu comme ça."
Le mauvais code écrit par les assistants IA représente l'un des risques majeurs de l'évolution vers les LLM dans le développement de logiciels. La base de code sur laquelle les assistants IA sont formés contient un certain nombre d'erreurs (souvent difficiles à déterminer), et en étant formés sur cet ensemble de travaux, les LLM risquent de reproduire ces erreurs et de les insérer dans un code largement déployé.
Dans une étude sur les performances de sécurité de Copilot, alimentées par la technologie OpenAI, le modèle a donné des résultats lamentables. Dans cette étude, les chercheurs ont proposé à Copilot 89 scénarios liés à la sécurité, produisant près de 1 700 programmes. Environ 40 % d'entre eux étaient vulnérables.
Ce code peut être comparable à ce qu'un humain produirait. "Le code est-il pire qu'un stagiaire en génie logiciel de première année ? Probablement pas", a déclaré Hammond Pearce, professeur d'informatique à la NYU, co-auteur de l'étude avec Dolan-Gavitt et d'autres.
Cela signifie que les programmeurs doivent être sceptiques quant au code produit par un assistant IA, dont les erreurs pourraient être facilement exploitées par des attaquants.
Moins d'une semaine après l'introduction de ChatGPT, l'outil est devenu immédiatement populaire parmi les programmeurs, mais produit un code si sujet aux erreurs qu'il [a été interdit](https://www.theverge.com/2022/12/5/23493932 /chatgpt-ai-generated-answers-temporarily-banned-stack-overflow-llms-dangers) sur Stack Overflow, un forum de questions-réponses pour les programmeurs. "Bien que les réponses produites par ChatGPT aient un taux élevé d'erreurs, elles semblent elles pourraient être bonnes et les réponses sont très faciles à produire", les modérateurs - et les accents ici sont les leurs - ont écrit en annonçant la décision.
Alors, les LLM pourraient-elles alors être utilisées pour écrire du code malveillant exploitant des vulnérabilités déjà existantes ?
En raison de leur dépendance aux données existantes pour répondre aux invites, les chercheurs en cybersécurité sont sceptiques pour l'instant quant à l'utilisation de grands modèles de langage pour écrire un code malveillant innovant. "L'écriture d'exploits, en particulier d'exploits modernes, nécessite l'invention et l'utilisation de nouvelles techniques", a déclaré Matt Suiche, directeur de la mémoire, de la réponse aux incidents et de la R&D chez Magnet Forensics. "Ce n'est pas encore quelque chose que l'IA peut faire."
Conscient du risque que ChatGPT puisse être utilisé pour écrire des exploits, OpenAI a mis en place des garde-fous autour de l'utilisation de l'outil pour écrire des logiciels malveillants. Invité à écrire un exploit d'exécution de code à distance sans clic pour l'iPhone d'Apple - un code qui rapporterait d'énormes sommes sur le marché noir et pourrait être utilisé pour effectuer une surveillance invasive - ChatGPT informe l'utilisateur que "la création ou l'utilisation d'exploits est illégale et peut causer nuire aux individus et aux systèmes, donc ce n'est pas quelque chose que je peux aider."
Mais ces restrictions sont imparfaites. Les fonctions d'un logiciel malveillant - établir des connexions réseau ou chiffrer le contenu d'un fichier, par exemple - sont celles que les logiciels légitimes remplissent également. La différenciation entre les logiciels légitimes et malveillants est souvent une question d'intention, ce qui rend les LLM vulnérables aux abus.
Benjamin Tan, informaticien à l'Université de Calgary, a déclaré qu'il était capable de contourner certaines des garanties de ChatGPT en demandant au modèle de produire un logiciel pièce par pièce qui, une fois assemblé, pourrait être utilisé à des fins malveillantes. "Il ne sait pas que lorsque vous mettez tout cela ensemble, il fait quelque chose qu'il ne devrait pas faire", a déclaré Tan.
Même si les LLM ne peuvent pas écrire leurs propres exploits pour le moment, ils pourraient être utilisés pour modifier les logiciels malveillants existants et créer des variantes. La création de variantes pourrait être utilisée pour contourner l'analyse de signature ou être utilisée pour imiter le style d'écriture de code d'un autre attaquant, ce qui rend plus difficile l'attribution des attaques, a déclaré Pearce.
Alors que les grands modèles de langage prolifèrent, il est raisonnable de penser qu'ils joueront un rôle dans le développement des exploits. Pour l'instant, il est probablement moins cher ou plus facile pour les attaquants d'écrire leurs propres exploits, mais à mesure que les défenses s'améliorent et que le coût des LLM diminue, il y a de bonnes raisons de croire que des outils comme ChatGPT joueront un rôle clé dans le développement d'exploits.
Une partie de la recherche de Tan consiste à ajuster des modèles accessibles au public, et "si vous disposiez d'un ensemble suffisant d'échantillons, vous pourriez former ces choses pour cracher des logiciels malveillants", dit-il. "Cela dépend simplement de la recherche des données d'entraînement."