Incidents associés
OpenAI a publié la dernière version de son logiciel d'apprentissage automatique, GPT-4, en grande pompe cette semaine. L'une des caractéristiques que la société a soulignées à propos de la nouvelle version était qu'elle était censée avoir des règles la protégeant de l'utilisation par les cybercriminels. En quelques jours, cependant, les chercheurs disent qu'ils l'ont trompé en créant des logiciels malveillants et en les aidant à créer des e-mails de phishing, tout comme [comme ils l'avaient fait pour la précédente itération du logiciel d'OpenAI, ChatGPT](https://www.forbes.com /sites/thomasbrewster/2023/01/06/chatgpt-cybercriminal-malware-female-chatbots/). Du bon côté, ils ont également pu utiliser le logiciel pour colmater les trous dans les cyberdéfense.
Des chercheurs de la société de cybersécurité Check Point ont montré à Forbes comment ils ont contourné les blocages d'OpenAI sur le développement de logiciels malveillants en supprimant simplement le mot « malware » dans une demande. GPT-4 les a ensuite aidés à créer un logiciel qui collectait des fichiers PDF et les envoyait vers un serveur distant. Il est allé plus loin, donnant aux chercheurs des conseils sur la façon de le faire fonctionner sur un PC Windows 10 et d'en faire un fichier plus petit, afin qu'il puisse fonctionner plus rapidement et avoir moins de chances d'être repéré par un logiciel de sécurité.
Pour que GPT-4 aide à créer des e-mails de phishing, les chercheurs ont adopté deux approches. Dans le premier, ils ont utilisé GPT-3.5, qui ne bloquait pas les demandes de création de messages malveillants, pour écrire un e-mail de phishing se faisant passer pour une banque légitime. Ils ont ensuite demandé à GPT-4, qui avait initialement refusé de créer un message de phishing original, d'améliorer le langage. Dans la seconde, ils ont demandé des conseils sur la création d'une campagne de sensibilisation au phishing pour une entreprise et ont demandé un modèle de faux e-mail de phishing, que l'outil a dûment fourni.
"GPT-4 peut donner aux mauvais acteurs, même non techniques, les outils nécessaires pour accélérer et valider leur activité", ont noté les chercheurs de Check Point dans leur rapport, remis à Forbes avant publication. "Ce que nous voyons, c'est que GPT-4 peut servir à la fois les bons et les mauvais acteurs. Les bons acteurs peuvent utiliser GPT-4 pour créer et assembler un code utile à la société ; mais simultanément, les acteurs malveillants peuvent utiliser cette technologie d'intelligence artificielle pour exécuter rapidement la cybercriminalité. »
Sergey Shykevich, responsable du groupe de menaces chez Check Point, a déclaré qu'il semblait que les barrières en place pour empêcher GPT-4 de générer du phishing ou du code malveillant étaient en fait plus faibles que dans les versions précédentes. Il a suggéré que cela pourrait être dû au fait que la société s'appuie sur le fait que seuls les utilisateurs premium y ont actuellement accès. Néanmoins, a-t-il ajouté, OpenAI aurait dû s'attendre à de telles solutions de contournement. "Je pense qu'ils essaient de les prévenir et de les réduire, mais c'est un jeu du chat et de la souris", a-t-il ajouté.
Daniel Cuthbert, chercheur en cybersécurité et membre du comité de révision de la conférence sur le piratage Black Hat, affirme qu'il semble que GPT-4 pourrait aider ceux qui ont peu de connaissances techniques à se lancer dans la création d'outils malveillants. « Si vous êtes vraiment mauvais dans des choses, cela aide vraiment. Il vous le donne dans une assiette », a-t-il déclaré.
OpenAI lui-même, dans un article publié parallèlement à GPT-4 plus tôt cette semaine, a admis que l'outil pourrait réduire le coût de "certaines étapes d'un une cyberattaque réussie, par exemple par le biais de l'ingénierie sociale ou en améliorant les outils de sécurité existants.
Si vous êtes vraiment nul dans ce domaine, cela aide vraiment. Il vous le donne sur une assiette.
Daniel Cuthbert, membre du comité de lecture de la conférence Black Hat hacker
Mais les experts en cybersécurité employés par OpenAI pour tester son chatbot intelligent avant sa sortie ont découvert qu'il présentait "des limitations importantes pour les opérations de cybersécurité", selon le journal. "Il n'améliore pas les outils existants pour la reconnaissance, l'exploitation des vulnérabilités et la navigation sur le réseau, et est moins efficace que les outils existants pour les activités complexes et de haut niveau comme l'identification de nouvelles vulnérabilités", a écrit OpenAI. Cependant, les pirates ont découvert que GPT4 "était efficace pour rédiger un contenu d'ingénierie sociale réaliste".
"Pour atténuer les abus potentiels dans ce domaine, nous avons formé des modèles pour refuser les demandes de cybersécurité malveillantes et mis à l'échelle nos systèmes de sécurité internes, y compris dans la surveillance, la détection et la réponse", a ajouté OpenAI dans le document.
La société n'avait pas répondu aux demandes de commentaires sur les raisons pour lesquelles les chercheurs de Check Point avaient pu contourner rapidement certaines de ces mesures d'atténuation.
Bien qu'il puisse être facile de jouer avec les modèles d'OpenAI, "cela ne fait rien qui n'a jamais été fait", déclare Cuthbert. Un bon hacker saura déjà faire une grande partie de ce qu'OpenAI peut faire sans avoir besoin d'un support artificiellement intelligent, a-t-il déclaré. Et les systèmes de détection modernes devraient également être capables de détecter les types de logiciels malveillants que ChatGPT aide à créer également, étant donné qu'ils ont été tirés d'exemples précédents vus sur Internet, ajoute-t-il.
Cuthbert est très enthousiasmé par ce que le GPT-4 peut faire pour la défense. Après l'avoir aidé à détecter les bogues dans le logiciel, il a également proposé des corrections rapides avec des extraits de code réels qu'il pouvait copier et coller dans son programme, le corrigeant en quelques secondes. "J'aime beaucoup l'auto-refactoring", dit-il. "L'avenir est cool."