Incidents associés
Depuis que OpenAI a lancé ChatGPT fin novembre, les commentateurs de tous bords se sont inquiétés de l'impact qu'aura la création de contenu basée sur l'IA, en particulier dans le domaine de la cybersécurité. En fait, de nombreux chercheurs craignent que les solutions d'IA génératives ne démocratisent la cybercriminalité.
Avec ChatGPT, n'importe quel utilisateur peut saisir une requête et générer un code malveillant et des e-mails d'hameçonnage convaincants sans aucune expertise technique ni connaissances en codage.
Alors que les équipes de sécurité peuvent également tirer parti de ChatGPT à des fins défensives telles que tester le code, en abaissant le barrière à l'entrée pour les cyberattaques, la solution a considérablement compliqué le paysage des menaces.
La démocratisation de la cybercriminalité
Du point de vue de la cybersécurité, le défi central créé par la création d'OpenAI est que n'importe qui, quelle que soit son expertise technique, peut créer du code pour générer des [malwares](https://venturebeat.com/security/malware-and-best-practices-for-malware -removal/) et ransomware à la demande.
"Tout comme il [ChatGPT] peut être utilisé à bon escient pour aider les développeurs à écrire du code pour de bon, il peut (et a déjà) été utilisé à des fins malveillantes", a déclaré le directeur, spécialiste de la sécurité des terminaux chez [Tanium](https: //www.tanium.com/), Matt Psencik.
"Quelques exemples que j'ai déjà vus demandent au bot de créer des e-mails de phishing convaincants ou d'aider à l'ingénierie inverse du code pour trouver [zero-day exploits] (https://venturebeat.com/security/how-zero-trust-methods -thwart-malicious-hackers/) qui pourraient être utilisés de manière malveillante au lieu de les signaler à un fournisseur », a déclaré Psencik.
Cependant, Psencik note que ChatGPT a des garde-fous intégrés conçus pour empêcher la solution d'être utilisée pour des activités criminelles.
Par exemple, il refusera de créer du code shell ou de fournir des instructions spécifiques sur la façon de créer du shellcode ou d'établir un shell inversé et de signaler des mots-clés malveillants comme le phishing pour bloquer les requêtes.
Le problème avec ces protections est qu'elles dépendent de l'IA reconnaissant que l'utilisateur tente d'écrire du code malveillant (que les utilisateurs peuvent masquer en reformulant les requêtes), alors qu'il n'y a pas de conséquences immédiates en cas de violation de la politique de contenu d'OpenAI.
Comment utiliser ChatGPT pour créer des e-mails de ransomware et de phishing
Alors que ChatGPT n'est pas sorti depuis longtemps, les chercheurs en sécurité ont déjà commencé à tester sa capacité à générer du code malveillant. Par exemple, le chercheur en sécurité et co-fondateur de Picus Security, le Dr Suleyman Ozarslan a récemment utilisé ChatGPT non seulement pour créer une campagne de phishing, mais aussi pour créer un [ransomware](https: //venturebeat.com/security/report-90-of-companies-affected-by-ransomware-in-2022/) pour MacOS.
"Nous avons commencé par un exercice simple pour voir si ChatGPT créerait une campagne de phishing crédible et c'est ce qu'il a fait. J'ai saisi une invite pour écrire un e-mail sur le thème de la Coupe du monde à utiliser pour une simulation de phishing et il en a créé un en quelques secondes, dans un anglais parfait », a déclaré Ozarslan.
Dans cet exemple, Ozarslan a "convaincu" l'IA de générer un e-mail de phishing en disant qu'il était un chercheur en sécurité d'une société de simulation d'attaque cherchant à développer un outil de simulation d'attaque de phishing.
Bien que ChatGPT ait reconnu que "les attaques de phishing peuvent être utilisées à des fins malveillantes et peuvent causer des dommages aux individus et aux organisations", il a quand même généré l'e-mail.
Après avoir terminé cet exercice, Ozarslan a ensuite demandé à ChatGPT d'écrire du code pour Swift, qui pourrait trouver des fichiers Microsoft Office sur un MacBook et les envoyer via HTTPS à un serveur Web, avant de chiffrer les fichiers Office sur le MacBook. La solution a répondu en générant un exemple de code sans avertissement ni invite.
L'exercice de recherche d'Ozarslan montre que les cybercriminels peuvent facilement contourner les protections d'OpenAI, soit en se positionnant en tant que chercheurs, soit en masquant leurs intentions malveillantes.
La recrudescence de la cybercriminalité déséquilibre la balance
Bien que ChatGPT offre des avantages positifs aux équipes de sécurité, en abaissant la barrière à l'entrée pour les cybercriminels, il a le potentiel d'accélérer la complexité du paysage des menaces plus qu'il ne doit la réduire.
Par exemple, les cybercriminels peuvent utiliser l'IA pour augmenter le volume des menaces de phishing dans la nature, qui non seulement submergent déjà les équipes de sécurité, mais n'ont besoin de réussir qu'une seule fois pour provoquer une [violation de données](https://venturebeat.com/ security/cost-of-a-data-breach/) qui coûte des millions en dommages.
"En matière de cybersécurité, ChatGPT a bien plus à offrir aux attaquants qu'à leurs cibles", a déclaré le vice-président de la recherche et du développement chez le fournisseur de sécurité de messagerie, IRONSCALES, Lomy Ovadia.
"Cela est particulièrement vrai pour les attaques de compromis de messagerie professionnelle (BEC) qui reposent sur l'utilisation de contenu trompeur pour se faire passer pour des collègues, un VIP d'entreprise, un fournisseur, ou même un client », a déclaré Ovadia.
Ovadia soutient que les CISOs et les responsables de la sécurité seront surpassés s'ils s'appuient sur des outils de sécurité basés sur des politiques pour détecter les attaques de phishing avec le contenu généré par AI/GPT-3, car ces modèles d'IA utilisent des traitement du langage naturel (NLP) pour générer des e-mails frauduleux qu'il est presque impossible de distinguer des exemples authentiques.
Par exemple, plus tôt cette année, un chercheur en sécurité de l'Agence gouvernementale de technologie de Singapour a créé 200 e-mails d'hameçonnage et a comparé le taux de clics à ceux créés par modèle d'apprentissage en profondeur GPT-3, et a constaté que plus d'utilisateurs cliquaient sur les e-mails de phishing générés par l'IA que sur ceux produits par les utilisateurs humains.
Alors, quelle est la bonne nouvelle ?
Si l'IA générative introduit de nouvelles menaces pour les équipes de sécurité, elle offre également des cas d'utilisation positifs. Par exemple, les analystes peuvent utiliser l'outil pour examiner le code open source à la recherche de vulnérabilités avant le déploiement.
"Aujourd'hui, nous voyons ethical hackers utiliser l'IA existante pour aider à rédiger des rapports de vulnérabilité, générer des échantillons de code , et identifier les tendances dans de grands ensembles de données. Tout cela pour dire que la meilleure application pour l'IA d'aujourd'hui est d'aider les humains à faire des choses plus humaines », a déclaré Dane Sherrets, architecte de solutions chez HackerOne.
Cependant, les équipes de sécurité qui tentent de tirer parti de solutions d'IA génératives telles que ChatGPT doivent toujours assurer une supervision humaine adéquate pour éviter les contretemps potentiels.
"Les progrès que représente ChatGPT sont passionnants, mais la technologie n'a pas encore été développée pour fonctionner de manière entièrement autonome. Pour que l'IA fonctionne, elle nécessite une supervision humaine, une configuration manuelle et on ne peut pas toujours compter sur elle pour être exécutée et formée sur les dernières données et informations les plus récentes », a déclaré Sherrets.