Incidents associés
ChatGPT d'OpenAI, le générateur de texte d'intelligence artificielle (IA) basé sur un grand modèle de langage (LLM), peut apparemment être utilisé pour générer du code pour des tâches malveillantes, a observé mardi une note de recherche de la société de cybersécurité Check Point. Les chercheurs de Check Point ont utilisé ChatGPT et Codex, un autre générateur de langage naturel OpenAI pour coder, ont utilisé des instructions standard en anglais pour créer un code pouvant être utilisé pour lancer des attaques de spear phishing.
Le plus gros problème avec ces générateurs de code AI réside dans le fait que les outils de traitement du langage naturel (NLP) peuvent abaisser la barrière d'entrée pour les pirates ayant une intention malveillante. Les générateurs de code n'ayant pas besoin que les utilisateurs connaissent bien le codage, tout utilisateur peut rassembler le flux logique d'informations utilisé dans un outil malveillant à partir du Web ouvert et utiliser la même logique pour générer la syntaxe des outils malveillants.
Démontrant le problème, Check Point a montré comment le générateur de code AI a été utilisé pour créer un modèle de code de base pour une escroquerie par e-mail de phishing et appliquer les instructions suivantes en langage clair pour continuer à améliorer le code. Dans ce que les attaquants ont démontré, tout utilisateur ayant une intention malveillante peut donc créer toute une campagne de piratage en utilisant ces outils.
Sergey Shykevich, responsable du groupe de renseignement sur les menaces chez Check Point, a déclaré que des outils tels que ChatGPT ont "le potentiel de modifier considérablement le paysage des cybermenaces".
« Les pirates peuvent également itérer sur du code malveillant avec ChatGPT et Codex. Les technologies d'intelligence artificielle représentent une nouvelle étape dans l'évolution dangereuse de cybercapacités de plus en plus sophistiquées et efficaces", a-t-il ajouté.
Bien sûr, si les modèles de langage open source peuvent également être utilisés pour créer des outils de cyberdéfense, le manque de protection en termes d'utilisation pour générer des outils malveillants pourrait être potentiellement alarmant. Check Point a noté que même si ChatGPT déclare que l'utilisation de sa plate-forme pour créer des outils de piratage est "contre" sa politique, aucune restriction ne l'empêche de le faire.
Ce n'est pas la première fois qu'un service de langage et de rendu d'images d'IA présente un potentiel d'utilisation abusive. Lensa, un outil d'édition et de modification d'images basé sur l'IA de la société américaine Prisma, a également souligné comment l'absence de filtrage basé sur l'image corporelle et la nudité pouvait conduire à des images nuisant à la vie privée créées d'un individu, sans son consentement.