Incidents associés
Les spams existaient avant le web lui-même, et l'IA générative a amélioré leur fluidité, en produisant des arnaques localisées et astucieuses, permettant aux escrocs d'atteindre des régions et des dialectes qu'ils ignoraient auparavant.
L'un des signaux d'alarme traditionnels pour identifier les spams, y compris les tentatives d'hameçonnage, était une orthographe et une syntaxe incorrectes. L'utilisation de l'IA générative a changé la donne en éliminant l'intervention humaine.
« Je suppose qu'à l'heure actuelle, la moitié des spams que nous recevons sont probablement rédigés par des IA génératives ; le nombre d'erreurs d'orthographe et de grammaire a chuté de manière spectaculaire », a déclaré Chester Wisniewski, RSSI mondial de l'entreprise de sécurité britannique Sophos, à The Register lors de la conférence RSA de cette semaine. J'en ai déjà plaisanté à plusieurs reprises, mais si la grammaire et l'orthographe sont parfaites, il s'agit probablement d'une arnaque, car même les humains font des erreurs la plupart du temps.
L'IA a également élargi la portée géographique du spam et de l'hameçonnage. Lorsque les humains étaient les principaux créateurs de ce type de contenu, les escrocs s'en tenaient aux langues courantes pour cibler le plus large public possible avec le moins de travail possible. Mais, explique Wisniewski, l'IA facilite grandement la rédaction d'e-mails dans différentes langues.
Il a donné un exemple tiré de son Canada natal. Les habitants du Québec, province majoritairement francophone, peuvent rapidement identifier les messages indésirables, car ils sont souvent rédigés en français traditionnel plutôt qu'en québécois. Or, les systèmes d'IA peuvent facilement générer un québécois convaincant, ce qui facilite le piégeage des victimes.
Une tendance similaire est observée pour le spam en portugais. La population du Brésil étant environ 20 fois plus importante que celle du Portugal, les escrocs ont historiquement privilégié le portugais brésilien dans leurs campagnes. Aujourd'hui, grâce à l'IA capable de produire du contenu en portugais européen, les Portugais ont de plus en plus de mal à discerner les tentatives d'hameçonnage rédigées dans leur langue locale.
« Du point de vue des entreprises criminelles, cela a ouvert le monde », a déclaré Kevin Brown, directeur de l'exploitation du cabinet de conseil en sécurité NCC Group, à The Register.
« À quoi servent toutes ces formations au hameçonnage que nous avons dispensées au fil des ans ? Les évidences, la grammaire approximative, l'urgence, l'évidence. Du jour au lendemain, l'IA a dit : "Vous savez quoi, je vais écrire quelque chose dans un langage clair, avec une ponctuation appropriée, et ce sera dans une langue locale." »
Il en va de même pour les escroqueries sentimentales, aussi appelées « charcuteries ». Les chatbots IA se sont avérés très efficaces pour faire croire aux victimes qu'elles sont courtisées par un partenaire attrayant, du moins pendant les phases initiales.
Wisniewski a expliqué que les chatbots IA peuvent facilement gérer les phases initiales des escroqueries, en exprimant leur intérêt et en se montrant empathiques. Un opérateur humain prend ensuite le relais et commence à retirer des fonds de la cible en demandant une aide financière ou en encourageant les victimes à investir dans des systèmes de Ponzi.
Ne croyez pas ce que vous entendez
Concernant les deepfakes, Wisniewski a indiqué que des versions audio d'avatars IA trompaient déjà les victimes dans les entreprises. Par exemple, les escrocs peuvent appeler tous les membres de l'équipe d'assistance avec une voix générée par l'IA qui reproduit celle d'un membre du service informatique, leur demandant un mot de passe jusqu'à ce qu'une victime succombe.
« On peut réaliser des deepfakes audio en temps réel pour quelques centimes », a-t-il déclaré.
Wisniewski a toutefois exprimé son scepticisme quant aux deepfakes vidéo en temps réel, faisant notamment référence à un cas largement médiatisé de février dernier, où un employé de Hong Kong aurait été piégé et aurait transféré 25 millions de dollars à des escrocs grâce à un appel vidéo présentant un deepfake du directeur financier. Il a suggéré qu'il était bien plus probable que quelqu'un ait simplement appuyé sur le mauvais bouton et ait cherché à blâmer la dernière tendance plutôt qu'à admettre son incompétence.
Il a souligné que même les grandes entreprises d'IA, dotées de budgets de plusieurs milliards de dollars, n'ont pas encore réussi à relever le défi de créer des avatars vidéo en temps réel interactifs et convaincants. L'idée que des criminels puissent créer un modèle pour y parvenir eux-mêmes n'était pas réaliste. Mais ce n'est qu'une question de temps.
« Si l'on suit la même trajectoire que pour les deepfakes audio, il faudra environ deux ans pour que les criminels puissent les obtenir à un prix abordable, et trois ans pour que votre oncle le plus détesté les fasse pour plaisanter sur Facebook », a déclaré Wisniewski.
Brown a toutefois exprimé son désaccord, affirmant que les pentesters du groupe NCC avaient obtenu un certain succès dans le domaine des falsifications vidéo.
« Nous avons pu réaliser des deepfakes vidéo sur des cas d'utilisation spécifiques. Mais ce sont des professionnels qui le font depuis des années », a-t-il ajouté. « Nous en sommes capables, mais cela deviendra industrialisé avec le temps. »
Brown et Wisniewski ont tous deux convenu qu'il allait y avoir un besoin urgent de vérification personnelle des communications, au-delà des systèmes établis.