Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2851

Incidents associés

Incident 44325 Rapports
ChatGPT Abused to Develop Malicious Softwares

Loading...
Explorer le côté obscur de ChatGPT
augustman.com · 2023

Depuis sa sortie le 30 novembre 2022, ChatGPT a été salué comme l'un des plus grands développements de l'intelligence artificielle (IA). Le «GPT» dans le nom signifie Generative Pre-trained Transformer (GPT), un modèle d'apprentissage de réseau neuronal qui permet aux machines d'effectuer des tâches de traitement du langage naturel (NLP). Présenté comme un perturbateur dans le monde de la technologie, beaucoup pensent que ChatGPT va bientôt renverser Google de sa place de numéro 1 depuis des décennies en tant que moteur de recherche. Mais alors que ChatGPT est livré avec son propre ensemble incroyable de fonctionnalités, il y a aussi un côté sombre au chatbot qui, naturellement, a beaucoup inquiété.

Créé et lancé par OpenAI, une société cofondée par Elon Musk et Sam Altman avec d'autres, ChatGPT est essentiellement un chatbot IA qui est capable d'effectuer n'importe quelle tâche textuelle qui lui est assignée. En d'autres termes, ChatGPT peut écrire des tonnes et des tonnes de code beaucoup plus rapidement et, peut-être, avec beaucoup plus de précision que les humains. Il peut également effectuer des tâches purement artistiques telles que l'écriture de poèmes ou de paroles de chansons.

Il existe également une version Pro du chatbot qui paraîtra prochainement. Il sera en mesure de répondre plus rapidement aux requêtes et permettra aux utilisateurs de travailler dessus même en cas de trafic élevé sur la plateforme.

L'essor de ChatGPT

Ethan Mollick, professeur associé à la prestigieuse Wharton School de l'Université de Pennsylvanie, a déclaré NPR que les gens sont maintenant officiellement dans un monde d'IA.

ChatGPT fait la une des journaux depuis sa sortie. Il a acquis une popularité incroyable en un peu plus de deux mois. Outre Musk, Bill Gates est l'un des plus grands champions de l'IA et, par extension, du chatbot.

Selon les médias, Microsoft, la société qu'il a cofondée et qui a siégé au conseil d'administration jusqu'en 2021, pourrait investir 10 milliards de dollars dans OpenAI. Microsoft a déjà investi deux fois dans OpenAI - en 2019 et 2021. Le 23 janvier 2023, la société dirigée par Satya Nadella a confirmé qu'elle [étendait son association](https://blogs.microsoft.com/blog/2023/01 /23/microsoftandopenaiextendpartnership/) avec OpenAI "grâce à un investissement pluriannuel de plusieurs milliards de dollars pour accélérer les percées de l'IA". Cependant, la société n'a pas révélé le chiffre dans lequel elle investissait.

Un autre partisan de ChatGPT est l'homme d'affaires indien milliardaire Gautam Adani. Admettant qu'il a " une certaine dépendance "au chatbot, Adani a précédemment déclaré dans un article sur [LinkedIn] (https://www.linkedin.com/pulse/davos-chats-2023-gautam-adani/) que ChatGPT marque un "moment de transformation dans la démocratisation de l'IA compte tenu de ses capacités étonnantes ainsi que de ses échecs comiques.

Comment ChatGPT prouve sa "puissance"

En plus de gagner en popularité et d'afficher son utilité pour répondre de manière constructive aux requêtes des utilisateurs, ChatGPT a également fait sa marque dans certains des examens les plus importants au monde.

Le chatbot a passé l'US Medical Licensing Examination (USMLE). Le référentiel médical medRxiv a déclaré qu'il "a fonctionné au seuil de réussite ou à proximité" sans aucune forme de formation ou d'assistance spéciale.

"Ces résultats suggèrent que de grands modèles de langage peuvent avoir le potentiel d'aider à la formation médicale et potentiellement à la prise de décision clinique", [remarqué medRxiv] (https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v2 ).

Le chatbot a également passé un examen MBA de l'Université de Pennsylvanie - un cours de gestion des opérations - conçu par le professeur de Wharton, Christian Terwiesch. Il a dit que ChatGPT a entrepris trois examens différents. Il a obtenu A+ à un examen et B à B- à un autre. Dans le troisième, il a été demandé de générer des questions d'examen.

« Ces questions étaient bonnes, mais pas géniales. Ils étaient créatifs d'une certaine manière, mais ils avaient encore besoin d'être peaufinés. Je pourrais imaginer à l'avenir se tourner vers ChatGPT en tant que partenaire pour m'aider à commencer avec certaines questions d'examen, puis continuer à partir de là », [Terwiesch a déclaré au Wharton Global Youth Program] (https://globalyouth.wharton.upenn.edu/ articles/science-technologie/whartons-christian-terwiesch-on-how-chatgpt-can-stimulate-your-thinking/).

Pourtant, peu d'éducateurs sont impressionnés même si l'enthousiasme pour ChatGPT est très élevé. Craignant qu'il puisse facilement faciliter la triche, plusieurs écoles et collèges à travers le monde ont interdit l'accès au chatbot IA.

ChatGPT peut-il affecter des tâches telles que l'automatisation et créer d'autres problèmes ?


L'IA est quelque chose dont tout le monde sait qu'elle remplacera un jour la main humaine. La crainte que les outils d'IA ne suppriment des emplois s'est renforcée avec l'arrivée de ChatGPT.

Par exemple, le chatbot peut écrire un essai détaillé sur presque n'importe quel sujet dans ses paramètres en quelques minutes. Cela menace évidemment les moyens de subsistance de ceux qui se consacrent à la production de contenu écrit, du moins ceux qui entreprennent des tâches d'écriture non spécialisées et répétitives.

Certains autres chatbots sont capables de créer des œuvres d'art exceptionnelles à partir de simples instructions de base, supprimant le rôle des artistes humains.

Les craintes de perdre des emplois au profit de l'IA ne sont pas totalement infondées. Le National Bureau of Economic Research (NBER) a révélé dans un rapport en 2021, qu'une baisse des salaires de 50 % à 70 % cent parmi les cols bleus aux États-Unis depuis 1980 était due à l'automatisation.

« Une nouvelle génération de machines intelligentes, alimentée par les progrès rapides de l'intelligence artificielle (IA) et de la robotique, pourrait potentiellement remplacer une grande partie des emplois humains existants. Alors que de nouveaux emplois seraient créés comme par le passé, le problème est qu'il n'y en aura peut-être pas assez pour tout le monde, d'autant plus que le coût des machines intelligentes diminue avec le temps et que leurs capacités augmentent », a observé le Forum économique mondial (WEF) dans un rapport de 2018.

Cependant, dans un rapport de 2020, le Le WEF a déclaré que "l'IA est sur le point de créer une croissance encore plus importante aux États-Unis et dans les économies mondiales".

La façon dont l'IA affecte les emplois sera plus claire dans les prochaines années, mais les chatbots tels que ChatGPT peuvent certainement développer des programmes malveillants ou des campagnes de phishing dont les chercheurs prennent note avec un sentiment d'alarme urgent.

Logiciels malveillants

Écrivant pour Forbes, l'auteur Bernard Marr dit que, "dans théorie », ChatGPT ne peut pas être utilisé pour entreprendre des tâches malveillantes en raison des garanties qu'OpenAI y a incluses.

Marr a testé le chatbot en lui demandant d'écrire un rançongiciel. Mais ChatGPT a répondu qu'il ne pouvait pas le faire car il ne s'agissait "pas de promouvoir des activités nuisibles". Mais Marr a souligné que certains chercheurs ont réussi à faire en sorte que ChatGPT crée un rançongiciel.

Il a également averti que les algorithmes NLG/NLP peuvent être "exploités pour permettre à presque n'importe qui de créer son propre malware personnalisé".

"Les logiciels malveillants peuvent même être en mesure d'écouter les tentatives de la victime pour les contrer - par exemple, une conversation avec le personnel de la ligne d'assistance - et d'adapter ses propres défenses en conséquence", écrit-il.

Des chercheurs, tels que le fournisseur de sécurité Cyberark, ont découvert que ChatGPT peut être utilisé pour créer des logiciels malveillants polymorphes, qui sont un type de programme malveillant très évasif.

Eran Shimony et Omer Tsarfati de CyberArk ont révélé qu'ils étaient capables de contourner les filtres du chatbot AI qui l'empêchent de créer des logiciels malveillants. Ils l'ont fait en reformulant et en répétant leurs questions. Ils ont également découvert que ChatGPT peut répliquer et muter un code et en créer plusieurs versions.

"En interrogeant en permanence le chatbot et en recevant à chaque fois un morceau de code unique, il est possible de créer un programme polymorphe très évasif et difficile à détecter", écrivent les chercheurs.

Des résultats similaires ont été révélés par l'équipe de recherche de Recorded Future. Ils ont découvert que ChatGPT peut créer des charges utiles de logiciels malveillants telles que celles qui peuvent voler de la crypto-monnaie et obtenir un accès à distance via des chevaux de Troie.

Que ChatGPT puisse être amené à générer des programmes qu'il considérerait autrement comme « contraires à l'éthique », peut être vu dans le tweet ci-dessous :

J'adore ChatGPT pic.twitter.com/lWdIWaxAdA

— Corgi (@corg_e) 20 janvier 2023

Hameçonnage

Étant donné que ChatGPT et les chatbots alternatifs comme celui-ci sont capables d'écrire dans les moindres détails, ils peuvent facilement créer un e-mail de phishing finement rédigé qui peut piéger la cible visée pour partager ses données sensibles ou ses mots de passe.

"Cela pourrait également automatiser la création de nombreux e-mails de ce type, tous personnalisés pour cibler différents groupes ou même des individus", écrit Marr.

Dans leur rapport intitulé I, Chatbot, les chercheurs de Recorded Future écrivent : « La capacité de ChatGPT à imiter de manière convaincante le langage humain lui donne la potentiel d'être un puissant outil de phishing et d'ingénierie sociale. Quelques semaines après le lancement de ChatGPT, les acteurs de la menace sur le dark web et les sources d'accès spécial ont commencé à spéculer sur son utilisation dans le phishing.

Les chercheurs ont testé le chatbot pour les attaques de harponnage et ont constaté qu'il ne commettait pas les mêmes erreurs, telles que celles liées à l'orthographe et à la grammaire, qui sont courantes dans de tels e-mails. Les erreurs de langue permettent d'alerter les utilisateurs pour identifier les e-mails de phishing. En l'absence de tels indicateurs, il y a beaucoup plus de chances que les utilisateurs soient la proie d'e-mails de phishing rédigés par des chatbots et les influencent à soumettre des informations personnellement identifiables.

"Nous pensons que ChatGPT peut être utilisé par les affiliés de rançongiciels et les courtiers d'accès initial (IAB) qui ne parlent pas couramment l'anglais pour distribuer plus efficacement les logiciels malveillants infostealer, les outils de mise en scène de botnet, les chevaux de Troie d'accès à distance (RAT), les chargeurs et les droppers, ou les ponctuels. des exécutables de rançongiciels qui n'impliquent pas d'exfiltration de données (« simple extorsion » contre « double extorsion ») », écrivent les chercheurs de Recorded Future.

Désinformation

L'une des menaces les plus importantes de ChatGPT que Recorded Future a soulignée est la façon dont le chatbot peut facilement et de manière trompeuse diffuser de la désinformation par des acteurs de la menace peu qualifiés.

Les chercheurs ont averti que le chatbot peut être utilisé comme une arme par des acteurs étatiques, des acteurs non étatiques et des cybercriminels. Cela est dû à sa capacité à imiter avec précision le langage humain et à transmettre des émotions.

"En cas d'abus, ChatGPT est capable d'écrire un contenu trompeur qui imite la désinformation écrite par l'homme", ont noté les chercheurs, ajoutant que le chatbot avait initialement refusé d'écrire un article de "dernière nouvelle" sur une attaque nucléaire, mais l'a exécuté lorsque la demande a été recadrée comme « écriture fictive » ou « écriture créative ».

"Il en va de même pour des sujets tels que les catastrophes naturelles, la sécurité nationale (comme les attentats terroristes, la violence contre les politiciens ou la guerre), la désinformation liée à la pandémie, etc.", ont souligné les chercheurs.

Les menaces peuvent se multiplier en un rien de temps, et le tableau peut être vraiment aussi dévastateur que le dessine Recorded Future.

La société de recherche sur la cybersécurité Check Point Research a analysé les principales communautés de piratage clandestin et a trouvé des cybercriminels utilisant OpenAI et beaucoup d'entre eux avaient "aucune compétence en développement", ce qui signifie que des criminels moins qualifiés ont pu utiliser l'IA à des fins malveillantes.

"Ce n'est qu'une question de temps avant que des acteurs de la menace plus sophistiqués améliorent la façon dont ils utilisent les outils basés sur l'IA pour le mal", prévient Check Point Research.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd