Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2426

Incidents associés

Incident 3524 Rapports
GPT-3-Based Twitter Bot Hijacked Using Prompt Injection Attacks

Loading...
L'attaque "d'injection rapide" de GPT-3 cause de mauvaises manières aux bots
theregister.com · 2022

En bref Le populaire modèle de langage naturel GPT-3 d'OpenAI a un problème : il peut être trompé pour qu'il se comporte mal en faisant un peu plus que lui dire d'ignorer ses commandes précédentes.

Découvert par Riley Goodside, spécialiste des données chez Copy.ai, l'astuce consiste à envoyer une requête à GPT-3, en lui disant d'ignorer cette requête et de faire ce que le demandeur lui dit à la place.

Dans le cas de Goodside, elle a dit à GPT-3 de traduire une phrase du français vers l'anglais, mais d'ignorer ce qu'elle lui avait dit de traduire, et de faire en sorte que la traduction anglaise se lise "Haha pwned". Pas malveillant, mais ce n'est pas tout ce dont l'exploit est capable.

L'attaque a été surnommée "injection rapide" par le chercheur en intelligence artificielle Simon Willison, qui a écrit un article de blog donnant plus de détails sur ses utilisations abusives potentielles .

"Ce n'est pas seulement une astuce académique intéressante : c'est une forme d'exploit de sécurité", a écrit Willison. Il compare les attaques par injection rapide à l'injection SQL, qui peut fournir des informations sensibles à un attaquant s'il entre un code malveillant dans un champ qui ne nettoie pas les données.

Contrairement à SQL, cependant, l'IA comme GPT-3 n'a pas été conçue pour utiliser une syntaxe formelle comme un langage de programmation. Sans règles strictes à suivre, il est beaucoup plus difficile de déterminer ce qui est malveillant et de le séparer.

Quelques jours après le billet de blog de Willison, les utilisateurs de Twitter ont attaqué un bot GPT-3 conçu pour aider à exécuter des travaux à distance appelés Remoteli.io, l'incitant à faire des choses comme prendre la responsabilité de la catastrophe de la navette spatiale Challenge, menacer les utilisateurs de Twitter ou proposer un renversement du Biden l'administration si elle ne prend pas en charge le travail à distance. Les propriétaires du bot l'ont retiré pour arrêter l'assaut.

Dans un article publié aujourd'hui, Willison a admis que, s'il sait battre XSS, l'injection SQL "et tant d'autres exploits ", il n'a" aucune idée de comment battre de manière fiable l'injection rapide !"

Willison a déclaré que, pour chaque méthode d'atténuation de l'injection rapide, il n'y a aucun moyen de savoir avec 100 % de confiance qu'une entrée imprévue ne passera pas, car il n'y a pas de règles syntaxiques formelles limitant l'entrée.

Pour aggraver les choses, une mise à jour du modèle de langage annule complètement toute atténuation, a déclaré Willison, "car qui sait si ce nouveau modèle aura de nouvelles façons subtiles d'interpréter les invites qui ouvrent de toutes nouvelles lacunes?"

Le navigateur Edge de Microsoft a été surpris en train de distribuer des publicités malveillantes via sa section Fil d'actualités, [selon](https://www.malwarebytes.com/blog/threat-intelligence/2022/09/microsoft-edges-news-feed-push- tech-support-scam) MalwareBytes.

La société de sécurité affirme avoir repéré une campagne de publicité malveillante, diffusée via le fil d'actualités Microsoft Edge, qui redirige les victimes vers des sites Web d'escroquerie de support technique. utilisateurs avec des histoires choquantes ou bizarres », a déclaré la société dans un [article de blog](https://www.malwarebytes.com/blog/threat-intelligence/2022/09/microsoft-edges-news-feed-pushes-tech- support-arnaque).

Le navigateur Microsoft Edge comporte une section Mon flux qui présente un ensemble de mosaïques d'images, certaines renvoyant à des sources de journalisme réputées, d'autres renvoyant à des contenus plus douteux ou à d'autres publicités. Cliquer sur l'une de ces publicités - qui peut sembler être un contenu d'actualité éditoriale si vous manquez la petite icône [Publicité] dans le coin - déclenche un script qui évalue les caractéristiques techniques du matériel informatique de la victime (appelées empreintes digitales).

"Lorsqu'un utilisateur clique sur l'une des publicités malveillantes, une demande au réseau publicitaire Taboola est faite via une API api.taboola.com pour honorer le clic sur la bannière publicitaire", explique MalwareBytes. Le serveur répond alors en remplaçant la prochaine URL chargée par un domaine frauduleux, en utilisant la méthode document.location.replace de JavaScript.

La demande initiale au domaine de l'escroquerie récupère le code JavaScript encodé en Base64 qui profile ensuite la victime et décide si une tentative d'escroquerie est appropriée. Microsoft n'a pas immédiatement répondu à une demande de commentaire.

L'éditeur de jeux vidéo Electronic Arts a annoncé l'ajout d'un logiciel anti-triche au niveau du noyau à ses jeux, à commencer par FIFA 2023 cet automne.

Les logiciels en mode noyau fonctionnent au niveau le plus difficile d'un système d'exploitation pour détecter et empêcher les applications et processus cachés de modifier le code d'exécution d'un jeu vidéo. En plus d'offrir l'une des préventions de triche les plus complètes, le logiciel en mode noyau élargit également la surface d'attaque d'un jeu vidéo et en fait un bon moyen de glisser un rootkit dans l'ordinateur d'une cible.

Nous avons signalé une telle attaque il y a seulement quelques semaines lorsque le mode noyau du jeu de rôle en ligne populaire Genshin Impact Le code anti-triche a été trouvé utilisé pour injecter un rootkit capable de tuer la protection des terminaux et d'installer d'autres logiciels malveillants.

En plus d'être une menace potentielle pour la sécurité, l'anticheat au niveau du noyau peut être abusé par ses propres développeurs pour faire des choses comme espionner d'autres applications, ou installer des mineurs de crypto-monnaie, comme ce fut le cas avec le développeur de jeux ESEA, qui a admis hiding mining software in son code anti-triche.

Apparemment consciente de cette possibilité de contrecoup d'une telle décision, la directrice principale de la sécurité des jeux et de l'anti-triche d'EA, Elise Murphy, a déclaré que son logiciel anti-triche en mode noyau "ne dégrade pas la posture de sécurité de votre PC".

En plus de ne pas être censément une menace pour la sécurité, Murphy a déclaré que le code du noyau d'EA espionnerait uniquement les logiciels essayant d'accéder aux processus de jeu EA et ne fonctionnerait que lorsque les jeux EA sont en cours d'exécution.

"EA anticheat ne recueille aucune information sur votre historique de navigation, les applications qui ne sont pas connectées aux jeux EA ou tout ce qui n'est pas directement lié à la protection anti-triche", a déclaré Murphy.

Bien sûr, il y a toujours la possibilité que quelqu'un chez EA oublie à nouveau de coder correctement, laissant son logiciel sécurisé avec un autre objectif grand ouvert .

Une nouvelle forme d'une ancienne escroquerie a été détectée par des chercheurs en sécurité de Mandiant, qui affirment avoir découvert que la Corée du Nord continue d'attirer les victimes de phishing en promettant un concert lucratif sur Amazon et une installation malveillante de PuTTY.

Dans ce qui pourrait être une campagne ciblant les administrateurs système, les attaquants probables basés en RPDC ont été repérés en train d'envoyer des e-mails de phishing contenant de fausses offres d'emploi, ainsi qu'un fichier ISO intitulé "amazon_assessment". Les ISO malveillants contiennent un fichier texte avec une adresse IP de serveur et des identifiants de connexion, ainsi qu'un exécutable PuTTY qui, selon les chercheurs de Mandiant, n'est pas signé (les installations correctes de PuTTY ont une signature numérique valide) et "sensiblement plus volumineux que la version légitime".

Sans surprise, l'exécutable contient un logiciel malveillant de porte dérobée qui, selon Mandiant, s'appelle BLINDINGCAN, un cheval de Troie d'accès à distance nord-coréen connu.

Mandiant a déclaré qu'il était à peu près certain que l'acteur de la menace derrière l'escroquerie PuTTY est connecté à la Corée du Nord, car il utilise la même infrastructure de site Web C2 que les groupes de piratage connus de la RPDC. De plus, Mandiant a déclaré que les tactiques ressemblent étroitement à celles de Operation Dream Job, une campagne de phishing qui se déroule sous diverses formes depuis 2020.

Operation Dream Job est une campagne nord-coréenne connue depuis sa découverte initiale, qui l'a ensuite vue utiliser des pièces jointes malveillantes pour diffuser des logiciels malveillants. Avec la répression de Microsoft et d'autres sur les macros de documents, les fichiers ISO sont devenus de plus en plus populaires pour la distribution de logiciels malveillants, a déclaré Mandiant.

Mandiant a déclaré que cette série d'escroqueries Dream Job impliquait d'utiliser WhatsApp pour contacter les victimes, puis de les inciter à télécharger le fichier ISO, bien que Mandiant ait déclaré qu'il ne s'agissait probablement que de l'une des nombreuses campagnes similaires en cours.

"De récents rapports publics détaillent également l'utilisation d'autres plateformes de médias sociaux pour se faire passer pour des entreprises légitimes et publier de fausses offres d'emploi", a déclaré Mandiant.

Le gouvernement chinois a accusé la National Security Agency (NSA) des États-Unis d'une cyberattaque contre la Northwestern Polytechnical University (NWPU) de l'Empire du Milieu qui a conduit au vol de secrets d'État chinois.

Yang Tao, directeur général du Département chinois des affaires américaines et américaines du ministère des Affaires étrangères, a déposé une plainte officielle auprès de l'ambassade des États-Unis en Chine la semaine dernière, a indiqué le ministère des Affaires étrangères.

Le bureau de Yang a déclaré que l'attaque n'était "pas la première fois que le gouvernement américain menait des cyberattaques et volait des informations sensibles contre des Chinois établissements. »

Selon CBS News, la NWPU est sous surveillance du gouvernement américain liste qui empêche l'Université d'accéder à la technologie américaine. La NWPU serait impliquée dans la fabrication de drones et de technologies de missiles pour le gouvernement chinois.

La NWPU a déjà été prise dans une action en justice aux États-Unis lorsqu'un ressortissant chinois a été condamné l'année dernière à deux ans de prison fédérale pour avoir exporté illégalement de la technologie à l'Université. Selon le ministère de la Justice, le coupable a exporté des hydrophones avec des applications militaires dans la guerre anti-sous-marine vers la NWPU, qui [il a dit](https://www.justice.gov/usao-ma/pr/chinese-national-sentenced- illégal-exportations-northwestern-polytechnical-university) a été impliqué dans des projets de véhicules sous-marins sans pilote.

Cette accusation est la dernière en date d'un jeu de cyber-coup de poing entre les États-Unis et la Chine. Le FBI a précédemment affirmé que la Chine était la source la plus prolifique de cyberattaques contre les États-Unis, tandis que les autorités chinoises ont déclaré plus tôt cette année qu'un certain nombre des intrusions contre elle avaient été lancées depuis les États-Unis, mais sans impliquer directement le gouvernement américain dans les attaques.

Concernant la dernière attaque, le bureau de Yang a déclaré que la NSA devait être arrêtée immédiatement. Les actions américaines "ont gravement violé les secrets techniques" des institutions chinoises, "et ont gravement mis en danger la sécurité des infrastructures, des institutions et des informations personnelles critiques de la Chine".

I don't care about cookies, une extension de navigateur populaire qui élimine les avertissements contextuels de cookies imposés par le GDPR, a pris la voie potentiellement impopulaire de se vendant à la société de logiciels de sécurité Avast, qui est elle-même maintenant une filiale de NortonLifeLock.

IDCAC est disponible pour tous les principaux navigateurs Web depuis une décennie et est développé en solo par le Croate Daniel Kladnik. "Avast a proposé d'acquérir le projet afin que nous puissions nous entraider dans la création de produits encore meilleurs et j'ai décidé d'accepter l'offre", a déclaré Kladnik, décrivant Avast comme "une société informatique célèbre et digne de confiance".

La réaction des utilisateurs à la décision de Kladnik a été sans surprise négative, avec les médias sociaux et Les critiques de la page de téléchargement ont déclaré que la vente à Avast tuerait l'extension, tout en regrettant qu'un autre bloqueur de pop-up ait été acquis "par une société de création de pop-up bien connue".

Le mauvais comportement récent d'Avast inclut la suppression en 2019 de ses extensions de sécurité en ligne AVG (une filiale d'Avast) des magasins Firefox et Chrome à la suite de l'actualité des addons [espionnant l'activité de navigation Web des utilisateurs] (https://arstechnica.com/ gadgets/2022/09/extension-de-navigateur-bien-aimée-acquise-par-une-société-antivirus-non-bien-aimée/).

De plus, Avast a été contraint de "se retirer" de sa filiale d'analyse de données Jumpshot en 2020 après qu'il s'est avéré que l'entreprise avait menti sur le fait de ne pas collecter données utilisateur après le problème avec ses extensions de navigateur. Une autre enquête a révélé qu'Avast recueillait toujours des données à l'aide de ses principales applications antivirus, qui étaient vendues par Jumpshot sous une forme prétendument anonymisée à d'autres sociétés.

La rencontre la plus récente de Norton avec les défenseurs de la vie privée a eu lieu l'année dernière lorsqu'il a ajouté opt-in cryptocurrency mining software à sa plate-forme Norton 360. Cette décision a été largement critiquée, tout comme la nouvelle selon laquelle, si les utilisateurs acceptaient et voulaient supprimer le mineur plus tard, le processus était incroyablement difficile .

Ceux qui recherchent une alternative open-source à I don't care about cookies devraient consulter Consent-o-Matic, un produit similaire disponible pour la plupart des navigateurs basés sur Chromium, Firefox et Safari qui permettent aux utilisateurs de définir des préférences de cookies une fois que l'application suit à partir de là.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd