Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Incident 736: Underground Market for LLMs Powers Malware and Phishing Scams

Description: A study by Indiana University researchers uncovered widespread misuse of large language models (LLMs) for cybercrime. Cybercriminals, according to that study, use LLMs like OpenAI's GPT-3.5 and GPT-4 to create malware, phishing scams, and scam websites. These models are available on underground markets, often bypassing safety checks through jailbreaking. Named malicious LLMs are BadGPT, XXXGPT, Evil-GPT, WormGPT, FraudGPT, BLACKHATGPT, EscapeGPT, DarkGPT, and WolfGPT.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique

Entités

Voir toutes les entités
Alleged: OpenAI developed an AI system deployed by Cybercriminals , BadGPT , XXXGPT , Evil-GPT , WormGPT , FraudGPT , BLACKHATGPT , EscapeGPT , DarkGPT et WolfGPT, which harmed internet users , Organizations et Individuals targeted by malware.

Statistiques d'incidents

ID
736
Nombre de rapports
2
Date de l'incident
2023-12-01
Editeurs
Daniel Atherton
Applied Taxonomies
MIT

Classifications de taxonomie MIT

Machine-Classified
Détails de la taxonomie

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

4.3. Fraud, scams, and targeted manipulation

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Malicious Actors & Misuse

Entity

Which, if any, entity is presented as the main cause of the risk
 

Human

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Intentional

Rapports d'incidents

Chronologie du rapport

Incident OccurrenceStudying Underground Market for Large Language Models, Researchers Find OpenAI Models Power Malicious ServicesFraudGPT and other malicious AIs are the new frontier of online threats. What can we do?
Studying Underground Market for Large Language Models, Researchers Find OpenAI Models Power Malicious Services

Studying Underground Market for Large Language Models, Researchers Find OpenAI Models Power Malicious Services

techpolicy.press

FraudGPT and other malicious AIs are the new frontier of online threats. What can we do?

FraudGPT and other malicious AIs are the new frontier of online threats. What can we do?

theconversation.com

Studying Underground Market for Large Language Models, Researchers Find OpenAI Models Power Malicious Services
techpolicy.press · 2024

Despite the hype around them, readers of Tech Policy Press are well aware that the advance of large language models (LLMs) and their various applications-- ranging from chatbots and coding assistants to recommendation systems-- has raised v…

FraudGPT and other malicious AIs are the new frontier of online threats. What can we do?
theconversation.com · 2024

The internet, a vast and indispensable resource for modern society, has a darker side where malicious activities thrive.

From identity theft to sophisticated malware attacks, cyber criminals keep coming up with new scam methods.

Widely avai…

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Wikipedia Vandalism Prevention Bot Loop

Danger, danger! 10 alarming examples of AI gone wild

Feb 2017 · 6 rapports
Collection of Robotic Surgery Malfunctions

Adverse Events in Robotic Surgery: A Retrospective Study of 14 Years of FDA Data

Jul 2015 · 12 rapports
Amazon’s Search and Recommendation Algorithms Found by Auditors to Have Boosted Products That Contained Vaccine Misinformation

Amazon algorithms boost vaccine misinformation, says study

Jan 2021 · 2 rapports
Incident précédentProchain incident

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Wikipedia Vandalism Prevention Bot Loop

Danger, danger! 10 alarming examples of AI gone wild

Feb 2017 · 6 rapports
Collection of Robotic Surgery Malfunctions

Adverse Events in Robotic Surgery: A Retrospective Study of 14 Years of FDA Data

Jul 2015 · 12 rapports
Amazon’s Search and Recommendation Algorithms Found by Auditors to Have Boosted Products That Contained Vaccine Misinformation

Amazon algorithms boost vaccine misinformation, says study

Jan 2021 · 2 rapports

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • ecd56df