Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
組織

LLaMA

Incidents implicated systems

インシデント 9396 Report
AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

2025-02-21

OpenAI reportedly uncovered evidence of a Chinese state-linked AI-powered surveillance campaign, dubbed "Peer Review," designed to monitor and report anti-state speech on Western social media in real time. The system, believed to be built on Meta’s open-source Llama model, was detected when a developer allegedly used OpenAI’s technology to debug its code. OpenAI also reportedly identified disinformation efforts targeting Chinese dissidents and spreading propaganda in Latin America.

もっと

インシデント 7314 Report
Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

2023-12-01

Large language models are reportedly hallucinating software package names, some of which are uploaded to public repositories and integrated into real code. One such package, huggingface-cli, was downloaded over 15,000 times. This behavior enables "slopsquatting," a term coined by Seth Michael Larson of the Python Software Foundation, where attackers register fake packages under AI-invented names and put supply chains at serious risk.

もっと

インシデント 9962 Report
Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

2020-10-25

Meta and Bloomberg allegedly used Books3, a dataset containing 191,000 pirated books, to train their AI models, including LLaMA and BloombergGPT, without author consent. Lawsuits from authors such as Sarah Silverman and Michael Chabon claim this constitutes copyright infringement. Books3 includes works from major publishers like Penguin Random House and HarperCollins. Meta argues its AI outputs are not "substantially similar" to the original books, but legal challenges continue.

もっと

インシデント 10202 Report
Reportedly Unsafe Deployment of Llama.cpp Reveals Interactive AI-Generated CSAM Roleplay Prompts

2025-04-11

A study by UpGuard reports that misconfigured llama.cpp servers publicly exposed user prompts, including hundreds of interactive roleplay scenarios. Some prompts explicitly described fictional sexual abuse of children aged 7–12. While no real children were involved, the findings demonstrate how open-source LLMs can be exploited to generate AI-enabled child sexual abuse material (CSAM).

もっと

関連団体
同じインシデントに関連するその他のエンティティ。たとえば、インシデントの開発者がこのエンティティで、デプロイヤーが別のエンティティである場合、それらは関連エンティティとしてマークされます。
 

Entity

Developers using AI-generated suggestions

Incidents involved as Deployer
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Bar Lanyado

Incidents involved as Deployer
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

OpenAI

Incidents involved as Developer
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Google

Incidents involved as Developer
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Cohere

Incidents involved as Developer
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Meta

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

Incidents involved as Developer
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

DeepSeek AI

Incidents involved as Developer
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

BigScience

Incidents involved as Developer
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Developers and businesses incorporating AI-suggested packages

影響を受けたインシデント
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Alibaba

影響を受けたインシデント
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Organizations that incorporated fake dependencies

影響を受けたインシデント
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Software ecosystems

影響を受けたインシデント
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Users downstream of software contaminated by hallucinated packages

影響を受けたインシデント
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Trust in open-source repositories and AI-assisted coding tools

影響を受けたインシデント
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

LLM-powered coding assistants

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

ChatGPT 3.5

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

ChatGPT 4

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Gemini Pro

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Command

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

CodeLlama

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

DeepSeek Coder

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

BLOOM

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Python Package Index (PyPI)

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

npm (Node.js)

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

GitHub

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Google Search / AI Overview

Incidents implicated systems
  • インシデント 731
    4 レポート

    Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

もっと
Entity

Chinese state-linked actors

Incidents involved as Deployer
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Chinese Communist Party

Incidents involved as Deployer
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Various open-source AI developers

Incidents involved as Developer
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Chinese state security researchers

Incidents involved as Developer
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Western social media communities

影響を受けたインシデント
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Social media users in Latin America

影響を受けたインシデント
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

social media users

影響を受けたインシデント
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Opposition voices against the Chinese Communist Party

影響を受けたインシデント
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Chinese dissidents

影響を受けたインシデント
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Cai Xia

影響を受けたインシデント
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Peer Review

Incidents implicated systems
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

OpenAI models

Incidents implicated systems
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

ChatGPT

Incidents implicated systems
  • インシデント 939
    6 レポート

    AI-Powered Chinese Surveillance Campaign 'Peer Review' Used for Real-Time Monitoring of Anti-State Speech on Western Social Media

もっと
Entity

Various generative AI developers

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

EleutherAI

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Bloomberg

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

The Pile

Incidents involved as Developer
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

Incidents implicated systems
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Shawn Presser

Incidents involved as Developer
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Zadie Smith

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Writers

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Verso

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Stephen King

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Sarah Silverman

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Richard Kadrey

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Publishers found in Books3

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Penguin Random House

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Oxford University Press

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Over 170,000 authors found in Books3

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Michael Pollan

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Margaret Atwood

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Macmillan

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

HarperCollins

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

General public

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

  • インシデント 1020
    2 レポート

    Reportedly Unsafe Deployment of Llama.cpp Reveals Interactive AI-Generated CSAM Roleplay Prompts

もっと
Entity

Creative industries

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Christopher Golden

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Authors

影響を受けたインシデント
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

hugging face

Incidents implicated systems
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

GPT-J

Incidents implicated systems
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Books3

Incidents implicated systems
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

BloombergGPT

Incidents implicated systems
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Bibliotik

Incidents implicated systems
  • インシデント 996
    2 レポート

    Meta Allegedly Used Books3, a Dataset of 191,000 Pirated Books, to Train LLaMA AI

もっと
Entity

Users of llama.cpp servers

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 1020
    2 レポート

    Reportedly Unsafe Deployment of Llama.cpp Reveals Interactive AI-Generated CSAM Roleplay Prompts

影響を受けたインシデント
  • インシデント 1020
    2 レポート

    Reportedly Unsafe Deployment of Llama.cpp Reveals Interactive AI-Generated CSAM Roleplay Prompts

もっと
Entity

llama.cpp

Incidents implicated systems
  • インシデント 1020
    2 レポート

    Reportedly Unsafe Deployment of Llama.cpp Reveals Interactive AI-Generated CSAM Roleplay Prompts

もっと
Entity

public-facing HTTP API servers with insecure /slots configuration

Incidents implicated systems
  • インシデント 1020
    2 レポート

    Reportedly Unsafe Deployment of Llama.cpp Reveals Interactive AI-Generated CSAM Roleplay Prompts

もっと

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 1420c8e