Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

インシデント 731: Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers

概要: Large language models are reportedly hallucinating software package names, some of which are uploaded to public repositories and integrated into real code. One such package, huggingface-cli, was downloaded over 15,000 times. This behavior enables "slopsquatting," a term coined by Seth Michael Larson of the Python Software Foundation, where attackers register fake packages under AI-invented names and put supply chains at serious risk.
Editor Notes: See Bar Lanyado's report at: https://www.lasso.security/blog/ai-package-hallucinations. See Spracklen, et al's preprint here, "We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs," here: https://arxiv.org/abs/2406.10279. See Zhou, et al's study, "Larger and more instructable language models become less reliable," here: https://doi.org/10.1038/s41586-024-07930-y.

ツール

新しいレポート新しいレポート新しいレスポンス新しいレスポンス発見する発見する履歴を表示履歴を表示

組織

すべての組織を表示
Alleged: OpenAI , Google , Cohere , Meta , DeepSeek AI と BigScience developed an AI system deployed by Developers using AI-generated suggestions と Bar Lanyado, which harmed Developers and businesses incorporating AI-suggested packages , Alibaba , Organizations that incorporated fake dependencies , Software ecosystems , Users downstream of software contaminated by hallucinated packages と Trust in open-source repositories and AI-assisted coding tools.
関与が疑われるAIシステム: LLM-powered coding assistants , ChatGPT 3.5 , ChatGPT 4 , Gemini Pro , Command , LLaMA , CodeLlama , DeepSeek Coder , BLOOM , Python Package Index (PyPI) , npm (Node.js) , GitHub と Google Search / AI Overview

インシデントのステータス

インシデントID
731
レポート数
4
インシデント発生日
2023-12-01
エディタ
Daniel Atherton
Applied Taxonomies
MIT

MIT 分類法のクラス

Machine-Classified
分類法の詳細

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

2.2. AI system security vulnerabilities and attacks

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Privacy & Security

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

インシデントレポート

レポートタイムライン

Incident OccurrenceAI hallucinates software packages and devs download them – even if potentially poisoned with malwareAIコードヘルパーはパッケージ名を発明するのをやめられない+1
AIコード提案がソフトウェアサプライチェーンを妨害
AI hallucinates software packages and devs download them – even if potentially poisoned with malware

AI hallucinates software packages and devs download them – even if potentially poisoned with malware

theregister.com

AIコードヘルパーはパッケージ名を発明するのをやめられない

AIコードヘルパーはパッケージ名を発明するのをやめられない

theregister.com

AIコード提案がソフトウェアサプライチェーンを妨害

AIコード提案がソフトウェアサプライチェーンを妨害

theregister.com

AI幻覚コード依存が新たなサプライチェーンリスクに

AI幻覚コード依存が新たなサプライチェーンリスクに

bleepingcomputer.com

AI hallucinates software packages and devs download them – even if potentially poisoned with malware
theregister.com · 2024

Several big businesses have published source code that incorporates a software package previously hallucinated by generative AI.

Not only that but someone, having spotted this reoccurring hallucination, had turned that made-up dependency in…

AIコードヘルパーはパッケージ名を発明するのをやめられない
theregister.com · 2024
自動翻訳済み

AIモデルは、どうにも勝手に勝手に作り出すのをやめられないようです。最近の2つの研究が指摘しているように、この傾向は、本当に重要な事柄についてはAIのアドバイスに頼るべきではないという過去の警告を裏付けています。

AIが頻繁に作り出すものの一つが、ソフトウェアパッケージの名前です。

今年初めに指摘したように、Lasso Securityは、大規模言語モデル(LLM)がサンプルソースコードを生成する際に、ソフトウェアパッケージの依存関係の名前を(実際には存在しない)作り出すこと…

AIコード提案がソフトウェアサプライチェーンを妨害
theregister.com · 2025
自動翻訳済み

LLM を活用したコード生成ツールの台頭は、開発者のソフトウェア開発方法を大きく変えつつあり、その過程でソフトウェアサプライチェーンに新たなリスクをもたらしています。

これらの AI コーディングアシスタントは、一般的な大規模言語モデルと同様に、幻覚を起こす傾向があります。つまり、存在しないソフトウェアパッケージを組み込んだコードを提案してしまうのです。

昨年 3 月 と 9 月 で指摘したように、セキュリティ研究者や学術研究者は、AI コードアシスタントがパッケージ名を勝手…

AI幻覚コード依存が新たなサプライチェーンリスクに
bleepingcomputer.com · 2025
自動翻訳済み

「スロップスクワッティング」と呼ばれる新しい種類のサプライチェーン攻撃が、コーディングにおける生成AIツールの利用増加と、モデルが存在しないパッケージ名を「幻覚」させる傾向から出現しました。

スロップスクワッティングという用語は、セキュリティ研究者のSeth Larsonによって造語されました。タイポスクワッティングは、一般的なライブラリに酷似した名前を使って開発者を騙し、悪意のあるパッケージをインストールさせる攻撃手法です。

タイポスクワッティングとは異なり、スロップスクワ…

バリアント

「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください

よく似たインシデント

テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Hackers Break Apple Face ID

Hackers Claim to Break Face ID a Week After iPhone X Release

Sep 2017 · 24 レポート
Biased Sentiment Analysis

Google's sentiment analysis API is just as biased as humans

Oct 2017 · 7 レポート
All Image Captions Produced are Violent

Are you scared yet? Meet Norman, the psychopathic AI

Apr 2018 · 28 レポート
前のインシデント次のインシデント

よく似たインシデント

テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Hackers Break Apple Face ID

Hackers Claim to Break Face ID a Week After iPhone X Release

Sep 2017 · 24 レポート
Biased Sentiment Analysis

Google's sentiment analysis API is just as biased as humans

Oct 2017 · 7 レポート
All Image Captions Produced are Violent

Are you scared yet? Meet Norman, the psychopathic AI

Apr 2018 · 28 レポート

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 1420c8e