インシデントのステータス
Risk Subdomain
2.2. AI system security vulnerabilities and attacks
Risk Domain
- Privacy & Security
Entity
AI
Timing
Post-deployment
Intent
Unintentional
インシデントレポート
レポートタイムライン
Several big businesses have published source code that incorporates a software package previously hallucinated by generative AI.
Not only that but someone, having spotted this reoccurring hallucination, had turned that made-up dependency in…

AIモデルは、どうにも勝手に勝手に作り出すのをやめられないようです。最近の2つの研究が指摘しているように、この傾向は、本当に重要な事柄についてはAIのアドバイスに頼るべきではないという過去の警告を裏付けています。
AIが頻繁に作り出すものの一つが、ソフトウェアパッケージの名前です。
今年初めに指摘したように、Lasso Securityは、大規模言語モデル(LLM)がサンプルソースコードを生成する際に、ソフトウェアパッケージの依存関係の名前を(実際には存在しない)作り出すこと…


「スロップスクワッティング」と呼ばれる新しい種類のサプライチェーン攻撃が、コーディングにおける生成AIツールの利用増加と、モデルが存在しないパッケージ名を「幻覚」させる傾向から出現しました。
スロップスクワッティングという用語は、セキュリティ研究者のSeth Larsonによって造語されました。タイポスクワッティングは、一般的なライブラリに酷似した名前を使って開発者を騙し、悪意のあるパッケージをインストールさせる攻撃手法です。
タイポスクワッティングとは異なり、スロップスクワ…
バリアント
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents

Hackers Break Apple Face ID

Biased Sentiment Analysis

All Image Captions Produced are Violent
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents

Hackers Break Apple Face ID

Biased Sentiment Analysis
