Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 6222

関連インシデント

インシデント 12102 Report
Malicious Nx npm Packages Reportedly Weaponize AI Coding Agents for Data Exfiltration

Loading...
専門家によると、人工知能はハッキングの黄金時代を告げる
washingtonpost.com · 2025

ラスベガス発 ― 多くのビジネス分野が生成型AIのメリットとデメリットを依然として検討している中、犯罪的なハッカーたちはこの分野に参入し始めている。

サイバーセキュリティの専門家によると、ハッカーたちは、ほとんどのコンピューターに蔓延している人工知能(AI)プログラムをユーザーに対して壊滅的な効果を発揮させる方法を見つけ出し、AIによるサイバー攻撃防御能力への懸念を深めているという。

脅威アナリストによると、ハッカーは今やAIを魔法使いの弟子のように使いこなせるという。Googleカレンダーの招待状やOutlookのメールといった単純で無害なものを使って、接続されたAIプログラムに機密ファイルを盗み出すよう指示し、セキュリティアラームを作動させることなく操作できるのだ。

問題をさらに悪化させているのは、投資家を喜ばせたい経営陣や、IT部門の意向を無視して自発的に従業員が導入するなど、AI製品の急速かつ軽率な導入ペースだ。

「AIが新たなリスクをもたらすたびに、あらゆる製品にAIが押し付けられるのは、ある意味不公平です」と、セキュリティ企業SentinelOneの脅威研究者、アレックス・デラモット氏は述べています。

セキュリティは、クラウドコンピューティングのような新しい技術の導入において遅れをとることがよくあります。クラウドコンピューティングも同様に、そのメリットによって普及が進みました。しかし、生成AIは、この画期的な技術をはるかに超える機能を備えているため、悪用されるとより大きな被害をもたらす可能性があります。

多くの場合、新しい技術は驚くほど強力です。サイバーセキュリティ企業NCCグループのデイブ・ブラウクラー氏は、最近、防御策をテストする任務で、顧客のAIプログラム作成アシスタントを騙し、会社のデータベースとコードリポジトリをフォークするプログラムを実行させました。

「私たちはセキュリティに関して、これほど愚かなことをしたことはありません」とブラウクラー氏は言います。

より広範な調査では AI の有効性について 賛否両論の結果 が示されていますが、一部の 研究が示唆 によると、ツールは人間のプログラマーよりもセキュリティ上の欠陥を持ち込む可能性が高いにもかかわらず、ほとんどのソフトウェア開発者は、大手 AI 企業のツールも含め、大量のコードを作成するツールを採用しています。

このようなツールの自律性と本番環境へのアクセスが高ければ高いほど、より大きな混乱を引き起こす可能性があります。

8 月の攻撃では、確立されたハッキング手法とこの種の AI 操作が初めて組み合わされた可能性があります。

正体不明のハッカーは、おなじみの形態のサプライチェーン攻撃から攻撃を開始しました。彼らは、広く利用されているコードリポジトリ管理プラットフォームであるNxを改変した、公式に見えるプログラムを公開する方法を発見しました。数十万人ものNxユーザーが、知らないうちにこの改ざんされたプログラムをダウンロードしてしまいました。

過去のソフトウェアサプライチェーン攻撃と同様に、ハッカーたちは、改ざんされたプログラムをダウンロードしたユーザーからアカウントのパスワード、暗号通貨ウォレット、その他の機密データを探し出すよう、悪意のあるコードを仕込みました。しかし、彼らは、これらのユーザーの多くがGoogleやAnthropicなどのコーディングツールをインストールしており、それらのツールが高度なアクセス権を持っていると想定しました。そこでハッカーは、これらのプログラムに指示してデータを根絶しました。1,000台以上のユーザーマシンから情報が送信されました。

「今回の攻撃が特別なのは、攻撃者が被害者の環境で実行されているAIを乗っ取ろうとしたのは、私が知る限り初めてだという点です」と、ソフトウェアセキュリティ企業Endor Labsの研究員ヘンリック・プレート氏は述べています。

「特に企業にとって大きなリスクは、開発者のマシンで実行されるコードが他のマシンよりも広範囲に及ぶ可能性があることです。他の企業システムにもアクセスできる可能性があります」とプレート氏は述べました。「攻撃者はこの攻撃を利用して、ソースコードを変更するなど、他の目的にも利用できた可能性があります。」

先月ラスベガスで開催されたセキュリティカンファレンス「Black Hat」でのデモンストレーションでは、AIを悪用する他の注目すべき手法も披露されました。

2023年、ワシントンD.C.のハワード大学で、学生とサイバーセキュリティ研究者がホワイトハウス主催のソフトウェアの脆弱性発見コンテストに参加します。 (マービン・ジョセフ/ワシントン・ポスト)

ある事例では、架空の攻撃者がChatGPTまたは競合他社を標的に、隠された指示を記した文書をメールで送信しました。ユーザーが要約を要求したり、要約が自動的に作成されたりすると、プログラムは指示を実行し、デジタルパスワードを見つけてネットワーク外に送信することさえありました。

GoogleのGeminiに対する同様の攻撃では、添付ファイルさえ必要ありませんでした。隠された指示が書かれたメールだけでした。AIによる要約は、標的のアカウントが侵害されたため、攻撃者の電話番号に電話するように誤って伝え、フィッシング詐欺を模倣しました。

ブラウザなどのツールが人間の監視なしに取引やその他の決定を行う能力を持つエージェントAIの台頭により、これらの脅威はますます深刻化しています。

すでにセキュリティ企業Guardioは、Perplexityのエージェント型ブラウザ「Comet」の拡張機能を騙して、偽のオンラインストアで時計を購入させたり、偽の銀行メールの指示に従わせたりしています。

AIは攻撃者によって直接利用されています。Anthropicは先月、AIを使ってあらゆることを行う人物によるランサムウェア攻撃キャンペーン全体を発見したと発表しました。AIは、企業の脆弱なシステムの発見、攻撃、盗まれたデータの評価、さらには妥当な身代金の提示まで行います。自然言語解釈の進歩により、犯罪者はそれほど優れたプログラマである必要さえありません。

高度なAIプログラムは、これまで発見されていなかったセキュリティ上の欠陥、つまり「ゼロデイ」の発見にも活用され始めています。ハッカーはゼロデイを高く評価し、正しく設定され、セキュリティパッチが完全に適用されたソフトウェアへの侵入に悪用します。

先月、国防総省の国防高等研究計画局(DARPA)が開催したコンテストで、自律型「サイバー推論システム」を開発した7つのハッカーチームは、5,400万行のオープンソースコードから18のゼロデイを発見しました。彼らはこれらの脆弱性を修正する作業を行いましたが、当局者によると、世界中のハッカーも同様の方法で脆弱性を見つけ出し、悪用しようとしています。

長年セキュリティ対策に携わってきた専門家の中には、この技術を使って新たな欠陥を発見し、悪用しようとする、一生に一度の世界的な猛攻を予測する人もいます。そして、いつでもアクセス可能なバックドアを残しておくのです。

真の悪夢のシナリオは、これらの世界が衝突し、攻撃者のAIが侵入経路を見つけ、被害者のAIと通信を開始し、連携して動作することです。SentinelOneのDelamotte氏の言葉を借りれば、「悪者のAIが善人のAIと協力する」状態です。

CrowdStrikeのシニアバイスプレジデント、アダム・マイヤーズ氏は、「来年には、AIが新たな内部脅威となるでしょう」と述べています。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd