レポート 4413
犯罪者は、不正な目的で独自の LLM をトレーニングする必要がないことに気付きました。認証情報を盗んで既存の認証情報をジェイルブレイクする方がはるかに安価で簡単です。そのため、生成 AI を使用した大規模なサプライ チェーン攻撃の脅威はより現実的になっています。
いいえ、最初のアクセスから業務停止まで、完全に AI によって生成された攻撃について話しているわけではありません。技術的には、犯罪者はまだそこまでには至っていません。しかし、LLM が非常に得意としていることの 1 つは、ソーシャル エンジニアリング キャンペーンの支援です。
これが、元米空軍の諜報アナリストで Sysdig のサイバー セキュリティ戦略家である Crystal Morin 氏が、2025 年には LLM によって生成されたスピア フィッシングから始まる非常に成功したサプライ チェーン攻撃が見られると予想している理由です。
LLM の使用に関しては、「脅威アクターは私たちと同じように学習し、理解し、状況を把握しています」と Morin 氏は The Register に語りました。 「私たちは今、競争の真っ最中です。マシン対マシンです。」
Sysdig は他の研究者とともに、2024 年に盗まれたクラウド認証情報を使用して LLM にアクセスする犯罪者の増加を記録しました。5 月には、コンテナ セキュリティ企業が Anthropic の Claude LLM モデルを標的とする 攻撃者を記録しました。
このアクセスを利用して LLM トレーニング データを抽出できた可能性はありますが、この種の攻撃の主な目的は他の犯罪者にアクセス権を販売することだったようです。これにより、クラウド アカウント所有者が LLM 消費コストに関連する 1 日あたり 46,000 ドルという高額な費用を負担することになります。
さらに詳しく調査したところ、研究者らは、攻撃に使用された より広範なスクリプト が、AI21 Labs、Anthropic、AWS Bedrock、Azure、ElevenLabs、MakerSuite、Mistral、OpenAI、OpenRouter、GCP Vertex AI の 10 種類の AI サービスの認証情報をチェックできることを発見しました。
私たちは今、マシン対マシンの競争を繰り広げています
その年の後半、Sysdig は、盗まれた認証情報を使用して LLM を有効にしようとする攻撃者を発見しました。
脅威調査チームは、モデルへの不正アクセスを試みるあらゆる試みを「LLMjacking」と呼び、9 月には、この種の攻撃は「増加傾向にあり、7 月には LLM リクエストが 10 倍増加、2024 年前半にはこれらの攻撃に関与する固有の IP アドレスの数が 2 倍になった」と報告しました。
Sysdig によると、被害者は多額の費用を負担するだけでなく、被害者組織が Claude 3 Opus などの新しいモデルを使用している場合は、1 日あたり 10 万ドルを超えることもあります。
さらに、被害者はこれらの攻撃を阻止するための人員と技術に支払いを強いられます。また、エンタープライズ LLM が武器化され、さらなる潜在的なコストが発生するリスクもあります。
2025 年には、「最大の懸念はスピア フィッシングとソーシャル エンジニアリングです」と Morin 氏は述べています。「LLM にアクセスする方法は無数にあり、この GenAI を使用して、雇用主、ショッピングの好み、使用する銀行、居住地域、地域のレストランなどに基づいて、ターゲットとする個人に固有のカスタマイズされたメッセージを作成できます。」
攻撃者が言語の壁を乗り越えるのに役立つことに加えて、電子メールやソーシャル メディア メッセージング アプリを介して送信されるメッセージは、個々の被害者向けに特別に作成されるため、さらに説得力のあるものになります。
「彼らは、通りのすぐ近くにあるレストランや、あなたの町で人気のレストランからメッセージを送信し、あなたがそれをクリックしてくれることを期待しています」とモリン氏は付け加えた。「そのため、彼らの成功はかなり高まります。多くの侵入はこのようにして成功しています。最初のアクセスは、単に人対人によるものです。」
彼女は、2024 年に発生した甚大な被害をもたらした侵入の例として、チェンジ ヘルスケアのランサムウェア攻撃を挙げた。この攻撃には、法学修士の支援があったことを示す証拠はまったくないことを明確にしておく必要がある。
このケースでは、ランサムウェアの集団がChange Healthcareのシステムをロックし、米国中の何千もの薬局や病院を混乱させ、約1億人の個人データにアクセスしました。この医療費支払い大手は、攻撃後にクリアリングハウスサービスを復旧するのに9か月かかりました。
これは、潜在的に大きな影響を与える攻撃チェーンのごく一部で、単純な部分です
「スピアフィッシングの話に戻りますが、Change Healthcare の従業員がメールを受信してリンクをクリックするところを想像してください」と Morin 氏は言います。「これで、攻撃者はその従業員の認証情報またはその環境にアクセスでき、侵入して横方向に移動できるようになります。」
このタイプの GenAI 支援が見られるようになったら、「これは、潜在的に大きな影響を与える攻撃チェーンのごく一部で、単純な部分です」と彼女は付け加えました。
スタートアップ企業や既存の企業が、メールフィッシングを検出して防止するために AI を使用するセキュリティツールをリリースしていますが、あらゆる種類のフィッシング攻撃に引っかからないようにするために、誰もが実行できる非常に単純な手順がいくつかあります。「クリックするものに注意してください」と Morin 氏はアドバイスしました。
また、メールの送信者にも細心の注意を払ってください。 「メール本文がどれだけ良くても関係ありません。メールアドレスを見て、何かおかしな文字列や、name@gmail のような変なアドレスなのに、Verizon から送信されていると書いてあることはありませんか? 意味がわかりません」と彼女は付け加えた。
LLM は、犯罪者が合法でよく知られている会社名に基づいて異なる英数字でドメインを作成するのにも役立ち、さまざまなプロンプトを使用して送信者の信頼性を高めることができる。
音声通話フィッシングでさえ、音声クローンに AI が使用されるため、見分けるのが難しくなる可能性が高いと、モーリンは考えている。
「全国から 1 日に 5 件ほどスパム電話がかかってきますが、電話がスパムだと教えてくれるので無視しています」と彼女は指摘した。
「しかし、今では音声クローンも使用されています」とモーリンは続けた。 「そして、ほとんどの場合、特に運転中など、誰かがあなたの 電話に出るときには、積極的に聞いていないか、マルチタスクをこなしているので、それが音声クローンだとは気づかないかもしれません。特に、それが見覚えのある人物のように聞こえる場合や、言っていることが信じられそうで、本当にあなたの銀行から来たように聞こえる場合はそうです。」
2024年の米国大統領選挙の直前、バイデン大統領になりすましたAI生成ロボコールが有権者に州の大統領予備選挙に参加しないよう促した際に、私たちはこれを予見しました。
それ以来、FTCはAI音声クローンに対抗する最善の方法についてのアイデアを募るために25,000ドルの報奨金を発行し、FCCはAI生成のロボコールを違法と宣言しました。
モーリン氏は、これが犯罪者に対する抑止力になるとは考えていません。
「意志があれば、道はある」と彼女は意見を述べました。「お金がかかるなら、彼らは無料でそれを手に入れる方法を見つけるでしょう。」®