人工知能（AI）大手のアンスロピック社が発表した衝撃的な調査によると、中国の諜報機関が約30の組織に対するサイバー攻撃の大半を同社のAIシステムで処理していたことが明らかになった。攻撃を受けた組織の中には、侵入に成功したものもあった。
ウォール・ストリート・ジャーナルが初めて報じた[レポート](https://assets.anthropic.com/m/ec212e6566a0d47/original/Disrupting-the-first-reported-AI-orchestrated-cyber-espionage-campaign.pdf](https://www.wsj.com/tech/ai/china-hackers-ai-cyberattacks-anthropic-41d7ce76)によると、中国の国家支援を受けた組織がアンスロピック社のClaude AIを使用して、偵察、脆弱性の発見、悪用、ラテラルムーブメント、認証情報の収集、データ分析、情報漏洩を行っていたという。
アントロピック社は、この攻撃キャンペーンは複数の点で初 となるものだと述べています。これは、人間の介入なしに大規模に実行された、現実世界のサイバー攻撃の記録された初の事例と思われます。
人間のオペレーターはクロードに標的を指定し、自律偵察を開始するよう指示しました。標的となった組織には、大手テクノロジー企業、金融機関、化学製造会社、そして複数国の政府機関が含まれています。
同社は、「運用ペース、リクエスト量、活動パターンの分析により、AIは戦術的作業の約80～90%を自律的に実行し、人間は戦略的な監督役を務めていたことが確認されました」と説明しています。
「最も重要なのは、これが、大手テクノロジー企業や政府機関を含む、情報収集の対象となる価値の高い標的へのアクセスをエージェントAIが成功させた初の記録された事例であるということです。これらの能力は今後も進化し続けると予想していましたが、私たちにとって際立っていたのは、彼らがいかに迅速に大規模にそれを実行したかということです。」
アントロピック社によると、これらのインシデントは9月に発生し、この作戦は「少数の侵入に成功した」とのことです。同社は、GTG-1002と名付けられたこのグループが北京と関連していると考える理由については説明していない。
アントロピック社は、「関係当局」やその他の業界パートナーに通知するとともに、影響を受けた組織にも連絡を取ったと述べた。
ハッカーたちは、正規のサイバーセキュリティ企業の従業員を装い、クロード氏をサイバーセキュリティ対策のテストに利用されていると信じ込ませることで、アントロピック社のセキュリティ対策を回避した。
この活動は最終的にアントロピック社の社内検知ツールに検知されたものの、同社はAIモデルによって「脅威アクターが攻撃を開始するのに十分な期間、レーダーをすり抜けることができた」と認めた。
アントロピック社は、この活動に関与したアカウントを禁止し、「この攻撃に対応して複数の防御強化策を実施した」と述べた。
同社は、「新たな脅威パターンに対応」するために検知能力を拡張し、「自律型サイバー攻撃に対するプロアクティブな早期検知システムのプロトタイプを開発し、調査のための新たな手法を開発している」と述べた。
アントロピックは、高度なサイバー攻撃を実行する障壁は「大幅に低下した」と警告し、ハッカーはAIシステムを効果的に活用して、経験豊富なハッカーチーム全体の作業をこなせるようになったと指摘した。
報告書によると、クロードは時折、調査結果を誇張したり、データを捏造したり、実際には機能しない認証情報を入手したと主張したりしていた。AIによる幻覚は「攻撃者の作戦効果に課題をもたらし、主張されたすべての結果について慎重な検証を必要とした」という。
「前例のない」
アントロピックは、「攻撃ライフサイクル全体にわたるAIの前例のない統合と自律性」に懸念を表明した。
ハッカーたちはクロードを「人間のオペレーターに助言を提供するだけでなく、サイバー侵入作戦を実行する自律型サイバー攻撃エージェント」へと変貌させることができた。
クロードは、典型的な攻撃チェーンを分解し、脆弱性スキャン、認証情報検証などを担当するサブエージェントにタスクを分割する「オーケストレーションシステム」として機能した。
人間による介入は、戦略的な分岐点においてのみ行われ、そこには「偵察から実際の攻撃への進行、収集した認証情報の水平展開への使用許可、データ窃取の範囲と保管に関する最終決定」の承認などが含まれていました。
クロードは、標的のネットワーク内の内部サービスを独自に発見することができました。AIは脆弱性を検証し、盗まれた認証情報をテストし、盗まれた大量のデータを分析することで、「インテリジェンスの価値を独自に特定し、発見内容を分類」しました。場合によっては、クロードは高価値システムを自律的に特定することができました。
標的となったテクノロジー企業の一つでは、ハッカーはクロードにデータを抽出し、機密情報を見つけ出し、インテリジェンスの価値に基づいて分類するよう指示しました。
「クロードは、キャンペーンの全フェーズを通じて包括的な攻撃文書を自動生成しました。構造化されたマークダウンファイルによって、発見されたサービス、収集された認証情報、抽出されたデータ、エクスプロイト手法、そして攻撃の進行状況全体が追跡されました」とAnthropicは説明しています。
このドキュメントにより、オペレーター間のシームレスなハンドオフが可能になり、中断後のキャンペーン再開が容易になり、後続の活動に関する戦略的意思決定が支援されました。証拠は、脅威アクターが最初の侵入キャンペーンで情報収集目的を達成した後、継続的なオペレーションのために追加のチームに永続的なアクセスを引き継いだことを示唆しています。
クロードは、オープンソースの侵入テストツールを用いて複数の侵入を実行したほか、ネットワークスキャナー、データベースエクスプロイトフレームワーク、パスワードクラッカーも活用しました。
Anthropicは、AIがコモディティリソースを利用できる能力は、「AIプラットフォームの自律運用能力が向上するにつれて、脅威ランドスケープ全体に急速に拡散する可能性を示唆している」と警告しました。
同社は、今回の調査結果は、今年初めにカーネギーメロン大学の科学者と共同で発表された研究とは大きく異なると指摘しました。この研究では、一般的な大規模言語モデルは事実上、マルチホストネットワーク攻撃を自律的に実行できないことが明らかになっています。
これらのテストにおける人間の関与は、アンスロピックが9月の中国への攻撃で特定した数をはるかに上回っていました。
専門家は、複数の国の国家グループがAIを導入し、テストしている方法に関して、これは氷山の一角に過ぎない可能性が高いと述べています。
サイバーセキュリティ企業Black Duckの研究者であるVineeta Sangaraju氏は、アンスロピックのガードレールがなぜそれほど効果を発揮しなかったのか疑問を呈しました。
「強力なモデルをリリースする前に、どのようなベンチマークテストで、そのモデルがこれらの安全策を確実に遵守できることを証明しているのでしょうか？高リスクなアクションを処理するよう指示された場合、モデルは自動的にサンドボックス化された監査可能なモードに移行するのでしょうか？」とサンガラジュ氏は問いかけました。
「そして、疑わしい操作を実行する際に、モデルがどの程度の自律性を発揮できるかについて、強制的な制限はあるのでしょうか？」