アンスロピックは木曜日、これまで知られていなかった中国政府支援のハッカー集団が同社の生成AI製品「Claude AI」を利用して少なくとも30の組織に侵入したとする調査結果を発表し、大きな話題を呼んだ。
アンスロピックのレポートによると、この脅威アクターは2つの手法を用いてClaudeのセキュリティガードレールを回避した。1つは、ソフトウェアが広範な悪意ある意図を認識できないように作業を個別のタスクに分割すること、もう1つは、正当なセキュリティ監査を実施しているとモデルに信じ込ませることである。
アンスロピックの脅威インテリジェンスチーム を率いるジェイコブ・クライン氏は、サイバースクープに対し、過去1年間で悪意のあるハッカーを支援するためにClaudeがますます斬新な形で利用されていることを同社が確認していると語った。3月には、脅威アクターがチャットボットのインタラクションをコピー＆ペーストしてマルウェアやフィッシング詐欺を作成しようとしていた。同社のコード開発ツールClaude Codeがリリースされると、攻撃者がそれを使用してスクリプトをより迅速に生成し、攻撃用のコードを構築しているのが確認された。
「そして9月の[今回の攻撃]ですが、今回のケースで私たちが目にしているのは、これまでで最も自律的な悪用だと思います」とクライン氏は述べた。
しかし、クライン氏は「最も自律的」というのは相対的な言葉であることも明確にした。このハッカーグループがClaudeの活用に多大な人的および技術的リソースを投入したことを示す証拠は数多くある。
つまり、アンスロピックの報告書で詳述されているクロード氏による自動化は、オペレーションのオーケストレーションとサポートを目的として設計されたフロントエンドフレームワークによって実現された。このフレームワークは、スクリプト作成、関連サーバーのプロビジョニング、そして重要なバックエンド開発といったタスクを処理し、各ステップが正しく実行されるようにした。クライン氏は、この開発プロセスがオペレーションの中で最も困難で、そして重要な点として、人間主導であったと指摘した。
「自律的ではない最初の部分はフレームワークの構築であり、これをすべてまとめる には人間の手が必要でした」とクライン氏は述べた。「人間のオペレーターがターゲットを入力し、ボタンをクリックして、事前に作成されたフレームワークを使用するという作業でした。このシステム全体で最も困難だったのは、このフレームワークの構築であり、まさに人手が集中していたのです。」
さらに、ターゲットの偵察、脆弱性のスキャン、その他のタスクを実行するために、クロード氏はモデルコンテキストプロトコル（MCP）サーバーを介して一連のオープンソースツールを呼び出しました。MCPは、AIモデルが外部のデジタルツールと安全に連携するのを支援します。これらの接続を確立するには、コーディングの専門知識、高度な計画、そして相互運用性を確保するための人間による技術的な作業が必要です。
最後に、クロードの作業は、人間による継続的な検証とレビューの対象となっていました。攻撃チェーンの図には、少なくとも4つの異なるステップが詳細に示されています。これらのステップでは、人間がクロードの出力を確認したり、モデルを作業に戻してから次のステップに進むことが明示的に含まれています。
これは、クロードがこれらのタスクを自律的に実行できたにもかかわらず、出力の確認、結果の検証、バックエンドシステムの動作確認、そして次のステップの指示を人間の監督に依存していたことを示唆しています。
Anthropicのレポートは、AI生成の研究に共通する欠陥を指摘しています。クロードのようなモデルは、幻覚を起こしたり、資格情報を偽造したり、結果を誇張したり、公開されている情報を重要な発見として提示したりすることがよくあ ります。そのため、AI生成の研究を活用することは困難です。脅威アクターは、他のユーザーと同様に、技術的な専門家による結果のレビューと修正なしに、各段階の出力を信頼できる確実な方法がないのです。
例えば、脆弱性スキャンについて言えば、「最初のステップは、クロードが戻ってきて『このターゲットに関連するすべての資産がここにあります』と伝え、それを人間に送り返すことです」とクライン氏は述べた。「つまり、人間によるレビューが行われるまで、クロードは次のステップである侵入テストにはまだ進まないのです。」
人間による介入がこれだけあるにもかかわらず、クライン氏は会社が発見した事実を心から懸念している。
「ここで起こっているのは、人間のオペレーターがかなり劇的に規模を拡大できることだと思います」とクライン氏は述べた。「この種の作業を行うには10人ほどのチームが必要だったと思いますが、それでも人間のオペレーターは必要です。だからこそ、完全自動でも完全エージェントでもないと言ったのです。」
同社がこの攻撃キャンペーンが中国と関連していると考える理由について、クライン氏は、インフラや行動が過去の中国政府支援を受けた攻撃者と重複していること、そして標的が中国国家安全部の「目標」と強く一致することなど、いくつかの要因を挙げた。
その他の些細な状況証拠も、中国との関連性を示唆している。使用ログによると、このグループは主に「一般的な官僚のように午前9時から午後6時まで」活動していたが、ハッカーたちは週末には活動しておらず、攻撃活動の最中には中国の祝日にも活動してい なかったようだ。
しかし、クライン氏は中国との関連性を示すすべての情報を開示することはできないと述べ、証拠はこれだけではないと付け加えた。
AIとセキュリティ専門家の意見は分かれている
AIがサイバースパイ活動にどのように貢献しているかについては、これまで多くの研究が行われていませんが、大規模言語モデルがサイバーセキュリティ特有のタスクを実行した際に、過去1年間で改善したことを示す証拠は数多くあります。今年初め、スタートアップ企業のXBOWは、同社のAI脆弱性スキャンおよびパッチ適用ツールが、HackerOneなどのバグバウンティ企業でリーダーボードのトップにランクインしました。
攻撃面では、今年初めにニューヨーク大学の研究者が、Anthropicが発見したキャンペーンで使用されたものと同様のフレームワークを開発しました。このフレームワークは、公開されているChatGPTバージョンを使用して、ランサムウェア攻撃の大部分を自動化します。Anthropicのレポートは、国家が同様のプロセスを使用して攻撃を成功させた最初の公に知られている事例と考えられています。
これらの進歩にもかかわらず、このキャンペーンとAnthropicのレポートは、AIとサイバーセキュリティの分野で波紋を呼んでいます。AIを利用したハッキングに関する既存の懸念を裏付けるものであるという意見がある一方で、レポートの結論 はサイバースパイ活動の現状について誤解を招く印象を与えると主張する人もいます。
英国を拠点とするサイバーセキュリティ研究者のケビン・ボーモント氏は、アンスロピック社の報告書が透明性に欠け、既存のツールで既に実現可能な対策を記述しているだけでなく、外部検証の余地もほとんどないと批判した。
ボーモント氏は金曜日にLinkedInに、「報告書には侵害の兆候がなく、言及されている手法はすべて既成のもので、既に検知実績がある」と記した。「実用的な情報という点では、報告書には何もない」。
クライン氏はCyberScoopに対し、アンスロピック社は情報共有協定を結んでいるテクノロジー企業、研究機関、その他の組織と侵害の兆候を共有していると語った。
「私的なサークル内では共有しているが、一般公開したいとは思っていない」と同氏は述べた。
他の識者たちは、アンスロピック社の調査結果は依然としてAIサイバーセキュリティの応用における重要なマイルストーンだと主張した。
サイバーセキュリティ・インフラセキュリティ庁（CISA）の元長官、ジェン・イースタリー氏は、攻撃を公表したアンスロピック社を称賛しつつも、セキュリティコミュニティが透明性に関して抱いている懸念の一部に同調した。
イースタリー氏は金曜日、LinkedInに「AIによって実際に加速されたタスクと、標準的なツールで実行できたタスクの区別がまだ分かっていません」と投稿した。 「エージェントチェーンがどのように動作したのか、モデルがどこで幻覚を起こしたのか、人間がどの程度介入しなければならなかったのか、そして出力が実際にどれほど信頼で きるのか、私たちには分かりません。より具体的な情報（プロンプト、コードサンプル、障害、摩擦点など）がなければ、防御側が次に何が起こるかを学習、適応、予測することは明らかに困難です。」
シスコのAI防御チームのAI研究者、ティファニー・サーデ氏は、CyberScoopに対し、アントロピックの報告書から、クロードのようなツールの使用は攻撃者にスピードとスケールの面で優位性を与えることが明らかだと語った。
「問題は、ハッカーが他の自動化手段よりもLLMを使用し、それに伴う限界に対処するよう促すには、それで十分なのかということです」とサーデ氏は問いかけた。「エージェントによる攻撃もより高度化していくのでしょうか？そして、どのような高度化と言えるのでしょうか？」
サーデ氏は、アントロピックが説明した攻撃の一部の側面は、純粋にスパイ活動に重点を置く中国のグループには当てはまらないと指摘した。彼女は、ハッカーたちが独自のAIモデルにアクセスできるにもかかわらず、自動化のために米国の大手AIモデルを利用するのは奇妙だと指摘した。さらに、AnthropicやOpenAIのような企業は、オープンソースモデルよりもはるかに優れたサイバーセキュリティと脅威インテリジェンスのリソースを保有しているため、自社のプラットフォームを利用した悪意のある活動は検出される可能性が高い。
「このような事態が起こることは分かっていましたが、驚くべきことに…もし私が中国政府に支援されているアクターで、エージェント機能を備えたAIモデルを使って自律ハッキングを行いたいとしたら、おそらくクロードに依頼することはないだろう」とサ ーデ氏は指摘した。「おそらく社内で、水面下で何かを構築するだろう。つまり、彼らは目立ちたかったのだ。」
サーデ氏は、ハッキングのもう一つの動機として、北京のハッカーたちはまさに誰もが恐れていることを実行できるという、ワシントンD.C.への地政学的なメッセージの可能性を示唆した。
「通常、その目的は『ステルス性を保ち、持続性を維持する』ことだ」 「これは妨害行為ですらなく、『仮説は検証済み』というメッセージを送っているのです」とサアデ氏は述べた。「彼らは騒ぎ、速報ニュース、『アントロピックが報道』という見出しを求めているのです。彼らは注目度を求めており、それには理由があるのです」