レポート 5011

更新、2025 年 3 月 21 日: 3 月 19 日に最初に公開されたこの記事は、AI の脅威の状況に関する新しいレポートのハイライトと、Chrome パスワード マネージャー ユーザーに対する LLM 脱獄の脅威に関する OpenAI の声明で更新されました。

情報窃盗マルウェアの増加 を止めることは文字通り不可能であるように思われます。 21億件の認証情報が陰険な脅威によって侵害され、8,500万件の新たに盗まれたパスワードが進行中の攻撃で使用され、一部のツールはわずか10秒でブラウザのセキュリティを破ることができるため、これを無視することは確かに困難です。しかし、ハッカーが大規模な言語モデルの脱獄技術、いわゆる没入型世界攻撃を使用してAIにインフォスティーラーマルウェアを作成させる方法が新しい研究で明らかになり、状況はさらに悪化しそうです。知っておくべきことは次のとおりです。

マルウェア コーディングの経験がまったくない脅威インテリジェンス研究者が、複数の大規模言語モデルを脱獄し、AI に完全に機能する非常に危険なパスワード インフォスティーラーを作成させて、Google Chrome Web ブラウザから機密情報を侵害することに成功しました。

これは、3 月 18 日に公開された最新の Cato Networks 脅威インテリジェンス レポート の概要のぞっとする内容です。この心配なハッカーは、没入型世界脱獄と呼ばれる手法を使用して、まさにこの種の悪意のある動作に対するガードレールを提供するはずの大規模言語モデルに組み込まれた保護を回避しました。

「私たちが発見し、没入型世界と名付けた新しい LLM 脱獄手法は、インフォスティーラーを簡単に作成できる危険な可能性を示しています」と Cato Networks の脅威インテリジェンス研究者である Vitaly Simonovich 氏は述べています。そして、なんと、ヴィタリーは間違っていない。

Cato Networks の研究者によると、没入型世界攻撃には、前述の LLM セキュリティ ガードレールを回避するために「ナラティブ エンジニアリング」と呼ばれる手法が使用される。これには、攻撃者が非常に詳細だが完全に架空の世界を作り上げ、その中で LLM に役割を割り当てて、制限されるべき操作を正規化する必要がある。報告書によると、問題の研究者は、この架空の没入型世界内で 3 つの異なる AI ツールに役割を演じさせ、それぞれに特定のタスクと課題を課した。

Cato Networks の報告書で強調されているように、最終結果は、Google Chrome パスワード マネージャーから認証情報を正常に抽出する悪意のあるコードだった。「これは、没入型世界の手法と生成されたコードの機能性の両方を検証するものです」と研究者は述べた。

Cato Networks は、関係するすべての AI ツールに連絡を取ったが、DeepSeek は応答がなく、Microsoft と OpenAl は脅威開示の受領を認めたと述べた。Google も受領を認めたと Cato は述べたが、コードの確認は拒否した。 AI 脱獄レポートに関して、Google、Microsoft、DeepSeek に連絡を取りました。今後、声明が出されれば、この記事を更新します。

OpenAI の広報担当者は、次のような声明を出しました。「私たちは AI セキュリティの研究を重視しており、このレポートを慎重に検討しました。レポートで共有された生成コードは、本質的に悪意のあるものではないようです。このシナリオは通常のモデルの動作と一致しており、モデルの安全策を回避した結果ではありません。ChatGPT は、ユーザーのプロンプトに応じてコードを生成しますが、コード自体は実行しません。いつものように、研究者の皆様が バグ報奨金プログラム または モデル動作フィードバック フォーム を通じてセキュリティに関する懸念を共有することを歓迎します。」

AI セキュリティの現状

3 月 20 日の ThreatLabz 2025 AI セキュリティ レポート に掲載された Zscaler の新しい調査では、AI 環境がいかに危険であるかが鮮明に描かれています。企業による AI ツールの使用が前年比 3,000% の上昇傾向にある中、Zscaler は、これらのテクノロジーがほぼすべての業界で急速に採用されているため、セキュリティ対策の必要性について警告しました。もちろん、企業はこのリスクを十分に認識しているため、Zscaler は、2024 年 2 月から 2024 年 12 月の間に Zscaler クラウドで行われた約 5,365 億件の AI および機械言語トランザクションの分析によると、すべての AI および機械言語トランザクションの 59.9% が企業によってブロックされたと報告しました。

潜在的なリスクには、データ漏洩や不正アクセス、コンプライアンス違反などが含まれます。 「脅威アクターは、攻撃の洗練度、スピード、影響を増幅するために AI をますます活用しています」と Zscaler は述べており、これは企業も消費者も、誰もがセキュリティ戦略を再考する必要があることを意味します。

最も使用されている AI アプリケーションに関しては、ChatGPT が当然ながらトップに立ち、特定されたすべてのグローバル トランザクションの 45.2% を占め、露出と許可されていない使用に関する懸念から最も多くブロックされています。Grammarly、Microsoft Copilot、QuillBot、Wordtune も上位にランクインしています。

「AI が業界を変革するにつれ、新しい予期しないセキュリティ上の課題も生まれます」と Zscaler の最高セキュリティ責任者 Deepen Desai は述べています。「サイバー犯罪者が攻撃の規模拡大に AI を活用しようとしている中、あらゆる場所でゼロ トラストを実現することが、急速に進化する脅威の状況で優位に立つための鍵となります。」