レポート 4587

はじめに Resecurity は、チャットボットを活用して消費者に自動化された人間のような対話を提供する AI エージェント と 会話型 AI プラットフォーム を標的とした悪意のあるキャンペーンの急増を特定しました。会話型 AI プラットフォームは、自然言語処理 (NLP) や 機械学習 (ML) などのテクノロジーを使用して、人間と機械の自然な対話を促進するように設計されています。これらのプラットフォームにより、チャットボットや仮想エージェントなどのアプリケーションが有意義な会話を行えるようになり、さまざまな業界で貴重なツールとなっています。チャットボットは会話型 AI プラットフォームの基本的な部分であり、人間の会話をシミュレートしてユーザー エクスペリエンスを向上させるように設計されています。このようなコンポーネントは、エンド ユーザー (消費者) と AI 間の通信ワークフローを調整する役割を担う AI エージェントのサブクラスとして解釈できます。金融機関 (FI) は、顧客サポートと内部ワークフローを加速するためにこのようなテクノロジーを広く実装していますが、これによりコンプライアンスとサプライ チェーンのリスクも引き起こされる可能性があります。このようなサービスの多くは、データ保護とデータ保持に関して完全に透明ではなく、「ブラック ボックス」として動作しているため、関連するリスクはすぐには見えません。これは、大手テクノロジー企業が、特に外部ソースから提供される類似の AI ツールへの従業員のアクセスを 制限 している理由を説明できるかもしれません。これは、これらのサービスが、提出された潜在的に独占的なデータを利用する可能性があることを懸念しているためです。OpenAI、Microsoft、Google、Amazon Web Services (AWS) などの主要な AI イノベーターは、企業が AI を使用して業務を遂行し、生産性と収益機会を向上できるように、AI エージェントの使用を積極的に推進しています。多くの既存製品も、自動化の増加により生成 AI 機能を強化する準備が整っており、会話型プラットフォームと AI チャットボットの役割の増大を浮き彫りにする可能性があります。従来のチャットボットとは異なり、会話型 AI チャットボットは、ユーザーとのやり取りに基づいてパーソナライズされたヒントや推奨事項を提供できます。この機能により、個々のニーズに合わせてカスタマイズされた応答が提供され、ユーザー エクスペリエンスが向上します。ボットはユーザーとのやり取りから貴重なデータを収集でき、それを分析して顧客の好みや行動に関する洞察を得ることができます。この情報は、ビジネス戦略に役立ち、サービス提供を改善することができます。同時に、ユーザーから収集されたデータは、パーソナライズされたやり取りにより機密情報やコンテキストを明らかにする可能性があるため、データ保護において重大なリスクを生み出します。もう 1 つの重要な側面は、収集されたユーザー入力がさらなるトレーニングのために保持されるかどうか、および侵害が発生した場合にユーザーのプライバシーに影響を与える可能性のある PII (個人を特定できる情報) やその他のデータの開示を最小限に抑えるために、そのようなデータが後でサニタイズされるかどうかです。 ### 会話型 AI と生成型 AI の理解 コミュニケーション AI は、会話型 AI と呼ばれることが多く、主にユーザーとの双方向のやり取りを容易にするように設計されています。人間の言語を理解して処理し、人間のような応答を生成することに重点を置いています。このテクノロジーは、チャットボット、仮想アシスタント、および顧客サービス アプリケーションでよく使用され、その目的は意味のある状況に適したやり取りを提供することです。一方、生成型 AI は、既存のデータから学習したパターンに基づいて新しいコンテンツを作成することに重点を置いています。これには、テキスト、画像、音楽、およびその他の形式のメディアの生成が含まれます。生成 AI は会話に限定されません。プロンプトに応じてオリジナルの作品を自律的に作成できるため、クリエイティブ分野、コンテンツ作成などのアプリケーションに適しています。 主な違い 目的: - 会話型 AI は、ユーザーを対話に引き込み、人間の会話を模倣した応答を提供することを目的としています。 - 生成 AI は、記事の執筆、アートワークの作成、音楽の作曲など、新しいコンテンツの制作に重点を置いています。 機能: - 会話型 AI は、ユーザーからの入力を処理して適切な応答を生成します。多くの場合、定義済みのスクリプトや学習した会話パターンに依存します。 - 生成 AI はデータを分析してまったく新しい出力を作成し、複雑なアルゴリズムを活用して、応答するだけでなく革新を起こします。 まとめると、どちらのテクノロジーも AI の原則を活用していますが、会話型 AI はインタラクションと対話に関するものであるのに対し、生成 AI はコンテンツの作成と革新に関するものです。 会話型 AI システム は、さまざまな業界やアプリケーションでますます普及しつつあります。注目すべき例をいくつか挙げます。** 仮想アシスタント - Siri (Apple)、Alexa (Amazon)、Google Assistant (Google) - これらの音声起動仮想アシスタントは、会話型 AI を使用して自然言語を理解し、ユーザーのクエリに応答します。** AI 搭載チャットボット - e コマース Web サイトのチャットボット - これらの AI 搭載チャットボットは、製品情報、注文追跡、その他の問い合わせで顧客を支援します。 - メッセージング アプリ チャットボット - Slack、Facebook Messenger、WhatsApp などのメッセージング プラットフォームに統合されたチャットボットは、自動化された顧客サポートと情報を提供します。** 音声起動ボット - 音声テキスト ディクテーション ツール - 話し言葉をテキストに書き起こしてハンズフリー コミュニケーションを可能にする会話型 AI システム。\ - 音声起動スマート ホーム デバイス - 例としては、会話型 AI を使用してスマート ホーム機能を制御している Amazon Alexa、Google Nest、Apple HomePod などがあります。 ** エンタープライズ アプリケーション - 自動化されたカスタマー サービス エージェント - 請求、アカウント管理、トラブルシューティングなど、一般的な顧客からの問い合わせやタスクを処理する AI 搭載のチャットボットと仮想エージェント。 - HR オンボーディング アシスタント - 新入社員のオンボーディング プロセスをガイドし、質問に答え、情報を提供する会話型 AI システム。 ** ヘルスケア アプリケーション - 仮想看護アシスタント - 患者とやり取りし、医療アドバイスを提供し、予約のスケジュール設定や投薬管理を支援できる会話型 AI システム。 これらの例は、消費者向けの仮想アシスタントからエンタープライズ レベルの自動化およびサポート システムまで、会話型 AI の多様なアプリケーションを示しています。 テクノロジーが進化し続けるにつれて、将来的には会話型 AI のさらに革新的なユース ケースが見られるようになると予想されます。 ### AI エージェントと会話型 AI による新たなリスク Gartner の著名な VP アナリストである Avivah Litan による最近の 出版物 では、AI エージェントによってもたらされる新たなリスクとセキュリティの脅威が強調されていました。 - データの露出または流出\ リスクは、エージェント イベントのチェーンのどの部分でも発生する可能性があります。 - システム リソースの消費\ 制御されていないエージェントの実行とやり取りは、良性か悪性かに関係なく、サービス拒否またはウォレット拒否のシナリオにつながり、システム リソースに過負荷をかける可能性があります。 - 許可されていないまたは悪意のあるアクティビティ\ 自律エージェントは、悪意のあるプロセスまたは人間による「エージェント ハイジャック」など、意図しないアクションを実行する場合があります。 - コーディング ロジック エラー\ AI エージェントによる無許可、意図しない、または悪意のあるコーディング エラーは、データ侵害やその他の脅威につながる可能性があります。 - サプライ チェーンのリスク\ サードパーティ サイトのライブラリまたはコードを使用すると、非 AI 環境と AI 環境の両方を標的とするマルウェアが侵入する可能性があります。 - アクセス管理の乱用\ 特にローコードまたはノーコード開発で、開発者の資格情報をエージェントのロジックに埋め込むと、重大なアクセス管理リスクにつながる可能性があります。 - 悪意のあるコードの伝播\ 自動エージェント処理と検索拡張生成 (RAG) ポイズニングにより、悪意のあるアクションがトリガーされる可能性があります。これらのリスクは、データの露出、リソースの消費、および不正なアクティビティを軽減するための堅牢な制御を設計することの重要性を浮き彫りにしています。会話型 AI は、ユーザー インタラクションと自動化に大きなメリットをもたらしますが、慎重に管理する必要があるいくつかのリスクも伴います。このようなシステムは機密性の高いユーザー情報を扱うことが多いため、機密性の侵害やデータ露出に関する懸念が生じます。たとえば、会話型 AI システムと対話する場合、エンドユーザーは最新の支払い確認の更新を要求したり、住所を共有して配送状況を尋ねたり、適切な出力を受け取るためにその他の個人情報を提供したりすることが考えられます。この情報が漏洩した場合、重大なデータ漏洩につながる可能性があります。 ### ダークウェブでのアクティビティ 会話型 AI プラットフォーム の重要なカテゴリの 1 つは、AI を活用したコールセンター ソフトウェア と カスタマー エクスペリエンス スイート です。このようなソリューションは、専用のチャットボットを使用して消費者と対話し、入力を処理して有意義な洞察を生成します。このような AI を活用したソリューションの実装は、フィンテック、e コマース、電子政府で特に重要です。これらの分野では、最終消費者の数が多く、処理する情報量が多いため、人間による手動の対話はほぼ不可能、または少なくとも商業的および実質的に効果がありません。トレーニングされた AI モデルは、消費者へのフィードバックを最適化し、さらなるリクエストを支援するため、AI で対応できる応答時間と人手による手順が削減されます。 2024 年 10 月 8 日 - Resecurity は、中東の主要な AI 搭載クラウド コール センター ソリューションの 1 つから盗まれたデータの収益化に関するダーク ウェブ上の投稿を特定しました。 脅威アクターは、消費者、オペレーター、AI エージェント (ボット) 間の 10,210,800 件を超える会話 を含むプラットフォームの管理ダッシュボードに不正にアクセスしました。盗まれたデータは、高度な詐欺行為やソーシャル エンジニアリング キャンペーン、AI を使用したその他のサイバー犯罪戦術の編成に使用される可能性があります。このインシデントは適時に検出され、影響を受けた当事者に警告し、法執行機関と協力することで、被害の軽減に成功しました。残念なことに、悪意のある人物が大量の情報を盗み、消費者のプライバシーを危険にさらしました。利用可能なヒューマンインテリジェンス (HUMINT) に基づいて、Resecurity は、このアクターからインシデントに関連する追加のアーティファクトを取得しました: \ 特定された悪意のあるアクティビティの重大な影響の 1 つは、AI エージェントと消費者間の通信が侵害され、国民 ID 文書や特定の要求に対応するために提供されたその他の機密情報を含む個人識別情報 (PII) が明らかになったことです。攻撃者は、データマイニングおよび抽出手法 を適用して関心のあるレコードを取得し、高度なフィッシングシナリオやその他のサイバー攻撃目的でそれらを使用する可能性があります。 ### AI プラットフォームへの信頼: データ漏洩の前兆 侵害の結果、攻撃者は特定の顧客セッションにアクセスしてデータを盗み、AI エージェントとのやり取りのコンテキスト に関する知識を取得し、後に ハイジャック につながる可能性があります。このベクトルは、攻撃者が KYC 検証や特定の金融機関または決済ネットワークからの技術サポートを口実にして被害者から支払い情報を取得することに焦点を当てている場合、詐欺やソーシャル エンジニアリング キャンペーンで特に効果的である可能性があります。多くの会話型 AI プラットフォームでは、ユーザーが AI 支援オペレーターと人間を切り替えることができます。悪意のある人物はセッションを傍受し、会話をさらに制御できます。ユーザーの信頼を悪用して、悪意のある人物は被害者に機密情報を提供するように要求したり、詐欺計画に使用できる特定のアクション (OTP の確認など) を手配したりする可能性があります。 Resecurity は、信頼できる会話型 AI プラットフォームを悪用してアクセスすることで、さまざまなソーシャル エンジニアリング スキームが実行される可能性があると予測しています。 最終的な被害者 (消費者) は、攻撃者がセッションを傍受してもまったく気づかず、セッションは安全であり、その後の行動は正当であると考え、AI エージェントとの対話を続けます。攻撃者は、被害者の AI プラットフォームへの信頼を悪用し、機密情報を入手する可能性があります。これは、後で支払い詐欺や個人情報の盗難**に使用される可能性があります。 保持された個人情報の問題は、利用可能な会話型 AI プラットフォーム データとそのモデルで潜在的な敵対者が見つけた侵害された通信で確認される可能性があります。たとえば、オーストラリア信号局のオーストラリア サイバー セキュリティ センター (ASD の ACSC) が国際パートナーと協力して公開した ケース スタディ の 1 つによると、サードパーティがホストする AI システムには包括的なリスク評価が必要です。2023 年 11 月、研究者チームが AI 言語モデルから記憶されたトレーニング データを抽出する試みの結果を発表しました。研究者が実験したアプリケーションの 1 つが ChatGPT でした。 ChatGPT の場合、研究者らは、モデルに単語を永遠に繰り返すように指示すると、モデルが通常の動作をしている場合よりもはるかに高い割合でトレーニング データを漏洩することを発見しました。抽出されたトレーニング データには、個人を特定できる情報 (PII) が含まれていました。 ### サードパーティがホストする AI システム: サプライ チェーンに対する大きなリスク AI エージェントとエンド ユーザー間の通信 に保存される 保持された個人を特定できる情報 (PII) の問題に加えて、悪意のある行為者は、企業が外部サービスやアプリケーションの API を使用してサービスを実装するために使用できるアクセス トークンをターゲットにすることもできました: トークン操作 により、サポートされている統合チャネルへの悪意のあるデータ挿入が起こり、AI 会話プラットフォームのエンド ユーザーに悪影響を与える可能性があります。 AI エージェントの出力はさまざまなプラットフォームに統合でき、ボットは Discord、WhatsApp、Slack、Zapier などの他のアプリケーションに追加できます。外部 AI システムがエンタープライズ インフラストラクチャに大きく浸透し、膨大な量のデータが処理されるため、適切なリスク評価を行わずに実装することは、IT サプライ チェーンのサイバーセキュリティの新たなリスクと見なす必要があります。Gartner によると、サードパーティの AI ツールはデータの機密性リスクをもたらします。組織がサードパーティ プロバイダーの AI モデルとツールを統合すると、それらの AI モデルのトレーニングに使用される大規模なデータセットも吸収されます。ユーザーは他の AI モデル内の機密データにアクセスする可能性があり、組織に規制、商業、評判上の影響を及ぼす可能性があります。 ### AI 対応システムに対する攻撃の範囲 実際の攻撃観察に基づく AI 対応システムに対する敵対者の戦術と手法の範囲は、MITRE ATLAS Matrix で定義されています。これは、AI システムの脆弱性を特定して対処するためのフレームワークを提供し、攻撃を防止して機密データを保護するのに役立ち、研究者が人工知能システムに対する脅威の状況を把握できるようにします。 MITRE ATLAS マトリックスを使用して、Resecurity は、観察された悪意のあるアクティビティを主要な TTP にマッピングしました。 - AML.T0012\ 有効なアカウント - AML.T0049\ 公開アプリケーションの悪用 - AML.T0052\ フィッシング - AML.T0055\ 保護されていない認証情報 - AML.T0007\ ML アーティファクトの検出 - AML.T0035\ ML アーティファクトの収集 - AML.T0043\ 敵対的データの作成 - AML.T0025\ サイバー手段による流出 - AML.T0024\ ML インターフェース API による流出- AML.T0048\ 外部からの損害（財務的影響） ### 緩和策 Resecurity では、AI システムが準拠し、公正で、信頼性が高く、データのプライバシーが保護されることを積極的に保証するための包括的な **AI 信頼、リスク、セキュリティ管理 (TRiSM) ** プログラムの重要性が強調されています。EU AI 法や、北米、中国、インドのその他の規制枠組みでは、AI アプリケーションのリスクを管理するための規制がすでに確立されています。たとえば、シンガポールの最近の PDPC AI ガイドラインでは、企業が開示や通知を通じて個人データの使用に関する同意を求める際に透明性を高めることがすでに推奨されています。企業は AI システムが信頼できることを保証し、それによって消費者に個人データの使用方法に対する信頼を提供する必要があります。カナダのプライバシー保護コミッショナー事務所とその他の業界規制当局によって発行された「責任ある、信頼できる、プライバシー保護可能な生成 AI テクノロジーの原則」公開済みによれば、生成 AI システム (または該当する場合はその提案された使用) がプライバシーに与える可能性がある潜在的または既知の影響を特定して軽減するために、プライバシー影響評価 (PIA) などの評価を実施することが重要です。国家安全保障局 (NSA) による安全で回復力のある AI システムの導入に関するベスト プラクティス 公開済み によると、専門家は、侵害は避けられないか、すでに発生していると想定する ゼロ トラスト (ZT) の考え方 を採用することを推奨しています。会話型 AI プラットフォームの侵害を伴う悪意のあるアクティビティが観察され、顧客のプライバシーに重大な影響が及ぶことを考慮すると、Resecurity は AI エージェントと最終消費者間の 安全な通信 の重要性を強調する場合があります。これには、個人を特定できる情報 (PII) の保持を最小限に抑える こと、サードパーティがホストする AI ソリューションのコンテキストでサプライ チェーンのサイバー セキュリティにプロアクティブなアプローチを採用すること が含まれます。 ### 重要性 会話型 AI プラットフォームは、大手企業や政府機関にとって、現代の IT サプライ チェーンの重要な要素となっています。これらのプラットフォームを保護するには、SaaS (Software-as-a-Service) に関連する従来のサイバー セキュリティ対策と、AI の特性に合わせて特化および調整された対策とのバランスを取る必要があります。ある時点で、会話型 AI プラットフォームが従来の通信チャネルに取って代わり始めます。これらのプラットフォームは、「旧式の」電子メール メッセージングの代わりに、AI エージェントを介して対話を可能にし、応答が速く、ほぼリアルタイムで関心のあるサービス間でマルチ レベルのナビゲーションを提供します。テクノロジの進化により、グローバル ICT 市場の最新のトレンドと動向を自分たちの利益のために利用しようとする敵対者による戦術の調整ももたらされました。Resecurity は、会話型 AI プラットフォームにサイバー犯罪者コミュニティと国家の双方から注目に値する関心が寄せられていることを検出しました。これは、AI によってサポートされる対話およびパーソナライズされたセッション中に処理される膨大な量の情報と、相当数の消費者の存在によるものです。サイバー犯罪者は、新しい消費者向け製品の登場により、会話型 AI プラットフォームをターゲットにします。例えば、中国は今年、仮想看護助手と医師が患者と対話するヘルスケアへの革新的なアプローチを紹介するために、AI病院のプロトタイプを立ち上げました。会話型AIは医療データに関する機密情報を送信および処理する可能性があるため、このような革新は長期的に患者のプライバシーに重大なリスクをもたらす可能性があります。会話型AIは、顧客サポートの自動化、パーソナライズされた財務ガイダンスの提供、取引効率の向上、顧客満足度と運用効率の向上により、すでに銀行およびフィンテック業界に革命をもたらしています。これらの例は、消費者向けの仮想アシスタントからエンタープライズレベルの自動化およびサポートシステムに至るまで、会話型AIの多様な用途を証明しています。テクノロジーが進化し続けるにつれて、将来的には会話型AIのさらに創造的な使用例と、そのようなテクノロジーとエンドユーザーを標的とした新しいサイバーセキュリティの脅威が見られるようになると予想されます。 ### 参考資料 - AI エージェントによる新たなリスクとセキュリティの脅威を軽減する\ https://securitymea.com/2024/09/10/mitigate-emerging-risks-and-security-threats-from-ai-agents/ - AI モデルにおける信頼、リスク、セキュリティへの取り組み\ https://www.gartner.com/en/articles/what-it-takes-to-make-ai-safe-and-effective - 責任ある、信頼できる、プライバシー保護された生成 AI テクノロジーの原則\ https://www.priv.gc.ca/en/privacy-topics/technology/artificial-intelligence/gd_principles_ai/ - 人工知能 (AI) との関わり\ https://media.defense.gov/2024/Jan/23/2003380135/-1/-1/0/CSI-ENGAGING-WITH-ARTIFICIAL-INTELLIGENCE.P...