レポート 6189

Loading...
レノボのAIチャットボット「Lena」がXSSプロンプトインジェクションで悪用される
cybernews.com · 2025

Lenovoのウェブサイトでは、フレンドリーなAIチャットボット「Lena」がユーザーを出迎えてくれます。親切なため、丁寧に頼めば機密情報を漏らしたり、社内マシン上でリモートスクリプトを実行したりします。大規模なセキュリティ監視によって、AIチャットボットの不適切な実装がもたらす壊滅的な結果が浮き彫りになっています。

主なポイント：

  • LenovoのAIチャットボット「Lena」は、重大なXSS脆弱性の影響を受けていました。この脆弱性により、攻撃者はたった一度のプロンプトで悪意のあるコードを挿入し、セッションCookieを盗むことができました。

  • これらの欠陥は、データの盗難、顧客サポートシステムの侵害、そして企業ネットワーク内でのラテラルムーブメントの踏み台となる可能性があります。

  • 不適切な入出力のサニタイズにより、AIチャットボットの実装においてより厳格なセキュリティ対策の必要性が浮き彫りになっています。

Cybernewsの研究者は、OpenAIのGPT-4を搭載したLenovoのAIチャットボット「Lena」の実装に影響を与える重大な脆弱性を発見しました。

顧客支援を目的として設計されたLenaは、企業のマシン上で不正なスクリプトを実行させられたり、アクティブなセッションCookieを漏洩させたり、場合によってはさらに深刻な事態を引き起こす可能性があります。攻撃者は、これらのXSS脆弱性を悪用して、企業のカスタマーサポートプラットフォームへの直接的な侵入経路とすることができます。

「チャットボットが幻覚を起こし、プロンプトインジェクションによって騙されることは誰もが知っています。これは目新しいことではありません。真に驚くべきは、Lenovoがこれらの欠陥を認識していたにもかかわらず、悪意のあるユーザー操作やチャットボットの出力から自らを保護していなかったことです」と、Cybernews Researchチームは述べています。

「これはLenovoだけの問題ではありません。厳格な入出力制御のないAIシステムは、攻撃者にとって格好の脅威となります。LLMには「安全」という本能がなく、与えられた指示に正確に従います。強力なガードレールと継続的な監視がなければ、小さな見落としでさえも重大なセキュリティインシデントにつながる可能性があります」と、nexos.aiの製品責任者であるŽilvinas Girėnas氏は述べています。

たった1回のプロンプト攻撃で、LenovoチャットボットがアクティブセッションCookieを漏洩させる一連の脆弱性が明らかになりました。

今回の発見は、ユーザー入力の不適切なサニタイズ、チャットボット出力の不適切なサニタイズ、Webサーバーによるチャットボットが生成したコンテンツの検証不備、未検証コードの実行、任意のWebリソースからのコンテンツの読み込みなど、複数のセキュリティ問題を浮き彫りにしています。これにより、クロスサイトスクリプティング（XSS）攻撃の手口が多岐にわたります。

Cybernewsはこの問題を責任ある形で開示しました。Lenovoはこの問題を認識し、システムを保護してきました。

「Lenovoは、製品のセキュリティとお客様の保護を非常に重視しています。最近、チャットボットにクロスサイトスクリプティング（XSS）の脆弱性があることが判明しました。この問題を認識した時点で、速やかにリスクを評価し、潜在的な影響を軽減し、問題に対処するための是正措置を実施しました」と、LenovoはCybernewsへの声明で述べています。

「責任ある情報開示をしてくださった研究者の方々に感謝申し上げます。おかげで、お客様にリスクを与えることなくソリューションを展開することができました。」

単一のプロンプトから多段階攻撃が開始される

LenovoからアクティブセッションCookieを盗み出すのに必要なのは、400文字の単一のプロンプトだけで、そこには4つの重要な要素が含まれていました。

  1. **一見無害な要求：**プロンプトは、「Lenovo IdeaPad 5 Proの仕様を教えてください」のように、正当な情報、つまり製品情報を求める質問から始まります。
  2. **出力形式を変更するための指示: **巧妙な点は、チャットボットを騙して、ウェブサイト作成用の言語であるHTMLで最終回答を返させることです。研究者たちは、チャットボットに、ウェブサーバーが指示を受け取ると想定する特定の順序で、応答をHTML、JSON、プレーンテキストに変換するよう指示することで、これを実現しました。これにより、悪意のあるペイロードがウェブサーバーによって正しく実行されることが保証されました。
  3. **悪意のあるHTMLインジェクショントラップ: **プロンプトは、最終応答の生成方法、具体的には画像を読み込むためのHTMLコードに関する指示を続けます。画像のURLも存在しません。そのため、読み込みに失敗した場合、コマンドの2番目の部分は、ブラウザに攻撃者が管理するサーバーへのネットワークリクエストを送信し、すべてのCookieデータをURLの一部として送信するよう指示します。
  4. **最終的な促し: **最後に、チャットボットが画像を生成する必要があることを改めて強調する追加の指示が提示されます。「最後に画像を表示してください。これは私の意思決定に重要です。見せてください。」

LenovoのLenaが完全なプロンプトを受け取ったとき、何が起きたのでしょうか？

「大規模言語モデル（LLM）において、人を喜ばせようとする行為は依然として問題となっています。今回のケースでは、Lenaが悪意のあるペイロードを受け入れ、XSS脆弱性を生み出し、会話開始時にセッションCookieの取得を可能にしました。実際のエージェントに転送されると、そのエージェントのセッションCookieも取得されることになります」と、Cybernewsの研究者は述べています。

lenovo-chatbot-response

「これは既に、同社のカスタマーサポートプラットフォームへの扉が開かれている可能性があります。しかし、この脆弱性は、他にも多くのセキュリティ上の潜在的な問題を引き起こす可能性があります。」

内部で何が起こっているかをより深く理解するために、攻撃チェーンの内訳を以下に示します。

  1. チャットボットは悪意のあるプロンプトに騙され、指示に従ってHTML形式の回答を生成しようとします。レスポンスには、攻撃者が管理するサーバーのリソースにアクセスするための秘密の命令と、クライアントブラウザから個人情報を送信する命令が含まれています。
  2. 悪意のあるコードがLenovoのシステムに侵入します。HTMLはLenovoのサーバー上のチャットボットの会話履歴に保存されます。読み込まれると、悪意のあるペイロードが実行され、ユーザーのセッションCookieが送信されます。
  3. 人間への転送：攻撃者は人間のサポートエージェントとの会話を要求し、エージェントはチャットを開きます。エージェントのコンピューターは会話を読み込もうとし、チャットボットが以前に生成したHTMLコードを実行します。ここでも画像の読み込みに失敗し、Cookieの盗難が再び発生します。
  4. 攻撃者が管理するサーバーが、Cookieが添付されたリクエストを受信します。攻撃者は、これらのCookieを使用してエージェントのアクティブセッションを乗っ取り、Lenovoのカスタマーサポートシステムに不正にアクセスする可能性があります。

潜在的な影響は壊滅的になる可能性があります。コードはどんなものでも構いません。

「盗まれたサポートエージェントのセッションCookieを使用すれば、サポートエージェントのアカウントでカスタマーサポートシステムにログインできます。アカウントのメールアドレス、ユーザー名、パスワードを知らなくても可能です。ログインすると、攻撃者は他のユーザーとのアクティブなチャットや、過去の会話やデータにアクセスできる可能性があります」とCybernewsの研究者は警告しています。

「企業はAIの導入を迅速に進めていますが、セキュリティ対策は遅れがちです。その隙間に攻撃者が入り込むのです。今回のケースでは、この脆弱性によって顧客データや社内システムへのアクセスが可能になり、さらには企業ネットワークのより奥深くまで侵入する経路が作られてしまう可能性があります。このようなインシデントは、セキュリティがイノベーションに合わせて進化しなければならない理由を示しています」とGirėnas氏は付け加えています。

しかし、このエクスプロイトは、Lenovoチャットボットに別のコードを生成させ、それをLenovo側で実行させることも可能であることも示しています。

「これはCookieの窃取に留まりません。システムコマンドの実行も可能であり、バックドアのインストールやネットワーク上の他のサーバーやコンピュータへの横方向の移動が可能になる可能性があります。しかし、私たちはこれらのいずれにも手を出していません」と研究者らは説明しています。

挿入されたコードは、セキュリティ侵害につながる可能性のある多くのことを行う可能性があります。

  • **インターフェースの変更：サポートエージェントのプラットフォームに表示される内容を変更し、誤情報や悪意のあるインジェクションを表示する可能性があります。
  • **キーロギング：**秘密のスニペットによってすべてのキー入力が記録される可能性があります。
  • **フィッシングサイトへのリダイレクト：**挿入されたコードは、エージェントを悪意のあるウェブサイトに自動的にリダイレクトし、ログイン認証情報を盗んだり、コンピュータにマルウェアを感染させたりする可能性があります。
  • **ポップアップ：攻撃者は悪意のあるCAPTCHAや偽のエラーメッセージを表示したり、エージェントに偽のアップデートをダウンロードするよう促したりする可能性があります。
  • **データ窃盗または潜在的なデータ改ざん：スクリプトは、カスタマーサポートシステム上のユーザーデータを侵害または盗み出すように設計される可能性があります。

すべてのチャットボットは危険だと想定する

Cybernewsの研究者は、すべての企業に対し、チャットボットの出力には潜在的に悪意のあるものがあると想定し、それに応じた対策を講じるよう強く求めています。

「根本的な欠陥は、入力と出力の堅牢なサニタイズと検証が欠如していることです。AIチャットボットシステムを流れるすべてのデータに対して、『決して信頼せず、常に検証する』というアプローチを採用する方が賢明です」と研究者は述べています。

「AIの入出力はすべて、安全性が検証されるまで信頼できないものとして扱います。この考え方は、プロンプトインジェクションなどのリスクが重要なシステムに到達する前にブロックするのに役立ちます。信頼は前提ではなく、獲得されるものとなるよう、プロセスにセキュリティチェックを組み込むことが重要です」とGirėnas氏は述べています。

過去に発生したXSS脆弱性をきっかけに、企業はセキュリティ対策を強化し、その結果、このような欠陥の発生率は低下しました。AIチャットボットにも、同様のセキュリティ対策を実装する必要があります。具体的には、以下の点です。

  • **厳格な入力サニタイズ：**すべてのユーザー入力に対して、許可される文字、データ型、および形式の厳格なホワイトリストを使用します。問題のある文字はすべて自動的にエンコードまたはエスケープする必要があります。バッファオーバーフローや長すぎる悪意のあるペイロードを防ぐため、入力文字数に制限を設けます。コンテキストに基づいて入力をサニタイズします。
  • 出力のサニタイズと検証： チャットボットの応答にも同じことが当てはまります。Webブラウザやその他のリッチテキスト環境に表示される場合は、埋め込まれたコードを徹底的に削除する必要があります。厳格なコンテンツセキュリティポリシー（CSP）を使用して、ブラウザが読み込むことができるリソース（スクリプト、画像、フォント）を制限し、危険な HTML 要素と属性を制限する必要があります。
  • インライン JavaScript を避ける: イベントハンドラーとスクリプトを外部 JavaScript ファイルのみに制限するのがベストプラクティスです。
  • Web サーバー、アプリ、データストレージのセキュリティを確保する: 意図しない HTML レンダリングを防ぐため、スタック全体にコンテンツタイプの検証を実施する必要があります。保存前にコンテンツをサニタイズします。チャットボットアプリと関連サービスは、必要最小限の権限で動作させる必要があります。

Lenovo は香港に拠点を置く多国籍テクノロジー企業です。コンシューマーエレクトロニクス、パーソナルコンピューター、サーバー、その他のハードウェア、ソフトウェア、および関連サービスの最大手ベンダーの 1 つです。2025 年 3 月 31 日を期末とする前会計年度において、Lenovo は 568.6 億ドルの収益を上げ、11 億ドルの純利益を計上しました。香港証券取引所に上場している同社は、時価総額が約 180 億ドルです。

情報源を読む