Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 6314

関連インシデント

インシデント 123626 Report
Quantum AI Scam Reportedly Used AI-Generated Celebrity Endorsements and Spoofed Media Sites to Solicit Investments

Loading...
ウェブ上のディープフェイク詐欺キャンペーンの新たな動向
unit42.paloaltonetworks.com · 2024

AIID 編集者注: これはレポートの若干の要約版です。完全なレポートについては、元のソースをご覧ください。 概要 ----------------- 当社の研究者は、CEO、ニュースキャスター、政府高官など、さまざまな著名人の肖像を使用したディープフェイク動画を使用した詐欺キャンペーンを数十件発見しました。これらのキャンペーンは、英語、スペイン語、フランス語、イタリア語、トルコ語、チェコ語、ロシア語で表示されています。各キャンペーンは通常、カナダ、メキシコ、フランス、イタリア、トルコ、チェコ共和国、シンガポール、カザフスタン、ウズベキスタンなど、1つの国の潜在的な被害者をターゲットにしています。インフラストラクチャと戦術の類似性により、これらのキャンペーンの多くは、単一の脅威アクターグループに起因している可能性が高いと考えています。この脅威アクターグループがディープフェイク動画を使用して、偽の投資スキームや偽の政府後援の景品を拡散していることを確認しています。2024年6月の時点で、これらのキャンペーンを宣伝するために使用されているドメインが数百件発見されています。弊社のパッシブDNS(pDNS)テレメトリによると、各ドメインは公開以来、世界平均で114,000回アクセスされています。Quantum AIと呼ばれる投資スキームを宣伝するキャンペーンを皮切りに、このキャンペーンの背後にあるインフラストラクチャを調査し、その拡散の経時的な変化を追跡しました。このインフラストラクチャ調査を通じて、同一の脅威アクターグループが作成・宣伝した、全く異なるテーマを利用した複数のディープフェイクキャンペーンを発見しました。これらの詐欺キャンペーンでは、異なる言語や著名人の肖像が使用されており、各キャンペーンが異なるターゲット層を対象としていることが示唆されています。これらのキャンペーンでは生成AI(GenAI)が使用されていますが、従来の調査手法は、これらの脅威アクターが利用するホスティングインフラストラクチャを特定する上で依然として有効です。脅威アクターによるディープフェイク技術の悪用が増加するにつれ、防御側もこの種の攻撃を積極的に検知・防御する取り組みを強化する必要があります。 Palo Alto Networks のお客様は、高度な URL フィルタリング によってこれらの攻撃からより強力に保護されており、ディープフェイクベースの詐欺キャンペーンを広めるために使用される Web サイトを継続的に検出してブロックします。 | Unit 42 の関連トピック | 詐欺、フィッシング | | --- | --- | 量子 AI ホスティング インフラストラクチャの検出 --------------------------------------------- 量子 AI キャンペーンを調査するために、これらの攻撃をホストしている Web サイトの背後にあるインフラストラクチャを分析することにしました。ディープフェイク ビデオ検出パイプラインからの最初のシード検出セットから始めて、既知の悪意のあるビデオを提供する追加の Web サイトを探しました。新しく登録されたドメインでホストされている Web サイトを介して攻撃者が広く共有している量子 AI 関連のビデオをいくつか確認しました。さらに調査を進めた結果、動画自体は主に単一のドメイン(Belmar-marketing[.]online)でホストされていることが判明しました。次に、このドメインの動画ファイルを提供し、HTMLコンテンツに「Quantum AI」などのキーワードを含む他のウェブページを検索しました。このプロセスを通じて、これらの動画をルアーとして利用している詐欺ページを数十件発見することができました。その後、これらのウェブページのコンテンツと動画ファイルのパス名を使用してシグネチャを作成し、検出範囲を拡大しました。 (URLの例については、侵害の兆候セクションを参照してください。)2024年5月、私たちは、量子AIビデオが他のドメインでもホストされていることが増えていることに気付きました。これには次のものが含まれます。 - Ai-usmcollective[.]click - Fortunatenews[.]com - Fiirststreeeet[.]top また、ウェブサイトビルダーを使用して構築され、同じ量子AI詐欺を宣伝するサイトもいくつか発見しました。これらのケースでは、攻撃者は、上記の共有ビデオホスティングドメインのいずれかではなく、ウェブサイトビルダーを介してサイトに直接ビデオを再ホストしていました。 ### 量子AIのサンプル動画とWebページ 図1~7は、当社の動画分析パイプラインとインフラベースの調査によって発見された量子AI詐欺のWebページと動画の例を示しています。これらの例のほとんどにおいて、詐欺Webページは新規登録ドメインでホストされており、動画は前述の共有動画ホスティングドメイン(例:belmar-marketing[.]online)のいずれかに.mp4ファイルとしてホストされていました。ほとんどの場合、攻撃者は正規の動画をベースに、独自のAI生成音声を追加しているようです。最後に、リップシンク技術を用いて、話者の唇の動きをAI生成音声に合わせて修正しています。ほとんどの動画ではイーロン・マスクを著名人として利用していますが、他の著名人を使用している例もいくつか発見しました。 - タッカー・カールソン - リー・シェンロン(シンガポール元首相) - ターマン・シャンムガラトナム(シンガポール大統領、2024年6月時点)  SmartInvestsの宣伝ウェブサイトのページには、青い照明に囲まれたステージで話している人物の動画が掲載されており、テキストオーバーレイでは、世界を変えてすぐに裕福になるための投資を奨励しています。テキストでは、読者に量子革命に参加するよう呼びかけています。 図1. Huerwlleiss-herton[.]pro、量子AI詐欺を宣伝するためにイーロン・マスクのディープフェイク動画を使用しているウェブサイト。  画面には分割画像が表示され、「Tucker Carlson Originals」のプロモーションバナーが表示され、左側にタッカー・カールソン、右側にイーロン・マスクがインタビューイベントを告知しています。画面右側には、名前、メールアドレス、国、電話番号を入力するためのアカウント作成用ウェブインターフェースがあります。 図2. Bitquantumai[.]comは、イーロン・マスクとタッカー・カールソンのディープフェイク動画を使用してQuantum AI詐欺を宣伝するウェブサイトです。  イベントのステージでプレゼンテーションを行うイーロン・マスク。投影された背景画像と観客が見えます。ウェブページには、QuantumAIからのログインプロンプトがオーバーレイで表示されています。画面右下にはTeslaのロゴがあります。 CAPTCHAの更新ボタンがあります。 図3. Quantum AI詐欺を宣伝するために使用されたウェブサイト「Quantumal[.]xyz」。このウェブページでは、ログインするために紹介コードの入力を求められます。 イーロン・マスクのプレゼンテーション。QuantumAIのロゴ。 「世界初の量子」というキャプション。(https://unit42.paloaltonetworks.com/wp-content/uploads/2024/08/word-image-459124-136451-4-1260x700.png) 図4. 量子AI詐欺を宣伝するために使用されたイーロン・マスクのディープフェイク動画のスクリーンショット。動画の中で、ディープフェイクのイーロンは、量子AIは「彼のチームが開発した世界初の量子コンピューティングソフトウェアであり、成功率は91%だ」と主張している。  インタビューを受けるイーロン・マスク。FOXニュースのロゴ。量子AIが産業に革命をもたらす可能性についてのキャプション。(https://unit42.paloaltonetworks.com/wp-content/uploads/2024/08/image22-786x432.png) 図5. 別のディープフェイク動画のスクリーンショット。イーロン・マスクのディープフェイク動画がQuantum AI詐欺の宣伝に使用されました。Quantum AIウェブサイトのホームページには、250ドルを9,000ドルにするという宣伝バナー、無料登録への招待、そしてインタビューを受けた人が話しているニュース番組の動画再生ウィンドウが表示され、背景にはシンガポール国旗が飾られています。 図6. Griffinware-tm.cloudは、Quantum AI詐欺の宣伝にシンガポールの元首相リー・シェンロンのディープフェイク動画を使用しているウェブサイトです。ビジネススーツを着た人物がニュースデスクに座り、その下に「Quantum AI」という文字が表示されています。背景には無地の明るい色の壁。 図7. Quantum AI詐欺の宣伝に使用された、シンガポールの現大統領ターマン・シャンムガラトナムのディープフェイク動画のスクリーンショット。ディープフェイクキャンペーンの発見と追跡 ---------------------------------------- Quantum AI詐欺キャンペーンを調査した後、これらのディープフェイクキャンペーン全体に広がる傾向を調査しました。 ### 追加のディープフェイク詐欺の発見 Quantum AI詐欺に加えて、これらの動画ホスティングドメインに存在していた他の動画も調査しました。その際に、ディープフェイク動画をルアーとして使用する他の詐欺キャンペーン(おそらく同じ脅威アクターグループによって拡散されたもの)をいくつか発見することができました。これらのディープフェイクディープフェイク動画は通常、CEO、ニュースキャスター、政府高官などの著名人の肖像を使用しています。私たちは、英語、スペイン語、フランス語、イタリア語、トルコ語、チェコ語、ロシア語など、複数の言語でディープフェイク動画を発見しました。各キャンペーンは通常、カナダ、メキシコ、フランス、イタリア、トルコ、チェコ共和国、シンガポール、カザフスタン、ウズベキスタンなど、単一の国の潜在的な被害者をターゲットにしています。量子AI詐欺キャンペーンと同様に、これらの動画は既存の動画にAI生成音声を追加し、リップシンクツールを使用して話者の唇の動きを新しい音声に合わせて変更します。これらのウェブページにアクセスした訪問者は、名前と電話番号の登録を促され、アカウントマネージャーまたは担当者からの電話を待つように指示されます。これらのケースの多くで、同じコンテンツ(および同じディープフェイク動画のルアー)をホストする複数の新規登録ドメインが発見されました。これは、これらの詐欺ウェブページがそれぞれ、単発の詐欺ウェブページではなく、より大規模なキャンペーンの一部であることを意味します。例えば、図8に示すKazMunayGas詐欺では、詐欺師が最近登録された複数のドメインで同じビデオを使用していることがわかりました。 - Aigroundwork[.]top - Aitfinside[.]shop - Block4aischeme[.]top - Systemaigroundwork[.]shop 侵害の兆候セクションでは、これらのドメインのより完全なリストを提供しています。  KazMunayGasからの支払いによるカザフスタンの銀行の資金急増を報告するニュースキャスター。複数のブラウザが開いているコンピューター画面に表示されています。タブ。 図8. Coinframework[.]topは、カザフスタンの国営石油ガス会社KazMunayGasが開始した偽の懸賞キャンペーンを宣伝するために、カザフスタンのニュースキャスターのAI操作動画を使用した詐欺ウェブサイトです。 Kyivstar登録フォームのウェブページのスクリーンショット。名前と電話番号の入力欄と「今すぐ申し込む」ボタンがあります。以下は、クイックマネーに関するユーザーの体験談が掲載されたコメントセクションです。転送。 図9. coinframework[.]topからリンクされているウェブサイト、Riseanalyze[.]click。このウェブサイトには、KazMunayGasをテーマにした詐欺の登録フォームが含まれています。これらの詐欺キャンペーンの言語やなりすましのターゲットは異なりますが、以下の共通点があります。- すべて同様のディープフェイク技術を使用している - 同様の行動喚起がある - 動画を小規模な共有ドメインセットにホストしている(これらの詐欺動画をホストする以外の目的では使用されていないと思われる) これらのキャンペーンは、単一の脅威アクターグループによるものである可能性が高いことを示唆しています。これらの追加の詐欺キャンペーンのいくつかの例を図10~15に示します。 TotalEnergiesのウェブサイト。米国議会議事堂を背景に、人物が話しているニュース動画が掲載されている。2024年4月1日付のフランス語のテキストには、国家の資源と富に関する記述が含まれている。 図10. Invest-toolavenue[.]shopは、AI操作されたTotalEnergies CEOのパトリック・プヤネ氏の動画を使用し、フランスの多国籍エネルギー・石油会社TotalEnergiesが作成したとされる偽の景品を宣伝する詐欺ウェブサイトである。 「pokelawee.fr」のフランス語ウェブページのスクリーンショット。鮮やかなオレンジ色の背景に、「姓」(名字)と電話番号の入力を求める「登録」フォームが表示されている。背景。フォームには詳細を入力するためのテキストボックスと「Continuer(続ける)」ボタンがあります。ページを英語またはフランス語に翻訳するためのポップアップがあります。 図11. Invest-toolavenue[.]shop(図10からの続き)。 メキシコのアンドレス・マヌエル・ロペス・オブラドール大統領が机で演説しており、背景にはメキシコ国旗が掲げられ、棚には本が並んでいます。ページを英語またはスペイン語に翻訳するためのポップアップがあります。 図12. Capitalflow-skillful.shop(AI操作されたアンドレス・マヌエル・ロペス・オブラドール大統領の動画を使った詐欺サイト)メキシコのロペス大統領が偽の「メキシコ投資協会プロジェクト」を宣伝するために利用した動画。 プログラム宣伝ウェブサイトのスクリーンショット。背景にはアメリカ国旗を掲げ、演壇で演説する人物の動画が埋め込まれている。ウェブサイトはイタリア語で、登録用の名前とメールアドレスのフィールドがある。 図13. Untamedal.top。イタリアのジョルジャ・メローニ首相のAI操作動画を使って、偽の国営投資プログラム「FinInvest」を宣伝する詐欺ウェブサイト。 世界銀行のウェブページインターフェース。欧州人が分散投資と安定のために国際銀行に投資しているという見出し。右側には、氏名、メールアドレス、電話番号を入力する問い合わせフォームがあり、投資家になるための送信ボタンをクリックしてください。 図14. Hugeproject[.]shop、世界銀行をテーマにした詐欺ウェブサイト。AI操作された、国際投資銀行を代表すると主張する女性のビデオを使用しています。  一時停止されたビデオで笑顔を浮かべている人物。右側には会社概要フィールドがあります。その下には収益計算と「投資家は私たちを信頼することでいくら稼ぐのですか?」というテキストがあります。  図15. Hugeproject[.]shop、図14からの続き。 ### キャンペーン活動の推移 これらのキャンペーンは約 1 年前に開始されましたが、2024 年 2 月に新たに観測されたドメインの急増が観測されました (図 16 参照)。一般的なフィッシング ドメインやマルウェア ドメインとは異なり、これらのドメインは比較的長期間存続し、平均アクティブ期間は 142 日です。  2023 年 7 月から 2024 年 5 月までの「ドメイン数」を示す折れ線グラフ。このグラフはドメイン数の変動を示しており、2024 年 2 月に顕著なピークを迎えています。 図 16. ディープフェイク動画をホスティングしている新たに観測されたドメイン数の推移。図 17 は、アクティブなドメイン数が 2024 年 3 月頃まで指数関数的に増加し、アクティブなドメインの総数は現在まで安定していることを示しています。  折れ線グラフ2023年7月から2024年6月までのドメイン数の月次増加を示しており、2024年1月から大幅な増加が始まっています。グラフは7つのドメインから始まり、2024年6月までに175ドメインでピークに達します。 図17. ディープフェイク動画をホスティングしているアクティブなドメインの数の推移。さらに、これらのドメインはリーチが高く、pDNSテレメトリに基づくと、各ドメインは最初のライブ以降平均114,000回アクセスされていることが懸念されます。実際の数はおそらくはるかに高いでしょう。 #### ホスティングインフラストラクチャ分析 共有ホスティングインフラストラクチャでのカモフラージュの現在のトレンドに沿って、これらのキャンペーンドメインの86.7%が同じ一般的なコンテンツ配信ネットワーク(CDN)を使用しています。CDNの複数のIPアドレスが、異なる地理的な場所にまたがって同じコンテンツをホストしており、米国、オランダ、ロシアが上位3カ所となっています。CDNの利用により、このキャンペーンを特定の脅威アクターや地理的な場所に帰属させることが困難になっています。攻撃者は主に、攻撃者が所有する少数のドメインに動画をホストしていたことが確認されています。これは、より一般的な動画ホスティングプラットフォームで発生する可能性のある削除問題を回避するためと考えられます。2024年4月までは、ディープフェイク動画は主にbelmar-marketing[.]onlineにホストされていました。しかし、2024年5月以降、攻撃者は動画ホスティング場所をより頻繁に変更し始めました。その結果、動画は現在、主にfiirststreeeet[.]top、ai-usmcollective[.]click、fortunatenews[.]comにホストされていることがわかりました。これらのドメインでホストされている動画にリンクしているウェブページを探すことは、これまでのところ、こうしたキャンペーンの拡散を追跡する上で非常に役立ってきました。私たちは、これらのキャンペーンが進むにつれて、新しい動画ホスティングドメインを監視し続けます。 量子AI詐欺の仕組み ----------------------------- 私たちの調査中、さまざまなソーシャルメディアプラットフォームで量子AIを宣伝する投稿や広告を確認しました(図18〜20を参照)。オーストラリアの全国詐欺対策センターによると、詐欺師は多くの場合、まずこうしたソーシャルメディア広告や偽のニュース記事を使用して、被害者ユーザーの連絡先情報を要求する詐欺ウェブページにリンクします。 Quantum Trading Post Xアカウントによってピン留めされたツイート。イーロン・マスクは量子AI革命への支持を表明し、私たち全員が利益を得られる未来を示しています。この最先端技術は、取引を再定義することを約束します。 100%の利益保証。イーロン・マスク氏の講演動画。Quantum AIのロゴ。 図18. Quantum AI詐欺のWebページにリンクするソーシャルメディアの投稿。 'ELON_MUSK_BOT3'のソーシャルメディア投稿のスクリーンショット。緑の模様の背景に投資機会を宣伝するテキスト。この投稿では、投資プランの設定について管理者に連絡するようメンバーに呼びかけており、ビットコイン、イーサリアムなど様々な暗号通貨の受け入れを強調している。 図19. メッセージングプラットフォームの投稿からQuantum AI詐欺のウェブページへのリンクが貼られている。 Quantum AIへの参加を促す広告が表示されたスマートフォンを持つ人物の手。机の上にはノートパソコンのキーボードと100ドル札の束も見える。 「イーロン・マスク・テスラ・カンパニー」によるFacebook投稿では、視聴者に量子AIへの投資を促しています。(https://unit42.paloaltonetworks.com/wp-content/uploads/2024/08/word-image-545582-136451-20-1920x672.png) 図20. 動画を用いて量子AI詐欺を宣伝するソーシャルメディア投稿。詐欺サイトのランディングページにアクセスし、プラットフォーム登録フォームに入力すると、詐欺師の1人が被害者に電話をかけます。この電話で、詐欺師は被害者にプラットフォームへのアクセスには約250ドルの支払いが必要だと告げます。詐欺師は、資金をさらに「投資」できるように特別なアプリをダウンロードするよう指示します。アプリ内のダッシュボードには、少額の利益が表示されるようです。そこから、詐欺師は被害者にさらにお金を入金するよう説得を続け、信頼を得るために少額の引き出しを許可することもあります。最終的に、被害者が資金を引き出そうとすると、詐欺師は出金手数料を要求したり、資金を取り戻せない理由(税金の問題など)を挙げたりします。その後、詐欺師は被害者のアカウントをロックし、残りの資金を懐に入れます。これにより、被害者は「プラットフォーム」に預けた資金の大部分を失うことになります。Webベースのディープフェイク詐欺の現状 ------------------------------------------------- 量子AIは、ディープフェイクを利用した詐欺の手口として、攻撃者が使用している唯一のものではありません。このセクションでは、彼らが使用している他の手法やサービスについて説明します。 2024年初頭、ある企業が、ビデオ会議でディープフェイク技術を用いて最高財務責任者(CFO)になりすました攻撃者によって2,500万ドルの損失を被りました。この攻撃により、ビデオ会議におけるディープフェイクは大きな注目を集めていますが、ウェブベースのディープフェイク詐欺も新たな脅威であり、研究者は同様に監視する必要があります。2024年は史上最大の投票年になると予測されています。今年は60か国以上で重要な選挙が実施されるため、世界人口の約半数がこれらの選挙の影響を直接受ける可能性があります。これに対し、研究者たちは、ディープフェイクが政治的な誤情報を拡散する可能性について懸念を表明しています。しかし、ディープフェイクの影響は政治分野だけにとどまりません。サイバー犯罪者はすでに、悪意のある目的でディープフェイク動画を作成し、共有しています。 ### ディープフェイクは詐欺やフィッシング攻撃を促進するために利用されています。GenAIの登場以来、攻撃者はディープフェイクを利用して政治的な誤情報を広め、さらには有権者への働きかけをさらに強化してきました。例えば、2024年初頭には、民主党の政治コンサルタントがジョー・バイデンの音声ディープフェイクを使用して、ニューハンプシャー州の有権者に対し、次期予備選挙での投票を思いとどまらせました。インドでは、政治家が支持者にディープフェイク動画の作成を積極的に奨励し、自らの立候補を宣伝しました。2022年には、正体不明の脅威アクターが、ロシア・ウクライナ戦争における情報戦の一環として、ウクライナのウォロディミル・ゼレンスキー大統領のディープフェイク動画を操作しました。現在、サイバー犯罪者がディープフェイク動画を自身の詐欺やフィッシング攻撃の宣伝に利用し始めています。ここ数ヶ月、記者たちはイーロン・マスク(図21参照)、ビル・ゲイツ、ウォーレン・バフェットといった人物を装い、偽の暗号通貨や懸賞、その他の投資スキームを売りつける詐欺行為を確認しています。これらの詐欺行為は、被害者から資金を盗むことを最終目的としています。 (このトピックに関する前回の ツイートには、より詳しい情報が記載されています。)イーロン・マスクがNBCの放送でリバティコインについて議論している様子が映し出されており、金貨の挿入画像も掲載されています。 図21. 偽の「トランプ[リバティコイン]」の販売を促進するウェブサイトpatriotsmaga2024[.]comで見られたイーロン・マスクのディープフェイク動画のスクリーンショットコイン" 以前は、こうした攻撃者は詐欺を宣伝するために有料の俳優を使用していた可能性があります(例:偽の投資スキームで利益を得た顧客を装うビデオを作成する)。AIを使用してコンテンツ(例:画像、音声、ビデオ)を生成するツールの人気と有効性が高まっているため、攻撃者はより安価で説得力のある方法でこれらのビデオを作成できるようになりました。 ### サービスとしてのディープフェイク 当社の研究者は、フォーラム、ソーシャルメディアのチャットチャネル、インスタントメッセージングプラットフォーム全体でディープフェイクのツールと作成サービスを販売、議論、取引するサイバー犯罪者に遭遇しました。これらのツールとサービスは、音声、ビデオ、画像を含む欺瞞的で悪意のあるコンテンツを生成する機能を提供します。ディープフェイクの作成とツールを取り巻くエコシステムは活発に動いており、サイバー犯罪者はフェイススワッピングツールからディープフェイク動画まで、様々なオプションを販売しています。Swapface(図22参照)のようなフェイススワッピングツールの価格は、無料から月額249ドル以上まで様々です。攻撃者はこれらのツールを悪用し、作成した動画を様々なプラットフォームやソーシャルメディアに投稿します。Swapfaceは、ユーザーフレンドリーなフィルターとリアルタイムで動作するフェイススワッピング機能を提供しており、ユーザーは動画内の顔を改変または置き換えることができます。 SWAPFACE の料金ページのスクリーンショット。無料レベルからエンタープライズ プランまでさまざまなサブスクリプション プランが表示され、各レベルで 1 日あたりの顔画像、チーム アクセス、トラッカー ストレージなしなどの機能が詳しく説明されています。 図 22. Swapface ツールのサブスクリプション コスト。ディープフェイク ツールと作成サービスおよびツールの犯罪への応用には、次のアクティビティが含まれます。- 偽の ID の作成の促進 - 銀行詐欺の実行 - 偽情報キャンペーンの編成 - 顧客確認チェックの回避 - 暗号通貨の盗難の実行 これらのサービスは、驚くほどの精度で映像と音声を操作することができるため、重大な倫理的およびセキュリティ上の懸念が生じます。ディープフェイク動画の生成コストは、要求される偽造の複雑さと品質を反映して、通常 60 ドルから 500 ドルと幅広くなります。図 23 に示すように、詐欺目的でディープフェイク動画の作成を特に宣伝するメッセージング プラットフォーム チャネルも発見されました。  SM Crew の Deepfakes によるチャンネル。投稿には 2 つの別々の動画が表示されます。チャンネル プロフィールには、37 人の登録者、アニメ キャラクターと A$AP Rocky、キリル文字の情報、および一部の編集されたテキストが表示されます。  図 23. ディープフェイク生成サービス専用のメッセージング プラットフォーム チャネル。ディープフェイクは、その入手しやすさとコストの幅広さから、悪意のある攻撃に特に多用途に利用できるツールとなっており、詐欺や誤情報から身を守ろうとする個人と組織の両方にとって課題となっています。結論 ---------- これらのキャンペーンではGenAIが使用されていますが、脅威アクターが利用するホスティングインフラストラクチャを特定するには、従来の調査手法も依然として有効です。脅威アクターによるディープフェイク技術の利用が拡大するにつれ、組織はこうした攻撃に対して積極的に防御策を講じる必要があります。Palo Alto Networksの研究者は、これらのディープフェイクを利用した詐欺キャンペーンの監視を継続し、新たなディープフェイクを利用した詐欺キャンペーンの発見と調査を継続します。これにより、高度なURLフィルタリングを通じて、お客様をこれらの詐欺からより強固に保護することができます。侵害の兆候 ------------------------ ### ディープフェイク詐欺の例  テレビのインタビュー中にテーブルに座っているケビン・オリアリーのディープフェイク。キャプションには「カナダの住民は、この AI トレーディング ボットのおかげで 9 時から 5 時までの仕事を辞めています」、サブタイトルには「少なくとも月額 27,000 カナダドル」と書かれています。 図 24. ケビン・オリアリーのディープフェイクを含む詐欺ビデオのスクリーンショット。例1 - ウェブページURL: xtradgpt[.]online - 動画URL: hxxps://quontic[.]site/wp-content/uploads/2024/07/449030935_482215324194392_281914555774571171_n[.]mp4 - 言語: 英語 - 対象国: カナダ - ディープフェイクの人物: ケビン・オリアリー(カナダ人ビジネスマン) - 概要: カナダ国民が毎月少なくとも27,000カナダドルを稼ぐことを可能にするAIトレーディングボットの宣伝! スタジオでビジネス服を着たTharman Shanmugaratnamがプレゼンテーションをしているディープフェイク。テキストオーバーレイには「8,000ドルから稼ぐ可能性」と書かれている。設定。 図 25. シンガポール首相ターマン・シャンムガラトナムのディープフェイクを含む詐欺ビデオのスクリーンショット。例 2 - Web ページ URL: euphemiouslystner[.]life - 動画 URL: hxxps://hemicdn[.]com/1501-1400-3505[.]mp4 - 言語: 英語 - 対象国: シンガポール - ディープフェイクの人物: Tharman Shanmugaratnam (シンガポール首相) - 概要: Quantum AI という偽の投資スキームの宣伝  パトリック・プヤネのディープフェイク。政府がサポートし、フランス銀行が保証する投資プラットフォームについて話している。背景には米国議会議事堂、隅には TotalEnergies のロゴが表示されています。 図 26. パトリック・プヤネ (TotalEnergies の CEO) のディープフェイク動画を含む詐欺動画のスクリーンショット例 3 - Web ページ URL: invest-toolavenue[.]shop - 動画 URL: hxxps://ai-usmcollective[.]click/videos/TotalEnergies_news_FR[.]mp4 - 言語: フランス語 - 対象国: フランス - ディープフェイクの人物: Patrick Pouyanné (TotalEnergies の CEO) - 概要: TotalEnergies がスポンサーで、フランス銀行が保証する偽の投資プラットフォームの宣伝  メキシコのアンドレス・マヌエル・ロペス・オブラドール大統領がオフィスで演説しているディープフェイク。メキシコ国旗が左側に大きく掲げられています。動画の上にはスペイン語のテキストがあります。ブラウザで英語に翻訳するオプションが選択されています。 図27. アンドレス・マヌエル・ロペス・オブラドール(メキシコ大統領)のディープフェイク動画を含む詐欺ウェブページのスクリーンショット。 例4 - ウェブページのURL:capitalflow-skillful[.]shop - 動画のURL:hxxps://ai-usmcollective[.]click/videos/MexicanPartnership_man_MX[.]mp4 - 言語:スペイン語 - 対象国:メキシコ - ディープフェイクの対象:アンドレス・マヌエル・ロペス・オブラドール(メキシコ大統領) - 概要:偽の「メキシコ投資協会プロジェクト」の宣伝  背景に米国国旗を掲げて演壇で演説するジョルジア・メローニのディープフェイク。月額10,800ユーロと記載されたイタリア語の字幕があります。 図28. ジョルジャ・メローニ(イタリア首相)のディープフェイクを含む詐欺ビデオのスクリーンショット。例 5 - Web ページの URL: untamedal[.]top - 動画の URL: hxxps://ai-usmcollective[.]click/videos/FinInvest_woman-performing_IT[.]mp4 - 言語: イタリア語 - 対象国: イタリア - ディープフェイクの対象: ジョルジャ・メローニ (イタリア首相) - 概要: FinInvest と呼ばれる偽の国営投資プログラムの宣伝 Prima News のニュース放送中に Andrej Babiš が話しているディープフェイクを含む詐欺動画。 図 29. Andrej Babis (チェコの政治家、実業家) のディープフェイクを含む詐欺動画のスクリーンショット。例 6 - Web ページ URL: hxxps://hybridpowerit[.]com/ - 動画 URL: hxxps://ai-usmcollective[.]click/videos/ImmediateMatrix-PNewsQZ-Invest[.]mp4 - 言語: チェコ語 - 対象国: チェコ - ディープフェイクの人物: Andrej Babis (チェコの政治家、実業家) - 概要: チェコ国民向けの偽の投資プラットフォームの宣伝  アリシェル・ウスマノフがビジネススーツを着て、無地の背景に立っているディープフェイク動画。字幕ではお金の話を示唆しており、10,000 リラシニに言及している。 図 30. オメル・コッチ (トルコの実業家) のディープフェイクを含む詐欺動画のスクリーンショット。 例 7- ウェブページURL:rondeliercore[.]com - 動画URL:hxxps://hemicdn[.]com/video_5848484848485[.]mp4 - 言語:トルコ語 - 対象国:トルコ - ディープフェイクの人物:オメル・コック(トルコ人実業家) - 概要:ユーザーが1万トルコリラの安定した収入を得られるAI搭載トレーディングボットの紹介! アリシェル・ウスマノフ氏がマイクを握って机に座り、話しているディープフェイク動画がウェブサイトに表示されています。背景には、ぼやけた街並みと目立つ塔が見えます。ページを英語に翻訳するブラウザオプションが選択されています。 図 31. アリシェル・ウスマノフ(ウズベキスタンとロシアの実業家)のディープフェイク動画を含む詐欺 Web ページのスクリーンショット。例 8 - Web ページ URL: hxxps://naatuureeffocus[.]com/ - 動画 URL: hxxps://ai-usmcollective[.]click/videos/USM_novosti-usmanov_UZ[.]mp4 - 言語: ロシア語 - 対象国: ウズベキスタン - ディープフェイクの人物: アリシェル・ウスマノフ (ウズベク人とロシア人のビジネスマン) - 概要: ウズベキスタン国民向けの新しい投資プラットフォームの紹介 #### 2024 年 9 月 19 日更新  ドナルド・トランプ前大統領がテレビで演説しているディープフェイク動画。米国国旗と大統領紋章を背景に、字幕が表示されています。サブタイトルには「感謝の印として、AMF 小切手 1 枚あたり 10,000 ドル相当になります。」と書かれています。 図 32. ドナルド・トランプのディープフェイクを含む詐欺ビデオのスクリーンショット。例 9 - Web ページの URL: mtgaeth[.]vip - 動画の URL: hxxp://mtgaeth[.]vip/video/videos-2[.]mp4 - 言語: 英語 - 対象国: アメリカ合衆国 - ディープフェイクの対象: ドナルド・トランプ (アメリカ合衆国第 45 代大統領) - 概要: 偽の「アメリカ通貨基金 (AMF) 小切手」を販売。アメリカ人は 2024 年の米国大統領選挙後にこの小切手を 1 万ドル換金できる。 BBC ニュースでイーロン・マスク氏の新しい投資プロジェクトについて報道するマシュー・アムロリワラ氏のディープフェイク。イギリス国民は投資収益を受け取ることになると述べている。画面には「EXCLUSIVE」および「UK」のタグと、17:22 のタイムスタンプが表示されます。](https://unit42.paloaltonetworks.com/wp-content/uploads/2024/09/F33-636x440.png) 図 33. マシュー・アムロリワラ (BBC ニュースキャスター) のディープフェイクを含む詐欺ビデオのスクリーンショット。例 10 - Web ページの URL: bitvidex360[.]trade - 動画の URL: hxxps://bitvidex360[.]trade/wp-content/uploads/2023/08/Bitvidex360-Trade[.]mp4 - 言語: 英語 - 対象国: イギリス - ディープフェイクの人物: マシュー・アムロリワラ (BBC ニュースキャスター) - 概要: イギリス在住者が 1 日あたり 5,700 ポンドの収入を得ることができる、イーロン・マスクによる偽の投資プロジェクトを発表  ブラジル連邦政府のサイトを模倣したフィッシング Web ページには、国章の横に表示されたルイス・イナシオ・ルーラ・ダ・シルバのディープフェイク動画が掲載されています。Web ページには、補償金の計算に関する通知、視聴された 1 分 46 秒のうち 1 分 26 秒を示す動画の進行状況バー、「補償金を受け取りたい」というラベルの付いた青いボタンが含まれています。一部の情報は編集されています。 図 34. ルイス・イナシオ・ルーラ・ダ・シルバ(ブラジル大統領)のディープフェイク動画を含むフィッシング Web ページのスクリーンショット。例 11 - Web ページの URL:consultar-resgate[.]com/ll/etapa2 - 動画の URL:hxxp://consultar-resgate[.]com/videos/vsl[.]mp4 - 言語:ポルトガル語 - 対象国:ブラジル - ディープフェイクの人物:ルイス・イナシオ・ルーラ・ダ・シルバ(ブラジル大統領) - 概要:政府のデータベース システムの障害により個人データが漏洩したブラジル国民に補償金を支払う、Indeniza Brasil と呼ばれる政府プログラムを発表  国旗に囲まれたエモマリ・ラフモンのディープフェイク。設定には白と金を基調とした公式の装飾が施されています。画面下部にはロシア語の字幕が表示されます。 図35. エモマリ・ラフモン(タジキスタン大統領)のディープフェイクを含む詐欺動画のスクリーンショット。例 12 - Web ページ URL: crisiswatch[.]online - 動画 URL: hxxps://ai-usmcollective[.]click/videos/GP_prez-tajikistan_RU[.]mp4 - 言語: ロシア語 - 対象国: タジキスタン - ディープフェイクの対象: エモマリ・ラフモン (タジキスタン大統領) - 概要: ガスプロムとの提携による、政府主催の偽の景品提供を発表 #### 2024 年 10 月 23 日更新  ジャグミート・シンのディープフェイク動画インタビューを掲載した CTV ニュース Web サイトのスクリーンショット。保証所得に関する新法について議論しています。 図 36. ジャグミート・シンのディープフェイク動画を含む詐欺 Web ページのスクリーンショット(カナダの政治家)。 - ウェブページURL:weixinchannelsmall[.]com - 動画URL:hxxps://d2l7oiuw3gwvbg[.]cloudfront[.]net/video/JagmeetSingh_923_jag[.]mp4 - 言語:英語 - 対象国:カナダ - ディープフェイクの人物:ジャグミート・シン(カナダの政治家、新民主党の党首) - 概要:インペリアル・オイルとの提携による偽の政府支援投資プログラムを発表! クリスティーヌ・ラガルド欧州中央銀行総裁が、背景にECBのロゴを配した演壇で演説しているディープフェイク。 図37。 クリスティーヌ・ラガルド欧州中央銀行総裁のディープフェイクを含む詐欺動画のスクリーンショット- ウェブページURL: kotrotshmot[.]site - 動画URL: hxxp://kotrotshmot[.]site/video/1735[.]mp4 - 言語: 英語 - 対象地域: EU - ディープフェイクの人物: クリスティーヌ・ラガルド(欧州中央銀行総裁) - 概要: 欧州中央銀行とユーロシステムが立ち上げた偽の投資プロジェクトの紹介 ドイツ取引所のCEO、テオドール・ヴァイマーのディープフェイク動画を掲載したTagesschauウェブページのスクリーンショット。このページにはテキストの説明と背景にドイツ取引所グループのロゴが含まれています。 図 38. Tagesschau (ドイツのテレビニュース番組) を模倣し、Theodor Weimer (ドイツ取引所の元 CEO) のディープフェイクを使用した偽ニュース Web サイトのスクリーンショット。 - ウェブページURL:new-company[.]store - 動画URL:hxxps://new-company[.]store/video/1512_3[.]mp4 - 言語:ドイツ語 - 対象国:ドイツ - ディープフェイクの人物:テオドール・ヴァイマー(ドイツ人実業家、ドイツ取引所元CEO) - 概要:大手銀行が作成した偽の株式取引アルゴリズムを試すための期間限定オファーを宣伝!モルドバ大統領が演壇で演説しているディープフェイク動画を掲載したニュース記事が表示されているMaibのウェブサイト。背景にはモルドバの国旗が描かれています。 図39. マイア・サンドゥ(モルドバ大統領)のディープフェイク動画を含む詐欺ウェブページのスクリーンショット。 - ウェブページURL:currencyspot[.]buzz - 動画URL: hxxps://ai-usmcollective[.]click/videos/Maib_prezident_RU[.]mp4 - 言語: ロシア語 - 対象国: モルドバ - ディープフェイクの人物: マイア・サンドゥ(モルドバ大統領) - 概要: モルドバ国民に毎月最大3万レイを提供すると主張する「Maib」と呼ばれる偽の投資プロジェクトを宣伝している。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd