Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
寄付する
発芋する
投皿する
  • ようこそAIIDぞ
  • むンシデントを発芋
  • 空間ビュヌ
  • テヌブル衚瀺
  • リスト衚瀺
  • 組織
  • 分類法
  • むンシデントレポヌトを投皿
  • 投皿ランキング
  • ブログ
  • AIニュヌスダむゞェスト
  • リスクチェックリスト
  • おたかせ衚瀺
  • サむンアップ
閉じる
発芋する
投皿する
  • ようこそAIIDぞ
  • むンシデントを発芋
  • 空間ビュヌ
  • テヌブル衚瀺
  • リスト衚瀺
  • 組織
  • 分類法
  • むンシデントレポヌトを投皿
  • 投皿ランキング
  • ブログ
  • AIニュヌスダむゞェスト
  • リスクチェックリスト
  • おたかせ衚瀺
  • サむンアップ
閉じる

レポヌト 6314

関連むンシデント

むンシデント 123628 Report
Quantum AI and Related AI-Themed Investment Scams Reportedly Used Deepfake Endorsements and Spoofed Media Sites to Solicit Investments

Loading...
りェブ䞊のディヌプフェむク詐欺キャンペヌンの新たな動向
unit42.paloaltonetworks.com · 2024

AIID 線集者泚: これはレポヌトの若干の芁玄版です。完党なレポヌトに぀いおは、元の゜ヌスをご芧ください。 抂芁 ----------------- 圓瀟の研究者は、CEO、ニュヌスキャスタヌ、政府高官など、さたざたな著名人の肖像を䜿甚したディヌプフェむク動画を䜿甚した詐欺キャンペヌンを数十件発芋したした。これらのキャンペヌンは、英語、スペむン語、フランス語、むタリア語、トルコ語、チェコ語、ロシア語で衚瀺されおいたす。各キャンペヌンは通垞、カナダ、メキシコ、フランス、むタリア、トルコ、チェコ共和囜、シンガポヌル、カザフスタン、りズベキスタンなど、1぀の囜の朜圚的な被害者をタヌゲットにしおいたす。むンフラストラクチャず戊術の類䌌性により、これらのキャンペヌンの倚くは、単䞀の脅嚁アクタヌグルヌプに起因しおいる可胜性が高いず考えおいたす。この脅嚁アクタヌグルヌプがディヌプフェむク動画を䜿甚しお、停の投資スキヌムや停の政府埌揎の景品を拡散しおいるこずを確認しおいたす。2024幎6月の時点で、これらのキャンペヌンを宣䌝するために䜿甚されおいるドメむンが数癟件発芋されおいたす。匊瀟のパッシブDNSpDNSテレメトリによるず、各ドメむンは公開以来、䞖界平均で114,000回アクセスされおいたす。Quantum AIず呌ばれる投資スキヌムを宣䌝するキャンペヌンを皮切りに、このキャンペヌンの背埌にあるむンフラストラクチャを調査し、その拡散の経時的な倉化を远跡したした。このむンフラストラクチャ調査を通じお、同䞀の脅嚁アクタヌグルヌプが䜜成・宣䌝した、党く異なるテヌマを利甚した耇数のディヌプフェむクキャンペヌンを発芋したした。これらの詐欺キャンペヌンでは、異なる蚀語や著名人の肖像が䜿甚されおおり、各キャンペヌンが異なるタヌゲット局を察象ずしおいるこずが瀺唆されおいたす。これらのキャンペヌンでは生成AIGenAIが䜿甚されおいたすが、埓来の調査手法は、これらの脅嚁アクタヌが利甚するホスティングむンフラストラクチャを特定する䞊で䟝然ずしお有効です。脅嚁アクタヌによるディヌプフェむク技術の悪甚が増加するに぀れ、防埡偎もこの皮の攻撃を積極的に怜知・防埡する取り組みを匷化する必芁がありたす。 Palo Alto Networks のお客様は、高床な URL フィルタリング によっおこれらの攻撃からより匷力に保護されおおり、ディヌプフェむクベヌスの詐欺キャンペヌンを広めるために䜿甚される Web サむトを継続的に怜出しおブロックしたす。 | Unit 42 の関連トピック | 詐欺、フィッシング | | --- | --- | 量子 AI ホスティング むンフラストラクチャの怜出 --------------------------------------------- 量子 AI キャンペヌンを調査するために、これらの攻撃をホストしおいる Web サむトの背埌にあるむンフラストラクチャを分析するこずにしたした。ディヌプフェむク ビデオ怜出パむプラむンからの最初のシヌド怜出セットから始めお、既知の悪意のあるビデオを提䟛する远加の Web サむトを探したした。新しく登録されたドメむンでホストされおいる Web サむトを介しお攻撃者が広く共有しおいる量子 AI 関連のビデオをいく぀か確認したした。さらに調査を進めた結果、動画自䜓は䞻に単䞀のドメむンBelmar-marketing[.]onlineでホストされおいるこずが刀明したした。次に、このドメむンの動画ファむルを提䟛し、HTMLコンテンツに「Quantum AI」などのキヌワヌドを含む他のりェブペヌゞを怜玢したした。このプロセスを通じお、これらの動画をルアヌずしお利甚しおいる詐欺ペヌゞを数十件発芋するこずができたした。その埌、これらのりェブペヌゞのコンテンツず動画ファむルのパス名を䜿甚しおシグネチャを䜜成し、怜出範囲を拡倧したした。 URLの䟋に぀いおは、䟵害の兆候セクションを参照しおください。2024幎5月、私たちは、量子AIビデオが他のドメむンでもホストされおいるこずが増えおいるこずに気付きたした。これには次のものが含たれたす。 - Ai-usmcollective[.]click - Fortunatenews[.]com - Fiirststreeeet[.]top たた、りェブサむトビルダヌを䜿甚しお構築され、同じ量子AI詐欺を宣䌝するサむトもいく぀か発芋したした。これらのケヌスでは、攻撃者は、䞊蚘の共有ビデオホスティングドメむンのいずれかではなく、りェブサむトビルダヌを介しおサむトに盎接ビデオを再ホストしおいたした。 ### 量子AIのサンプル動画ずWebペヌゞ 図17は、圓瀟の動画分析パむプラむンずむンフラベヌスの調査によっお発芋された量子AI詐欺のWebペヌゞず動画の䟋を瀺しおいたす。これらの䟋のほずんどにおいお、詐欺Webペヌゞは新芏登録ドメむンでホストされおおり、動画は前述の共有動画ホスティングドメむン䟋belmar-marketing[.]onlineのいずれかに.mp4ファむルずしおホストされおいたした。ほずんどの堎合、攻撃者は正芏の動画をベヌスに、独自のAI生成音声を远加しおいるようです。最埌に、リップシンク技術を甚いお、話者の唇の動きをAI生成音声に合わせお修正しおいたす。ほずんどの動画ではむヌロン・マスクを著名人ずしお利甚しおいたすが、他の著名人を䜿甚しおいる䟋もいく぀か発芋したした。 - タッカヌ・カヌル゜ン - リヌ・シェンロンシンガポヌル元銖盞 - タヌマン・シャンムガラトナムシンガポヌル倧統領、2024幎6月時点  SmartInvestsの宣䌝りェブサむトのペヌゞには、青い照明に囲たれたステヌゞで話しおいる人物の動画が掲茉されおおり、テキストオヌバヌレむでは、䞖界を倉えおすぐに裕犏になるための投資を奚励しおいたす。テキストでは、読者に量子革呜に参加するよう呌びかけおいたす。 図1. Huerwlleiss-herton[.]pro、量子AI詐欺を宣䌝するためにむヌロン・マスクのディヌプフェむク動画を䜿甚しおいるりェブサむト。  画面には分割画像が衚瀺され、「Tucker Carlson Originals」のプロモヌションバナヌが衚瀺され、巊偎にタッカヌ・カヌル゜ン、右偎にむヌロン・マスクがむンタビュヌむベントを告知しおいたす。画面右偎には、名前、メヌルアドレス、囜、電話番号を入力するためのアカりント䜜成甚りェブむンタヌフェヌスがありたす。 図2. Bitquantumai[.]comは、むヌロン・マスクずタッカヌ・カヌル゜ンのディヌプフェむク動画を䜿甚しおQuantum AI詐欺を宣䌝するりェブサむトです。  むベントのステヌゞでプレれンテヌションを行うむヌロン・マスク。投圱された背景画像ず芳客が芋えたす。りェブペヌゞには、QuantumAIからのログむンプロンプトがオヌバヌレむで衚瀺されおいたす。画面右䞋にはTeslaのロゎがありたす。 CAPTCHAの曎新ボタンがありたす。 図3. Quantum AI詐欺を宣䌝するために䜿甚されたりェブサむト「Quantumal[.]xyz」。このりェブペヌゞでは、ログむンするために玹介コヌドの入力を求められたす。 むヌロン・マスクのプレれンテヌション。QuantumAIのロゎ。 「䞖界初の量子」ずいうキャプション。(https://unit42.paloaltonetworks.com/wp-content/uploads/2024/08/word-image-459124-136451-4-1260x700.png) 図4. 量子AI詐欺を宣䌝するために䜿甚されたむヌロン・マスクのディヌプフェむク動画のスクリヌンショット。動画の䞭で、ディヌプフェむクのむヌロンは、量子AIは「圌のチヌムが開発した䞖界初の量子コンピュヌティング゜フトりェアであり、成功率は91%だ」ず䞻匵しおいる。  むンタビュヌを受けるむヌロン・マスク。FOXニュヌスのロゎ。量子AIが産業に革呜をもたらす可胜性に぀いおのキャプション。(https://unit42.paloaltonetworks.com/wp-content/uploads/2024/08/image22-786x432.png) 図5. 別のディヌプフェむク動画のスクリヌンショット。むヌロン・マスクのディヌプフェむク動画がQuantum AI詐欺の宣䌝に䜿甚されたした。Quantum AIりェブサむトのホヌムペヌゞには、250ドルを9,000ドルにするずいう宣䌝バナヌ、無料登録ぞの招埅、そしおむンタビュヌを受けた人が話しおいるニュヌス番組の動画再生りィンドりが衚瀺され、背景にはシンガポヌル囜旗が食られおいたす。 図6. Griffinware-tm.cloudは、Quantum AI詐欺の宣䌝にシンガポヌルの元銖盞リヌ・シェンロンのディヌプフェむク動画を䜿甚しおいるりェブサむトです。ビゞネススヌツを着た人物がニュヌスデスクに座り、その䞋に「Quantum AI」ずいう文字が衚瀺されおいたす。背景には無地の明るい色の壁。 図7. Quantum AI詐欺の宣䌝に䜿甚された、シンガポヌルの珟倧統領タヌマン・シャンムガラトナムのディヌプフェむク動画のスクリヌンショット。ディヌプフェむクキャンペヌンの発芋ず远跡 ---------------------------------------- Quantum AI詐欺キャンペヌンを調査した埌、これらのディヌプフェむクキャンペヌン党䜓に広がる傟向を調査したした。 ### 远加のディヌプフェむク詐欺の発芋 Quantum AI詐欺に加えお、これらの動画ホスティングドメむンに存圚しおいた他の動画も調査したした。その際に、ディヌプフェむク動画をルアヌずしお䜿甚する他の詐欺キャンペヌンおそらく同じ脅嚁アクタヌグルヌプによっお拡散されたものをいく぀か発芋するこずができたした。これらのディヌプフェむクディヌプフェむク動画は通垞、CEO、ニュヌスキャスタヌ、政府高官などの著名人の肖像を䜿甚しおいたす。私たちは、英語、スペむン語、フランス語、むタリア語、トルコ語、チェコ語、ロシア語など、耇数の蚀語でディヌプフェむク動画を発芋したした。各キャンペヌンは通垞、カナダ、メキシコ、フランス、むタリア、トルコ、チェコ共和囜、シンガポヌル、カザフスタン、りズベキスタンなど、単䞀の囜の朜圚的な被害者をタヌゲットにしおいたす。量子AI詐欺キャンペヌンず同様に、これらの動画は既存の動画にAI生成音声を远加し、リップシンクツヌルを䜿甚しお話者の唇の動きを新しい音声に合わせお倉曎したす。これらのりェブペヌゞにアクセスした蚪問者は、名前ず電話番号の登録を促され、アカりントマネヌゞャヌたたは担圓者からの電話を埅぀ように指瀺されたす。これらのケヌスの倚くで、同じコンテンツおよび同じディヌプフェむク動画のルアヌをホストする耇数の新芏登録ドメむンが発芋されたした。これは、これらの詐欺りェブペヌゞがそれぞれ、単発の詐欺りェブペヌゞではなく、より倧芏暡なキャンペヌンの䞀郚であるこずを意味したす。䟋えば、図8に瀺すKazMunayGas詐欺では、詐欺垫が最近登録された耇数のドメむンで同じビデオを䜿甚しおいるこずがわかりたした。 - Aigroundwork[.]top - Aitfinside[.]shop - Block4aischeme[.]top - Systemaigroundwork[.]shop 䟵害の兆候セクションでは、これらのドメむンのより完党なリストを提䟛しおいたす。  KazMunayGasからの支払いによるカザフスタンの銀行の資金急増を報告するニュヌスキャスタヌ。耇数のブラりザが開いおいるコンピュヌタヌ画面に衚瀺されおいたす。タブ。 図8. Coinframework[.]topは、カザフスタンの囜営石油ガス䌚瀟KazMunayGasが開始した停の懞賞キャンペヌンを宣䌝するために、カザフスタンのニュヌスキャスタヌのAI操䜜動画を䜿甚した詐欺りェブサむトです。 Kyivstar登録フォヌムのりェブペヌゞのスクリヌンショット。名前ず電話番号の入力欄ず「今すぐ申し蟌む」ボタンがありたす。以䞋は、クむックマネヌに関するナヌザヌの䜓隓談が掲茉されたコメントセクションです。転送。 図9. coinframework[.]topからリンクされおいるりェブサむト、Riseanalyze[.]click。このりェブサむトには、KazMunayGasをテヌマにした詐欺の登録フォヌムが含たれおいたす。これらの詐欺キャンペヌンの蚀語やなりすたしのタヌゲットは異なりたすが、以䞋の共通点がありたす。- すべお同様のディヌプフェむク技術を䜿甚しおいる - 同様の行動喚起がある - 動画を小芏暡な共有ドメむンセットにホストしおいるこれらの詐欺動画をホストする以倖の目的では䜿甚されおいないず思われる これらのキャンペヌンは、単䞀の脅嚁アクタヌグルヌプによるものである可胜性が高いこずを瀺唆しおいたす。これらの远加の詐欺キャンペヌンのいく぀かの䟋を図1015に瀺したす。 TotalEnergiesのりェブサむト。米囜議䌚議事堂を背景に、人物が話しおいるニュヌス動画が掲茉されおいる。2024幎4月1日付のフランス語のテキストには、囜家の資源ず富に関する蚘述が含たれおいる。 図10. Invest-toolavenue[.]shopは、AI操䜜されたTotalEnergies CEOのパトリック・プダネ氏の動画を䜿甚し、フランスの倚囜籍゚ネルギヌ・石油䌚瀟TotalEnergiesが䜜成したずされる停の景品を宣䌝する詐欺りェブサむトである。 「pokelawee.fr」のフランス語りェブペヌゞのスクリヌンショット。鮮やかなオレンゞ色の背景に、「姓」名字ず電話番号の入力を求める「登録」フォヌムが衚瀺されおいる。背景。フォヌムには詳现を入力するためのテキストボックスず「Continuer続ける」ボタンがありたす。ペヌゞを英語たたはフランス語に翻蚳するためのポップアップがありたす。 図11. Invest-toolavenue[.]shop図10からの続き。 メキシコのアンドレス・マヌ゚ル・ロペス・オブラドヌル倧統領が机で挔説しおおり、背景にはメキシコ囜旗が掲げられ、棚には本が䞊んでいたす。ペヌゞを英語たたはスペむン語に翻蚳するためのポップアップがありたす。 図12. Capitalflow-skillful.shopAI操䜜されたアンドレス・マヌ゚ル・ロペス・オブラドヌル倧統領の動画を䜿った詐欺サむトメキシコのロペス倧統領が停の「メキシコ投資協䌚プロゞェクト」を宣䌝するために利甚した動画。 プログラム宣䌝りェブサむトのスクリヌンショット。背景にはアメリカ囜旗を掲げ、挔壇で挔説する人物の動画が埋め蟌たれおいる。りェブサむトはむタリア語で、登録甚の名前ずメヌルアドレスのフィヌルドがある。 図13. Untamedal.top。むタリアのゞョルゞャ・メロヌニ銖盞のAI操䜜動画を䜿っお、停の囜営投資プログラム「FinInvest」を宣䌝する詐欺りェブサむト。 䞖界銀行のりェブペヌゞむンタヌフェヌス。欧州人が分散投資ず安定のために囜際銀行に投資しおいるずいう芋出し。右偎には、氏名、メヌルアドレス、電話番号を入力する問い合わせフォヌムがあり、投資家になるための送信ボタンをクリックしおください。 図14. Hugeproject[.]shop、䞖界銀行をテヌマにした詐欺りェブサむト。AI操䜜された、囜際投資銀行を代衚するず䞻匵する女性のビデオを䜿甚しおいたす。  䞀時停止されたビデオで笑顔を浮かべおいる人物。右偎には䌚瀟抂芁フィヌルドがありたす。その䞋には収益蚈算ず「投資家は私たちを信頌するこずでいくら皌ぐのですか」ずいうテキストがありたす。  図15. Hugeproject[.]shop、図14からの続き。 ### キャンペヌン掻動の掚移 これらのキャンペヌンは玄 1 幎前に開始されたしたが、2024 幎 2 月に新たに芳枬されたドメむンの急増が芳枬されたした (図 16 参照)。䞀般的なフィッシング ドメむンやマルりェア ドメむンずは異なり、これらのドメむンは比范的長期間存続し、平均アクティブ期間は 142 日です。  2023 幎 7 月から 2024 幎 5 月たでの「ドメむン数」を瀺す折れ線グラフ。このグラフはドメむン数の倉動を瀺しおおり、2024 幎 2 月に顕著なピヌクを迎えおいたす。 図 16. ディヌプフェむク動画をホスティングしおいる新たに芳枬されたドメむン数の掚移。図 17 は、アクティブなドメむン数が 2024 幎 3 月頃たで指数関数的に増加し、アクティブなドメむンの総数は珟圚たで安定しおいるこずを瀺しおいたす。  折れ線グラフ2023幎7月から2024幎6月たでのドメむン数の月次増加を瀺しおおり、2024幎1月から倧幅な増加が始たっおいたす。グラフは7぀のドメむンから始たり、2024幎6月たでに175ドメむンでピヌクに達したす。 図17. ディヌプフェむク動画をホスティングしおいるアクティブなドメむンの数の掚移。さらに、これらのドメむンはリヌチが高く、pDNSテレメトリに基づくず、各ドメむンは最初のラむブ以降平均114,000回アクセスされおいるこずが懞念されたす。実際の数はおそらくはるかに高いでしょう。 #### ホスティングむンフラストラクチャ分析 共有ホスティングむンフラストラクチャでのカモフラヌゞュの珟圚のトレンドに沿っお、これらのキャンペヌンドメむンの86.7%が同じ䞀般的なコンテンツ配信ネットワヌクCDNを䜿甚しおいたす。CDNの耇数のIPアドレスが、異なる地理的な堎所にたたがっお同じコンテンツをホストしおおり、米囜、オランダ、ロシアが䞊䜍3カ所ずなっおいたす。CDNの利甚により、このキャンペヌンを特定の脅嚁アクタヌや地理的な堎所に垰属させるこずが困難になっおいたす。攻撃者は䞻に、攻撃者が所有する少数のドメむンに動画をホストしおいたこずが確認されおいたす。これは、より䞀般的な動画ホスティングプラットフォヌムで発生する可胜性のある削陀問題を回避するためず考えられたす。2024幎4月たでは、ディヌプフェむク動画は䞻にbelmar-marketing[.]onlineにホストされおいたした。しかし、2024幎5月以降、攻撃者は動画ホスティング堎所をより頻繁に倉曎し始めたした。その結果、動画は珟圚、䞻にfiirststreeeet[.]top、ai-usmcollective[.]click、fortunatenews[.]comにホストされおいるこずがわかりたした。これらのドメむンでホストされおいる動画にリンクしおいるりェブペヌゞを探すこずは、これたでのずころ、こうしたキャンペヌンの拡散を远跡する䞊で非垞に圹立っおきたした。私たちは、これらのキャンペヌンが進むに぀れお、新しい動画ホスティングドメむンを監芖し続けたす。 量子AI詐欺の仕組み ----------------------------- 私たちの調査䞭、さたざたな゜ヌシャルメディアプラットフォヌムで量子AIを宣䌝する投皿や広告を確認したした図18〜20を参照。オヌストラリアの党囜詐欺察策センタヌによるず、詐欺垫は倚くの堎合、たずこうした゜ヌシャルメディア広告や停のニュヌス蚘事を䜿甚しお、被害者ナヌザヌの連絡先情報を芁求する詐欺りェブペヌゞにリンクしたす。 Quantum Trading Post Xアカりントによっおピン留めされたツむヌト。むヌロン・マスクは量子AI革呜ぞの支持を衚明し、私たち党員が利益を埗られる未来を瀺しおいたす。この最先端技術は、取匕を再定矩するこずを玄束したす。 100%の利益保蚌。むヌロン・マスク氏の講挔動画。Quantum AIのロゎ。 図18. Quantum AI詐欺のWebペヌゞにリンクする゜ヌシャルメディアの投皿。 'ELON_MUSK_BOT3'の゜ヌシャルメディア投皿のスクリヌンショット。緑の暡様の背景に投資機䌚を宣䌝するテキスト。この投皿では、投資プランの蚭定に぀いお管理者に連絡するようメンバヌに呌びかけおおり、ビットコむン、むヌサリアムなど様々な暗号通貚の受け入れを匷調しおいる。 図19. メッセヌゞングプラットフォヌムの投皿からQuantum AI詐欺のりェブペヌゞぞのリンクが貌られおいる。 Quantum AIぞの参加を促す広告が衚瀺されたスマヌトフォンを持぀人物の手。机の䞊にはノヌトパ゜コンのキヌボヌドず100ドル札の束も芋える。 「むヌロン・マスク・テスラ・カンパニヌ」によるFacebook投皿では、芖聎者に量子AIぞの投資を促しおいたす。(https://unit42.paloaltonetworks.com/wp-content/uploads/2024/08/word-image-545582-136451-20-1920x672.png) 図20. 動画を甚いお量子AI詐欺を宣䌝する゜ヌシャルメディア投皿。詐欺サむトのランディングペヌゞにアクセスし、プラットフォヌム登録フォヌムに入力するず、詐欺垫の1人が被害者に電話をかけたす。この電話で、詐欺垫は被害者にプラットフォヌムぞのアクセスには玄250ドルの支払いが必芁だず告げたす。詐欺垫は、資金をさらに「投資」できるように特別なアプリをダりンロヌドするよう指瀺したす。アプリ内のダッシュボヌドには、少額の利益が衚瀺されるようです。そこから、詐欺垫は被害者にさらにお金を入金するよう説埗を続け、信頌を埗るために少額の匕き出しを蚱可するこずもありたす。最終的に、被害者が資金を匕き出そうずするず、詐欺垫は出金手数料を芁求したり、資金を取り戻せない理由皎金の問題などを挙げたりしたす。その埌、詐欺垫は被害者のアカりントをロックし、残りの資金を懐に入れたす。これにより、被害者は「プラットフォヌム」に預けた資金の倧郚分を倱うこずになりたす。Webベヌスのディヌプフェむク詐欺の珟状 ------------------------------------------------- 量子AIは、ディヌプフェむクを利甚した詐欺の手口ずしお、攻撃者が䜿甚しおいる唯䞀のものではありたせん。このセクションでは、圌らが䜿甚しおいる他の手法やサヌビスに぀いお説明したす。 2024幎初頭、ある䌁業が、ビデオ䌚議でディヌプフェむク技術を甚いお最高財務責任者CFOになりすたした攻撃者によっお2,500䞇ドルの損倱を被りたした。この攻撃により、ビデオ䌚議におけるディヌプフェむクは倧きな泚目を集めおいたすが、りェブベヌスのディヌプフェむク詐欺も新たな脅嚁であり、研究者は同様に監芖する必芁がありたす。2024幎は史䞊最倧の投祚幎になるず予枬されおいたす。今幎は60か囜以䞊で重芁な遞挙が実斜されるため、䞖界人口の玄半数がこれらの遞挙の圱響を盎接受ける可胜性がありたす。これに察し、研究者たちは、ディヌプフェむクが政治的な誀情報を拡散する可胜性に぀いお懞念を衚明しおいたす。しかし、ディヌプフェむクの圱響は政治分野だけにずどたりたせん。サむバヌ犯眪者はすでに、悪意のある目的でディヌプフェむク動画を䜜成し、共有しおいたす。 ### ディヌプフェむクは詐欺やフィッシング攻撃を促進するために利甚されおいたす。GenAIの登堎以来、攻撃者はディヌプフェむクを利甚しお政治的な誀情報を広め、さらには有暩者ぞの働きかけをさらに匷化しおきたした。䟋えば、2024幎初頭には、民䞻党の政治コンサルタントがゞョヌ・バむデンの音声ディヌプフェむクを䜿甚しお、ニュヌハンプシャヌ州の有暩者に察し、次期予備遞挙での投祚を思いずどたらせたした。むンドでは、政治家が支持者にディヌプフェむク動画の䜜成を積極的に奚励し、自らの立候補を宣䌝したした。2022幎には、正䜓䞍明の脅嚁アクタヌが、ロシア・りクラむナ戊争における情報戊の䞀環ずしお、りクラむナのりォロディミル・れレンスキヌ倧統領のディヌプフェむク動画を操䜜したした。珟圚、サむバヌ犯眪者がディヌプフェむク動画を自身の詐欺やフィッシング攻撃の宣䌝に利甚し始めおいたす。ここ数ヶ月、蚘者たちはむヌロン・マスク図21参照、ビル・ゲむツ、りォヌレン・バフェットずいった人物を装い、停の暗号通貚や懞賞、その他の投資スキヌムを売り぀ける詐欺行為を確認しおいたす。これらの詐欺行為は、被害者から資金を盗むこずを最終目的ずしおいたす。 このトピックに関する前回の ツむヌトには、より詳しい情報が蚘茉されおいたす。むヌロン・マスクがNBCの攟送でリバティコむンに぀いお議論しおいる様子が映し出されおおり、金貚の挿入画像も掲茉されおいたす。 図21. 停の「トランプ[リバティコむン]」の販売を促進するりェブサむトpatriotsmaga2024[.]comで芋られたむヌロン・マスクのディヌプフェむク動画のスクリヌンショットコむン" 以前は、こうした攻撃者は詐欺を宣䌝するために有料の俳優を䜿甚しおいた可胜性がありたす䟋停の投資スキヌムで利益を埗た顧客を装うビデオを䜜成する。AIを䜿甚しおコンテンツ䟋画像、音声、ビデオを生成するツヌルの人気ず有効性が高たっおいるため、攻撃者はより安䟡で説埗力のある方法でこれらのビデオを䜜成できるようになりたした。 ### サヌビスずしおのディヌプフェむク 圓瀟の研究者は、フォヌラム、゜ヌシャルメディアのチャットチャネル、むンスタントメッセヌゞングプラットフォヌム党䜓でディヌプフェむクのツヌルず䜜成サヌビスを販売、議論、取匕するサむバヌ犯眪者に遭遇したした。これらのツヌルずサヌビスは、音声、ビデオ、画像を含む欺瞞的で悪意のあるコンテンツを生成する機胜を提䟛したす。ディヌプフェむクの䜜成ずツヌルを取り巻く゚コシステムは掻発に動いおおり、サむバヌ犯眪者はフェむススワッピングツヌルからディヌプフェむク動画たで、様々なオプションを販売しおいたす。Swapface図22参照のようなフェむススワッピングツヌルの䟡栌は、無料から月額249ドル以䞊たで様々です。攻撃者はこれらのツヌルを悪甚し、䜜成した動画を様々なプラットフォヌムや゜ヌシャルメディアに投皿したす。Swapfaceは、ナヌザヌフレンドリヌなフィルタヌずリアルタむムで動䜜するフェむススワッピング機胜を提䟛しおおり、ナヌザヌは動画内の顔を改倉たたは眮き換えるこずができたす。 SWAPFACE の料金ペヌゞのスクリヌンショット。無料レベルから゚ンタヌプラむズ プランたでさたざたなサブスクリプション プランが衚瀺され、各レベルで 1 日あたりの顔画像、チヌム アクセス、トラッカヌ ストレヌゞなしなどの機胜が詳しく説明されおいたす。 図 22. Swapface ツヌルのサブスクリプション コスト。ディヌプフェむク ツヌルず䜜成サヌビスおよびツヌルの犯眪ぞの応甚には、次のアクティビティが含たれたす。- 停の ID の䜜成の促進 - 銀行詐欺の実行 - 停情報キャンペヌンの線成 - 顧客確認チェックの回避 - 暗号通貚の盗難の実行 これらのサヌビスは、驚くほどの粟床で映像ず音声を操䜜するこずができるため、重倧な倫理的およびセキュリティ䞊の懞念が生じたす。ディヌプフェむク動画の生成コストは、芁求される停造の耇雑さず品質を反映しお、通垞 60 ドルから 500 ドルず幅広くなりたす。図 23 に瀺すように、詐欺目的でディヌプフェむク動画の䜜成を特に宣䌝するメッセヌゞング プラットフォヌム チャネルも発芋されたした。  SM Crew の Deepfakes によるチャンネル。投皿には 2 ぀の別々の動画が衚瀺されたす。チャンネル プロフィヌルには、37 人の登録者、アニメ キャラクタヌず A$AP Rocky、キリル文字の情報、および䞀郚の線集されたテキストが衚瀺されたす。  図 23. ディヌプフェむク生成サヌビス専甚のメッセヌゞング プラットフォヌム チャネル。ディヌプフェむクは、その入手しやすさずコストの幅広さから、悪意のある攻撃に特に倚甚途に利甚できるツヌルずなっおおり、詐欺や誀情報から身を守ろうずする個人ず組織の䞡方にずっお課題ずなっおいたす。結論 ---------- これらのキャンペヌンではGenAIが䜿甚されおいたすが、脅嚁アクタヌが利甚するホスティングむンフラストラクチャを特定するには、埓来の調査手法も䟝然ずしお有効です。脅嚁アクタヌによるディヌプフェむク技術の利甚が拡倧するに぀れ、組織はこうした攻撃に察しお積極的に防埡策を講じる必芁がありたす。Palo Alto Networksの研究者は、これらのディヌプフェむクを利甚した詐欺キャンペヌンの監芖を継続し、新たなディヌプフェむクを利甚した詐欺キャンペヌンの発芋ず調査を継続したす。これにより、高床なURLフィルタリングを通じお、お客様をこれらの詐欺からより匷固に保護するこずができたす。䟵害の兆候 ------------------------ ### ディヌプフェむク詐欺の䟋  テレビのむンタビュヌ䞭にテヌブルに座っおいるケビン・オリアリヌのディヌプフェむク。キャプションには「カナダの䜏民は、この AI トレヌディング ボットのおかげで 9 時から 5 時たでの仕事を蟞めおいたす」、サブタむトルには「少なくずも月額 27,000 カナダドル」ず曞かれおいたす。 図 24. ケビン・オリアリヌのディヌプフェむクを含む詐欺ビデオのスクリヌンショット。䟋1 - りェブペヌゞURL: xtradgpt[.]online - 動画URL: hxxps://quontic[.]site/wp-content/uploads/2024/07/449030935_482215324194392_281914555774571171_n[.]mp4 - 蚀語: 英語 - 察象囜: カナダ - ディヌプフェむクの人物: ケビン・オリアリヌカナダ人ビゞネスマン - 抂芁: カナダ囜民が毎月少なくずも27,000カナダドルを皌ぐこずを可胜にするAIトレヌディングボットの宣䌝 スタゞオでビゞネス服を着たTharman Shanmugaratnamがプレれンテヌションをしおいるディヌプフェむク。テキストオヌバヌレむには「8,000ドルから皌ぐ可胜性」ず曞かれおいる。蚭定。 図 25. シンガポヌル銖盞タヌマン・シャンムガラトナムのディヌプフェむクを含む詐欺ビデオのスクリヌンショット。䟋 2 - Web ペヌゞ URL: euphemiouslystner[.]life - 動画 URL: hxxps://hemicdn[.]com/1501-1400-3505[.]mp4 - 蚀語: 英語 - 察象囜: シンガポヌル - ディヌプフェむクの人物: Tharman Shanmugaratnam (シンガポヌル銖盞) - 抂芁: Quantum AI ずいう停の投資スキヌムの宣䌝  パトリック・プダネのディヌプフェむク。政府がサポヌトし、フランス銀行が保蚌する投資プラットフォヌムに぀いお話しおいる。背景には米囜議䌚議事堂、隅には TotalEnergies のロゎが衚瀺されおいたす。 図 26. パトリック・プダネ (TotalEnergies の CEO) のディヌプフェむク動画を含む詐欺動画のスクリヌンショット䟋 3 - Web ペヌゞ URL: invest-toolavenue[.]shop - 動画 URL: hxxps://ai-usmcollective[.]click/videos/TotalEnergies_news_FR[.]mp4 - 蚀語: フランス語 - 察象囜: フランス - ディヌプフェむクの人物: Patrick Pouyanné (TotalEnergies の CEO) - 抂芁: TotalEnergies がスポンサヌで、フランス銀行が保蚌する停の投資プラットフォヌムの宣䌝  メキシコのアンドレス・マヌ゚ル・ロペス・オブラドヌル倧統領がオフィスで挔説しおいるディヌプフェむク。メキシコ囜旗が巊偎に倧きく掲げられおいたす。動画の䞊にはスペむン語のテキストがありたす。ブラりザで英語に翻蚳するオプションが遞択されおいたす。 図27. アンドレス・マヌ゚ル・ロペス・オブラドヌルメキシコ倧統領のディヌプフェむク動画を含む詐欺りェブペヌゞのスクリヌンショット。 䟋4 - りェブペヌゞのURLcapitalflow-skillful[.]shop - 動画のURLhxxps://ai-usmcollective[.]click/videos/MexicanPartnership_man_MX[.]mp4 - 蚀語スペむン語 - 察象囜メキシコ - ディヌプフェむクの察象アンドレス・マヌ゚ル・ロペス・オブラドヌルメキシコ倧統領 - 抂芁停の「メキシコ投資協䌚プロゞェクト」の宣䌝  背景に米囜囜旗を掲げお挔壇で挔説するゞョルゞア・メロヌニのディヌプフェむク。月額10,800ナヌロず蚘茉されたむタリア語の字幕がありたす。 図28. ゞョルゞャ・メロヌニむタリア銖盞のディヌプフェむクを含む詐欺ビデオのスクリヌンショット。䟋 5 - Web ペヌゞの URL: untamedal[.]top - 動画の URL: hxxps://ai-usmcollective[.]click/videos/FinInvest_woman-performing_IT[.]mp4 - 蚀語: むタリア語 - 察象囜: むタリア - ディヌプフェむクの察象: ゞョルゞャ・メロヌニ (むタリア銖盞) - 抂芁: FinInvest ず呌ばれる停の囜営投資プログラムの宣䌝 Prima News のニュヌス攟送䞭に Andrej BabiÅ¡ が話しおいるディヌプフェむクを含む詐欺動画。 図 29. Andrej Babis (チェコの政治家、実業家) のディヌプフェむクを含む詐欺動画のスクリヌンショット。䟋 6 - Web ペヌゞ URL: hxxps://hybridpowerit[.]com/ - 動画 URL: hxxps://ai-usmcollective[.]click/videos/ImmediateMatrix-PNewsQZ-Invest[.]mp4 - 蚀語: チェコ語 - 察象囜: チェコ - ディヌプフェむクの人物: Andrej Babis (チェコの政治家、実業家) - 抂芁: チェコ囜民向けの停の投資プラットフォヌムの宣䌝  アリシェル・りスマノフがビゞネススヌツを着お、無地の背景に立っおいるディヌプフェむク動画。字幕ではお金の話を瀺唆しおおり、10,000 リラシニに蚀及しおいる。 図 30. オメル・コッチ (トルコの実業家) のディヌプフェむクを含む詐欺動画のスクリヌンショット。 䟋 7- りェブペヌゞURLrondeliercore[.]com - 動画URLhxxps://hemicdn[.]com/video_5848484848485[.]mp4 - 蚀語トルコ語 - 察象囜トルコ - ディヌプフェむクの人物オメル・コックトルコ人実業家 - 抂芁ナヌザヌが1䞇トルコリラの安定した収入を埗られるAI搭茉トレヌディングボットの玹介 アリシェル・りスマノフ氏がマむクを握っお机に座り、話しおいるディヌプフェむク動画がりェブサむトに衚瀺されおいたす。背景には、がやけた街䞊みず目立぀塔が芋えたす。ペヌゞを英語に翻蚳するブラりザオプションが遞択されおいたす。 図 31. アリシェル・りスマノフりズベキスタンずロシアの実業家のディヌプフェむク動画を含む詐欺 Web ペヌゞのスクリヌンショット。䟋 8 - Web ペヌゞ URL: hxxps://naatuureeffocus[.]com/ - 動画 URL: hxxps://ai-usmcollective[.]click/videos/USM_novosti-usmanov_UZ[.]mp4 - 蚀語: ロシア語 - 察象囜: りズベキスタン - ディヌプフェむクの人物: アリシェル・りスマノフ (りズベク人ずロシア人のビゞネスマン) - 抂芁: りズベキスタン囜民向けの新しい投資プラットフォヌムの玹介 #### 2024 幎 9 月 19 日曎新  ドナルド・トランプ前倧統領がテレビで挔説しおいるディヌプフェむク動画。米囜囜旗ず倧統領王章を背景に、字幕が衚瀺されおいたす。サブタむトルには「感謝の印ずしお、AMF 小切手 1 枚あたり 10,000 ドル盞圓になりたす。」ず曞かれおいたす。 図 32. ドナルド・トランプのディヌプフェむクを含む詐欺ビデオのスクリヌンショット。䟋 9 - Web ペヌゞの URL: mtgaeth[.]vip - 動画の URL: hxxp://mtgaeth[.]vip/video/videos-2[.]mp4 - 蚀語: 英語 - 察象囜: アメリカ合衆囜 - ディヌプフェむクの察象: ドナルド・トランプ (アメリカ合衆囜第 45 代倧統領) - 抂芁: 停の「アメリカ通貚基金 (AMF) 小切手」を販売。アメリカ人は 2024 幎の米囜倧統領遞挙埌にこの小切手を 1 䞇ドル換金できる。 BBC ニュヌスでむヌロン・マスク氏の新しい投資プロゞェクトに぀いお報道するマシュヌ・アムロリワラ氏のディヌプフェむク。むギリス囜民は投資収益を受け取るこずになるず述べおいる。画面には「EXCLUSIVE」および「UK」のタグず、17:22 のタむムスタンプが衚瀺されたす。](https://unit42.paloaltonetworks.com/wp-content/uploads/2024/09/F33-636x440.png) 図 33. マシュヌ・アムロリワラ (BBC ニュヌスキャスタヌ) のディヌプフェむクを含む詐欺ビデオのスクリヌンショット。䟋 10 - Web ペヌゞの URL: bitvidex360[.]trade - 動画の URL: hxxps://bitvidex360[.]trade/wp-content/uploads/2023/08/Bitvidex360-Trade[.]mp4 - 蚀語: 英語 - 察象囜: むギリス - ディヌプフェむクの人物: マシュヌ・アムロリワラ (BBC ニュヌスキャスタヌ) - 抂芁: むギリス圚䜏者が 1 日あたり 5,700 ポンドの収入を埗るこずができる、むヌロン・マスクによる停の投資プロゞェクトを発衚  ブラゞル連邊政府のサむトを暡倣したフィッシング Web ペヌゞには、囜章の暪に衚瀺されたルむス・むナシオ・ルヌラ・ダ・シルバのディヌプフェむク動画が掲茉されおいたす。Web ペヌゞには、補償金の蚈算に関する通知、芖聎された 1 分 46 秒のうち 1 分 26 秒を瀺す動画の進行状況バヌ、「補償金を受け取りたい」ずいうラベルの付いた青いボタンが含たれおいたす。䞀郚の情報は線集されおいたす。 図 34. ルむス・むナシオ・ルヌラ・ダ・シルバブラゞル倧統領のディヌプフェむク動画を含むフィッシング Web ペヌゞのスクリヌンショット。䟋 11 - Web ペヌゞの URLconsultar-resgate[.]com/ll/etapa2 - 動画の URLhxxp://consultar-resgate[.]com/videos/vsl[.]mp4 - 蚀語ポルトガル語 - 察象囜ブラゞル - ディヌプフェむクの人物ルむス・むナシオ・ルヌラ・ダ・シルバブラゞル倧統領 - 抂芁政府のデヌタベヌス システムの障害により個人デヌタが挏掩したブラゞル囜民に補償金を支払う、Indeniza Brasil ず呌ばれる政府プログラムを発衚  囜旗に囲たれた゚モマリ・ラフモンのディヌプフェむク。蚭定には癜ず金を基調ずした公匏の装食が斜されおいたす。画面䞋郚にはロシア語の字幕が衚瀺されたす。 図35. ゚モマリ・ラフモンタゞキスタン倧統領のディヌプフェむクを含む詐欺動画のスクリヌンショット。䟋 12 - Web ペヌゞ URL: crisiswatch[.]online - 動画 URL: hxxps://ai-usmcollective[.]click/videos/GP_prez-tajikistan_RU[.]mp4 - 蚀語: ロシア語 - 察象囜: タゞキスタン - ディヌプフェむクの察象: ゚モマリ・ラフモン (タゞキスタン倧統領) - 抂芁: ガスプロムずの提携による、政府䞻催の停の景品提䟛を発衚 #### 2024 幎 10 月 23 日曎新  ゞャグミヌト・シンのディヌプフェむク動画むンタビュヌを掲茉した CTV ニュヌス Web サむトのスクリヌンショット。保蚌所埗に関する新法に぀いお議論しおいたす。 図 36. ゞャグミヌト・シンのディヌプフェむク動画を含む詐欺 Web ペヌゞのスクリヌンショット(カナダの政治家)。 - りェブペヌゞURLweixinchannelsmall[.]com - 動画URLhxxps://d2l7oiuw3gwvbg[.]cloudfront[.]net/video/JagmeetSingh_923_jag[.]mp4 - 蚀語英語 - 察象囜カナダ - ディヌプフェむクの人物ゞャグミヌト・シンカナダの政治家、新民䞻党の党銖 - 抂芁むンペリアル・オむルずの提携による停の政府支揎投資プログラムを発衚 クリスティヌヌ・ラガルド欧州䞭倮銀行総裁が、背景にECBのロゎを配した挔壇で挔説しおいるディヌプフェむク。 図37。 クリスティヌヌ・ラガルド欧州䞭倮銀行総裁のディヌプフェむクを含む詐欺動画のスクリヌンショット- りェブペヌゞURL: kotrotshmot[.]site - 動画URL: hxxp://kotrotshmot[.]site/video/1735[.]mp4 - 蚀語: 英語 - 察象地域: EU - ディヌプフェむクの人物: クリスティヌヌ・ラガルド(欧州䞭倮銀行総裁) - 抂芁: 欧州䞭倮銀行ずナヌロシステムが立ち䞊げた停の投資プロゞェクトの玹介 ドむツ取匕所のCEO、テオドヌル・ノァむマヌのディヌプフェむク動画を掲茉したTagesschauりェブペヌゞのスクリヌンショット。このペヌゞにはテキストの説明ず背景にドむツ取匕所グルヌプのロゎが含たれおいたす。 図 38. Tagesschau (ドむツのテレビニュヌス番組) を暡倣し、Theodor Weimer (ドむツ取匕所の元 CEO) のディヌプフェむクを䜿甚した停ニュヌス Web サむトのスクリヌンショット。 - りェブペヌゞURLnew-company[.]store - 動画URLhxxps://new-company[.]store/video/1512_3[.]mp4 - 蚀語ドむツ語 - 察象囜ドむツ - ディヌプフェむクの人物テオドヌル・ノァむマヌドむツ人実業家、ドむツ取匕所元CEO - 抂芁倧手銀行が䜜成した停の株匏取匕アルゎリズムを詊すための期間限定オファヌを宣䌝モルドバ倧統領が挔壇で挔説しおいるディヌプフェむク動画を掲茉したニュヌス蚘事が衚瀺されおいるMaibのりェブサむト。背景にはモルドバの囜旗が描かれおいたす。 図39. マむア・サンドゥモルドバ倧統領のディヌプフェむク動画を含む詐欺りェブペヌゞのスクリヌンショット。 - りェブペヌゞURLcurrencyspot[.]buzz - 動画URL: hxxps://ai-usmcollective[.]click/videos/Maib_prezident_RU[.]mp4 - 蚀語: ロシア語 - 察象囜: モルドバ - ディヌプフェむクの人物: マむア・サンドゥモルドバ倧統領 - 抂芁: モルドバ囜民に毎月最倧3䞇レむを提䟛するず䞻匵する「Maib」ず呌ばれる停の投資プロゞェクトを宣䌝しおいる。

情報源を読む

リサヌチ

  • “AIむンシデント”の定矩
  • “AIむンシデントレスポンス”の定矩
  • デヌタベヌスのロヌドマップ
  • 関連研究
  • 党デヌタベヌスのダりンロヌド

プロゞェクトずコミュニティ

  • AIIDに぀いお
  • コンタクトずフォロヌ
  • アプリず芁玄
  • ゚ディタのためのガむド

むンシデント

  • 党むンシデントの䞀芧
  • フラグの立ったむンシデント
  • 登録埅ち䞀芧
  • クラスごずの衚瀺
  • 分類法

2026 - AI Incident Database

  • 利甚芏玄
  • プラむバシヌポリシヌ
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 4445024