Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4084

関連インシデント

インシデント 7952 Report
Deepfake Elon Musk Videos Have Reportedly Contributed to Billions in Fraud

Loading...
「ディープフェイク イーロン マスク」がいかにしてインターネット最大の詐欺師になったか
nytimes.com · 2024

スティーブ・ボーチャンプ氏が望んでいたのは、家族のためのお金だけだった。そして、イーロン・マスクが助けてくれるだろうと考えた。

82歳の退職者であるボーチャンプ氏は、昨年末、マスク氏が急速な利益を約束する過激な投資機会を推奨するビデオを見た。同氏はその売り込みの背後にある会社に連絡し、248ドルで口座を開設した。数週間にわたる一連の取引を通じて、ボーチャンプ氏は退職金口座を使い果たし、最終的に69万ドル以上を投資した。

その後、お金は消えた――人工知能を利用した新しい犯罪組織の最前線にいるデジタル詐欺師に奪われたのだ。

詐欺師たちは、マスク氏との本物のインタビューを編集し、AIツールを使用して声をレプリカに置き換えていた。AIは非常に洗練されており、デジタルフェイク用に彼らが書いた新しい台本に合わせて、微細な口の動きを変えることができた。一般の視聴者には、この操作は気づかれないかもしれない。

「つまり、彼の写真は彼そのものだった」と、自分が見たマスク氏の動画についてボーシャン氏は語った。「AIが彼にあの発言をさせたのかどうかは、私にはまったくわからない。だが、あの動画に関しては、誰かが『彼を選んで』と言ったなら、それが彼だ」

AIが制作したこの動画はディープフェイクと呼ばれ、ここ数カ月でインターネット上に何千本もあふれ、偽のマスク氏が投資家志望者を騙す姿が映し出されている。デロイトの推定によると、AIを活用したディープフェイクは毎年、詐欺による損失に数十億ドルの寄与をすると見込まれている。

動画の制作コストはわずか数ドルで、数分で作れる。Facebookの有料広告を含むソーシャルメディアで宣伝され、リーチを拡大している。

ディープフェイクを監視・検出する企業、センシティの共同創業者で脅威情報担当チーフのフランチェスコ・カヴァッリ氏は、「おそらくディープフェイクを使った詐欺としては史上最大規模だ」と語った。

動画は不気味なほどリアルで、マスク氏の特徴的なぎこちない話し方や南アフリカ訛りがとらえられている。

詐欺師は本物の動画から始める。たとえばウォール・ストリート・ジャーナルのインタビューは編集者のソロルド・バーカー氏が行ったもので、バーカー氏の声も動画に使われている。

マスク氏の口の動きはリップシンク技術で編集されており、話し方を微調整する。詐欺師は音声クローンツールを使用してAIの音声を追加し、サンプル動画の音声をコピーする。

2,000本以上のディープフェイクを分析したセンシティによると、動画に登場するスポークスマンは圧倒的にマスク氏だった。

センシティによると、昨年末以降、ディープフェイク詐欺のほぼ4分の1にマスク氏が出演している。暗号通貨に焦点を当てた動画では、ほぼ90%の動画にマスク氏が出演している。

ディープフェイク広告には、著名な投資家のウォーレン・バフェット氏やアマゾンの創業者ジェフ・ベゾス氏なども登場している。

マスク氏はコメント要請には応じなかった。

オンライン上に出回っているディープフェイクの数を正確に数えるのは難しいが、詐欺を宣伝する一般的な言葉についてフェイスブックの広告ライブラリを検索したところ、数十万件の広告が見つかり、その多くにディープフェイク動画が含まれていた。フェイスブックはすでにポリシー違反を理由にその多くを削除し、責任のあるアカウントの一部を無効化しているが、他の動画はオンラインに残っており、毎日のように新たな動画が登場しているようだ。

YouTube にも偽動画があふれており、多くの場合、動画が「ライブ」であることを示唆するラベルが付けられている。実際、これらの動画は事前に録画されたディープフェイクである。

「ライブ」YouTube 詐欺

YouTube で「イーロン ビットコイン カンファレンス」を検索すると、ディープフェイクのマスク氏が仮想通貨詐欺を宣伝するライブ動画と思われる動画が数十本表示された。一部の動画は数十万人が視聴した。

ドナルド J. トランプ前大統領が土曜日にビットコイン カンファレンスで講演した後、YouTube は「ライブ」ラベルを使用して、イーロン マスク氏が自分のアカウントに送られた仮想通貨を個人的に 2 倍にすると言う録画されたディープフェイク バージョンを映した数十本の動画をホストした。一部の動画は数十万人が視聴したが、YouTube は詐欺師がボットを使用して視聴者数を人為的に増やすことができると述べている。

非営利の消費者擁護団体であるBetter Business Bureauの報告によると、あるテキサス人は、2023年2月にいわゆるライブYouTube動画でマスク氏が話している「なりすまし」を見た後、3万6000ドル相当のビットコインを失ったと語った。

「ビットコインを送ったが、何も戻ってこなかった」とこの人物は書いている。

YouTubeは声明で、今年1月から3月にかけてガイドラインに違反したとして1570万以上のチャンネルと820万以上の動画を削除したと述べ、そのほとんどはスパムに対するポリシーに違反していた。

偽の広告が蔓延したことを受け、フェイスブックでディープフェイク広告を作成するためにも動画が使用されたオーストラリアの億万長者アンドリュー・フォレスト氏は、親会社であるMetaに対し、広告事業の運営方法に過失があったとして民事訴訟を起こした。同氏は、フェイスブックの広告事業が「罪のないユーザーを悪い投資に誘い込んだ」と主張した。

フェイスブックを所有するメタは、同社がプラットフォーム上で詐欺を摘発するために自動検出システムを訓練していると述べたが、資金力のある詐欺師が常に戦略を変えて検出を逃れるいたちごっこになっているとも述べた。

ユーチューブは、詐欺や操作された動画を禁止するポリシーを指摘した。同社は3月、クリエイターがAIを使用してリアルなコンテンツを作成する場合、開示 ことを義務付けた。

インターネット上には現在、詐欺に遭って何千ドルも騙し取られたという同様の報告があふれており、中には一生分の蓄えを失った人もいる。香港の証券先物取引委員会は5月、マスク氏を騙した詐欺について警告を発した。今年初め、連邦取引委員会と連邦捜査局は、AIを活用したサイバー犯罪やディープフェイク詐欺が増加していると米国民に警告した。

FBIは電子メールによる声明で、「犯罪者はAIを戦力増強装置として活用し」、サイバー攻撃やその他の犯罪行為をより効果的かつ検出しにくくしていると述べた。

デジタル詐欺はインターネット自体と同じくらい古い。しかし、マスク氏をフィーチャーした新しい波のディープフェイクは、洗練されたAIツールが一般に公開され、誰でも有名人の声を複製したり、不気味なほど正確にビデオを操作したりできるようになった昨年登場した。ポルノグラファー、ミームメーカー、そしてますます多くの詐欺師が注目するようになった。

###「ディープフェイクイーロンマスク」

オンラインで流通している何千もの広告には、イーロンマスクのAIバージョンが暗号通貨製品を売り込んだり、投資で大きな利益を約束したりしている。

「組織犯罪が『これで金が儲かる』と気付いたため、状況は変わりつつある」とサイバーセキュリティ研究機関CTM Insightsの創設者ルー・スタインバーグ氏は言う。「だから、あなたから金を奪おうとするこうした偽の試みはますます増えるだろう」

AIが生成した動画は完璧とは言い難い。マスク氏は動画の中でロボットのように聞こえることがあり、口の動きと言葉がいつも一致しているわけではない。しかし、詐欺の標的の一部にとっては十分に説得力があるように見え、常に改善されていると専門家は言う。

センシティのカバリ氏によると、こうした動画の制作コストはわずか10ドル。インド、ロシア、中国、東欧を拠点とする詐欺師たちは、無料と安価なツールを組み合わせて10分以内に偽の動画を作り上げている。

「効果がある」とカバリ氏は言う。 「だから彼らは、国を越えてキャンペーンを拡大し続け、複数の言語に翻訳し、詐欺をさらに多くのターゲットに継続的に広めるだろう」

詐欺の中には、投資で信じられないほどの利益を生み出すことができると主張する偽のAI搭載ソフトウェアを宣伝するものがある。ターゲットは最初に少額(約250ドル)を送るように勧められ、詐欺師が最初の投資の価値が上がっていると主張すると、徐々により多くの投資に誘われる。

テスラの株主総会から撮影されたあるビデオでは、ディープフェイクのマスク氏が、AIを搭載した自動取引の製品について説明している。この製品は、毎日、特定の投資を2倍にすることができる。

暗号通貨コミュニティを研究した専門家は、マスク氏のユニークな世界的なファンベースである保守派、反体制派、暗号通貨愛好家は、富を稼ぐための代替手段に惹かれることが多く、詐欺の完璧なターゲットになっていると述べた。

「富の秘訣は自分たちには隠されていると信じている人々が確かにいる」と、仮想通貨コミュニティを研究してきた研究者のモリー・ホワイト氏は言う。彼らは「その秘訣がわかれば、それで十分だ」と考えている。

詐欺師は、仮想通貨やAI、マスク氏には詳しいかもしれないが、最も安全な投資方法には詳しくない高齢のインターネットユーザーをターゲットにすることが多い。

「高齢者は常に、非常に詐欺に遭いやすく、儲かる層だった」と、仮想通貨市場の専門家でカリフォルニア大学デービス校の科学技術研究教授、フィン・ブラントン氏は言う。同氏は、Facebookなどのプラットフォームが高齢者を詐欺しやすくするずっと前から、高齢者は詐欺の標的になっていたと付け加えた。

カナダのオンタリオ州で企業で営業担当として75歳まで働いていた未亡人のボーシャン氏は、2023年にフェイスブックに入社して間もなく、ある広告に出会った。同氏はCNNでその動画を生放送で見たことを覚えているが、CNNの広報担当者はマスク氏は何年もインタビューに現れていないと述べた。 (ニューヨーク・タイムズは、ボーチャム氏の説明に一致する動画を特定できなかったが、同氏は、自身の話は、ディープフェイクされたマスク氏によってオンラインで詐欺に遭った別の女性とほぼ同じだと述べた。)

ニューヨーク・タイムズが入手したボーチャム氏と同社との間の電子メールによると、同氏は昨年12月、マグナFXと名乗る会社に2万7216ドルを送金した。マグナFXは、同氏の投資額が増加しているように見せかけた。ある時点で、営業担当者がソフトウェアを使用してボーチャム氏のコンピューターを乗っ取り、資金を移動させて投資したとみられる。

お金を引き出すには、ボーチャンプ氏は3,500ドルの事務手数料とさらに3,500ドルの手数料を支払うよう言われた。彼はそのお金を送金したが、資金の一部を引き出すには2万ドルを支払う必要があると告げられた。約20万ドルだ。彼はその金額も支払った。

ボーチャンプ氏は詐欺師たちに、退職金を使い果たし、クレジットカードを使い切り、信用枠を利用し、投資と手数料の支払いのために妹からお金を借りたと伝えたが、詐欺師たちはそれ以上の金額を要求した。彼らはさらに手数料を支払うよう要求した。ボーチャンプ氏は警察に通報した。

ボーチャンプ氏が話したエージェントが使用した会社のウェブサイト、電話番号、メールアドレスなど、マグナFXの痕跡のほとんどはオフラインにされた。ほぼ同じ名前で同様のサービスを宣伝している別の会社は、コメントの要請には応じなかった。

「今こそ、私をバカ、愚か者、間抜け、その他思いつく限りのあらゆる言葉で呼ぶ時だと思う」と、ボーシャン氏はBetter Business Bureauに提出した報告書に記した。

ボーシャン氏は、詐欺師たちと共有していない少額の退職金口座と年金を使って、なんとか請求書を支払っていると述べた。同氏は退職後、世界を旅する計画を立てていた。

ボーシャン氏は地元警察に報告書を提出したが、この事件についてはほとんど進展がないと同氏は語った。

「あらゆるところで詐欺が横行しているため、私の事件は順番待ちになった」と同氏は語った。「あまり期待していない」

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd