Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 5213

関連インシデント

インシデント 10762 Report
Purported Unauthorized Deepfakes of Norman Swan and Others Circulated in Online Supplement Campaigns

Loading...
ノーマン・スワンのディープフェイク動画が、人々を騙して健康を害するリスクを負わせ、効果の証明されていないサプリメントを購入させている。
abc.net.au · 2025

それは約18ヶ月前に始まりました。当時も今も、衝撃的です。

リスナー、視聴者、友人、同僚、家族から連絡が来るようになりました。皆、当時も今も、ほぼ同じ質問をしてきました。

「あなたが出演しているこの広告は本物ですか? 商品を買ってもいいですか?」

彼らが見たのは、FacebookやInstagramで見た動画や記事で、心臓病、糖尿病、肥満の治療を謳うサプリメントや減量商品を私が宣伝しているものでした。

私はしばしば医療専門家を蔑視し、当時の科学的知見を「愚かだ」と罵倒していました。

最初の偽広告が出回ったとき、ABCに削除を依頼しました。しかし、効果はありませんでした。

そして今年、偽広告が再び出回り始めました。以前よりもはるかに巧妙で、量もはるかに多かったのです。

偽ノーマンは現在、私の知る限り、効果が実証されていない4つの商品を宣伝しています。

Facebookに頻繁に表示されるAI生成動画の一つは、レベル・ウィルソンが「ノーマン・スワン博士」が推奨する新しいサプリメントのおかげで減量できたと語る内容です。

もう一つのディープフェイク動画も同じ形式で、歌手のアデルが出演しています。これらのディープフェイク動画は、Keto Flow + ACVという効果の実証されていない減量製品の外部ウェブサイトにリンクしています。

私が巻き込まれたもう一つの悪質な詐欺は、Glyco Balanceという効果の実証されていない製品に関するものです。

Glyco BalanceとKeto Flow + ACVはどちらも「オールナチュラル」の成分で作られているとされています(ただし、成分リストはウェブサイトによって異なります)。マーケティング上の主張を裏付ける科学的根拠はほとんど、あるいは全くなく、その売り文句は到底無害とは言えません。

危険な健康アドバイス

デビッド・ベルはメルボルン北部郊外の老人ホームに住んでいます。

彼は教養があり――趣味は19世紀から20世紀初頭のロシアの詩人の英語翻訳――しかし、健康状態は悪く、糖尿病を患っています。

彼のノートパソコンに、私が書いたという記事が表示され、彼の興味を引きました。

「これは面白い。ノーマンは糖尿病についてどんなことを言っているのだろう」と彼は言いました。

「説得力のある記事でした。そして、そこにはメトホルミンという化学物質があり、それは体に良くない、服用をやめた方がいいと書かれていました。」

メトホルミンは2型糖尿病の治療に用いられる中核的な薬剤の一つで、失明や腎障害などの糖尿病合併症の予防に効果的です。

その記事は、糖尿病患者にメトホルミンの服用を中止し、代わりにグリコバランスの服用を始めるよう勧めていました。

その記事は非常に説得力があったため、デイビッドは処方薬を服用しなくなりました。

「騙された自分に腹が立つけど、あなたは権威者だ」とデイビッドは言った。

「あなたは医療業界ではよく知られた存在だ。なぜ信じないというんだ?」

2024年後半、メタプラットフォームに、似たような内容のグリコバランスの広告が再び表示された。

今度は私ではなく、メルボルンのベイカー心臓糖尿病研究所の糖尿病研究の第一人者で専門家のジョナサン・ショー氏を映したAI生成動画だった。

アデレード在住のジャニスさんが減量を目指していた時、彼女を惹きつけたのはこのディープフェイクだった。

「彼について調べてみたら…オーストラリアの心臓と糖尿病(医療分野)で本当に高い地位にいることが分かりました」と彼女は7.30に語った。

「それで、『この人はこの製品を作ったんだ。さすがオーストラリア人だ。試してみよう』と思ったんです」

ジャニスさんの注文が届いた時、ボトルには204mgと書かれていましたが、広告には800mgと書かれていました。

彼女の銀行口座にも、本来200ドル強ではなく300ドル以上が引き落とされていました。そしてジャニスさんは、会社が知らないうちに毎月300ドル以上を引き落としていたことにようやく気づきました。

それでも、彼女はどうなるのか確かめるためにサプリメントを試しました。

「実は、減量の話になりますが…最初のボトルを飲んでいる間に体重が数キロ増えました」とジャニスさんは7.30に語りました。

責任者の追跡

7.30は、Glyco BalanceとKeto Flow + ACVに関連する登録企業3社を特定しました。Vellec Group NZ Ltd、Healthy Life Choices NZ Ltd、Apex United Pty Ltdです。

これらの企業はクライストチャーチとゴールドコーストにオフィスを構え、米国に拠点を置くグローバル企業と関係があるようです。

これらの企業は、消費者を誘い込むために、同じ販売・マーケティング戦略、同じウェブサイトレイアウト、そして同じ欺瞞的な戦術を用いています。

7.30は、これらの企業の経営に関与している人物の一部が互いに関連していることを発見しました。

多くの顧客が両製品について同じ苦情を訴えています。具体的には、過剰な請求を受けたり、許可なく毎月の自動引き落としに登録されたりしているというものです。

7.30は、関係企業にメールと電話で連絡を取り、オークランドに拠点を置く会計士にも連絡を取りました。唯一の登記上の取締役であるにもかかわらず、事業との関わりを否定する人物が1人いた以外、他に回答はありません。

これらの企業に連絡を取った後、Glyco Balanceのメイン注文ページは削除されました。

アフィリエイトウェブサイトは現在、顧客を「Glucovate」と「Glyco Forte」の注文ページにリダイレクトしています。

インターネットアーカイブを検索すると、この製品が過去に名称変更されたことが分かります。その中には、18ヶ月前に私が初めてディープフェイクされた「Blood Balance」も含まれています。

ディープフェイクの作り方

これらの偽物は驚くほど簡単に作れます。

「ノートパソコン、インターネット接続、無料または有料のソフトウェアがあればいいので、資本集約型のビジネスではありません」と、ニューサウスウェールズ大学コンピュータサイエンス・エンジニアリング学部のサンジェイ・ジャー氏は述べています。

彼と学生のウェンビン・ワンは、教育用に人工知能モデルを開発しました。彼らは、詐欺師が私のディープフェイクをどのように作成したかを示してくれました。

詐欺師はまず、YouTubeなどのプラットフォームから私の動画を撮影します。そして、数ドルで購入できるディープフェイクプログラムにアップロードします。

まず、数秒ほどの短いサンプルから私の声を複製します。次にAIモデルが私の容姿を複製し、動画をフレームごとにスキャンして、私の顔を様々な角度からマッピングします。そして、詐欺師は私に言わせたい言葉を入力します。

Metaの「逃げ道」

Shaw教授は、薬の服用を中止したい、またはサプリメントをどこで入手できるかを知りたいという人々からのメールや電話を受け始めたとき、問題があることを悟りました。

Metaに偽広告を削除させようとした当初の試みは、ベイカー研究所の弁護士が商標権と知的財産権の侵害があったとMetaに報告するまで、成果を上げませんでした。

こうしてMetaは回答を得て、詐欺行為を削除しました。しかし、新しいバージョンが次々と現れました。

ABCもMetaの注意を引くのに苦労している。

ロッド・マクギネス氏はABCのソーシャルコミュニティ責任者で、ABCのソーシャルメディアにおけるプレゼンスを調整している。彼は、カール・クルシェルニツキ氏、アラン・コーラー氏、マイケル・ローランド氏、バージニア・トリオリ氏など、10人以上のABCパーソナリティが詐欺師に利用された経験を持つ。

「私たちは長年にわたり、こうした問題を報告し、Metaに『何か対策を講じてもらえますか?』と訴えてきました。しかし、ほとんどの場合、何の反応もありません」とマクギネス氏は7.30に語った。

2024年、Metaは1640億ドル以上の収益を上げており、その大部分は広告収入だった。詐欺師たちはFacebookとInstagramのアルゴリズムを悪用し、有料投稿を通じて脆弱な消費者を狙っている。

これまで、Metaは責任をほとんど回避してきた。マクギネス氏は、Metaの責任の欠如に不満を抱いていると述べている。

「Facebookは常に、自分たちはパブリッシャーではないと言明してきた。パブリッシャーはFacebookを利用する人々なのだ」と彼は述べた。

「そして、今回の状況では、これはなかなか巧妙な言い訳だと思う。なぜなら、Facebookは『自分たちはこれらのことをコントロールしていない』と言えるからだ。しかし、広告収入を得るのは構わないと思っている」

Metaのセキュリティポリシー担当ディレクター兼グローバル詐欺対策責任者であるナサニエル・グレイチャー氏は、同社が重大な課題に直面していると指摘する。

「これは、産業規模で展開されている高度な攻撃であり、多くの場合、豊富な資金力を持つ犯罪組織に支えられている…そして、彼らは見つけられる限りどこでも人々を狙っている」

グレイチャー氏は述べた。

「彼らは、どんな防御策を講じても、すぐに戦術を調整してしまう」

また、Metaはディープフェイク詐欺に対して非常に積極的に取り組んできたとも述べている。

「2024年第4四半期には、10億件以上の偽アカウントを削除しました。そのうち99.7%は、誰にも気付かれる前に積極的に削除しました」と彼は述べた。

しかし、10億件以上のアカウントのうち0.3%という未削除率は、依然として多くの詐欺が潜んでいることを意味する。

「真の課題の一つは、これらの詐欺が複数のシステムを悪用していることです」とグライヒャー氏は述べた。

詐欺師はまず、金銭を受け取るための偽の銀行口座を作成します。発送する商品を実際に保管するための倉庫が必要になる場合が多く、その後、人々をオープンインターネット上のウェブサイトに誘導し、当然のことながら、即時決済システムを使用します。

「これに対抗するには、各コミュニティが協力し合うことが不可欠です。」

オーストラリア人の損失は20億ドル以上

オーストラリア競争消費者委員会(ACCC)は、国立詐欺対策センターを運営しています。

ACCCの副委員長であるカトリオナ・ロウ氏は、こうした詐欺の取り締まりは複雑であり、国内外の法執行機関との協力、そしてMetaのような通信事業者による積極的な取り組みが必要だと述べています。

「私たちは、2024年に詐欺による報告された金銭的損失が25%以上減少したことを示す報告書を発表しましたが、20億ドルの損失を考えると、まだやるべきことは山積みです」と彼女は述べました。

新たな法律により、プラットフォームが詐欺コンテンツを削除しなかった場合、規制当局は数百万ドルの罰金を科す権限を与えられました。これらのプラットフォームは警告を受けている。

「Metaを含むソーシャルメディアは、早期に指定されるセクターの一つになると予想しています」とロウ氏は述べた。

「つまり、これらのセクターが法律に基づく義務を履行しない、あるいは履行するために合理的な措置を講じない場合、金銭的な罰則が科されるということです。」

しかし、それでもデイビッドやジャニスのような人々は、詐欺に遭った後、自力で対処しなければならない。

「本当に打ちのめされました」とジャニスは7.30に語った。

「本当にひどい状況でした。本当に現実だと思っていたので、本当にショックでした。奇跡の薬を買ったばかりだと思っていたので、現実とは思えませんでした。」

ショー教授は、被害は健康や経済的なリスクよりもさらに深刻だと考えている。

「今回のことや同様のことの結果として生じるのは、不信感です」とショー教授は述べた。

>「もしかしたら、私や他の人々が健康について語るあらゆる有益な情報が、信頼されなくなるかもしれません。」

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd