Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4406

関連インシデント

インシデント 8801 Report
Scammers Reportedly Using Deepfakes of Health Experts and Public Figures in Australia to Sell Health Supplements and Give Harmful Advice

Loading...
詐欺師が AI で作成した医師の動画を使ってサプリメントや有害な健康アドバイスを売りつける - ABC ニュース
abc.net.au · 2024

糖尿病の著名な専門家は、薬を処方する人々を「バカ」と評するAI生成の動画を患者が見た後、患者に正しい薬を飲んでいると安心させざるを得なくなった。

メルボルンのベイカー心臓・糖尿病研究所の副所長ジョナサン・ショー氏は、フェイスブックで宣伝している新しい治療法について患者がクリニックに電話をかけてきて情報を求め始めたときに、この動画の存在を知った。

「リンクをクリックすると、もちろん私そっくりだったが、言葉がすべて変えられていた」とショー教授は語った。

「私が言うことを信じてしまうかもしれない人たちのことをすぐに考えました。彼らは私が決して明かさない情報を耳にしているのです」

この偽の広告では、AIが、朝のテレビ番組の司会者カール・ステファノビッチ氏とショー教授の非常にリアルだが偽りの描写を作り出している。 (ABC サイエンス)

Facebook の親会社 Meta によって削除されたこの動画では、偽のカール・ステファノビッチが偽のショー教授を紹介している。ショー教授はさらに、2 型糖尿病の第一選択治療薬であるメトホルミンは「糖尿病を効果的に管理するには不十分」だと主張する。

ショー教授はその後、「わずか 24 時間で血糖値を安定させ」、「糖尿病の他の症状にも対処する」新しい治療法を紹介する。

動画で宣伝されている製品は、シナモンスティック、ベルベリンベリー、ゴーヤを含む Glyco Balance という栄養補助食品である。

このサプリメントを製造している会社 Vellec Group がこの動画の責任を負っているかどうかは不明である。

ショー教授が偽の広告をクリックすると、ABC のジャーナリスト、リー・セールスとのインタビューの記録が表示されたが、彼はそのインタビューは受けていなかった。

ショー教授との偽のインタビューは 11 月にオンラインで公開された。 (ABC サイエンス)

その中で、彼は、このサプリメントは政府の資金でベイカー研究所で開発されたと述べている。

この記録では、オーストラリアで最も一般的に処方されている薬の 1 つであるメトホルミンが危険であるとも主張している。

メトホルミンの副作用を経験する人もいるが、この薬の長期的な安全性は 十分に研究され、確立されている。

ショー教授は、偽の広告によって糖尿病患者が薬を服用しなくなるのではないかと心配していると述べた。

「私の最大の懸念は、個人的なリスクや評判ではなく、誤報です」と彼は述べた。

「これにより、一般の人々が信頼できる情報源を特定することが非常に困難になります。」

詐欺はますます巧妙化している

近年、生成 AI の改良により、有名人の身元やその他の著名人の身元を利用して商品を販売する偽の広告詐欺が大幅に増加しています。

今年初め、カール・クルシェルニツキ博士が血圧降下剤を宣伝するディープフェイク動画が、Facebook や Instagram で公開された何百もの広告に使用されました。

詐欺対策の全国慈善団体IDCAREのアウトリーチおよび教育担当マネージャー、キャシー・サンドストロム氏は、AIが生成した動画や音声を使った詐欺が「新たな常態」になりつつあると述べた。

「昨年は間違いなく、これまでで最悪の状況でした」とサンドストロム氏は述べた。

「誰もがChatGPTやその他のAIプラットフォームを採用するようになったため、犯罪者も採用しています。犯罪者の仕事は楽になります…そしてディープフェイク技術を使用すると、[詐欺]がはるかに説得力のあるものになります。」

ABCは、Glyco Balanceの製造元であるVellec Groupに、メールと、この栄養補助食品のウェブサイトに記載されている電話番号で連絡を取ろうとした。

カスタマーサービス担当者は、Vellec Group が偽の広告の責任を負っているかどうか確認できず、同社の連絡先情報も提供できなかった。

サンドストロム氏は、医療上の誤った情報の宣伝は「非常に懸念される」とし、詐欺師はメタの有名人を起用した宣伝詐欺を排除する取り組みを逃れるために、偽の広告で医療専門家を利用している可能性があると述べた。

「[サイバー]犯罪は 1 兆ドル規模の世界的産業です...彼らは常に新しい手法を模索しています」と同氏は述べた。

信頼性の錯覚を生み出す

偽の広告で医療専門家を利用すると、信頼性の錯覚も生み出され、その錯覚は AI が生成した他の詐欺的なコンテンツの迷宮によって増幅されることが多い。

グリコバランスの場合、ショー教授のディープフェイクは、組織的なオンライン詐欺の一部にすぎないようだ。

この栄養補助食品をオンラインで検索すると、AIが生成したと思われる顧客レビューや証言を掲載したスポンサーサイトやYouTube動画が多数表示されます。

また、科学者が自分の出版物を追跡するリポジトリサイトであるResearchGateへのリンクも表示されます。

「Glyco Balance Australiaレビュー - この血糖値フォーミュラは効果があるか?これを読んでください!」というタイトルの記事が、スタンフォード大学の研究者「リチャード・ジョージ博士」によってこのサイトに掲載されました。

しかし、スタンフォード大学は、リチャード・ジョージ博士が教員またはスタッフとして記録されていないことを確認しました。

偽名で出版したり、製品を宣伝したりすることは、ResearchGateのガイドラインに違反します。ABCは、この記事と研究者のプロフィールについてResearchGateに連絡しましたが、問い合わせには応答しませんでした。

記事には顧客レビューと製品を購入するためのリンクが含まれています。 (ABC サイエンス)

同様に、グリコ バランスのウェブサイトには、この製品は栄養学を専門とする米国在住の医師アラン ギャビー氏を含む医師らによって開発されたと記載されている。

ABC はギャビー医師に連絡を取り、同氏はこの製品に一切関与していない、または関係がないことを確認した。

糖尿病患者は騙される

ファーストネームしか明かさない北ニューサウスウェールズ州の男性マイケル氏は、フェイスブックを通じてグリコ バランスについて初めて知った。

10 年前に糖尿病と診断されたこの 79 歳の男性は、新たな症状が出始めた後、リンクをクリックすることにした。

「『続きを読む』のタグをクリックすると、その後ろにノーマン・スワン博士の長いインタビューがありました。

「オックスフォード大学とアストラゼネカ(いずれも有名な企業)と共同で製品を開発したことの詳細を記したページが何ページもありました。」

読み込み中...

マイケルは、期間限定のオファー(3本分の価格で5本)があることに気づき、サプリメントを試してみることにしました。

しかし、彼はすぐに購入を後悔しました。

「戻ってコメントを読み始めました…人々は『1錠飲んだら気分が良くなった』と言っていました」と彼は言いました。

「いい加減にしろ…1錠で気分が良くなるわけがない。」

それから間もなく、マイケルは支払った340ドルの返金を要求しました。

根拠のない健康に関する主張への取り組み

グリコバランスのサプリメントには、「健康的な血糖値と脂質プロファイルをサポートする」ように配合された「天然抽出物と必須ビタミン」が含まれていると言われています。

しかし、2型糖尿病の管理に関しては糖尿病患者には、いくつかの栄養補助食品に効果があるという証拠はわずかしかなく、保健当局は、効果が証明されていない健康食品で治療を代替すべきではないと強調している。

Glyco Balanceの虚偽広告では、オーストラリアの医薬品管理局(TGA)によって「承認」されているとも記載されている。

ただし、オーストラリア医薬品登録簿には記載されておらず、TGAによる品質、安全性、有効性の評価も受けていない。

TGAの広報担当者は、規制当局はこの問題、および医療従事者や健康食品の有名人による宣伝に関する他の問題を認識しており、「状況を評価中」であると述べた。

「我々は、オーストラリア人が未承認の治療製品や、これらの製品に関する情報をオンラインで入手することによる健康と安全を懸念している」と広報担当者は述べた。

「インターネットで購入されるものなど、オーストラリアで供給が承認されていない治療製品の安全性や品質について保証がないことを消費者が認識することが重要です。」

オーストラリアでは、医療従事者や医療研究者も治療製品の推奨や、それらに関する証言を行うことが禁止されている。

ショー教授は、偽の推奨詐欺は、その中心にいる医療専門家にとって厄介な法的問題を引き起こす可能性があると述べた。

ジョナサン・ショー教授は、メルボルンのベイカー心臓糖尿病研究所の副所長。(ベイカー研究所提供)

「非常にうまく機能しているように見えるあらゆる種類の規制があるが、突然、こうしたことが起こり、すべてが台無しになった」と同教授は述べた。

医療専門家がなりすましされたり、AIによって声が複製されたりするリスクがあるため、すでに一部の医療専門家がメディアに登場したりオンラインで交流したりすることを妨げていると同教授は付け加えた。

医師のディープフェイクに対処するのは誰の仕事か?

メタは、ベイカー研究所が報告してから9日後の11月29日に、偽のショー教授のビデオを削除した。同研究所は、別の知的財産権侵害の苦情を申し立ててから初めてビデオが削除されたと述べた。

「メタは、当社のプラットフォーム上で詐欺行為が行われることを望んでおらず、詐欺を防止するためのツールとテクノロジーへの投資を続けている」と同社の広報担当者は述べた。

4月から5月にかけてのパイロットプログラムで、Metaは著名人の顔を使ったAI生成詐欺を8,000件以上削除した。

同社はまた、自社製品の宣伝のために有名人を使った詐欺師に対抗するための顔認識技術のテストも行っている。

しかし、これまでのところ、この技術はプログラムにオプトインする必要がある選ばれた5万人の著名人に限定されている。その間、より多くの医療専門家がターゲットにされている。

「糖尿病の非常に著名な専門家にも同様のことが起きたことがあることを私は知っています」とショー教授は語った。

TGAの広報担当者は、規制当局はMetaを含む複数のデジタルプラットフォームと緊密に連携し、治療用商品の違法広告を阻止し、対処していると述べた。

2023年から24年にかけて、TGAはさまざまなデジタルプラットフォームから4,800件を超える治療用商品の違法広告の削除を要請した。

サンドストロム氏は、テクノロジー企業と規制当局にとっての重要な課題の1つは、作成される不正な素材の量とその開発速度であると述べた。

彼女は状況を「モグラ叩き」と表現し、他の広告が削除された直後に新しい広告が表示されることが多いと述べた。

「動画であれFacebookの投稿であれ、オンラインコンテンツを見るときは、そのデフォルトの疑いを持ち、それを調べて、意味があるかどうかを確認する必要があります」と彼女は述べた。

「つまり、何かとやり取りする前に5分余分に時間をかけなければならないということです。

「疲れますが、とても重要です。」

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd