関連インシデント
マルコ・ルビオ国務長官を装ったディープフェイク音声が、ルビオ国務長官の声を模倣したAI生成ボイスメールを使って、外務大臣、米国知事、そして国会議員に連絡を取ったことが、米国高官と7月3日付の国務省電報で明らかになった。
機密情報の窃取やアカウントへのアクセスを目的としていたとされるこのメッセージの受信者が、この詐欺に騙されたという公的な証拠はない。しかし、この事件は、AI音声詐欺がいかに容易で、そして驚くほど説得力を持つようになったかを示す、最新の注目すべき事例となっている。
Eleven Labs、Speechify、Respeecherなどのサービスに15～30秒の音声をアップロードするだけで、どんなメッセージでも入力して本人の音声で読み上げてもらうことができます。これらのツールは、 アクセシビリティからコンテンツ作成まで、様々な用途で完全に合法的に使用されていますが、多くのAI技術と同様に、悪意のある人物によって悪用される可能性があることに留意してください。
ディープフェイクの脅威が拡大
AIによって生成されるディープフェイクは、特に経営幹部や公務員のディープフェイクに関しては目新しいものではありませんが、大きな問題になりつつあります。8か月前、私は報告 し、調査対象となった最高情報セキュリティ責任者（CISO）の半数以上が、動画および音声のディープフェイクをますます懸念していると回答しました。この脅威はますます高まっています。 Surfsharkの新たな調査によると、2025年上半期だけでディープフェイク関連のインシデントが580件に急増した。これは2024年全体（150件）の約4倍であり、2017年から2023年の間に報告された64件を大幅に上回る。ディープフェイク詐欺による損失も急増し、累計8億9,700万ドルに達し、そのうち4億1,000万ドルは2025年上半期だけで発生した。最も一般的な手口は、著名人になりすまして詐欺的な投資を促進するというもので、既に4億100万ドルの損失が発生している。
「ディープフェイクは、現実の、活発なサイバーセキュリティの脅威へと進化している」と、ソフトウェアセキュリティ企業FronteggのCTO兼共同創業者であるアビアド・ミズラチ氏はメールで語った。 「AIが生成したビデオ通話によって、従業員が数百万ドルの支払いを承認させられるという事例が既に発生しています。こうした攻撃は今まさに起こっており、ハッ カーにとってこの詐欺行為は驚くほど容易に実行できるようになっています。」
ミズラチ氏はさらに、問題の一部は、従来の認証方法（ユーザー名、パスワード、ワンタイムコード、認証アプリなど）が、詐欺師が数秒で声や顔を複製できるような状況を想定して設計されていないことだと付け加えた。なぜなら、こうした詐欺は必ずしもアカウントへの侵入を伴うものではなく、実在の人物を騙して認証情報を渡させたり、自ら行動を承認させたりすることに依存しているからだ。
「個人の身元を確認するための従来のセキュリティ対策は、もはや機能していないのは明らかです」とミズラチ氏は述べ、ほとんどのサイバーセキュリティチームが依然としてディープフェイクを見落としており、攻撃者が悪用する脆弱性はまさにそこにあると付け加えた。ボイスメールやビデオ通話で、説得力のある偽の声を流せば、たとえ技術的にすべての認証ツールが整っていても、通常の手続きを回避したり、電信送金を承認させたりすることができます。
ミズラチ氏によると、このような欺瞞行為を防ぐには、スマートフォンやハードウェアセキュリティキーといった物理デバイスを用いて本人確認を行う、より強力なセキュリティツールを組織が導入する必要があるとのことです。FIDO2やWebAuthnパスキーと呼ばれるこれらのツールは、ハッカーが偽造したりフィッシングしたりすることがはるかに困難です。また、デバイスのチェックに加え、スマート認証システムは、入力速度、位置情報、ログイン習慣といった行動シグナルを監視し、複製された音声では模倣できない異常を検知することもできます。 こうした追加レイヤーによって、ディープフェイク攻撃の成功ははるかに困難になります。
セキュリティ企業DarktraceのセキュリティおよびAI戦略担当ディレクター、マーガレット・カニンガム氏は、ルビオ氏へのなりすまし攻撃は、生成AIがいかに容易に、説得力のある標的型ソーシャルエンジニアリング攻撃を仕掛けるために利用できるかを示していると述べています。
「この脅威が失敗したのは、下手な作りだったからではありません。人間の脆弱な瞬間を逃したからです」と彼女は述べた。「人は冷静で集中力のある状況では決断を下せないことが多いのです。マルチタスクをこなしながら、プレッシャーを感じながら、慣れ親しんだものに導かれて行動します。そんな時、信頼できる声や公式に見えるメッセージは、簡単に警戒心をすり抜けてしまうのです。」
ディープフェイクは世界中の民主主義に影響を与えている
生成AIは、メディア操作における参入障壁を劇的に下げ、これまで以上に迅速、安価、そしてスケーラブルなものにしました。そして、それは世界中の民主主義に影響を及ぼしています。最近のニューヨーク・タイムズの報道によると、AIを活用したディープフェイクは、少なくとも世界50カ国で選挙を変貌させ、反対派を貶めたり名誉を傷つけたりするために利用されていることが明らかになりました。
「これは影響力行使における新たなフロンティアです」と、民主主義防衛財団のAI研究員であるリア・シスキンド氏は語りました。「政府高官のディープフェイクが個人のアカウントへの アクセスに利用された例は他にもありますが、外交関係や意思決定に影響を与えるためにAIを活用することは危険なエスカレーションです。これは深刻な外交的影響を及ぼす、喫緊の国家安全保障問題です。」