スパムメッセージはWeb自体が登場する前から存在していましたが、生成AIによってその流暢性が飛躍的に向上し、巧妙でローカライズされた詐欺が次々と生み出され、犯罪者はこれまで無視していた地域や方言にも手を出すようになりました。
フィッシング詐欺などのスパムを見分けるための従来からの危険信号の一つは、スペルミスや構文の誤りでしたが、生成AIの活用によって人間の介入がなくなることで、この状況は変わりました。
「現時点では、私たちが受け取るスパムの半分は生成AIによって作成されていると推測しています。スペルミスや文法ミスの数は劇的に減少しています」と、英国のセキュリティ企業SophosのグローバルフィールドCISO、チェスター・ウィズニエフスキー氏は、今週開催されたRSAカンファレンスでThe Registerの取材に答えました。 「この話は何度か冗談で言ったことがあるんだけど、文法やスペルが完璧だったら、それは詐欺だろうね。人間だってたいてい間違いはするんだから。」
AIはスパムやフィッシングの地理的範囲も広げた。人間が主にコンテンツを作成していた頃は、犯罪者は最小限の労力で最大のターゲット層を狙うため、共通言語に固執していた。しかし、ウィスニエフスキー氏は、AIのおかげで様々な言語でメールを作成することがはるかに容易になったと説明した。
彼は自身の出身地であるカナダの例を挙げた。フランス語圏のケベック州では、スパムメールはケベック語ではなく伝統的なフランス語で書かれていることが多いため、住民はすぐに見分けることができる。しかし、AIシステムは簡単に説得力のあるケベック語を生成できるため、被害者を罠にかけるのが容易になる。
ポルトガル語のスパムにも同様の傾向が見られる。ブラジルの人口はポルトガルの約20倍であることから、詐欺師はこれまでブラジル系ポルトガル語を巧妙に利用してきました。しかし今、AIがヨーロッパ系ポルトガル語でコンテンツを生成できるようになったことで、ポルトガルの住民は、現地の言語スタイルで作成されたフィッシング詐欺を見抜くことがますます困難になっています。
「犯罪組織の観点から見ると、これは世界が開かれたようなものです」と、セキュリティコンサルタント会社NCCグループの最高執行責任者（COO）であるケビン・ブラウン氏はThe Register紙に語りました。
「長年行ってきたフィッシング対策の訓練は一体何だったのでしょうか？ 分かりやすい例、つまり文法の誤り、緊急性、そういった明白な点です。ところが、AIは一夜にして『いいでしょう、正しい言葉遣いで、句読点もきちんとした、現地の言葉で書かれた記事を書こう』と言い出したのです。」
ロマンス詐欺、別名「豚の屠殺」についても同じことが言えます。 AIチャットボットは、少なくとも初期段階では、魅力的なパートナーに口説かれていると思い込ませ、被害者を騙すのに非常に効果的であることが証明されています。
ウィズニエフスキー氏によると、AIチャットボットは詐欺の初期段階を容易に処理し、関心を示し、共感的な態度を見せます。その後、人間のオペレーターが操作を引き継ぎ、金銭的な支援を求めたり、ポンジスキームへの投資を勧めたりすることで、被害者から資金を引き出し始めます。
聞いたことを鵜呑みにしてはいけません
ディープフェイクに関して、ウィズニエフスキー氏は、AIアバターの音声版が既に企業の被害者を騙していると指摘しました。例えば、詐欺師はIT部門の誰かを模倣したAI生成の音声でサポートチーム全員に電話をかけ、パスワードを尋ね、被害者の一人が屈するまで続けるかもしれません。
「リアルタイムの音声ディープフェイクはわずかな費用で作ることができます」と彼は言います。
しかし、ウィスニエフスキー氏はリアルタイム動画ディープフェイクに懐疑的な見方を示し、特に昨年2月に香港の従業員がCFOのディープフェイクを使ったビデオ通話で2500万ドルを詐欺師に送金させられたとされる広く報道された事件を挙げた。同氏は、誰かが単に間違ったボタンを押しただけで、無能さを認めるのではなく、最近の流行のせいにしようとしている可能性の方がはるかに高いと示唆した。
同氏は、数十億ドル規模の大手AI企業でさえ、本物らしくインタラクティブなリアルタイム動画アバターを作成するという課題をまだ解決できていないと指摘した。犯罪者が自らモデルを構築してこれを実現できるという考えは現実的ではない。しかし、それは時間の問題だ。
「音声ディープフェイクと同じ道を辿れば、犯罪者が安価な価格でディープフェイクを入手できるようになるまであと2年、そしてFacebookで一番嫌いな叔父が冗談でディープフェイクをするのは3年後になるだろう」とウィズニエフスキー氏は述べた。
しかしブラウン氏はこれに異議を唱え、NCCグループのペネトレーションテスターは動画フェイクの分野で一定の成功を収めていると述べた。
「我々は特定のユースケースにおいて、動画ディープフェイクの作成に成功している。しかし、これは何年もこの仕事をしてきた専門家によるものだ」と彼は述べた。「我々はディープフェイクの作成は可能だが、いずれ産業化されるだろう」
ブラウン氏とウィズニエフスキー氏は共に、既存のシステムを超えた、通信における個人認証が喫緊の課題となるだろうという点で一致した。