報道によると、AIは詐欺師に警察になりすますためのより説得力のある方法を与えている。
先週、ソルトレイクシティ警察署（SLCPD）は、AIを使用してマイク・ブラウン警察署長の声を説得力のある形で複製するメール詐欺について警告した。
ある市民が、警察署長が「連邦政府に約10万ドルの借金がある」と主張する動画を含む疑わしいメールを受け取った後、警察に通報した。
詐欺師はターゲットを騙すために、ブラウン署長の以前のテレビインタビューの実際の映像をAI生成音声と組み合わせた。SLCPDによると、この音声は「明瞭でブラウン署長の声に非常によく似ており、地域住民にメッセージ が本物だと信じさせる可能性がある」という。
FBIは長年、警官や政府関係者になりすまして恐喝を試みる詐欺師について警告してきた。しかし、AI音声クローン技術が進歩するにつれて、こうした詐欺の検出ははるかに困難になる可能性があり、OpenAIのような最も先進的な企業でさえ、悪用される可能性に対する明らかな懸念から、最新技術のリリースをためらうようになっている。
SLCPDは、警察署長になりすましたメールには、技術に精通した市民なら気付く可能性のある手がかりがあったと指摘した。より注意深く聞くと、「メッセージには不自然な話し方、特定の単語の奇妙な強調、一貫性のないトーン」、および「文と文の間の音響編集が検知可能」であることがわかります。そしておそらく最も顕著なのは、詐欺メールが警察の公式メールドメイン「slc.gov」ではなく、「Googleアカウントから送信され、ソルトレイクシティ警察署の名前に数字が続いていた」ことです。
SLCPDは、AI警官のなりすましに対処している唯一の警察署ではありません。タルサでもこの夏、同様の問題が発生しました。詐欺師がタルサ警察官のエリック・スプラドリンに聞こえるように設計された説得力のある偽の声を使用して住民に電話をかけ始めたと、パブリックラジオタルサが報告しました。電話を受けたソフトウェア開発者のマイルス・デイビッド氏は、今日のAIのリスクは理解していたが、彼でさえ「不意を突かれた」ため、電話が本物でないことを確認する ために警察に電話しなければならなかったと語った。
「この人物は、本当に私と話すつもりだったかのように、非常にカジュアルな会話のように聞こえました」とデイビッド氏は語った。「彼は私のファーストネームとラストネームを使いました。彼らは非常にカジュアルに話しました。それがとても本物のように聞こえ、最終的にとても怖かったのです。」
ソルトレイクシティの事件で明らかに偽のメールアドレスが使われたのとは異なり、タルサの詐欺の標的となったサイバーセキュリティ教授のタイラー・ムーア氏は、詐欺電話をタルサ警察の電話回線から発信されたように見せるのは比較的簡単だと、パブリック・ラジオ・タルサに語った。
警察は、偽の警官には警察に電話するようアドバイス
この新たなAIの悪用は米国に限ったことではない。 3月にKaveriというユーザーがXに投稿した投稿は、 80万回再生された動画は、インドで警官を装った詐欺師が、言われた通りにしなければ幼い娘を連れ去ると脅迫していると警告している。
その詐欺師は娘の声を複製したが、これは昨年注目された別の懸念すべき傾向の一部であり、悪意のある人物が[AIを使用して困っている愛する人になりすまし、]数千ドルをだまし取るというものだ(https://arstechnica.com/tech-policy/2023/03/rising-scams-use-ai-to-mimic-voices-of-loved-ones-in-financial-distress/)。
最終的に、 カヴェリさんにとって、娘が警官と一緒ではなかったことが明らかになるような具体的な質問をしたことで、危険信号が上がった。しかし、The Indian Expressによると、同様の詐欺の標的となった他の人々も騙され、結局は金銭を失っているという。
世界中の警察は、被害を抑止するためにAI音声詐欺のリスク増大に対する認識を高めたいと考えており、市民に警察からの電話を確認し、詐欺師が答えられない可能性のある具体的な質問をするようアドバイスしている。