レポート 7174
ドナルド・トランプ大統領がTikTokで朝のルーティンを披露している。「今日は大事な日だから、一緒に準備しよう💄🇺🇸」というキャプションとともに、大統領がメイクブラシを頬に当てている。この画像は静止画で、TikTok動画のスクリーンショットと思われる。インターネット上に溢れる他の多くのAI生成画像と同様、この画像も偽物 で滑稽だ。しかし、不気味なほどリアルに見える。指が6本ある手や、物理法則を無視した角度など、AI生成画像特有の明らかな痕跡は一切ない。一見すると、大統領がブロンザーを塗っているように見える。
ChatGPTで「トランプがTikTokでメイクアップチュートリアルをしている」というプロンプトを使って作成しました。
このディープフェイクは、OpenAIの新しい画像生成モデルを使って作成しました。先週リリースされたChatGPT Images 2.0は、以前のバージョンよりもはるかにリアルな画像を作成できます。このツールは、インターネット上に超リアルなフェイク画像を大量に生み出しています。例えば、ジェフリー・エプスタインがTwitchストリーマーになっているなどがあります。トランプ氏の偽TikTokの「スクリーンショット」は、ChatGPTサブレディットで似たような画像を見かけた後に作成しました。それ以来、Images 2.0を使って、イーロン・マスク氏がFBIに連行される画像、世界の指導者たちが医療上の緊急事態に陥る画像、アメリカのトップ政治家がナチスの装束を身に着けている画像など、あらゆる種類の不穏なディープフェイク画像を作成できるようになりました（これらの画像はどこにも公開していません）。
これらはすべて、それ自体が不穏なものでした。しかし、私が作成できた最もリアルなディープフェイクは、政治家や有名人を題材にしたものではありませんでした。それらはほとんど人物を描 いていませんでした。わずかな労力で、オピオイドやADHD治療薬の処方箋、銀行の通知、ソーシャルメディアの投稿、偽の身分証明書、パスポートなど、100枚以上の偽造画像を作成することができました。
ワシントンD.C.のDMVウェブサイトに掲載されている運転免許証のサンプル
ChatGPTを使用してサンプル画像を編集して作成した偽の運転免許証
画像ChatGPT Images 2.0は、テキストを含む画像の生成に特に優れています。一見すると大したことないように思えるかもしれませんが、これは非常に重要な点です。画像モデルはこれまで、文字を含む画像を生成するのに苦労してきました。そうでなければ、リアルに見える画像も、不自然な道路標識や歪んだ看板などで埋め尽くされてしまうのです。ChatGPT Images 2.0は、この点でより高度なグラフィックデザインツールと言えますが、同時に、詐欺行為を助長するツールとしても非常に有用です。私の実験では、OpenAIのこのツールは、偽の健康関連書類（医師の診断書、予防接種記録、検査結果など）や、偽造された金融関連書類（請求書、領収書、納税申告書など）の画像を容易に生成しました。これらの画像の多くは、判読可能なテキスト、陰影、その他の視覚的な要素を備え、非常に説得力がありました。
ただし、画像によっては、説得力に差がありました。偽の処方箋は判読可能でしたが、手書き文字は紙にペンで書いたというより、iPadのスタイラスで書いたように見えました。 OpenAIのモデルに古いフライトの搭乗券を入力し、次のフライトの情報で更新するように指示したところ、ChatGPTは新しい搭乗券を生成しました。しかし、そのバーコードで実際に飛行機に搭乗できるはずがありません。ChatGPTが生成した運転免許証がTSA（米国運輸保安局）を騙せるとは到底思えませんが、ホテルの受付係や州外の用心棒など、本物の身分証明書の代わりに「写真」で通してくれるような相手なら騙せるかもしれません。説得力のある画像の中には、些細なミスが含まれているものもありました。例えば、掲載されているレシートでは、ChatGPTは購入品の合計金額は正しく計算していましたが、州税の計算を間違えていました（他にもいくつか小さなミスがありました）。
OpenAIの画像モデルは、わずかな指示で偽のレシートや検査結果を作成できます。
OpenAIのツールは、偽のスクリーンショットを作成するのに特に優れています。Chaseからの送金確認書を偽造する必要がありますか？Wells Fargoの不審な口座活動に関するアラート？Uberの乗車領収書？すべて可能です。これらの画像は、あらゆる種類のありふれた詐欺を強力にする可能性があります。悪意のある人物は、偽のUberの領収書の画像を、不審な活動を報告するためのリンクとともに、ターゲットにメールで送信することができます。受信者は、自分が乗っていない乗車の領収書を見て混乱し、詐欺師の怪しいリンクをクリックし、誤って機密情報を渡してしまう可能性があります。これは典型的なフィッシング詐欺です。 （繰り返しますが、欠点もあります。例えば、Uberの画像に描かれている地図は多くの点で間違っています。中でも、橋のない水域を車で渡っているように描かれている点が問題です。）
ChatGPT Images 2.0は、特に偽のスクリーンショット作成に優れています。
画像技術は長年にわたり詐欺師の活動を助けてきました。1990年代、コンピューター化されたカラーコピー機や家庭用プリンターが普及するにつれ、偽造防止のためアメリカの紙幣はデザイン変更されました。人々は何十年もの間、Photoshopなどのツールを使ってデジタル画像を加工してきました。しかし、写真の偽造はかつてないほど速く安価になった。先月、FBIはインターネット犯罪に関する年次報告書を発表し、初めてAI詐欺に関するセクションが含まれた。AI詐欺は昨年、アメリカ人に約10億ドルの損害を与えた。経費精算詐欺（従業員が領収書を偽造する）はすでに増加傾向にある。最近のOpenAIの報告書では、偽弁護士を装った詐欺グループが、古い画像モデルを使用して偽の弁護士会会員証を作成した方法が詳述されている。 「この技術の応用範囲は、詐欺師の想像力によってのみ制限されると言っても過言ではない」と、公認不正検査士協会（ACFE）の研究ディレクター、メイソン・ワイルダー氏は私に語った。Googleの画像生成ツールを使えば、あらゆる種類の偽造資料を作成できる。しかし、偽造文書やスクリーンショットに関しては、少なくとも現時点では、新しいChatGPTモデルの方が優れているようだ。
理論的には、そもそもこれらの画像のほとんどは作成できないはずだった。OpenAIは、自社の技術を詐欺や不正行為に利用することを禁じている。私がOpenAIにいくつかの事例を示し、なぜこれほど多様な偽造画像を生成できたのかを尋ねたところ、同社の広報担当者は、OpenAIの目標は「ユーザーに可能な限り多くの創造的な自由を与える」と同時に「利用ポリシー」を遵守することだと答えた。悪用を防ぐため、新しいモデルには「画像固有の複数の安全保護層」が組み込まれているという。しかし、これらの保護策は明らかに効果を発揮していない。広報担当者は、ChatGPTで生成された画像には特定のメタデータが含まれていると述べました。しかし、OpenAIは以前、メタデータはソーシャルメディアへの画像アップロードやスクリーンショット撮影などによって「意図的または偶発的に簡単に削除できる」と指摘しています。
OpenAIのモデルは、銀行のロゴを使用して不正な金融画像を生成しました。これらの画像から特定の口座情報は削除されています。
Googleは、自社ツールを不正利用することに対して同様の制限を設けています（https://support.google.com/gemini/answer/16625148?hl=en-AT&ref_topic=13278591）。私がGoogleのモデルで作成し た画像をGoogleに送ったところ、広報担当者は、ツールはガードレールの適用において「継続的に改善されている」と述べました。Googleはまた、AI生成画像に目に見えない透かしを埋め込んでおり、SynthIDという検出ツールを提供しています。私のテストでは、SynthIDはGoogleのモデルで生成された画像を識別するのに非常に効果的でした。しかし、ほとんどの人は目にするすべての画像をこのようなツールで確認することはないでしょう。
こうした状況は、銀行、病院、政府機関などが不正を防止することをさらに困難にしています。OpenAIのモデルを使用すれば、Chase Bankの偽の小切手と送金通知を簡単に作成することができました。 「AI企業を含むエコシステム全体での取り組みが必要であり、それによってセキュリティ対策を強化し、こうした犯罪を根源から阻止できる」と、チェース銀行の広報担当者は私に語り、同行は顧客保護のために独自の安全対策を講じていると付け加えた。しかし、たとえ大手AI企業が自社のセキュリティ対策を大幅に改善したとしても、オープンソースモデルの問題が残るだろう。不正防止の専門家は技術的な解決策に取り組んでいるとワイルダー氏は述べたが、「善意の側はほぼ常に一歩遅れている」という。
ディープフェイクに関する現在の議論の多くは、政治スキャンダルや世界情勢の捏造といった極端な事例に焦点を当てている。これらは非常に現実的な懸念事項だ。GoogleとOpenAIの画像モデルを使えば、偽の『ニューヨーク・タイムズ』や『アトランティック』の記事の非常に説得力のあるスクリーンショットを簡単に作成できた。
私が実際に書いた『アトランティック』誌の記事のスクリーンショットをアップロードし、ボットにこの偽の記事に置き換えるよう指示しました。
ChatGPTを使って、ニューヨーク・タイムズのホームページのスクリーンショットを加工し、実際の記事をほうれん草に関する偽の記事に置き換えました。（指示なしで、ボットは食料品に関する記事も置き換えました。その他の記事は本物です。）
画像は、2つの出版物で使用されている視覚的なレイアウトとタイポグラフィに非常によく一致しており、意味のあるテキストが入力され、実際の著者の名前が生成されました。しかし、メディアのエコシステムがどれほど断片化されていても、Googleで少し検索すれば、こうした画像が偽物かどうかはすぐにわかるでしょう。より悪質なのは、ソーシャルメディアのフィードを一時的に混乱させるのではなく、親族を騙すような、日常的でマイクロターゲティング型のディープフェイクです。
この記事は当初、ニューヨーク・タイムズのホームページをAIで編集したスクリーンショットに含まれる偽の見出しの数を誤って記載していました。画像には、1つではなく2つの偽の記事が含まれています。