関連インシデント
OpenAIの最新の画像生成モデル「4o」は、画像内テキスト生成において驚くほど優れている。これは、多くの先行モデルでは特に困難であった機能である。
そして、ユーザーが実感しているように、このモデルは偽造文書の画像生成に強力なツールとなっている。
一例として、Menlo VenturesのプリンシパルであるDeedy Das氏は、サンフランシスコの実在するステーキハウスでの豪華な食事の偽造レシートの写真をツイートした。これはTechCrunchが発見。
「4oを使えば偽のレシートを作成できる」と ダス氏は書いている。「現実世界では、『実写画像』を証拠として頼りにする検証フローが多すぎる。そんな時代は終わったのだ。」
ドック・ホリデー
一見すると、この画像自体は非常に説得力があり、コース料理の内訳、正確な小計、そしてチップの計算まで含まれている。
別のユーザーは、リアルなフィルターと食べ物の染みを加えることで、さらに画像を編集 することに成功した。もしあなたがその気になれば、経費精算詐欺を働くには完璧な方法だ。
そして、これは氷山の一角に過ぎない。 Das氏はさらに、4oがゾロフトなどの規制薬物の偽造処方箋を平気で生成していたことを発見しました。
詐欺対策班
この開発は、AIを活用した画像生成ツールの進歩を浮き彫りにしています。以前のモデルは文字の再現に苦労し、文字化けした図形や意図せず笑えるフレーズが生成されることが多かったことで有名です。
豪華な食事の経費を偽造するだけでなく、OpenAIの偽造文書生成能力はますます巧妙化しており、偽の納税申告書や銀行小切手、偽の身分証明書や出生証明書など、あらゆるものの作成を可能にする可能性があります。
この偽造文書の嵐を私たちが検知できるかどうかはまだ分かりません。しかし、AI企業の現在の取り組みを考えると、状況は芳しくありません。 追加されたメタデータや透かしといった、画像がAIによって生成されたかどうかを明らかにしてしまうガードレールは、簡単に突破されてしまいます。
強力なAI搭載画像ジェネレーターが登場する以前から、2015年の調査では、回答者の85%が、より多くのお金を受け取るために嘘をついたことがあると認めています。こうした不正行為の多くは、内部統制の欠如や買掛金管理プロセスの不備により、見落とされてしまいます。
つまり、もはやオンラインで目にするものは何一つ信じられなくなっているのです。