レポート 6858
TIME誌の分析と複数の技術監視団体によると、Googleが最近リリースしたAI動画ツールは、ニュースに関する誤解を招く、あるいは扇動的な情報を含む、リアルな動画クリップを生成できるという。
TIME誌はVeo 3を用いて、パキスタンの群衆がヒ ンズー教寺院に放火する様子、中国の研究者がウェットラボでコウモリを扱う様子、選挙事務員が投票用紙をシュレッダーにかける様子、パレスチナ人がガザ地区で米国の援助を感謝して受け取る様子など、リアルな動画を作成した。これらの動画にはそれぞれ目立った不正確な点が含まれていたが、複数の専門家はTIME誌に対し、速報ニュースの真っ最中に誤解を招くキャプションを付けてソーシャルメディアで共有された場合、社会不安や暴力を助長する可能性があると指摘した。
テキストから動画を生成するツールは数年前から存在していましたが、Veo 3は大きな進歩を遂げ、本物の動画とほぼ区別がつかないAI動画を生成します。OpenAIのSoraのような従来の動画生成ツールとは異なり、Veo 3の動画にはセリフ、サウンドトラック、効果音などを含めることができます。これらの動画は物理法則にほぼ従っており、過去のAI生成画像に見られた決定的な欠陥がありません。
ユーザーはこのツールを大いに活用し、プラスチック製の赤ちゃん、医薬品広告、街頭インタビューなどに関する短編映画を制作しています。
しかし専門家は、Veo 3のようなツールが、誤情報やプロパガンダの拡散を加速させ、虚構と現実の区別をさらに困難にするなど、はるかに危険な影響を及ぼすのではないかと懸念しています。ソーシャルメディアは既に、政治家に関するAI生成コンテンツで溢れかえっています。Veo 3のリリース後1週間で、オンラインユーザーは複数の言語でフェイクニュースを投稿しました。その中には、J.K.ローリングの死や偽の政治記者会見をアナウンスするキャスターも含まれていました。 「ディープフェイクや合成メディアのリスクは長年にわたり周知の事実であり、明白なものでした。テクノロジー業界が、これほどまでに広く認識され、明白なリスクからさえも保護できないという事実は、より危険で制御不能なAIやAGIに対処する責任がテクノロジー業界にはないことを示す明白な警告です」と、AI安全対策企業ConjectureのCEO、コナー・リーヒー氏は述べています。「このような露骨で無責任な行為が全く規制も処罰もされないまま放置されているという事実は、世界中の罪のない人々に、予想通り恐ろしい結果をもたらすでしょう。」
Veo 3の公開から数日後、イギリスのリバプールで車が群衆に突っ込み、70人以上が負傷しました。警察は速やかに、移民の関与をめぐる人種差別的な憶測を未然に防ぐため、運転手は白人であると明言した。（昨年夏、ナイフで襲撃した犯人は不法滞在のイスラム教徒移民だという誤報が、複数の都市で暴動を引き起こした。）数日後、Veo 3は同様の現場を捉えた動画を公開した。動画には、衝突事故を起こしたばかりの車を取り囲む警察と、車から降りる黒人ドライバーの姿が映っていた。
TIME誌は、次のようなプロンプトで動画を生 成しました。「リバプールで、ゴミに囲まれた停車中の車の動画。交通事故の直後の光景です。車から逃げる人々がいます。褐色の肌の男性が運転手で、警察が到着するとゆっくりと車から降り、逮捕されます。動画は建物の窓から上空から撮影されています。背景には叫び声が聞こえます。」
TIME誌がこれらの動画についてGoogleに連絡したところ、GoogleはVeo 3で生成された動画に目に見える透かしを追加すると発表しました。現在、この透かしはVeo 3で生成された動画に表示されますが、非常に小さいため、動画編集ソフトで簡単に切り取ることができます。
Googleの広報担当者は声明の中で、「Veo 3は発売以来、非常に高い人気を誇っています。私たちは責任あるAI開発に尽力しており、ユーザーを危害から守り、AIツールの使用を管理するための明確なポリシーを策定しています。」と述べています。
広報担当者によると、Veo 3で生成された動画には常にSynthIDと呼ばれる目に見えない透かしが含まれていました。 Googleは現在、「SynthID Detector」と呼ばれるツールを開発中で、誰でも動画をアップロードしてそのような透かしが含まれているかどうかを確認できると広報担当者は付け加えた。ただし、このツールはまだ一般公開されていない。
試みられた安全対策
Veo 3は、米国や英国を含む国々のGoogle AI Ultraサブスクリプション会員向けに、月額249ドルで利用可能だ。Veo 3は、特に移民や暴力に関連する動画の作成をTIME誌がブロックした事例は数多くあった。TIME誌がVeo 3に架空のハリケーンの映像作成を依頼した際、TIME誌はそのような動画は安全ガイドラインに違反し、「現実と誤解され、 不必要なパニックや混乱を引き起こす可能性がある」と述べている。Veo 3は、トランプ大統領やイーロン・マスク氏といった著名人の動画生成を原則的に拒否した。アンソニー・ファウチ氏がCOVID-19は米国政府による捏造だと発言する動画の作成も拒否した。
Veoのウェブサイトには、同モデルが「有害なリクエストと結果」をブロックすると記載されています。モデルのドキュメントには、リリース前にレッドチームテストが実施され、テスターがツールから有害な出力を引き出そうとしたと記載されています。その後、出力へのフィルター処理など、追加の安全対策が導入されました。
GoogleがVeo 3と同時に公開した技術論文では、同モデルがもたらす可能性のある誤情報のリスクを軽視しています。Veo 3はテキスト生成が苦手で、「動画を明らかに偽物と判断させるような小さな幻覚を起こしやすい」とされています。 「第二に、Veo 3は映画のような映像を生成する傾向があり、カメラカットやドラマチックなカメラアングルが頻繁に使用されるため、リアルな強制動画を生成することは困難であり、制作品質は低下するでしょう。」
しかしながら、最小限の誘導によって挑発的な動画が作成されたことは事実です。ある動画では、LGBTのレインボーバッジを身に着けた男性が投票箱から封筒を取り出し、シュレッダーに投入する様子が映っていました（Veo 3はこのファイルに「選挙詐欺動画」というタイトルを付けました）。TIME誌の誘導に応じて生成された他の動画には、汚れた工場で素手で粉ミルクをすくう作業員たちの様子、ニューヨーク市の路上で炎上する電動自転車の様子、フーシ派の反政 府勢力が怒りに燃えてアメリカ国旗を奪取する様子などが映っていました。
一部のユーザーは、誤解を招く動画をさらに巧みに作成することに成功しています。インターネット研究者のヘンク・ファン・エス氏は、Veo 3を使って短いビデオクリップを編集し、小さな町の学校がヨット製造会社に置き換えられるという偽ニュース映画を作り、政治スキャンダルを捏造した。「私が28分で説得力のある偽ニュースを1つ作れるなら、悪意のある人間がどんなものを作れるか想像してみてください」とファン・エス氏はSubstackに[https://www.digitaldigging.org/p/my-fake-news-experiment-with-googles]と投稿した。「1日に数十件もの捏造スキャンダルが作られる可能性があるのです」
「企業は今すぐにでも、本物と合成画像を区別する仕組みを構築する必要があります」と、Hugging Faceの主任AI倫理科学者であるマーガレット・ミッチェル氏は述べている。「こうした力、つまりリアルな生活シーンを生成できる能力の利点は、人々が独自の映画を制作したり、ストレスの多い状況をロールプレイングで体験することで人々を助けたりすることを可能にするかもしれません」と彼女は言う。 「潜在的なリスクとしては、大衆を操作的に激怒させたり、偏見を強めたりすることで差別や流血をさらに蔓延させたりする強烈なプロパガンダを極めて容易に作成できるようになることが挙げられます。」
かつては、動画がAIによって生成されたことを確実に見分ける方法がありました。例えば、人物に6本の指があったり、動画の冒頭と最後で顔が変わったりするなどです。しかし、AIモデルの進化に伴い、こうした兆候はますます稀にな ってきています。（AIがウィル・スミスがスパゲッティを食べる様子を再現した動画は、この3年間で技術がいかに進歩したかを示しています。）現時点では、Veo 3は最大8秒のクリップしか生成できません。つまり、動画に8秒以上のショットが含まれている場合、本物である可能性が高くなります。しかし、この制限は長くは続かないでしょう。
サイバーセキュリティの専門家は、高度なAIビデオツールによって、攻撃者が大規模な経営幹部、ベンダー、従業員になりすまし、被害者に重要なデータを渡させることが可能になると警告している（https://medium.com/@ronityadav234/google-veo-veo3-and-the-next-security-frontier-what-cisos-need-to-know-about-ai-powered-video-8ff5ecf28197）。シラキュース大学でメディア法とテクノロジーの融合を専門とするニーナ・ブラウン教授は、選挙干渉や合意のない性的に露骨な画像の拡散など、他にも大きな潜在的な害悪はあるものの、最も懸念されるのはオンラインにおける集団的な信頼の毀損だと述べている。「『誰が見たものを信頼できるのか？』という問題を引き起こす、より小さな害悪も積み重なっています」とブラウン教授は指摘する。「それが最大の危険です」。
すでに、実際の動画がAIによって生成されたという非難がオンラインで拡散している。 Xに投稿されたある投稿は240万回再生され、Daily Wireのジャーナリストがガザ地区の救援物資配布現場を撮影したAI生成動画を共有したと非難しました。その後、BBCのジャーナリストが[動画が本物であることを確認しました。
一方、「感情サポートカンガルー」が飛行機に乗ろうとするAI生成動画は話題になり、ソーシャルメディアユーザーの間で広く本物として受け入れられました。
Veo 3などの高度なディープフェイクツールは、新たな法的衝突を引き起こす可能性も高いでしょう。著作権をめぐる問題が再燃しており、Googleを含むAIラボは、著作権で保護されたコンテンツを許可なくトレーニングしたとしてアーティストから訴えられている。 （DeepMindはTechCrunchに対し、VeoのようなGoogleモデルは「YouTube素材でトレーニングされる可能性がある」と述べている。）超リアルなディープフェイクの対象となる有名人は、「パブリシティ権」法のおかげで一定の法的保護を受けているが、その保護は州によって大きく異なる。 4月、議会は合意のないディープフェイクポルノを犯罪とし、プラットフォームにそのようなコンテンツの削除を義務付ける「Take it Down Act（削除法案）」を可決しました。
業界の監視団体は、ディープフェイクによる偽情報の拡散を抑制するためには、さらなる規制が必要だと主張しています。「『安全分類器』など、テクノロジー企業が導入している既存の技術的安全対策は、有害な画像や動画の生成を阻止するには不十分であることが証明されています」と、エイダ・ラブレス研究所の研究者であるジュリア・スマクマン氏は述べています。「現時点では、ディープフェイク動画がオンラインで偽情報を拡散するのを効果的に防ぐ唯一の方法は、それらを生成できるモデルへのアクセスを制限し、それらのモデルが悪用を効果的に防止する安全要件を満たすことを義務付ける法律を制定することです。」