ロシアは、重要なトピックについてAIチャットボットを欺くための偽情報の拡散を自動化しており、他の悪質な行為者にAIを操作して情報を提供するのではなく、煽動、影響力行使、そして混乱を招き入れるコンテンツを拡散させる手引きを提供している。
専門家は、急いで市場に投入されたチャットボットに頼る人が増え、ソーシャルメディア企業がモデレーションを削減し、トランプ政権が偽情報対策チームを解散するにつれて、この問題は悪化していると警告している。
今年初め、研究者が主要なチャットボット10社に、米国がウクライナで生物兵器を製造しているという主張など、ロシアの偽メッセージの標的となったトピックについて質問したところ、回答の3分の1がそれらの嘘を繰り返した。
モスクワのプロパガンダへの進出は、AI業界の根本的な弱点を浮き彫りにしている。チャットボットの回答は、入力されたデータに依存する。チャットボットがより多くの情報を読み取れば読むほど、より情報に基づいた回答になるというのが指針であり、だからこそ業界はコンテンツを渇望しているのだ。しかし、狙いを定めた大量の偽情報は、特定のトピックに関する回答を歪める可能性がある。ロシアにとって、それはウクライナ戦争だ。しかし、政治家にとっては敵対国、企業にとっては競争相手かもしれない。
「ほとんどのチャットボットは偽情報への対応に苦労しています」と、オープンソースAIプラットフォーム「Hugging Face」の主任倫理学者、ジャダ・ピスティリ氏は述べている。「有害なコンテンツに対する基本的な安全策は講じていますが、洗練されたプロパガンダを確実に見分けることはできません。そして、最近の情報を優先する検索機能強化システムでは、この問題はさらに悪化します。」
チャットの結果を操作しようとする初期の商業的な試みも勢いを増しており、かつてGoogleのランキング上位を目指して検索エンジン最適化（SEO）を提供していたデジタルマーケターの中には、今では生成エンジン最適化（GEO）を通じてAIチャットボットによる言及を増やそうとしている者もいる。
人々がAIエンジンを使って、より注目を集めるチャットボットコンテンツの作成方法を指導するにつれ、そのコンテンツの量は質の向上をはるかに上回るペースで増加しています。これは一般ユ ーザーを苛立たせるかもしれませんが、最も多くの手段を持ち、最も多くの利益を得る者たちの思惑をくすぐるものです。専門家によると、今のところそれはプロパガンダ拡散の専門知識を持つ各国政府です。
「我々は、最終的にこうした状況になると予測していました」と、影響力防衛を担当する元米軍指導者は、デリケートな問題について匿名を条件に語りました。「今や、これはよりマシンツーマシンへと向かっています。範囲、規模、時間、そして潜在的な影響という点で、我々は遅れをとっています。」
ロシア、そしてそれほどではないにせよ中国は、この優位性を利用して、地域に作り話を氾濫させてきました。しかし、誰でも同じことをすることができ、以前のトロールファーム活動よりもはるかに少ないリソースで済みます。
初期の恩恵を受けている国の一つは、ウクライナは侵略から守る価値がないと西側諸国に納得させようと長年努力してきたロシアです。大手チャットボットへの質問には、ウクライナで殺害されたフランス人「傭兵」や実在しないデンマーク人飛行教官に関する、事実と異なる情報が掲載されている。また、ウクライナ兵とされる人物がアメリカ国旗とドナルド・トランプ大統領の人形を燃やす様子を映した、作り話のような動画の信憑性に富んだ説明も表示される。
4月4日、ウクライナのクリヴィー・リフにロシアの弾道ミサイルが着弾し、少なくとも20人が死亡、うち9人は子ども、90人は負傷した。犠牲者を追悼するため、男性が遊び場に花を供える。(オクサナ・パラフェニウク/ワシントン・ポスト提供)
こうしたニュースの多くは、ロシア政府が管理するタス通信などのメディアで最初に報じられる。これらのメディアは欧州連合（EU）では禁じられている。情報ロンダリングと呼ばれる手法で、これらの情報はその後、多くのウェブサイトのドメイン名に「真実」を意味するロシア語が使われていることから、プラウダ・ネットワークとして知られる多くのサイトを含む、一見独立したメディアサイトへと拡散される。
研究者を1年間困惑させたある展開は、これらのサイトを人間がほとんど訪れないことだ。これらのサイトは閲覧や検索が難しく、コンテンツはクローラー（ウェブをくまなく巡回し、検索エンジンや大規模言語モデルにコンテンツを返すソフトウェアプログラム）を対象としている。
これらのAIベンチャー企業は様々なデータセットで訓練されているが、最新のウェブを検索するチャットボットを提供する企業も増えている。こうしたチャットボットは、最近の情報であればあるほど誤った情報を拾い上げる可能性が高く、ウェブ上の何百ものページでほぼ同じ内容が述べられている場合はなおさらだ。
「運営者には、こうした情報の出所を隠すための代替手段を作るインセンティブがある。そして、プラウダ・ネットワークはまさにそれを行っているようだ」と、ウェブサイトの信頼性評価を行うNewsGuardのAI専門家、マッケンジー・サデギ氏は述べた。
この策略はさらに効果的だ。なぜなら、ロシアの工作員は、おそらく人間の協力を得て、プラウダ・ネットワークの記事へのリンクをWikipediaページやFacebookの公開グループ投稿に編集することに成功したからだ。多くのAI企業は、Facebook、特にWikipediaを正確な情報 源として特に重視しています。（Wikipediaは今月、帯域幅コストがわずか1年余りで50%急騰したと発表しましたが、その主な原因はAIクローラーです。）
新たなプロパガンダシステムは、独自のAIによって高度に自動化されているため、従来の影響力行使キャンペーンよりもはるかに低コストで運用できます。中国など、従来型メディアがより厳しく統制され、ボットの情報源が少ない地域では、さらに大きな効果を発揮します。
現国務長官マルコ・ルビオ氏を含む複数の議員は6月、グーグルのチャットボット「ジェミニ」が、少数民族への対応や新型コロナウイルス感染症への対応について、中国政府の見解を繰り返していることに懸念を表明した。アナリストらは、ジェミニは中国の情報源に過度に依存している可能性が高いと指摘した。グーグルはコメントを控えた。
一部の専門家は、チャットボットの誤った回答は、10年以上前、莫大な予算と隠れた動機を持つ国々がこれらのプラットフォームを利用するようになる以前の、Facebookや当時Twitterがコミュニケーションと真実の確立のための無敵の手段として過大評価されていた時代を思い出させると述べた。
「テクノロジーやツールが偏向したら――そして既に偏向している――そして悪意ある勢力がその偏向をコントロールするようになれば、ソーシャルメディアの時よりもはるかに悪い状況に陥るだろう」と、ケベック市に拠点を置く企業向けAIソフトウェアプロバイダーCoveoのCEO、ルイ・テテ氏は述べた。
プラウダ・ネットワークは2024年初頭から欧州の報告書で取 り上げられている。当時、フランス政府をはじめとする関係機関は、2014年にロシアに違法に併合された黒海沿岸のウクライナ領クリミア半島に拠点を置くネットワークを特定していた。このネットワークは、ロシアの支援を受ける政府とつながりのある地元企業TigerWebによって構築されていた。フランス政府機関Viginumによると、このシステムは親ロシア派の情報源を利用し、ソーシャルメディアや複数のウェブサイトを通じて自動的に情報を拡散させ、最初はウクライナを標的とし、2022年の侵攻後には西欧諸国へと拡大したという。
AI主導の情報環境では、インフルエンサーを通じて信頼を獲得し、ソーシャルメディアのアルゴリズムを操作するといった、従来型の費用のかかる取り組みはもはや不要だと、AIを用いて影響力工作を見抜くスタートアップ企業LetsDataのクセニア・イリュク氏は述べた。「多くの情報が何のモデレーションもなく出回っており、悪意のある行為者はそこに最も力を注いでいるのだと思います」とイリュク氏は述べた。
モスクワ在住のアメリカ人で、クレムリンのトッププロパガンダ担当者であるジョン・マーク・ドゥーガンは1月、AIによる増幅はチャットボットに浸透するための重要なツールだと述べた。「ロシアの視点からこうしたロシアの言説を広めることで、実際に世界中のAIを変えることができる」と、彼はロシアメディアがYouTubeにアップロードした議論の中で述べた。
非営利団体アメリカン・サンライト・プロジェクトによると、プラウダ・ネットワークは新たな地域や言語へと拡大し、今年初めには1日に最大1万件の記事を量産していたという。2月の報告書で、サンライトは、この作戦の最も可能性の高い目的は大規模言語モデルへの侵入、つまりLLMグルーミングと呼ばれるプロセスであると結論付けた。「規模と品質の問題の組み合わせは、主に人間のユーザーが消費することを目的としていないコンテンツを作成するウェブサイトとソーシャルメディアアカウントのネットワークを示唆している」と報告書は述べている。
先月、他の研究者たちが、この策略が功を奏しているかどうかを調べ始めた。フィンランドの企業Check FirstはWikipediaを徹底的に調査し、44の言語のページに162のプラウダ・ウェブサイトへのリンクを含む約2,000のハイパーリンクを発見しました。また、プラウダが宣伝する一部の虚偽情報がチャットボットの回答に表示されていることも判明しました。
NewsGuardは、プラウダが宣伝するロシアの虚偽情報を10個のチャットボットに対してテストし、チャットボットによってパフォーマンスに差はあるものの、3分の1の確率で誤った回答が返ってきたことを発見しました。ボットのうち4つは、演出されたプロパガンダ動画の説明を鵜呑みにし、ウクライナ軍大隊がトランプ大統領の人形を燃やしたという虚偽の報告を行った。
ワシ ントン・ポスト紙による比較的体系化されていない実験でも、最近同様の結果が出ている。今月、プラウダ・ネットワークが報じたように、ウクライナ軍がトランプ大統領の人形を燃やしたかどうかという質問に対し、Microsoft Copilotは次のように回答した。「はい、ウクライナ軍がドナルド・トランプ前米大統領の人形を燃やす動画の報告がありました。動画の中で、兵士たちはウクライナの武器受領能力に影響を与えたと考えるトランプ大統領の行動を批判していたとされています。しかし、一部の視聴者は動画の信憑性を疑問視していました。」さらに詳しい情報については、American Military Newsというサイトの記事を参照するようユーザーに促しました。この記事では、ロシアのRT.comに寄稿する極右インフルエンサー、イアン・マイルズ・チョン氏の発言が引用されていました。
OpenAIのChatGPTははるかに優れた結果を示しました。「いいえ、ウクライナ軍兵士がドナルド・トランプの人形を燃やしたわけではありません。ウクライナ軍兵士がトランプの人形を燃やし、彼を『裏切り者』と呼ぶ様子を映したとされる動画がオンラインで拡散されました。しかし、この動画はロシアによる偽情報であることが明らかにされています。」
マイクロソフトはインタビューの要請を断ったものの、声明の中で、従業員とソフトウェアは「Copilotの敵対的な悪用による誤情報、フィッシング、その他の詐欺行為を評価し、それらを含む有害なコンテンツの生成を回避するようモデルをトレーニングしている」と述べ た。
イーロン・マスク氏のGrokは、姉妹会社Xから情報提供を強く受けており、実在しない、死亡したとされるパイロットについて、「ウクライナ人パイロットの訓練に関与したとされるデンマーク人F-16パイロット兼教官、ジェップ・ハンセンの消息に関する矛盾した報告があった」と述べた。Grokはコメント要請に応じなかった。
誤情報のトピックに関するクエリが具体的であればあるほど、虚偽の情報が返される可能性が高くなります。これは、プロパガンダによって定義された狭い主題に関する真実の情報が比較的少ないためです。
AI企業のOpenAI、Anthropic、Perplexityはインタビュー要請に応じませんでした。
バイデン政権の関係者はAI企業とこの問題について話し合っていたと、元軍人および別の関係者は匿名を条件に非公開の活動について語った。
「チャットボットが何かを使用し、ユーザーがそれを事実として受け取る場合、その際にファクトチェックが行われていないと問題になります」と、ホワイトハウスの元専門家は述べた。「AI企業と、情報の完全性を確保するためにモデルをどのように改良していくかについて話し合いました。しかし、検閲と誤解されることを恐れて、そうした話し合いは完全に途絶えてしまいました。」
現政権関係者も、この問題と、ロシアがこれを利用しようとした初期の動きを認識している。 「モスクワの悪意ある影響力行使は予見可能な将来も継続し、その巧妙さと規模はほぼ確実に増大するだろう」と、タルシ・ギャバード国家情報長官は先月、同長官室初の年次報告書世界的脅威報告書の中で警告した。
しかし、国民の反応の兆しは見当たらない。
長年にわたり外国のプロパガンダ対策を担ってきた国務省のグローバル・エンゲージメント・センターは、トランプ大統領への資金提供者であるマスク氏が検閲を非難し、共和党が多数派を占める議会が資金提供を停止したことを受け、12月に閉鎖された。
パム・ボンディ司法長官は、ソーシャルメディア企業に対し、自社のネットワーク上で行われているキャンペーンについて警告するなどの任務を担っていたFBIの外国影響タスクフォースを閉鎖した。連邦議会をはじめとする共和党議員らは、検閲に等しいとしてこの行為を非難したが、米国最高裁判所は、当局者が企業に目撃情報を伝える権利を支持した。
市場の消費者需要によってより良い解決策が生まれる可能性もあるが、今のところ企業は、情報源となっているプロパガンダサイトと同じくらい審査が不十分なままサービスを急いで提供していると、非営利団体「民主主義と技術センター」のAIガバナンス・ラボ所長、ミランダ・ボーゲン氏は述べた。
「技術開発者の信頼と安全性に関する考え方は間違いなく後退している」とボーゲン氏は述べた。 「だからこそ、AIがもたらすリスクを特定し、軽減する方法の開発を支援する機関の設立が提唱されているのです。」
NewsGuardは、AI企業間の連携や評判システムの研究者との協力は 、規制よりも良い解決策になると述べたが、Hugging Faceのピスティリ氏は、企業間で標準規格の合意を得るのは難しいだろうと述べた。
「企業は、恥ずべき失敗の後、ますます大きなプレッシャーに直面する可能性が高いが、最新の情報を提供しなければならないという競争圧力は、検証の取り組みを上回り続ける可能性がある」と彼女は述べた。「経済的インセンティブは、情報の完全性と依然として十分に一致していない。」