科学者、政策専門家、アーティストは、テクノロジーが容易に利用可能になる前から、人工知能の予期せぬ結果を懸念してきました。ほとんどの技術革新では、その発明が悪意を持って武器化される可能性があるかどうかを問うのが一般的であり、AIが偽情報を広めるために利用されていると警告する専門家は不足していません。 AI言語モデルが公開されてからわずか2年余りで 、悪意のある行為者がこの技術を使用して、以前は実現不可能だった規模で有害で虚偽の物語を大量生産したというすでに文書化された事例があります。現在、ロシアがAIチャットボット自体にプロパガンダを感染させようとしていることは、私たちが知っているインターネットが永遠に変わる可能性があることを示しています。
人工知能の自己反復性と広範囲にわたる性質は、偽情報に対する技術の新たな悪用に最適な媒体です。これは2つの方法で行うことができます。AIのより一般的な有害な使用法は、技術の外部です。彼らはAIモデルに偽の物語を大量生産するように指示することで虚偽を広めます。たとえば、AIを使用して選択した偽情報を含む数千の記事をすばやく作成し、それらの記事をオンラインで公開します。しかし、偽情報は、大規模言語モデル自体の内部破損によっても拡散される可能性があります。この現象は、a 新しいレポートで「LLMグルーミング」と名付けましたが、インターネットとデジタル偽情報を危険な新時代へと導く態勢が整っています。
私たちのレポートでは、いわゆる「プラウダネットワーク」(プロパガンダメディアのプラウダとは無関係)、つまり親ロシアのプロパガンダを集約するウェブサイトやソーシャルメディアアカウントの集まりが、AIチャットボットにロシアの偽情報やプロパガンダを再現 させる意図でLLMグルーミングを行っているという証拠を詳しく述べています。報告書を発表して以来、悪質な情報操作を研究する組織であるNewsGuardとアトランティック評議会のデジタルフォレンジックリサーチラボ(DFRLab)は、プラウダネットワークのコンテンツが、明らかに虚偽である親ロシア的な物語を支持するために、いくつかの主要なAIチャットボットによって引用されていることを確認しました。対処されないままにしておくと、これらの虚偽の物語はオンライン上のほぼすべての情報を悩ませ、世界中の民主主義を損なう可能性があります。
公共部門と民間部門は、LLMグルーミングの多くの害を軽減するために特定の措置を講じることができます。大規模言語モデルを作成および管理する組織は、LLM グルーミングのリスクを認識し、現在および将来の生成モデルが既知の外国の偽情報に依存しないようにする必要があります。また、立法者は 2 つの主要な政策イニシアチブを検討する必要があります。1 つは、生成モデルを設計する組織に、モデルが既知の外国の偽情報を回避するための合理的な措置を講じることを要求すること、もう 1 つは、変化するインターネットをナビゲートするのに役立つ大人と子供向けの情報リテラシー プログラムに資金を提供することです。情報セキュリティに関心を持つ政府機関と市民社会組織も、LLM グルーミングの危険性とそれがもたらす Web ナビゲーションの新時代について、日常のインターネット ユーザーに警告するための迅速な公共教育 キャンペーンを展開する必要があります。
プラウダ ネットワークとは何ですか? プラウダ ネットワークは、ロシアのハイブリッド戦争の世界で十分に文書化された組織です。その最も初期のサイトは 2023 年に運用を開始し、以前に知られていた多くの偽情報の物語を繰り返すものの、その行動は他のロシアの情報作戦と比較して異常なものでした。プラウダ ネットワークの特異性は、その発行率とドメイン リーチの規模、ユーザー フレンドリーさの欠如、人間との有機的な関わりの持続的な不足によって最もよく表れています。
このネットワークは現在、少なくとも 74 の国と地域、12 の一般的な言語、2 つの国際機関 (EU と NATO)、3 人の著名な国家元首をターゲットとする 182 の固有のインターネット ドメインとサブドメインで構成されています。ネットワークの長期にわたる拡大、ほぼ自動化されたコンテンツ共有、ドメインとサブドメイン間のホッピングの習慣は、ネットワークの中核における運用の集中化を示しています。アメリカの言説における偽情報の暴露に専念する非営利団体である American Sunlight Project は、プラウダ ネットワークの年間発行率は少なくとも 360 万の親ロシア派記事であると推定しています。この数字を計算するために収集したサンプルがランダムであり、ネットワークの最もアクティブなサイトの一部が除外されていることを考えると、これはおそらく過小評価です。
ソーシャルメディアプラットフォームX（Twitter）、Telegram、ロシアのVK、Blueskyなどで成長しているにもかかわらず、このネットワークはすべてのドメインとサブドメインでユーザーフレンドリーではありません。たとえば、検索機能がなく、一般的なナビゲーションメニューがあり、多くのサイトとページでスクロールが機能しません。Webページのレイアウトの問題と明らかな誤訳もネットワークのサイトにあり、ネットワークが主に人間向けではないという印象を与えています。人間の視聴者が少ないように見えることとネットワークのフットプリントが大きいことを考えると、このネットワークは人間ではなく、自動化された視聴者、つまり検索エンジン最適化に関与するWebクローラーと、大規模な言語モデルに使用されるデータセットなどのトレーニングデータセット用のデータを収集するスクレイピングアルゴリズムです。このターゲット戦略は、他の親ロシア情報作戦とは大きく異なり、世界に深刻な社会的、政治的、技術的影響を及ぼします。
プラウダネットワーク、およびそれをモデルとして使用するその他の情報操作によって実証された新しい脅威は、そのウェブサイトやソーシャルメディアの投稿に限定されません。そのコンテンツを戦略的に配置して大規模言語モデルに統合することで、モデル管理者がトレーニングデータセットからそのような情報を除外しない限り、親ロシアのプロパガンダと偽情報が永久に繰り返されることが保証されます。たとえば、無意識のユーザーは、チャットボットが提供したプラウダネットワークの記事を信頼できると信じて引用し、その物語の聴衆を拡大する可能性があります。
しかし、プラウダネットワークコンテンツの情報ロンダリングは、大規模言語モデルのエコシステムの完全に外部で発生する可能性があります。ネットワークのコンテン ツは、Wikipediaの引用で文書化されており、同様に特定の物語の視聴者数と信頼の増加につながる可能性があります。プラウダネットワークの偽情報の自動拡散により、ロシア政府が管理する国際ニューステレビネットワークであるRTが採用しているような従来の手段を通じて、ネットワークが直接的で有機的な人間の視聴者を探す必要がなくなりました。プラウダネットワークは、コンテンツが自動化されたエージェントによって吸い上げられるのを待つだけで済みますが、これは明らかにこの文脈ですでに発生しています。
LLMグルーミングに関連する社会的または心理的リスクに加えて、私たちのレポートでは、そのサイバーへの影響も検討しています。2024年にNatureに掲載された研究では、大規模な言語モデル間の反復的な関係、つまりAI生成コンテンツでトレーニングされ、追加のコンテンツを生成するモデルなどにより、インターネットがウロボロスになる恐れがあることがわかりました。この研究は、生成モデルに関係なくモデルの崩壊が起こると指摘し、インターネットが機械生成コンテンツで急速に満たされるにつれて、人間が作成したコンテンツがプレミアムになる可能性があると警告しています。
LLMグルーミングとプラウダネットワークの文脈におけるこの研究の意味は明白です。親ロシア的で偽情報に満ちたAIスロップ（これらのアプリによって生成された低品質のコンテンツ）は、インターネットで最も広く利用できるコン テンツの一部になる可能性があります。世界中の民主主義を弱体化させることは間違いなくロシアの最大の外交政策目標であるため、民主主義の支持者なら誰でもこれを痛感しているはずです。
AI時代のインターネット汚染と戦う方法。American Sunlight Projectレポートで議論されている問題には解決策があり、その多くは技術的に実現可能であり、民主主義世界の多くで政治的に人気があります。まず、トレーニングデータセットを構築したり、生成AIシステムをリリースしたりする組織は、プラウダネットワークによってもたらされるリスクの増大を認識する必要があります。これらの組織は、多くの AI イノベーションが起きている民間部門にまたがっていますが、学術界は AI 研究の主要な拠点であり、関与する必要があります。
理想的には、これらの組織は、ソフトウェアのトレーニングに真実で質の高いデータが使用されるように、厳格なガードレールを積極的に実装し、すでに不注意に収集された有害なデータを削除するために入念なデータ衛生対策を実施します。これらの組織は、フランスの言説に対する外国の干渉を軽減するために活動する政府機関であるフランスの VIGINUM などの外国のデジタル影響に関する政府主導の機関とも連携する必要があります。VIGINUM は、2024 年 2 月に Pravda ネットワークで最初に 報告 されました。急速に進化するテクノロジー環境において偽情報と戦うには、業界間および官民パートナーシップが不可欠です。
また、立法者は、LLM グルーミングとその社会的および技術的影響を 抑制する無数の政策オプションを検討する必要があります。そのようなオプションの 1 つは、大規模言語モデルやその他の生成モデルを公開する営利および非営利組織に、トレーニング データセットとモデル自体に既知の悪意のある外国の偽情報が含まれていないことを保証するための合理的な措置を義務付けることです。規制では、関連組織に、大規模言語モデルの出力に、それらの出力に外国の偽情報が含まれている可能性があることを明記した明確で目立つラベルを公開することも義務付ける必要があります。これらのラベルは、AI チャットボットによく見られる現在の免責事項よりもはるかに具体的で、注意を促し、目立つものでなければなりません。
立法者は、2 つ目の非常に必要なオプションも検討する必要があります。それは、子供と大人の両方を対象とした無料の全国的な情報リテラシー コースです。 エストニア と フィンランド のケーススタディは、外国や反民主主義的な主体による悪意のある影響力キャンペーンに直面しても回復力を構築することに成功していることを示しています。情報リテラシーに関するコースワークには、質の高いニュースソースを見つけ、報道における説得力のある議論について批判的に考える能力であるメディアリテラシーと、進化し続けるインターネットとその多くのプラットフォームを操作する能力であるデジタルリテラシーの両方が含まれます。この後者の概念はAIリテラシーにまで及び、AIとは何か 、そしてその多くの限界が何であるかについて、これらのプラットフォームのユーザーが深く理解しています。政策立案者は、情報リテラシーに関するコースワークに資金を提供するために、AIプラットフォームを発表する企業に課税することを検討できます。結局のところ、これらの企業は人間が自由に生成したデータから利益を得ており、その利益モデルを基本的なレベルで機能させている同じ人々に、その利益を同等の形で返す用意があるはずだ。
最後に、政府や市民社会組織は、民間部門と公共部門にまたがる公共教育キャンペーンキャンペーンに参加し、人間が参入したインターネットの新しい章についてユーザーに知らせることを検討すべきだ。民主主義世界全体で大きな政策変更が行われるまで、人々は自分が読んだり見たりする情報のどれかが正確であると当然のことと考えることはできない――それを提供するプラットフォームがどれほど馴染み深く、強力であっても。これは、私たちのレポートの調査結果を考えると、おそらく最も緊急に取るべき行動だろう。LLMグルーミングのリスクを認識しているすべての個人や組織は、それらのリスクについて広める役割を果たすことができる。
トランプ政権のアメリカのテクノロジー企業に対する反規制の姿勢を考えると、今後4年間でアメリカがLLMグルーミングを改善するための措置を導入する可能性は低い。しかし、デジタル環境は過去20年間と同じだという前提でゆっくりと前進し 続けることは、とんでもない間違いだろう。科学者、業界リーダー、政策立案者、一般のインターネットユーザーは、それぞれの役割に関係なく、インターネットの継続的な安定性と使いやすさに大きな関心を持っている。LLMグルーミングやその他の新たな脅威がインターネットに根本的な脅威を与える中、それらを予測して対抗するには社会全体の取り組みが必要になるだろう。