OpenAIは金曜日、同社のChatGPTツールを使用して人工知能（AI）を利用した監視ツールと疑われるツールを開発した一連のアカウントを禁止したことを明らかにした。
このソーシャルメディア監視ツールは中国発祥の可能性が高いと言われており、MetaのLlamaモデルの1つを搭載している。問題のアカウントは、AI企業のモデルを使用して詳細な説明を生成し、文書を分析し、西側諸国の反中国抗議活動に関するリアルタイムのデータとレポートを収集し、中国当局と洞察を共有できる装置に使用していた。
このキャンペーンは「監視ツールの推進とレビューにおけるネットワークの行動」から「ピアレビュー」というコードネームが付けられていると研究者のベン・ニモ、アルバート・チャン、マシュー・リチャード、ナサニエル・ハートリーは指摘し、このツールはX、Facebook、YouTube、Instagram、Telegram、Redditなどのプラットフォームからの投稿やコメントを取り込んで分析するように設計されていると付け加えた。
同社が指摘したある事例では、攻撃者はChatGPTを使用して、監視ソフトウェア「Qianyue Overseas Public Opinion AI Assistant」を実行すると思われるソースコードをデバッグおよび変更した。
このモデルを米国のシンクタンクやオーストラリア、カンボジア、米国などの国の政府関係者や政治家に関する公開情報を表面化させるための調査ツールとして使用するほか、このクラスターはChatGPTへのアクセスを利用して英語の文書のスクリーンショットを読み取り、翻訳し、分析していることも判明している。
画像の一部は、さまざまな西側諸国のウイグル族の権利を訴える抗議活動の発表であり、ソーシャルメディアからコピーされた可能性が高い。これらの画像が本物かどうかは現時点では不明です。
OpenAI は、ChatGPT をさまざまな悪意のある活動に悪用していることが判明した他のいくつかのクラスターも破壊したと述べています -
- 偽装雇用計画 - 北朝鮮のネットワークは、詐欺的な IT 労働者計画 にリンクしており、履歴書、オンライン職務プロファイル、カバーレターなどの架空の求職者の個人文書の作成に関与していたほか、ビデオ通話の回避、許可されていない国からの企業システムへのアクセ ス、不規則な勤務時間などの異常な行動を説明する説得力のある回答を考案していました。その後、偽の求人応募の一部が LinkedIn で共有されました。
- スポンサー付き不満 - おそらく中国起源のネットワークで、米国を批判する英語のソーシャルメディアコンテンツとスペイン語の長文記事の作成に関与し、その後ペルー、メキシコ、エクアドルのラテンアメリカのニュースウェブサイトで公開されました。一部の活動は、Spamouflageと呼ばれる既知の活動クラスターと重複しています。
- 恋愛詐欺 - カンボジア起源の疑いのある恋愛および投資詐欺に関連して、Facebook、X、Instagramなどのソーシャルメディアプラットフォームに投稿するための日本語、中国語、英語のコメントの翻訳と生成に関与したアカウントのネットワーク。
- イランの影響力ネクサス - パレスチナ支持、ハマス支持、イラン支持、反イスラエル、反米国のX投稿や記事の作成に関与し、国際バーチャルメディア連合（IUVM）やStorm-2035として追跡されているイランの影響力作戦に関連するウェブサイトで共有された5つのアカウントのネットワーク。禁止されたアカウントの1つは、両方の作戦のコンテンツを作成するために使用されており、「これまで報告されていない関係」を示しています。 - Kimsuky と BlueNoroff - 北朝鮮の脅威アクターが運営するアカウントのネットワーク。サイバー侵入ツールや 暗号通貨関連のトピック に関する情報収集、リモート デスクトップ プロトコル (RDP) ブルート フォース攻撃のコード デバッグに関与していた。
- Youth Initiative Covert Influence Operation - 「Empowering Ghana」という Web サイトの英語記事の作成や、ガーナ大統領選挙を狙ったソーシャル メディアのコメントに関与していたアカウントのネットワーク。
- Task Scam - カンボジア出身と思われるアカウントのネットワーク。ウルドゥー語と英語のコメントの翻訳に関与していた。これは、疑いを持たない人々を単純なタスク（動画に「いいね！」をしたりレビューを書いたりするなど）を行う仕事に誘い込み、その代わりに存在しない手数料を稼ぐという詐欺であり、被害者はそれにアクセスするには自分のお金を払う必要があります。
この展開は、AIツールがサイバーを利用した偽情報キャンペーンやその他の悪意のある操作を促進するために悪意のある人物によってますます使用されていることを受けて起こりました。
先月、Google Threat Intelligence Group (GTIG) は、中国、イラン、北朝鮮、ロシアとつながりのある 57 を超える個別の脅威アクターが、同社の Gemini AI チャットボットを使用して、攻撃サイクルの複数のフェーズを改善し、時事問題の調査を実施したり、コンテンツの作成、翻訳、ローカリゼーションを行ったりしていることを 明らかにしました。
「AI 企業が脅威アクターから収集できる独自の洞察は、ホスティングやソフトウェア開発者などの上流プロバイダー、ソーシャル メディア企業などの下流配信プラットフォーム、オープンソース研究者と共有された場合に特に価値があります」と OpenAI は述べています。
「同様に、上流および下流のプロバイダーと研究者が脅威アクターについて持つ洞察は、AI 企業にとって検出と強制の新たな道を開きます。」