The Hacker News の報道によると、Anthropic は AI ツールが影響力拡大のためにどのように武器化されるかを示す懸念すべき事例を明らかにした。同社は、自社の Claude チャットボットが Facebook と X 上で政治的なテーマのペルソナのネットワークを作成・管理するために使用されていたことを発見した。これらのペルソナは、実際のユーザーとやり取りし、UAE、イラン、ケニア、一部のヨーロッパ諸国などの国の利益に沿ったストーリーを拡散するように設計されていた。この作戦は、バイラルコンテンツよりも、穏健な政治的メッセージによる持続的なエンゲージメントに重点を置いていた。
このケースで際立っ ていたのは、Claude がコンテンツを生成するだけでなく、ボットの行動を統制する役割も担っていた点だ。このチャットボットは、ソーシャルメディアボットがいつ、どのようにコンテンツにコメント、いいね、または再共有するかを決定するために使用されていた。このマルウェアは、現地語で投稿を生成し、人間のようなユーモアや皮肉を模倣し、構造化されたJSONデータを活用して異なるプラットフォーム間で一貫性を維持していました。研究者によると、このキャンペーンは国境を越えて提供される商用サービスに匹敵する組織レベルを反映しているとのこと。
Anthropicは、サイバー犯罪活動に関連するClaudeのさらなる悪用も明らかにしました。ある攻撃者は、漏洩した認証情報を取得し、インターネットに接続されたシステムを標的としたブルートフォース攻撃ツールを構築するためにClaudeを使用しました。別の攻撃者は、AIモデルを使用してTelegramのログからデータを解析し、スクリプト生成を自動化しました。これらの事例は、AIツールが操作され、特に初心者の脅威アクターにとって高度なサイバー攻撃へのハードルを下げることができることを示しています。
さらに2つの例が、リスクの増大を示しています。あるキャンペーンでは、東欧の求職者を狙った求人詐欺コンテンツを拡散させ、別のキャンペーンでは、スキルの低い攻撃者がAIの支援を受けてマルウェアを作成しました。これらの事例は、ソーシャル インフルエンスから認証情報の盗難まで、複数のドメインにわたって AI が脅威のワークフローにどのように統合されているかを浮き彫りにし、社会的および技術的な悪用の両方に対処するガードレールの緊急性を浮き彫りにしています。