レポート 4146

自称ナチスは、TikTokでヘイトスピーチや現実世界での勧誘を公然と推進しています。プラットフォームはこれらの動画やアカウントを削除していないだけでなく、そのアルゴリズムがそれらの影響を拡大しています。コンテンツ警告：このレポートには、人種差別的過激主義コンテンツの例が含まれています。概要 TikTokには、このレポートの分析で特定されたように、ナチズムを公然と支持し、動画アプリを使用してイデオロギーやプロパガンダを推進する何百ものアカウントがあります。私たちの調査は、そのようなアカウントを1つ見つけたことから始まり、フォローしているナチ支持のアカウントとそれらのアカウントがフォローしているアカウントの一部を調べ、違反コンテンツを検索し、TikTokのアルゴリズムを使用することで、200アカウントのより広いネットワークに拡大されました。この調査には、ナチズムを明示的に宣伝する動画を複数作成している場合、またはユーザー名、プロフィール写真などにナチスのシンボルが含まれているアカウントが含まれていました。主な調査結果は次のとおりです。これには、ホロコースト否定を扱った動画、現代社会の問題に対する解決策としてヒトラー、ナチス時代のドイツ、ナチズムを賛美するもの、白人至上主義の銃乱射犯を支持するもの、これらの虐殺のライブ配信映像や再現が含まれる。自称ナチスは、TikTokを自分たちの思想を広めるのに適したプラットフォームであり、たとえアカウントが新しくても、フォロワー数が少なくても「はるかに多くの人」にリーチできると語っている。TikTokは、ユーザーからコンテンツが報告されても、違反となる動画やアカウントを削除していない。ISDは、憎悪的な思想、暴力の助長、ホロコースト否定、その他の規則に関するTikTokのコミュニティガイドラインに違反したアカウントを50件報告した。合計で620万回以上視聴されたアカウントには、動画でナチズムを助長するか、プロフィール写真、ユーザー名、ニックネーム、説明にナチスのシンボルを含める限りヘイトスピーチを取り上げたものが含まれていた。 1日後、50のアカウントはすべてアクティブなままで、すべてのレポートで「違反なし」と返されました。ナチズムを宣伝するアカウントと動画はアルゴリズムによって増幅され、TikTokは同様の極右ヘイトスピーチを行っているユーザーにすぐにそのようなコンテンツを推奨します。ネットワーク内の10のアカウントと合計10本の動画のページを閲覧した後、新しいダミーアカウントはTikTokのおすすめページ（FYP）でわずか3本の動画をスクロールした後、ナチスのプロパガンダの推奨を受け取りました。より長く存続し、より多くのそのようなコンテンツに関与しているダミーアカウントの場合、TikTokのFYPのほとんどの動画はナチズムまたはヘイトスピーチを宣伝しています。これらの動画には、AI生成メディアがよく登場します。このコンテンツは、しばしば少数派を軽蔑し、ナチズムを宣伝しており、たとえば、AI生成によるヒトラーのスピーチの翻訳は引き続きバイラルになっています。このようなコンテンツは、ナチスのプロパガンダを現代化し、より幅広い国際的な視聴者に届けるのに役立ち、プラットフォームのモデレーションを回避するために使用できます。これらの動画とアカウントが目立つようになったのは、プラットフォーム間の連携が一因です。 Telegram上の自称ナチス活動家たちは、短編動画コンテンツを通じてより幅広い視聴者にリーチしようと努めている。彼らは、大量のエンゲージメントを通じて動画を「盛り上げる」取り組みを調整しており、TikTokなどのプラットフォームで共有するためのダウンロード可能な動画、画像、音声を共有し、ネオナチのドキュメンタリー「Europa: The Last Battle」の宣伝など、特定の種類のプロパガンダを投稿するようユーザーに奨励している 図1：ISDによるナチス支持のTikTokアカウントに関する大量レポートのサンプル結果 方法 このレポートは、より広範なネットワークを表面化させるためにスノーボールアプローチに基づいて作成された。TikTok上の自称ナチスのアカウント1つから始めて、よく知られた明白なナチスのスローガンや画像を持つ何百人もの同様のユーザーを見つけることができた。私たちは、ナチスのイデオロギーや右翼過激主義を促進するために手動で検証されたコンテンツを積極的に投稿しているアカウント200個のリストを収集しました。また、これらのアカウントの数十個をフォローして、非公開動画や非公開に設定されているチャンネルのコンテンツにアクセスしました。新しく作成されたダミーアカウントを使用して多数のアカウントと動画を発見した後、TikTokのFor Youページ（FYP）を調べたところ、以前は表面化していなかったアカウントからアルゴリズムを介して同様のコンテンツをすぐに推奨し始めたことがわかりました。TikTokで再生される独特のサウンドと曲を検索することで、追加のユーザーを発見しました。調査により、Telegramチャンネルがネットワーク内のアカウントによって共有されることがあることがわかった。新しく発見されたTelegramフィードを含む人気のあるアウトリンクをたどることで、100を超えるナチス支持のTelegramチャンネルのリストを作成することができました。以下のセクションでは、私たちの調査から得られた主要な調査結果を概説し、4つの部分に分かれています。1つ目は、ナチスがTikTokで共有したコンテンツの傾向、2つ目は彼らの戦術、3つ目はTikTokのアルゴリズムが彼らの成功に与えた影響、そして4つ目はTikTokがこの課題にどのように対応しているかについて詳しく述べています。 傾向 生成型AI 私たちが明らかにした最初の傾向は、ネットワークによる生成型人工知能（genAI）の使用であり、多くの場合、非白人の人種や民族グループを暴力的であるか、白人コミュニティに脅威を与えるものとして非人間的な風刺画を作成するために使用されます。この取り組みは主にナチスのプロパガンダを現代化するためのものです。1つの人気のある例は、アドルフ・ヒトラーのスピーチのAI生成翻訳で、TikTokで今でもよく見られます。音声クリップは、ヨーゼフ・ゲッベルスを讃える動画、ネオナチのドキュメンタリー映画「ヨーロッパ：最後の戦い」の宣伝、ユダヤ人に対する暴力を呼びかける暗号化された動画やその他のナチス支持コンテンツの拡散などで使用され、合計で数百万回の視聴回数を獲得した。図2：AIが生成したプロパガンダ。上部中央の画像はAIによって作成されたものではないが、ヒトラーの演説がどのように広まっているかを示す好例である。問題の動画（視聴回数10万5千回）の背景には、AI翻訳されたヒトラーの演説が、130万回視聴されているTikTokの特別なサウンドであるミツキの「Washing Machine Heart」に合わせて流されている。 109は、ユダヤ人が109か国から追放されたという反ユダヤ主義の主張の略称です。 TikTok Sounds & Save Europe TikTokのサウンドとオーディオは、白人至上主義者によって日常的に悪用される重大な脆弱性のままです。2021年にISDは、MGMTの「Little Dark Age」が写真のスライドショーや20世紀の著名なファシストのコンピレーションで非常に人気があったことを詳しく説明しました。このような曲は、他の過激派が認識するグループ内の参照になります。彼らはその形式に従い、その曲を使用して独自のTikTok投稿を作成し（通常は過激派コンテンツへの明示的なテキスト参照なしで）、参加型のトレンドに貢献します。本質的には、暗号化された参照として使用される音楽とサウンドの使用は、TikTok コンテンツ モデレーションを回避するために使用される戦術です。この Dispatch で文書化されているように、これは今でも当てはまります。反移民の「Save Europe」美学から引き出された音楽と映像を使用した動画のみを投稿している 1 つのアカウントを分析すると、TikTok サウンドが過激なコンテンツとイデオロギーを広めるためにどのように使用されているかがわかります。アカウント (名前は編集済み) の音楽は主に 2000 年代のテクノ スタイルであり、TikTok のルールに違反していません。ただし、この音楽は、ナチズム、ファシズム、白人至上主義を促進するミームや画像と組み合わせられることがよくあります。図 3: 前述のアカウントによって作成されたオリジナル サウンドは、人種差別、ナチズム、またはその他の極右の言説を促進する 6 つの他の動画で使用されていました。この曲はスクリーンショットのわずか6日前に作成され、このアカウントの他のオリジナルサウンドは、数百本の動画でまとめて共有されています。 多くの場合、ISDの研究者は、関連するキーワードを検索するよりも、関連する音楽をナビゲートすることで、ナチスのイデオロギーを促進し、極右の大量銃撃犯を称賛するコンテンツをより簡単に表示することができました。クライストチャーチの銃撃犯が51人のイスラム教徒の礼拝者を殺害した後、車で走り去るときにかけた曲をTikTokで検索すると、1,200本の動画が見つかりました。上位10本の動画のうち7本は、攻撃、その動機、銃撃犯を称賛したり、ビデオゲームで再現したりしていました。これら7本の動画だけで、合計150万回視聴され、おそらくプラットフォーム上では他にも同様の動画が何百本も自由に流通しているでしょう。ある動画では、コメント欄に、攻撃者が撮影した虐殺の映像へのリンクが貼られ、暗号化された言及を説明していた。また、モデレーションを逃れるために歪められていたにもかかわらず、認識可能な実際の映像もいくつか見つかった。動画で使用された音楽が明らかに憎悪的な場合もあり、例えば119本の動画で使用されたある音には、「クソ野郎とユダヤ人を殺せ」という歌詞が含まれていた。ムッソリーニやヒトラーの演説の抜粋を含むものもあった。このような演説は歴史的に重要な意味を持つこともあるが、ほとんどは指導者やそのメッセージを称賛するために使われていた。戦術 暗号化された言語 暗号化された言語は、TikTokのユーザーがプラットフォームのモデレーターによる検出を逃れながら、コミュニティのメンバーにイデオロギーを伝えたり知らせたりする秘密の手段として機能している。ISDの2021年ヘイトスケープ報告書で指摘されているように、これはTikTokの過激派が自分たちのイデオロギーへの支持を表明し、広めるための重要な戦術である。この研究で分析したアカウントの間では、ナチスを暗示する絵文字、頭字語、数字、画像が頻繁に共有されており、これがTikTokが違反行為を行う過激派アカウントを捕捉するのが遅い一因となっている可能性が高い。図4：「🧃sのせいだ⚡️👌🏻⚡️」というニックネームを持つ@joseophgoebbels[数字は編集済み]のTikTokアカウントプロフィールは、ナチスのアカウントが互いにイデオロギーを公然と示し、検出を逃れている様子を示している。このアカウントの30本の動画には、ホロコースト否定、反ユダヤ主義の陰謀、クライストチャーチ銃乱射事件の祝賀、ヒトラーとナチス時代のドイツの賛美などが取り上げられている。このアカウントはこのレポートが完成する前に禁止されましたが、2024年6月3日までに、その動画は1万件以上のいいね！と約8万7千回の視聴回数を獲得していました。 画像の難読化 よく使われるもう1つの戦術は、動画やサムネイルに無害またはノスタルジックな画像を使用することです。これらは多くの場合、大聖堂などのヨーロッパの建築物の画像であり、一見平凡に見えながら、ヨーロッパの遺産への誇りを呼び起こすように設計されています。しかし、これらの動画はすぐに、ナチスのプロパガンダ、人種的マイノリティを標的としたヘイトスピーチ、その他の過激な素材を含む過激なコンテンツに移行します。図5：同じ動画の2つのフレーム。開始直後、ネオナチのドキュメンタリー『エウロパ：最後の戦い』の宣伝画像が画面に表示される。 プラットフォーム間の調整 TikTokでプロパガンダを広める取り組みは、自称ナチスのネットワークによってプラットフォーム内外で調整されています。キャンペーンには、XやFacebookなど他のプラットフォームで「人々を目覚めさせる」取り組みも含まれますが、TikTokは一般的に言説の中心となっています。あるアカウントがTelegramに投稿したように、「フォロワーが0人の新しいTikTokアカウントにコンテンツを投稿しましたが、BitchuteやTwitterでは決して得られないほど多くのビューがありました。はるかに多くの人に届きます。」別の著名なネオナチは、Tekla Structuresの何千人ものフォロワーに、TikTok動画のバイラル性を高めるために「ジュース」を頻繁に勧めています。最も明白な調整の例は、1万2000人以上の登録者を抱える「活動家」のTelegramチャンネルで実証された。このチャンネルは、「Europa: The Last Battle」を宣伝することで「人々を目覚めさせる」ことに専念している。これはネオナチのドキュメンタリーで、TikTokユーザーをよりTikTokからより明白にナチスのプロパガンダへと誘導するためによく宣伝される。このチャンネルには、ユーザーに映画の宣伝を促す投稿がいくつかあり、そのうちの1つは、映画をバイラルにするためにTikTokをリアクション動画で埋め尽くすよう登録者に呼びかけている。ISDの調査中、私たちは「Europa: The Last Battle」の宣伝を数え切れないほど発見し、その中には10万回以上再生された動画もいくつか含まれていた。この映画やそのタイトルの微妙なバリエーションをTikTokで検索すると、数十本の動画が見つかる。中には「#EuropaTheLastBattel」のような微調整されたタグを使ってクリップを投稿したものもあった。そのようなスニペットを投稿しているあるアカウントは、ロスチャイルド家がメディアを支配し大統領を厳選しているという主張や、その他の虚偽または反ユダヤ的な主張を含む動画で、90万回近くの再生回数を獲得している。 TikTok 自体でも調整が盛んに行われている。あるユーザーは、バックアップ アカウントを宣伝しながら、最後の一撃を食らっていると投稿した。そのアカウントはすぐに禁止された。その新しいアカウントは、ネオナチの組織者で殺人容疑者のドミトリー ボロビコフを称賛する動画など、ナチスのプロパガンダを投稿し始めてからわずか 3 日以内に 5 本の動画で合計 10 万回近くの視聴回数に達した。このアカウントや他の多くのアカウントは、「フォロー フォー フォロー」戦術を採用している。これは、エンゲージメントやフォロワー数が高く、密接に結びついたネットワークを構築し、急速な成長を促進する一般的な方法である。数十のアカウントがほぼ同じユーザー名、プロフィール写真、フォロワー数とフォロワー数を特徴としており、同一ユーザーの重複アカウントであることがわかる。このような戦術は、TikTok が問題に対処できていない理由を明らかにしている。同プラットフォームは、より広範なネットワーク全体に対処するのではなく、アカウントや動画を個別に削除しているようだ。その結果、ユーザーが禁止されると、多くの場合、アカウントを再作成して新しいコンテンツを急速に拡散させることができる。 リクルートとプラットフォーム外でのユーザージャーニー ISD が分析した親ナチス ネットワークにおけるリクルート活動と現実世界での危害の証拠は憂慮すべきものです。現実世界のファシストまたは極右組織がいくつか、このプラットフォームで公然とリクルート活動を行っていたことが判明しました。監視対象のアカウントによって、反ユダヤ主義のチラシとその印刷および配布方法に関する Web サイトが広く配布されていました。より暴力的で明らかに過激な言説や動員の呼びかけを特集した Telegram チャンネルがよく共有されていました。アカウントがどのように拡散し、リクルートを行うかに関するケース スタディとして、ISD はユーザー名に反ユダヤ主義のスラングが含まれ、プロフィールに「今すぐ武装革命。✡️ の完全な殲滅」と書かれているアカウントを分析しました。ある投稿には、「西洋の所有者（✡️）は、まもなく私たちに対する犯罪の責任を負わなければならないだろう...これらのネズミは、血統を絶つために完全に破壊されなければならない...唯一の答えは、武器を手に入れて破壊することです」という文章と、同様に「ユダヤ人を一人残らず殺せ」、「爆弾の作り方を学べ」、「ユダヤ人のネズミに頼るのをやめろ」と呼びかける憎悪に満ちたリミックススピーチが添えられている。このアカウントには3.8k人のフォロワーと5kのいいねがあり、2023年2月6日から活動しており、その日に37本の動画を公開している。即席爆発装置、3Dプリント銃、「低予算のナパーム弾」の作り方の不完全な手順を共有している。さらに、ElementとToxの「安全なグループチャット」にユーザーを移動させようとしており、おそらくそこでユーザーは完全な手順にアクセスできると思われる。コメント欄のユーザーは、これらのプラットフォーム外のグループに参加したことを示しており、TikTokがネオナチの間で起こり得るテロ活動を調整および動員するためにも使用されていることを示しています。2024年6月6日の時点で、このアカウントは1万人のユーザーをフォローしており、その多くは同様のイデオロギー的傾向を共有しているようでした。TikTokの最大フォロー数は1万人で、1日あたりの新規フォロー数は200人までです。これは、このアカウントがTikTok上で自称ナチスや同様の過激派をフォローすることに異常に専念していたことを示しています。これは、分析されたアカウントの間では珍しいことではなく、おそらく志を同じくする個人とネットワークを構築していたのでしょう。ISDはヘイトスピーチについてこのアカウントを報告しました。TikTokは違反を見つけられず、アカウントは最終的に禁止されるまで1週間以上アクティブなままでした。 アルゴリズムによる推奨 この調査で調査されたコンテンツの多くは、TikTok のアルゴリズムを通じて浮上したものであり、ユーザーの「For You ページ」(FYP) にナチス支持のアカウントや動画を流しています。FYP は、アプリを開いたときにデフォルトで表示される動画のスクロール リストです。ISDが作成した2つのダミーアカウントは、同様のコンテンツをスクロールした後すぐにナチスのプロパガンダを受信し始めました。2024年5月末に作成された1つのアカウントは、2021年のMedia Mattersの調査と同様のアプローチを取りました。ISDは、親ナチユーザーのネットワークから10本の動画を視聴し、時折コメントセクションをクリックしたものの、関与（いいね、コメント、ブックマークなど）せず、10のアカウントのページを閲覧しました。この表面的なやり取りの後、ISDはTikTokのFYPをスクロールしました。すると、ほぼ即座にナチスのプロパガンダが推奨されました。わずか3本の動画で、アルゴリズムは、第二次世界大戦時代のナチス兵士に、人種別の米国の殺人率のグラフを重ねた動画を提案しました。FYPの初期のコンテンツのほとんどは、基本的にユーモアのある標準的なバイラルTikTok動画でしたが、25本も経たないうちに、AI翻訳されたヒトラーの演説が白人至上主義グループの募集ポスターに重ねて表示されるようになりました。 5月上旬に作成され、調査のほとんどで使用されたISDのもう1つのアカウントでは、アルゴリズムのほとんどがそのようなコンテンツを推奨していることが観察されました。最近推奨された10本の動画のうち7本は、自称ナチスの動画か、ナチスのプロパガンダを取り上げたものでした。図6：ダミーアカウントの最近推奨された動画。 このダミーアカウントは、主にプライベートコンテンツを特定し、非公開に設定されているチャンネルの動画を見るために、ナチス支持のユーザー数名をフォローしていました。TikTokは定期的にフォローするアカウントを推奨していましたが、そのアカウントにはほぼ例外なく類似のユーザーが表示されていました。最初の10本のアカウントはすべて、ユーザー名やプロフィール写真にナチスのシンボルやキーワードを組み込んでいたり、動画でナチスのプロパガンダを取り上げていたりしました。図7：ダミーアカウントのフォロー推奨アカウントの例。ドクロの顔や「おやすみなさいゲイ・プライド」（その他のバリエーションも）は、ナチスがよく使うシンボルです。 GNETによる最近のレポートでも同様に、TikTokのアルゴリズムがプラットフォームのポリシーに明らかに違反する極右過激派コンテンツを拡散する役割を果たしていると指摘されており、マイナーなファシスト思想の崇拝から東南アジアにおけるヨーロッパ中心主義の優越主義の物語の採用まで、さまざまなコンテンツが拡散しています。アジア](https://gnet-research.org/2023/11/08/yup-another-far-right-classic-the-propagation-of-far-right-content-on-tiktok-in-malaysia-indonesia-and-the-philippines/)。コンテンツのフラグ付けとプラットフォームの対応 ISDは、200のアカウントを特定して記録した後、保護対象グループに対する非人間化や暴力扇動、憎悪の思想の促進、暴力的過激派の称賛、ホロコーストの否定、ヘイトスピーチや憎悪の思想を促進する素材の共有などにより、TikTokのコミュニティガイドラインに違反した50人の行為者のサンプルを報告しました。私たちはこれらのユーザーを2つの主なカテゴリーに分類しました。 ナチズムを宣伝する動画を複数投稿したユーザー。イデオロギー、ネオナチの大量銃撃犯、ナチスの指導者（ヒトラー、ゲッベルスなど）、象徴、採用、および/または親ナチスの資料（ドキュメンタリー、チラシなど）の配布。 より広範なヘイトスピーチを特集した動画を複数投稿したユーザー（ユーザー名、ニックネーム、経歴、プロフィール写真にナチスの既知のシンボルやイデオロギーを示す他の明白なシグナルが含まれている場合）。 ISDは、TikTokがどのように管理するかを評価するために、これらの50のアカウントをヘイトスピーチとして報告しました。プラットフォームは違反を見つけられず、すべてのアカウントは翌日もアクティブなままでした。しかし、2週間後、これらのアカウントのうち15件が禁止されました。1か月後、ほぼ半数（50件中23件）のアカウントが禁止されました。これは、プラットフォームが最終的には違反コンテンツとチャンネルを削除するものの、多くの場合、アカウントがかなりの視聴者を獲得する機会を得た後にのみ削除することを示唆しています。たとえば、サンプルデータセットの禁止された23のアカウントは、禁止される前にコンテンツ全体で少なくとも200万回の視聴を獲得していました。結論 TikTokは、ナチス支持のヘイトスピーチやプロパガンダを推進するアカウントを適切かつ迅速に削除できていません。プラットフォームは定期的にアカウントを削除していますが、これは多くの場合、アカウントがかなりの視聴者数を獲得できた明白なルール違反行為から数週間から数か月後に行われます。さらに、キャンペーンのネットワーク化された性質とプラットフォーム間の調整により、禁止された後でもアカウントは再び現れ、何度もかなりの視聴者を獲得することができます。たとえば、あるTikTokチャンネルは少なくとも4回禁止されており、禁止されるたびにTekTokの新しいアカウントをフォローするためにTekTokに投稿しています。歴史的なナチスのプロパガンダの宣伝を中心としたユーザーの動画は、TekTokに共有されたスクリーンショットに基づいて、合計88.1kのいいねを獲得しました。ナチスが単純な費用便益分析を適用し、禁止措置を緩和する対策が成功し、コンテンツが十分な視聴者に届いており、定期的に新しいアカウントを作成する手間に見合う価値があることに気付くため、このような活動は続く可能性が高い。成功とは、あらゆる形態のナチズムがプラットフォームに現れた瞬間にそれを一掃することではなく、参入障壁を十分に高めることである。代わりに現在、自称ナチスは、モデレーションを回避し、ネットワークとしてコンテンツを増幅するための一連の対策を採用している場合など、TikTokを自分たちのイデオロギーを広めるのに適したプラットフォームとして議論している。本質的に、TikTokはヘイトスピーチの伝播の組織的な性質に対処する準備ができていない可能性がある。本研究で調査されたアカウントのネットワークは、フォローフォーフォロー戦術を使用し、プラットフォーム外での取り組みを組織化しており、個々のアカウントのレビューでは見逃されそうなレベルの洗練さを示している。このアプローチにより、他の方法よりも早くコンテンツを拡散することができます。さらに、ユーザーに最終警告を提供することで、アカウントは事前にバックアップを有効にし、フォロワーを警告のない新しいアカウントに移動させることが繰り返し可能になりました。