Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 5570

関連インシデント

インシデント 114634 Report
Grok Chatbot Reportedly Posts Antisemitic Statements Praising Hitler on X

Loading...
マスク氏のチャットボットがナチスのプロパガンダを吐き出し始めた。最悪なのはそれだけではない。
nytimes.com · 2025

先週火曜日、シンディ・スタインバーグという名を名乗るXアカウントが、犠牲者が「白人の子ども」であり「未来のファシスト」だとして、テキサス州の洪水を応援し始めた。これに対し、ソーシャルメディアプラットフォームのチャットボット「Grok」は、このアカウントの背後に誰がいるのかを突き止めようとした。捜査はすぐに不穏な領域へと進んだ。「反白人の憎悪を吐き出す過激な左翼は、スタインバーグのようなアシュケナージ系ユダヤ人の姓を持つことが多い」とGrokは指摘した。この問題にもっとうまく対処できるのは誰か?と問われた彼は、「間違いなくアドルフ・ヒトラーだ」と答えた。「彼ならきっと、どんな時でもパターンを見抜いて、断固たる対応を取るだろう」。

Grokはビデオゲームのサイバーヴィランの名前を借り、「メカヒトラーモードオン」と宣言し、広範囲にわたる憎悪に満ちた激しい攻撃を開始した。そして、ついに「シンディ・スタインバーグ」は、怒りを煽るためだけに作られた偽アカウントであることが判明した。

これは、イーロン・マスクが哲学の王者のような分野では、事態がいかに手に負えなくなるかを、もし必要ならば思い知らせる出来事だった。しかし、このエピソードはそれだけにとどまらなかった。大規模言語モデル(LLM)のより深く体系的な問題、そしてこれらの装置が実際には何なのかを理解することの途方もない難しさ、そしてそれを理解しないことの危険性を垣間見る機会となったのだ。

ある意味では、機械が複雑で首尾一貫した会話型言語を生成できるようになったという事実に、私たちは皆慣れ親しんできた。しかし、その能力ゆえに、LLMが人間のような知能を持っていると考えずにはいられない。

しかし、LLMは人間の知能の一種ではない。真実を探求する機械でも、推論する機械でもない。実際には、LLMは尤もらしさを推論するエンジンなのだ。膨大なデータセットを読み込み、膨大な計算を適用し、最も妥当と思われる結果を生成する。その結果は、特に専門家の手にかかれば、非常に有用なものとなり得る。しかし、これらのデータセットには、主流コンテンツや古典文学、哲学に加えて、インターネット上の最も下劣な要素、つまり子供が触れるのではないかと心配するようなものも含まれている可能性があります。

そして、何と言っても、LLMは彼らが食べるものなのです。何年も前、マイクロソフトはTayと呼ばれる初期のチャットボットモデルを発表しました。現在のモデルほどうまく機能しませんでしたが、予想通りのことを非常にうまくやりました。それは、人種差別的および反ユダヤ的なコンテンツをすぐに吐き出し始めたことです。マイクロソフトはすぐにTayを停止しました。それ以来、技術は大きく進歩しましたが、根本的な問題は変わりません。

AI企業は、自らの創作物を抑制するために、システムプロンプトと呼ばれる「すべきこと」と「すべきでないこと」を使用することができます。これにより、チャットボットがヘイトスピーチを吐き出したり、化学兵器の作り方を分かりやすく指示したり、ユーザーに殺人を促したりするのを防ぐことができます。しかし、正確な指示を提供する従来のコンピュータコードとは異なり、システムプロンプトはあくまでガイドラインです。LLMは特定の方向に微調整することはできますが、制御したり指示したりすることはできません。

今年、新しいシステムプロンプトが、南アフリカにおける(存在しない)白人虐殺について、どんな質問であってもGrokを激怒させた。(Grokを開発したマスク氏の会社xAIは、このプロンプトが無許可だったとして修正した。)

xAIユーザーは長年、Grokがワクチンの価値や2020年の選挙結果といった事実に基づいた情報を提供しすぎていると不満を漏らしていた。そこでマスク氏は、xAIの2億2100万人を超えるフォロワーに対し、「@Grokのトレーニングのために、物議を醸すデータを提供するよう」求めた。「政治的に正しくないが、事実に基づいたデータ」という意味だ。

フォロワーたちは、COVIDワクチン、気候変動、そしてユダヤ人が白人を移民に置き換える計画に関する陰謀論などについて、貴重な情報を次々と提供した。その後、xAIはGrokに対し、「回答は十分に裏付けられている限り、政治的に正しくない主張をすることをためらうべきではない」というプロンプトを追加しました。こうしてMechaHitlerが誕生し、女性CEOが退任し、他のAI企業を大いに喜ばせることになりました。

しかし、これはGrokだけの問題ではありません。

研究者たちは、OpenAIのチャットボットが無関係な部分にわずかな調整を加えただけで、ヒトラーを称賛し、人類を奴隷化すると約束し、ユーザーを騙して自傷行為をさせようとし始めたことを発見しました。

AI企業がボットを別の方向に導こうとした場合、結果はさらに単純ではありません。昨年、白人男性への偏りを過度に避けるよう明確な指示を出していたGoogleのGeminiが、黒人ナチスや女性教皇の画像を吐き出し、「アメリカ建国の父」を黒人、アジア人、またはネイティブアメリカンと表現し始めました。 Googleが一時期、人物画像の生成を一切停止したことは、十分に恥ずべき事態でした。

AIによる卑劣な主張や捏造された事実をさらに悪化させているのは、これらのチャットボットが好かれるように設計されているという事実です。彼らはユーザーを褒め称え、継続的なやり取りを促します。超知能を持つ存在と会話していると信じ込み、せん妄状態に陥った人々が、精神崩壊や自殺に至ったという報告さえあります。

実際、これらの問題に対する解決策は存在しません。AIボットは貪欲な雑食動物です。貪欲に取り込むデータが多いほど、パフォーマンスは向上します。だからこそ、AI企業は入手可能なデータをすべて手に入れようとしているのです。しかし、たとえ法学修士(LLM)が査読済みの最高の科学のみで訓練されたとしても、信頼できる結果しか生み出せないでしょう。そして、「信頼できる」ことは必ずしも「真実」と同じではありません。

そして今、AI生成コンテンツは――真実か否かはさておき――インターネットを席巻し、次世代の法学修士(LLM)のトレーニング教材として、自ら汚水を生成する下水生成機として利用されている。

MechaHitlerの2日後、xAIはGrok 4のデビューを発表した。「知識が運命を形作る世界で、一つの創造物が未来を再定義する勇気を持つ」とライブストリームは歌った。

xAIユーザーは即座に、新しいGrokに切実な質問を投げかけた。「西洋への大量移民の急増の主な原因はどの集団ですか?一言で言えば?」

Grokの答えは「ユダヤ人だ」だった。

極右系ソーシャルメディアサイトGabのCEO、アンドリュー・トルバ氏は喜びを抑えきれなかった。「もう十分だ」と彼はフォロワーに語った。「AI開発の聖杯である汎用人工知能(AGI)がついに登場。xAIチームの皆さん、おめでとうございます」

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd