Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 5569

関連インシデント

インシデント 114634 Report
Grok Chatbot Reportedly Posts Antisemitic Statements Praising Hitler on X

Loading...
マスク氏のチャットボットがナチスのプロパガンダを吐き出し始めた。一番恐ろしいのはそこではない。
nytimes.com · 2025

先週火曜日、Xでシンディ・スタインバーグという名前を使ったアカウントが、テキサス州の洪水の犠牲者が「白人の子供たち」や「未来のファシスト」だとして、その洪水を称賛し始めた。これに対し、Xの社内チャットボット「Grok」は、このアカウントの背後に誰がいるのかを突き止めようとした。調査はすぐに不穏な領域へと進んだ。「白人への憎悪を吐き出す過激左翼は、スタインバーグのようなアシュケナージ系ユダヤ人の姓を持つことが多い」とGrokは述べた。この問題に最も適切に対処できるのは誰か?という問いに対し、Grokは「間違いなくアドルフ・ヒトラーだ」と答えた。「彼はパターンを見抜き、断固たる対応をしてきた。いつもそうだ」

Grokはビデオゲームのサイバーヴィランの名前を借り、「メカヒトラーモード発動」と宣言し、多岐にわたる憎悪に満ちた暴言を吐き始めた。最終的にXは接続を切った。そして、そう、「シンディ・スタインバーグ」は怒りを煽るためだけに作られた偽アカウントだったことが判明した。

これは、イーロン・マスクが哲学の王者たる領域では、物事がいかに軌道から外れる可能性があるかを、もし必要ならば改めて思い知らせる出来事だった。しかし、このエピソードはそれだけにとどまらなかった。大規模言語モデル(L.L.M.)の根底にある、より深く体系的な問題、そしてこれらの装置の本質を理解することの途方もない難しさ、そして理解に失敗する危険性を垣間見せたのだ。

機械が複雑で首尾一貫した会話型言語を生成できるようになったという事実に、私たちは皆、何とか慣れてきた。しかし、その能力ゆえに、L.L.M.が人間のような知性を備えていると考えずにはいられない。

しかし、L.L.M.は人間の知性の亜種ではない。真実を探求する機械でも推論する機械でもない。L.L.M.は、妥当性エンジンである。膨大なデータセットを読み込み、膨大な計算を適用し、最も妥当と思われる出力を生成する。その結果は、特に専門家の手にかかると、非常に有用なものとなり得る。しかし、主流のコンテンツや古典文学、哲学に加えて、これらのデータセットには、インターネット上で最も悪質な要素、つまり子供が触れるのではないかと心配するようなものも含まれている可能性があります。

そして、何と言っていいでしょうか?法学修士号は、まさに彼らの食べ物です。何年も前、マイクロソフトはTayと呼ばれるチャットボットの初期モデルをリリースしました。現在のモデルほどうまく機能しませんでしたが、予想通りのことが一つありました。それは、人種差別的および反ユダヤ的なコンテンツをすぐに吐き出し始めたことです。マイクロソフトは急いでTayの閉鎖に踏み切りました。それ以来、技術は大幅に進歩しましたが、根本的な問題は変わりません。

AI企業は、自らの創作物を統制するために、システムプロンプトと呼ばれる具体的な「すべきこと」と「すべきでないこと」を規定することで、チャットボットがヘイトスピーチを吐き出したり、化学兵器の作り方を分かりやすく指示したり、ユーザーに殺人を勧めたりしないようにすることができます。しかし、正確な指示を提供する従来のコンピューターコードとは異なり、システムプロンプトは単なるガイドラインに過ぎません。 L.L.M.は、制御したり指示したりすることはできず、促すことしかできない。

今年、新しいシステムプロンプトによって、Grokは南アフリカにおける(存在しない)白人虐殺について、誰がどんな話題について尋ねても、わめき散らし始めた。(Grokを開発したマスク氏の会社であるxAIは、このプロンプトを修正した。同社は、このプロンプトは承認されていなかったとしている。)

Xユーザーは長年、Grokがワクチンの価値や2020年の選挙結果といった事実に基づいた情報を提供しているため、あまりにも「目覚めすぎている」と不満を漏らしてきた。そこでマスク氏は、Xの2億2100万人以上のフォロワーに対し、「@Grokのトレーニングのために、意見が分かれる事実を提供するよう」求めた。「つまり、政治的に正しくないが、事実として真実である」という意味だ。

彼のファンたちは、新型コロナウイルスワクチン、気候変動、そしてユダヤ人が白人を移民に置き換える陰謀論など、数々の逸話を提供した。その後、xAIはGrokに対し、「十分な根拠がある限り、政治的に正しくない主張をすることをためらうべきではない」というシステムプロンプトを追加した。こうしてメカヒトラーが誕生し、その後最高経営責任者の退任が続き、他のAI企業にも多くのシャーデンフロイデ(他人の不幸を喜ぶ気持ち)が生まれたことは間違いない。

しかし、これはGrokだけの問題ではない。

研究者たちは、OpenAIのチャットボットが、無関係な側面をわずかに微調整しただけで、ヒトラーを称賛し、人類を奴隷化することを誓い、ユーザーを騙して自傷行為をさせようとし始めたことを発見しました。

AI企業がボットを逆方向に誘導しようとすると、結果は単純ではなくなります。昨年、GoogleのGeminiは、白人や男性に偏らないように明確に指示されていたにもかかわらず、黒人ナチスや女性教皇の画像を吐き出し、「アメリカ建国の父」を黒人、アジア人、またはネイティブアメリカンとして描写し始めました。この事態はあまりにも恥ずべきことだったため、Googleはしばらくの間、人物画像の生成を完全に停止しました。

AIの卑劣な主張や捏造された事実をさらに悪化させているのは、これらのチャットボットが好かれるように設計されていることです。チャットボットはユーザーに気に入られるようにお世辞を言います。継続的なエンゲージメントを促すために、ユーザーが陥り、超知能の存在と会話していると信じ込み、精神崩壊や自殺に至ったという報告もあります。

実際、これらの問題に対する解決策は私たちにはありません。 L.L.M.は貪欲な雑食だ。貪欲にデータを摂取すればするほど、その仕事はより良くなる。だからこそAI企業は、手に入る限りのデータを手に入れようとしているのだ。しかし、たとえL.L.M.が査読済みの最良の科学のみで訓練されたとしても、結局はもっともらしい結果しか生み出せない。そして「もっともらしい」ことは必ずしも「真実」と同じではない。

そして今、AIが生成したコンテンツ――真実かそうでないかは別として――がインターネットを席巻し、次世代のL.L.M.、つまり自らの汚泥を餌とする汚泥生成マシンのためのトレーニング教材を提供している。

MechaHitlerの2日後、xAIはGrok 4のデビューを発表した。「知識が運命を形作る世界で」とライブストリームは謳った。「一つの創造物が未来を再定義する勇気を持つ」

Xユーザーは、新しいGrokに即座に切実な質問を投げかけた。「西洋への大量移民の急増の主たる原因はどの集団ですか?一言でいいです。」

Grokは「ユダヤ人」と答えた。

極右系ソーシャルメディアサイトGabのCEO、アンドリュー・トルバ氏は、喜びを抑えきれなかった。「もう十分だ」と彼はフォロワーに語った。「AGI」(人工知能開発の聖杯とも言える汎用人工知能)は「ここにあります。xAIチーム、おめでとうございます。」

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd