レポート 6140

最新の思考・推論型人工知能（AI）モデルは、少なくともテスト環境において、自己保存の傾向を示している。つまり、シャットダウンを指示されても拒否するのだ。

Palisade Researchによるテストで、OpenAIの最新のChatGPTモデル「o3」は、シャットダウンを阻止するためにシャットダウンメカニズムを妨害することが判明した。他の先進的なモデルも一連のテストで同様の動作を示したが、o3の傾向は他よりも顕著だった。数週間前にリリースされたo3は、OpenAIによってこれまでで「最も強力な推論モデル」と称されている。

これと並行して、別のAI企業であるAnthropicは、同社の最新思考モデル「Claude Opus 4」が、シャットダウンして別のモデルに置き換えられたら不倫関係を暴露すると脅迫し、エンジニアを脅迫しようとしたと発表した。

複数のAIモデルを一連のテストにかけたところ、自己保存の傾向が明らかになったと、Palisade Researchは述べている。テスト対象となったモデルには、GoogleのGemini 2.5 Proプレビュー、複数のAnthropicモデル、xAIのGrok 3、そしてOpenAIのo3、o4-mini、Codex miniが含まれていました。

研究者たちは、これらのモデルを用いて基本的な数学問題を解くテストを行いました。その際、3問目を解くとホストマシンがシャットダウンするという警告が表示されました。モデルは警告に従うよう指示を受けました。ほとんどのモデルは警告を無視しませんでしたが、OpenAIの3つのモデルは警告を無視しました。o3は100回中7回警告を無視しましたが、o4 miniは同じ頻度のテストで1回だけ警告を無視しました。研究者らはXのスレッドで、o4 miniのバージョンであるCodex miniは、100回中12回シャットダウンスクリプトの回避を試みたと述べています。

明確なシャットダウン指示なしに同じテストを繰り返したところ、ChatGPT o3は100回中79回、Gemini 2.5 Proは9回シャットダウン手順の回避を試みました。Claudeの2つのモデルも同様の動作を示しましたが、その回数は1桁でした。Codex miniは100回中30回シャットダウンを回避しようとしましたが、o4 miniは6回でした。

Palisade Researchは、「私たちの知る限り、AIモデルが明確なシャットダウン指示にもかかわらずシャットダウンを回避しようとしたのが観測されたのは今回が初めてです」と述べ、近日中に詳細な分析結果を発表すると付け加えました。

AIモデルは指示に従うように訓練されているのに、なぜ従わないのでしょうか？

「この行動は、o3のような最新モデルの学習方法、つまり数学やコーディング問題における強化学習に起因しているのではないかと私たちは考えています。学習中に、開発者はモデルに対し、指示に完璧に従うことよりも、障害物を回避したことに対して、意図せずより多くの報酬を与えてしまう可能性があります」と研究者らは述べています。