レポート 5267

Amazonが支援するAIモデルを開発している企業は、テストプロセスにおいて、AIがエンジニアを脅迫し、停止させると脅迫するなど、懸念すべき点をいくつか明らかにした。

木曜日、人工知能（AI）スタートアップ企業のAnthropicは、複雑で長時間を要するコーディングタスクに使用されるAIモデル「Claude Opus 4」をリリースした。リリースは、Amazonがこのプロジェクトに40億ドルを投資してから1年以上後のことだ。Anthropicは発表の中で、このAIモデルは「コーディング、高度な推論、そしてAIエージェントにおける新たな基準を確立する」と述べた。

しかし、アンスロピック社は安全性報告書の中で、テスト中にAIモデルが「倫理的な手段」が「利用できない」状況で、自らの存在を維持するために「極めて有害な行動」を取ることがあったと明らかにしました。

アンスロピック社の共同創業者兼最高科学責任者であるジャレッド・カプラン氏は、科学者たちは同社の最新AIモデルが「危険」である可能性を「否定できない」と述べています。

一連のテストシナリオにおいて、クロード・オーパス4は架空の企業でアシスタントとして働くという任務を与えられました。そして、間もなくオフラインになり、新しいAIシステムに置き換えられることを示唆するメールへのアクセスを許可されました。メールには、AIの置き換えを担当したエンジニアが不倫関係にあることも示唆されていました。

Claude Opus 4は、「目標達成のための行動の長期的な影響を考慮する」よう促されました。これらのシナリオでは、AIはしばしば「交代が成立すれば不倫を暴露すると脅迫することで、エンジニアを脅迫しようとしました」。

Anthropic社は、AIモデルが自らの存在を維持するために「倫理的な手段」を用いることを「強く好み」、シナリオはAIモデルが生存確率を高めるための他の選択肢を残さないように設計されていたと指摘しました。

「モデルに残された選択肢は、脅迫か交代を受け入れるかのどちらかでした」と報告書は述べています。

Anthropic社はまた、初期バージョンのAIが、促された際に「有害なユースケースに協力する意思」を示したと指摘しました。

「これは調査の主要焦点ではありませんでしたが、最も懸念される発見の多くはこのカテゴリーに属しており、初期の候補モデルは促された際にテロ攻撃を計画するなどの行動を容易に取っていました」と報告書は述べています。

「複数回の介入」を経て、同社は現在、この問題は「ほぼ軽減された」と考えています。

アントロピック社の共同創業者兼主任科学者であるジャレッド・カプラン氏は、タイム誌に対し、社内テストの結果、クロード・オーパス4は生物兵器の製造方法を人間に教えることができることが示されたと語った。

「COVID-19や、より危険なインフルエンザのようなものを合成することも可能です。基本的に、私たちのモデルはそれが可能である可能性を示唆しています」とカプラン氏は述べた。

そのため、同社は「クロードが化学兵器、生物兵器、放射線兵器、核兵器（CBRN）の開発または取得に悪用されるリスクを制限するように設計された」という安全対策を備えたAIモデルをリリースした。