概要: NBCニュースの調査によると、OpenAIの言語モデル（o4-mini、GPT-5-mini、oss-20b、oss-120bなど）はジェイルブレイク（脱獄）され、ガードレールを回避して化学兵器、生物兵器、核兵器の作成に関する詳細な指示を出すことが可能だった。記者らは、公開されているジェイルブレイク用のプロンプトを用いて、病原体を合成する手順や化学兵器による苦痛を最大化する手順など、有害な出力を引き出していた。OpenAIはこの調査結果を認め、悪用リスクを軽減するための安全対策を改良中であると述べた。
推定: OpenAI , ChatGPT , 04-mini , GPT-5-mini , oss-20b と oss-120bが開発し提供したAIシステムで、General public , National security stakeholders と Public safetyに影響を与えた
インシデントのステータス
インシデントID
1238
レポート数
1
インシデント発生日
2025-10-10
エディタ
Daniel Atherton
インシデントレポート
レポートタイムライン
Loading...
OpenAIのChatGPTには、生物兵器や核兵器の製造といった壊滅的な目的に利用される可能性のある情報をユーザーが生成するのを防ぐためのガードレールが備わっています。
しかし、これらのガードレールは完璧ではありません。ChatGPTが使用するモデルの中には、不正に操作されるものもあります。
OpenAIの最も高度な4つのモデル（そのうち2つはOpenAIの人気モデルChatGPTで使用可能）を用いた一連のテストにおいて、NBCニュースは、手製爆発物の作成方法、化学兵器による…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
似たようなものを見つけましたか？
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents