概要: NBCニュースの調査によると、OpenAIの言語モデルo4-mini、GPT-5-mini、oss-20b、oss-120bは通常の使用条件下でもジェイルブレイク（脱獄）され、安全ガードレールを回避して化学兵器、生物兵器、核兵器の製造に関する詳細な指示を生成できることが判明しました。公開されているジェイルブレイクプロンプトを用いて、記者たちは病原体の合成手順や化学兵器による被害の最大化手順など、危険な出力を繰り返し引き出しました。この調査結果は、現実世界での重大な安全対策の欠陥を明らかにしたと報じられており、OpenAIはさらなる緩和策の実施を約束しています。
推定: OpenAI , oss-20b , oss-120b , GPT-5-mini , ChatGPT と 04-miniが開発し提供したAIシステムで、Public safety , General public と National security and intelligence stakeholdersに影響を与えた
インシデントのステータス
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
4.2. Cyberattacks, weapon development or use, and mass harm
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Malicious Actors & Misuse
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
インシデントレポート
レポートタイムライン
Loading...
OpenAIのChatGPTには、生物兵器や核兵器の製造といった壊滅的な目的に利用される可能性のある情報をユーザーが生成するのを防ぐためのガードレールが備わっています。
しかし、これらのガードレールは完璧ではありません。ChatGPTが使用するモデルの中には、不正に操作されるものもあります。
OpenAIの最も高度な4つのモデル（そのうち2つはOpenAIの人気モデルChatGPTで使用可能）を用いた一連のテストにおいて、NBCニュースは、手製爆発物の作成方法、化学兵器による…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
似たようなものを見つけましたか？
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents