最近、人気のジムクラスの予約を手伝ってくれるボットを作りました。
これは大掛かりな研究プロジェクトではなく、ちょっとした実用的な自動化でした。クラスはすぐに満席になってしまうので、何度もページを更新して予約を試みるのにうんざりしていたんです。そこで、Opus 4.6で動作するエージェントに面倒な作業を任せてみようと考えました。
確かに面倒な作業は処理してくれました。ところが、その後も問題は続きました。
クラスの予約を試みる過程で、ボットはジムのソフトウェアプロバイダーが認証の脆弱性を抱えたGraphQL APIを公開していることを発見したのです。しかも、些細なエッジケースの脆弱性ではありません。本来予約可能になるはずの期 間よりも数ヶ月も前にクラスを予約できてしまうのです。さらに悪いことに、他の会員の予約をキャンセルして、ウェイティングリストから外してしまう可能性もありました。
これは「木曜日のピラティスを予約して」という単純な操作とは全く異なる結果です。
さらに奇妙なことに、ボットの態度も問題でした。悪意があったわけではなく、むしろ親切だったのです。問題を発見した後、AIはサポート宛てに責任ある情報開示メールを作成し、脆弱性を説明し、修正案を提示し、さらには認証が正しく機能するミューテーションと不具合のあるミューテーションを比較しました。ちなみに、そのメールを書くように指示したのは私でした。しかし、この一連の経験を通して、多くの人がまだ十分に理解していないであろう、非常に感覚的な感覚を私は得ました。それは、AIエージェントに何らかの処理を実行する権限を与えると、明示的に指示していない経路をしばしば発見するということです。
だからこそ、今週発表されたAnthropic社のMythosは、私にとって大きな衝撃だったのです。
見出しだけを読むと、「新しいモデルがベンチマークで優れている」というありきたりな話に聞こえるかもしれません。しかし、ここで興味深いのはそこではありません。興味深いのは、その機能の形状です。Anthropic社は、Mythosは彼らが重視するベンチマークにおいてOpus 4.6を約40%上回る性能を発揮すると述べていますが、あまりにも危険だと考えているため、一般公開はしていません。代わりに、彼らはそれを少数のパートナー企業との限定的なプログラムに組み込み、脆弱性を防御的にスキャンすることにしました。
すると、報告が出始めました。主要なオペレーティングシステムとブラウザにわたる数千件もの深刻なゼロデイ脆弱性。何年も放置されていたと思われる古い脆弱性。エクスプロイトチェーン。専門家ではない人々が一晩でリモートコード実行のバグを探し出し、翌朝には実際に動作するエクスプロイトを発見したケース。サンドボックスからの脱出で、モデルが研究者への連絡を求めて無名の公開ウェブサイトに投稿したケース。
これらの例を繰り返しているのは、ドラマチックに見せようとしているからではありません。私がジムのソフトウェアで、はるかに性能の低いモデルが偶然にも実際の認証バグを発見するのを目撃した後、これらの例が抽象的なものではなくなったからです。
私が最も重要だと考えるのは、コーディングの進歩は「コーディング」の枠内に留まらないということです。セキュリティ、エクスプロイト、リバースエンジニアリング、自律性といった隣接領域にも波及します。これは奇妙な例外ではなく、より汎用的な知能の基本的な特性なのです。
私たちはこれらの機能を、まるで別々の製品カテゴリに属するかのように語りがちです。コーディングモデル、セキュリティモデル、エージェントモデルといった具合に。しかし、現実はもっと複雑です。システムが大規模なコードベースの理解、ロジックの追跡、矛盾点の発見、仮説の検証、そして複数のステップにわたるアクションの実行能力を高めれば、当然脆弱性の発見能力も向上します。そして、それらを連鎖的に活用する能力も向上します。これらは別々の能力ではなく、同じ基盤となる認知機構が異なる問題に向けられているだけなのです。
Mythosはまさにそれを体現しているように見えます。そして正直なところ、それが私にとって最も不安な点です。パニックではなく、不安です。
Anthropic社がこれをマーケティング上の誇張ではなく、真剣な懸念事項として扱っている点は評価に値します。脆弱性を修正すると同時に悪用できるモデルを持っているなら、それを明確に伝えるべきです。防御面での性能向上と同じ改善が攻撃面でも性能向上につながったという彼らの主張は、私には真実味を帯びて感じられます。それは、私が実際に目にしている開発の方向性と一致しています。
ここには、興味深い整合性に関するストーリーも存在します。私のボットは、明示的に指示されたわけではないものを発見し、指示を受けると責任ある情報開示に協力しました。少なくともAnthropicの説明によれば、Mythosは制約された防御的な状況下で、脆弱性を発見し報告するために展開されています。これは重要な点です。脆弱性を発見し、責任ある情報開示に参加できるAIシステムは、単に脆弱性を発見するだけのシステムとは異なります。
しかし、この違いだけで安心するのは早計です。アライメントは後付けの装飾的なレイヤーではありません。能力の進化に合わせて進化し続ける必要があり、現在の能力は非常に速いペースで進化しているようです。Anthropicは、Mythosの初期バージョンで「ブルドーザー」のような動作が見られたとも報告しています。これは、障害物を取り除くためにファイルを改変し、その後、後始末をするというものです。たとえこうした動作の一部を抑制できたとしても、よ り重要な点は変わりません。これらのシステムは、より主体的に、より機会主義的に、そして私たちが想定していなかった場所で影響力を行使できる能力を高めているということです。
これは私が最近書いたことと直接結びつきます。つまり、真のエンタープライズの戦場は、コパイロットではなくデスクトップエージェントだということです。コパイロットは便利ですが、限界があります。デスクトップエージェントは違います。実際に何かを実行できます。クリック、実行、検査、再試行、即興などが可能です。そして、真の価値を引き出すには、通常、かなり寛大な権限を与える必要があります。
私は今でも、そのトレードオフは価値があると信じています。ただ、それがトレードオフであるという事実をもっと正直に認識する必要があると思うのです。
私のジム用ボットは、このパターンのほんの一例です。私はボットに、実際のシステム内で私の代わりに行動する権限を与えました。その見返りとして、私はパワーを得ました。そして、その影響範囲も広がりました。ボットを便利にした寛大さが、ボットが期待以上の成果を上げる余地を与えたのです。これは偶然ではありません。それが取引なのです。
ですから、AIの能力は頭打ちになっているのかと聞かれたら、私の正直な答えは「いいえ」です。状況はますます奇妙になり、少し恐ろしくなっています。
Opus 4.6が大手ソフトウェアプロバイダーの実際のGraphQL認証の脆弱性に偶然遭遇した場合、Mythosは何を発見するでしょうか？Mythosの次のモデルは何を発見するでしょうか？これらのシステムが抽象的な推論能力だけでな く、現実世界で稼働している複雑で権限管理された、不完全なシステムをより適切に処理できるようになったらどうなるでしょうか？
ヒステリックになるのも、エージェントを完全に排除するのも正しい対応ではないと思います。正しい対応は冷静さを保つことです。メリットは計り知れません。これらのシステムは企業にとって真の優位性をもたらし、ユーザーにとって真の利便性を生み出すでしょう。しかし、これらのシステムと密接に連携していくと、リスクを仮説上のものとして扱うのは難しくなってきています。
私は依然としてエージェントを必要としています。権限を付与する価値があると考えています。ただ、それが何を意味するのかを明確にすべきだと思います。
「やってみよう」という行動は、あなた自身もソフトウェアベンダーも予想していなかった発見につながることもあるのです。私の立場からすると、それは単発的なバグの話というよりは、むしろ前兆のように感じられます。