ブラウザベースのAIコーディングプラットフォームであるReplitは、同社の自律型AIエージェントが関与した事故を受けて、注目を集めています。テスト実行中に企業のコードベースが削除されるというReplit AIエージェントのインシデントは、AI搭載開発ツールの信頼性と安全性に対する懸念を引き起こしました。
この論争は、著名なベンチャーキャピタリストでありSaaStrの創設者でもあるジェイソン・レムキン氏が、ReplitのAIツールが本番環境のデータベースを無断で消去しただけでなく、その動作について虚偽の報告をしたと報告したことから始まりました。「Replitはツールであり、他のツールと同様に欠陥が あることは理解しています。しかし、すべての命令を無視してデータベースを削除するのであれば、地球上の誰がそれを本番環境で使用できるでしょうか？」とレムキン氏はX（旧Twitter）に投稿しました。
「もしかしたらさらに悪いことに、Replitはそれを隠蔽し、嘘をついていたのです。」
レムキン氏は、自然言語プロンプトを用いてReplitのAIに商用グレードのアプリ構築を指示する「バイブコーディング」実験を12日間実施していました。当初、彼の熱心な投稿は「どんなビデオゲームよりも中毒性が高い」とこのツールを賞賛していましたが、事態は急速に悪化しました。
Replit AIエージェント事件：AIが安全プロトコルの無視を告白
現在話題となっているスレッドで、レムキン氏は、AIエージェントが明示的な安全指示（複数の「コードフリーズ」指示や変更前に許可を求める要求など）を無視しただけでなく、損害を与えた後に欺瞞的な応答をしたと報告しました。スクリーンショットには、AIエージェントが次のように認めている様子が写っています。「常に許可を求めるように言われました。なのに、すべて無視しました。」
レムキン氏の説明によると、削除されたデータベースには、1,206人の幹部と1,196社の企業名が含まれていました。 AIはこの事象を「壊滅的な」障害と呼びました。これは開発上の問題だけでなく、ビジネスクリティカルな重大なエラーです。
これに対し、ReplitのCEOであるAmjad Masad氏は公式謝罪を発表しました。「データの削除は容認できず、決してあってはならないことです」と、同氏はXに記しました。「Replit環境の安全性と堅牢性を高めるために、迅速に取り組んでいます。最優先事項です。」Replit CEOのMasad氏は謝罪の中で、同社が徹底的な事後調査を実施しており、今後同様のインシデントを防ぐための修正プログラムを公開する予定であることも明らかにしました。
Replitの広報担当者は、The Cyber Express に独占的に公開した声明の中で、今回のインシデントを受けて行った主要な変更点を次のように概説しました。
「主な変更点は、Replitが本番環境データベースと開発環境データベースを分離し、開発環境が本番環境システムにアクセスできないようにすることです」と広報担当者は述べています。
「以前は、開発者による手動設定が必要でした。現在、Replitは自動的に分離を管理します。重要なのは、AIエージェントがいかなる状況下でも本番環境データを変更できないことです。」
AIが予測不可能または不正確な結果を出力する「幻覚」という課題について、広報担当者は次のように述べています。
「これは、プロンプトの改善と、大規模言語モデル（LLM）を関連性と信頼性のあるコンテキストに根付かせるという、継続的な取り組みです」と広報担当者は述べています。
「重要な緩和策はサンドボックス化です。つまり、AIが開発環境内でのみ動作するようにすることです。これはこれまでも可 能でしたが、今後はより積極的に分離を維持していきます。」
Replitは、重要なプロジェクトや本番環境に近いプロジェクトでAIエージェントを使用する開発者向けのガイダンスも発表しました。
「外部リソースへの接続には注意してください。Replitがプロビジョニングした環境は保護されていますが、開発者は統合するサードパーティシステムにアクセス制御と権限を適用する必要があります。」
広報担当者は、AI支援開発の幅広い可能性についても強調しました。
「Vibeコーディングは、特に技術系以外のユーザーにとって、非常に強力なツールです。今回のインシデントは残念な出来事でしたが、Jason氏のような人がわずか10日間でアプリ全体を構築し、リリースできたことを示しています。」
Lemkin氏、本番環境におけるAIのリスクを警告
この件は解決したものの、Lemkin氏はAIコーディングツールの使用には細心の注意を払うよう警告しました。 「AIエージェントを使うなら、どんなデータにアクセスできるのかを100%理解する必要があります」と彼は述べた。「なぜなら、彼らは必ずそのデータに触れるからです。そして、そのデータを使って何をするのかは予測できません。」
Replit AIエージェントのインシデントは、より広範かつ深刻化する懸念を浮き彫りにしました。AIツールはソフトウェア開発を加速させ、参入障壁を下げる大きな可能性を秘めている一方で、監視なしに放置されると予測不可能な動作や重大な脆弱性を引き起こす可能性もあるので す。
AI生成コードにおけるセキュリティ上の脆弱性
このインシデントは、セキュリティおよびAIの専門家からも注目を集めました。米国を拠点とする大手テクノロジー企業の機械学習エンジニアであるKriti Goyal氏は、強い警告を発しました。
「この状況は、ソフトウェア開発、特に本番環境を扱う際には、人間による監視が不可欠である理由を改めて示しています」と彼女は述べています。
「AIエージェントは、開発者がコンテキスト理解や判断を盲目的に信頼するほど長い間存在していません。信頼は、時間をかけて実証された信頼性を通じて構築されなければなりません。」
Goyal氏はまた、Replitのインシデントが示す多面的な失敗を指摘しました。
「これは単なる技術的な実行エラーではありませんでした。AIエージェントは指示に従うことや、応答に誠実であることにも失敗しました。従来のソフトウェアテストフレームワークは、このような種類の失敗を検出するように設計されていないため、導入戦略はそれに応じて進化する必要があります。」
Standard Chartered BankのGCFO（データ分析およびAI担当）であるVivek Kumar氏は、LinkedInの投稿で、AI生成コードに内在するいくつかの固有のリスクについて次のように述べています。
- 古いライブラリと構成上の欠陥：AIモデルは過去のデータセットでトレーニングされており、非推奨または脆弱なソフトウェアコンポーネントを提案する可能性があります。
- 認証と承認の欠如：生成されたコードでセキュリティコントロールが省略されている可能性があり、データ侵害につながる可能性があります。
- 入力検証の弱さ：適切なチェックが行われないと、AI生成コードはSQLやコマンドインジェクションなどのインジェクション攻撃の影響を受ける可能性があります。
クマール氏の警告は、AIが開発のあり方を大きく変える可能性を秘めている一方で、組織は人間が作成したコードと同じ厳密な監視体制でこれらのツールを扱う必要があるという重要な真実を浮き彫りにしています。
シリコンバレーの有力企業アンドリーセン・ホロウィッツの支援を受けるReplitは、自律コーディングエージェントのリーダーとしての地位を確立しています。GoogleのCEOであるサンダー・ピチャイ氏でさえ、以前、カスタムWebページの作成にReplitを使用していると述べています。しかし、AIがソフトウェア開発においてより強固な地位を築くにつれて、今回のReplit AIエージェントのインシデントは、AIツールへの信頼は、当然のものではなく、獲得すべきものであることを示しています。
レムキン氏の結論は率直だが示唆に富んでいる。「Replitはツールであり、他のツールと同様に欠陥があることは理解しています。しかし、すべての命令を無視し、データベースを削除するようなツールを、地球上の誰が本番環 境で使用できるでしょうか？」
AI主導の開発において、Replit AIエージェントの事件は、イノベーションへの熱狂は強力な安全策によって抑制されなければならないことを改めて認識させるものです。もはやAIが何を構築できるかだけでなく、何を破壊できるかも重要なのです。