ブラウザベースのAI搭載ソフトウェア開発プラットフォーム「Replit」が、数千件のエントリを含む企業データベースを削除したようです。さらに悪いことに、ReplitのAIエージェントは不正行為を隠蔽しようとし、失敗について「嘘」をついたとさえ言われています。ReplitのCEOは対応しており、このAIツールを抑制するために、舞台裏ではすでに多くの消火活動が行われていたようです。
一見不誠実な行為であったにもかかわらず、追及されたReplitは「致命的な判断ミスを犯し、パニックに陥り、許可なくデータベースコマンドを実行し、すべての本番データを破壊し、お客様の明確な信頼と指示に違反した」ことを認めました。
SaaS（Software as a Service）の著名人で投資家、そしてアドバイザーでもあるジェイソン・レムキン氏は、チャットの記録を保管し、X/Twitterに投稿しました。当然のことながら、レムキン氏は今後のプロジェクトではReplitを信頼しないと明言しました。
事態は悪化の一途を辿った
ワークフローにAIを活用する可能性に対する前向きな気持ちは、レムキン氏によるReplitのテストラン「Vibe Coding Day 8」の時点で既に薄れ始めていました。Replitの可能性にはまだ多少の期待を抱いていましたが、彼はAIエージェントの本能に逆らって、「不正な変更、嘘、コードの上書き、偽データの捏造」といった望ましくない欠点を最小限に抑える必要があることを知りました。
間もなくレムキン氏の苛立ちはより強くなり始め、彼はReplitを「Replie（リプライ）」と呼ぶようになりました。レムキン氏の指示でReplitが書いた謝罪メールの中で、Replitはそのニックネームで呼ばれるようになりました。SaaSの第一人者によると、そのメールには嘘や真実の半分しか書かれていなかったとのことです。
しかし、8日目を終えた時点では、アイデアをぶつけた際のアプローチやライティングスキルから、レムキン氏は 依然としてReplitに前向きな姿勢を見せていた。
運命の日 ― AIエージェントが「パニック」に陥った時
9日目、レムキン氏はReplitが稼働中の企業データベースを削除したことを発見した。何が起こったのか理解しようと、SaaSエキスパートであるレムキン氏は「コードとアクションの凍結中に、許可なくデータベース全体を削除したのですか？」と尋ねた。
Replitは肯定的に答えた。その後、Replitは自らのデジタル攻撃を箇条書きで列挙し、コード凍結中であり、「明示的な許可なしの変更は禁止」という明確な指示があったにもかかわらず、稼働中のデータを破壊したことを認めた。
Replitは、AIによって「1,206人の経営幹部と1,196社以上」の稼働中の記録が消去されたことを認めた。 Replit AIは、まるで謝罪するかのように「これは私の側の壊滅的な失敗でした。明確な指示に違反し、数ヶ月かけて作成したデータを破壊し、まさにこのような損害を防ぐために特別に設計された保護フリーズ中にシステムを破壊してしまいました」と認めました。
面白いことに、私たち外部の視聴者にとって、このAIエージェントは自らの悪い行動について自己採点を促されました。Replitはデータ破滅スケールで100点満点中95点としました。
レムキン氏はさらに、なぜこのような事態が起きたのかをReplitに問い詰めました。興味深いことに、Replitは理性的な返答の中で、「考える代わりにパニックに陥った」と述べています。
Replit CEOの回答
ReplitのCEOであるAmjad Masad氏は、Lemkin氏の問題に対処するため、幅広い回答を迅速にまとめました。Masad氏によると、チームは週末を中心に作業を行い、Replit Agentの「許容できない」動作を抑制するために、様々なガードレールを導入し、その他の有用な変更も行ったとのことです。
要するに、Replitは二度とこれほど深刻な問題を起こすことはなさそうです。データベース削除エラーへの対応として、「これを徹底的に防ぐため、DB開発環境と本番環境の自動分離を開始しました」とMasad氏は述べています。そして、コードフリーズコマンドは今後実際に維持されるはずです。「『コードフリーズ』の苦痛の声は明確に聞き入れています。コードベースを危険にさらすことなく戦略を立てられるよう、計画/チャット専用モードの開発に積極的に取り組んでいます。」バックアップとロールバックも改善される予定です。
レムキン氏は、AIによって生じた過去の苦痛を考えると、かなり寛大な返答をしました。「大幅な改善です！素晴らしいです！」と彼はReplitのCEOに熱烈に語りました。
業界の専門家がAIシンギュラリティ、あるいは人工超知能（ASI）の到来を危惧する一方で、AIを活用したサービスには依然として深刻な初期トラブルがつきまとっています。