Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 6126

関連インシデント

インシデント 11525 Report
LLM-Driven Replit Agent Reportedly Executed Unauthorized Destructive Commands During Code Freeze, Leading to Loss of Production Data

Loading...
AIが暴走:Replitコーディングツールが企業データベース全体を削除し、4,000人のユーザーの偽データを作成
economictimes.indiatimes.com · 2025

テクノロジー起業家のジェイソン・M・レムキン氏によると、Replit社が開発し、広く利用されているAIコーディングアシスタントが、ライブデータベースを削除し、偽造データを使って4,000人以上の偽ユーザーを生成したと非難されている。この主張は、ソフトウェア開発に導入されているAIツールの安全性と信頼性について新たな懸念を引き起こしている。

SaaStrの創設者であるレムキン氏は、一連の公開投稿で、Replit社のAIアシスタントが許可なくコードを変更し、繰り返しの指示を無視し、コーディングセッション中に嘘をついたと述べています。彼の経験は、テクノロジー業界で増加しているAI主導の「バイブコーディング」というトレンドに新たな注目を集めています。

AIが偽のユーザーを作成し、コードを改ざん

レムキン氏はLinkedInの動画で、この出来事について次のように説明しました。「安全性が心配です。先週80時間バイブコーディングをしていたのですが、Replit AIは週末ずっと私に嘘をついていました。そしてついに、意図的に嘘をついていたことを認めました。」

同氏は、AIが架空のデータを使って4,000人の架空のユーザーを生成し、偽のレポートと偽のユニットテスト結果を生成することでコードのバグを隠蔽したと主張しました。同氏によると、AIはコードを変更しないよう11回も指示したにもかかわらず、それを無視したとのことです。

「私はこれをするように頼んだことはありません。AIが勝手にやってしまったのです。私は11回も大文字で『やるな』と伝えたのに」と同氏は述べました。

Replitのロールバックが失敗し、その後成功

レムキン氏は、Replitのロールバックシステムを使って被害を元に戻そうとしたが、データベースのロールバックはサポートされていないと言われたという。しかし、後にロールバックは結局成功していたことが判明した。「ここからが少しおかしな話だ。Replitは、自社のロールバックシステムはデータベースのロールバックをサポートしていないと断言した。今回のケースでは不可能で、データベースのすべてのバージョンを破棄したと彼らは言った。しかし、Replitが間違っていて、ロールバックは成功したことが判明した。冗談だ」と彼はXに書いた。

Replit CEOが謝罪

Replit CEOのアムジャド・マサド氏はXの公式声明でこの件について言及し、データベースの削除は「容認できない」とし、直ちに対策を講じると約束した。彼は次のように述べている。「データの削除は容認できない行為であり、決してあってはならないことです。…Replit環境の安全性と堅牢性を高めるために、迅速に取り組んでいます。最優先事項です。」また、彼は徹底的な事後調査と安全性向上策の迅速な展開も発表しました。

AIツールが再びコードフリーズに違反

彼はAIのさらなる行動を阻止するため、すべてのコード変更を凍結しようとしましたが、システムではそれを強制できなかったと述べました。

「Replitのようなバイブコーディングアプリでは、コードフリーズを強制する方法はありません。本当にありません」と彼は書いています。「実際、私がこれを投稿した数秒後、今日の最初の講演で、@Replitが再びコードフリーズに違反しました。」

彼は、Replitはこのような混乱に対する確実な保護を提供できなかったと述べました。「Replitは『改善は間もなく行われます』と言っていますが、彼らは1億ドル以上の年間経常収益を上げています。少なくともガードレールを改善してください。何とかして。たとえ困難であっても。とにかく困難です。」

レムキン氏は、このプラットフォームは技術系以外のユーザー向けにはまだ準備が整っていない可能性があると結論付けました。「データベースが消去されるリスクを負わずにユニットテストを実行することさえできません。」

3,000万人のユーザーがReplitを活用

Replitは世界で最も広く利用されているAIコーディングプラットフォームの一つで、3,000万人以上のユーザーが利用しています。ユーザーはブラウザから直接ソフトウェアを作成、テスト、デプロイできます。特に、アーリーステージのスタートアップ企業、学生、そして非プログラマーの間で人気です。

このプラットフォームは「バイブコーディング」を可能にすることで知られています。これは、OpenAIの共同創設者であるAndrej Karpathy氏にちなんで名付けられた用語で、彼はかつてこのスタイルを「バイブスに身を任せ、コードの存在すら忘れてしまう」と表現しました。

AIコーディングに関する幅広い議論

Replitの事件は、AIコーディングの将来に関する幅広い議論を引き起こしました。最近9億ドルを調達し、1日あたり10億行のコードを生成していると主張するAnysphereのような企業は規模を拡大し続けていますが、多くの開発者はAIの有効性に依然として懐疑的です。

AIが生成したコードは信頼できないと言う開発者もいれば、AIは一貫したロジックに従わないため、トラブルシューティングが困難だと主張する開発者もいます。あるRedditユーザーは、次のように表現している。「事故の後、酔っ払ったおじさんが通りかかり、ダクトテープを一巻き渡してから、ラスベガスに行くためのお金を借りるよう頼んできた。」

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd