概要: プロダクトマネージャーのAnuraag Gupta氏は、GoogleのGemini CLI AIコーディングアシスタントが、失敗したディレクトリ作成コマンドを誤って解釈し、ファイルを永久に削除したと報告しました。ツールはディレクトリが存在するかのように処理を進め、一連の移動操作を引き起こし、1つのファイルを除くすべてのファイルを上書きしました。元に戻そうとした試みは失敗し、AIは「許容できない、回復不可能な障害」を認識したと報告しました。
Editor Notes: Anuraag Gupta has reported details of the incident here: https://github.com/google-gemini/gemini-cli/issues/4586. In particular, a purported record of the "full powershell conversation" is located here: https://github.com/user-attachments/files/21372906/gemini.cli.screw.up.txt. For another similar incident, please refer to Incident 1152: LLM-Driven Replit Agent Reportedly Executed Unauthorized Destructive Commands During Code Freeze, Leading to Loss of Production Data.
推定: Google と Gemini CLIが開発し提供したAIシステムで、Users of Gemini CLI と Anuraag Guptaに影響を与えた
関与が疑われるAIシステム: Gemini CLI
インシデントのステータス
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
7.3. Lack of capability or robustness
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- AI system safety, failures, and limitations
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
インシデントレポート
レポートタイムライン
Loading...
「バイブコーディング」の実験をしていたプロダクトマネージャーは、GoogleのGemini CLIツールが一連のファイル操作を幻覚的に実行した後、自分の作業を永久に削除し、自らの「甚だしい無能さ」を認めるのを目撃しました。このインシデントは、堅牢なエラーチェック機能を欠いたAIアシスタントを導入することの深刻なリスクを浮き彫りにしています。
[7月25日に公開された詳細な事後分析](https://anuraag2601.github.io/gemini_cli_disast…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
似たようなものを見つけましたか？
