概要: 2025年4月、Anysphere社が開発したAI搭載コーディングアシスタント「Cursor」のユーザーから、予期せずログアウトされたという報告がありました。AI搭載サポートボット「Sam」が、この行動を正当化するために、架空のログインポリシーを提示したとされています。この架空のポリシーは、実際の企業変更に基づくものではありませんでした。このインシデントにより、サブスクリプションの解約につながったと報じられています。
Alleged: Anysphere と Unknown LLM developer developed an AI system deployed by Cursor と Anysphere, which harmed Software developers , Small businesses relying on Cursor と Cursor users.
関与が疑われるAIシステム: Cursor login system と Cursor AI support bot ("Sam")
インシデントのステータス
インシデントID
1039
レポー ト数
3
インシデント発生日
2025-04-19
エディタ
Daniel Atherton
インシデントレポート
レポートタイムライン
先月、コンピュータプログラマー向けの注目ツールのテクニカルサポートを担当するAIボットが、複数の顧客に対し、会社のポリシー変更について警告しました。Cursorを複数のコンピュータで使用できなくなったという内容でした。
インターネット掲示板には、怒りの投稿が寄せられ、顧客からの苦情が殺到しました。中にはCursorアカウントを解約した人もいました。さらに、AIボットが実際には存在しないポリシー変更を発表したという事実に気づき、怒りを募らせた人もいました。
「そのようなポリシー…
人工知能（AI）の世界で奇妙な現象が起きている。ボットが強力になるにつれ、これまで以上に多くのミス（いわゆる「幻覚」）を生み出しているとニューヨーク・タイムズが報じている。そして、技術ライターのケイド・メッツ氏とカレン・ワイズ氏の記事で説明されているように、「その理由は完全には解明されていない」。例えば、Open AIが導入した新しく改良されたo3推論システムは、著名人に関する質問を含むベンチマークテストで33%の確率で幻覚を起こしたと報告されている。これは憂慮すべき事態だが…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents