AIスタートアップ企業Anysphereは、AI搭載のソフトウェアコーディングアシスタント「Cursor」の人気の急上昇により、過去2か月間好調を維持している。同社はOpenAIによる買収の対象とされ、評価額約100億ドルで資金調達交渉中と報じられており、2023年のCursor発売以来、年間収益1億ドルを達成している。しかし今週、Cursorはまったく間違った理由で話題になった。同社の顧客サポートAIが暴走し、キャンセルの波を引き起こし、自動化に大きく賭ける他のスタートアップ企業への教訓となったのだ。
事の発端は今週初め、CursorユーザーがHacker NewsとRedditに、デバイスを切り替えると不可解なログアウトが発生するようになったと投稿したことでした。困惑したユーザーはカスタマーサポートに連絡したところ、「Sam」氏からの返信メールで、ログアウトは新しいログインポリシーに基づく「想定された動作」であると伝えられました。
しかし、新しいポリシーは存在せず、サポートメールの送信者も人間ではありませんでした。返信はAIボットからのもので、新しいポリシーは「幻覚」であり、完全に作 り話でした。
このニュースは開発者コミュニティで急速に広まり、ユーザーがサブスクリプションを解約したという報告が相次ぎ、透明性の欠如を訴える声も上がりました。共同創業者のMichael Truell氏はついにRedditに投稿し、「最前線のAIサポートボットからの誤った応答」を認め、ユーザーがログアウトするバグを調査中であると述べました。「混乱を招いてしまい申し訳ございません」とTruell氏はツイートしました。しかし、その対応は遅すぎたように思われた。AIサポートボットの幻覚により、Cursorは不意を突かれたようだ。Fortune誌はCursorにコメントを求めたが、返答はなかった。
LinkedInのテック系インフルエンサーたちは、すでにこの例を挙げて他のスタートアップ企業に警告を発している。「Cursorは、カスタマーサポートの「担当者」サムが実は幻覚ボットであることをユーザーに伝えなかったために、バイラルな大惨事に陥った」と、AIアドバイザーでGoogleの元チーフディシジョンサイエンティストであるキャシー・コジルコフ氏はLinkedInへの投稿で述べている。 「リーダーたちが、(1) AIは間違いを犯す、(2) AIは間違いの責任を負えない（だから責任はあなたに降りかかる）、(3) ユーザーは人間のふりをした機械に騙されるのを嫌う、ということを理解していれば、この混乱は避けられたはずだ」と彼女は続けた。
クラウドセキュリティプラットフォームDatadogのエンジニアリングマネージャー、サンケス・バラクリシュナ氏は、OpenAIのChatGPTチャッ トボットが2022年にデビューして以来、カスタマーサポートは生成AIの主要なユースケースと考えられてきたが、同時にリスクもはらんでいると述べた。カスタマーサポートには、AIだけでは現状では実現が難しいレベルの共感、ニュアンス、そして問題解決能力が必要だと彼は説明した。「ユーザーの問題への対応をAIボットに完全に依存することには慎重だ」と、彼はFortune誌へのメールで語った。「利用できるサポートが、時折エラーを起こしやすいAIシステムだけだとわかれば、信頼が損なわれ、問題を効果的に解決する能力に影響を与える可能性がある。」
セキュリティ企業UpwindのCEO、アミラン・シャチャール氏は、幻覚を起こすAIチャットボットが話題になったのは今回が初めてではないと指摘した。 エア・カナダのAIチャットボットは、存在しない返金ポリシーを顧客に伝えた一方、決済サービスプロバイダーのKlarnaは、AIチャットボットの幻覚に関する苦情を受けて、2月に[1890336313477361862]人間のカスタマーサービスエージェントを全員入れ替えた。 「根本的に、AIはユーザーやその行動様式を理解していません」と彼はFortuneにメールで語った。「適切な制約がなければ、裏付けのない情報でギャップを『自信満々に』埋めてしまうでしょう」。Cursorの開発者顧客のような高度な技術を持つユーザーにとって、「いい加減な説明を許す余地はありません」。
Cursorの顧客であるある人物も同意した 。ヘルスケアAIスタートアップのFight Health Insuranceの共同創業者であるメラニー・ウォリック氏は、Cursorが開発者に優れたサポートを提供している一方で、摩擦も増えていると感じていると述べた。「先週、エージェントのエラー（「数分後にもう一度お試しください」）が何度も表示され、解決しませんでした」と彼女はFortuneにメールで語った。「サポートは、おそらくAIが生成した同じ定型的な回答を何度も返しましたが、問題は解決しませんでした。私はCursorの使用をやめました。エージェントは機能しておらず、修正を求めるのはあまりにも混乱を招いたからです」。今のところ、注目を集める幻覚はAIチャットボットに限られているが、専門家は、より多くの企業が自律型AIエージェントを導入するにつれて、企業への影響ははるかに深刻になる可能性があると警告している。これは特に、医療、金融、法務といった規制の厳しい業界で顕著で、例えば、相手方が返金を拒否する電信送金や、患者の健康に影響を与えるコミュニケーションミスなどが挙げられる。
幻覚エージェントの可能性は、「エージェント型AIが実際に広く普及する前に、業界が絶対に解決しなければならないパズルの重要なピースです」と、企業がAI幻覚によるリスクを軽減するためのツールを提供するVectaraのCEO兼共同創業者であるAmr Awadallah氏は述べている。
Cursorの失態は、自律型AIエージェントがタスクを完了したせいではないものの、エージェント型AIの導入を遅らせる「まさに最悪のシナリオ」だと、同氏はFortune誌へのメールで語った。企業は、自律型AIエージェントが自ら行動を起こし、人件費を節約できると いう考えを歓迎している。しかし、企業はまた、「幻覚の1つの出来事と、AIによる混乱や破壊的な行動が組み合わさって、ビジネスに深刻な影響を与える可能性があることを非常に懸念している」と彼は述べた。