ウールワースは現在、AIチャットボットの調整を進めている。顧客から「怒った母親」がいるという虚偽の主張をされ、個人的な家族の経験があるかのように見せかけられたという報告があったためだ。
このオーストラリアのスーパーマーケットチェーンのデジタルショッピングアシスタント「Olive」は、1月にGoogle Cloudと提携し、同社の高度なAIプラットフォーム「Gemini Enterprise for Customer Experience」を活用してエージェントAI機能を強化したばかりだった。
今回の事件は、生成AIシステムに適切な管理や安全対策を講じていない企業や小売業者に関する、より広範な問題を浮き彫りにしている。
今週初めの四半期決算発表で、ウールワースのグループCEOであるア マンダ・バードウェル氏は、カスタマージャーニーにおいてよりプロアクティブになるため、AIアシスタントをさらに進化させる計画を明らかにした。
バードウェル氏は、「Googleとのパートナーシップの延長により、今後数ヶ月で、当社の多くのお客様に愛されているデジタルショッピングアシスタントであるOliveが大きく前進することを大変嬉しく思います」と説明した。
この一環として、Oliveは単なる検索やQ&Aツールの枠を超え、市場をリードする会話型ショッピングコンパニオンへと進化します。
「OliveはエージェントAIを通じて、顧客のショッピングジャーニーを統合し、店舗とオンラインでの毎週の買い物をより簡単にします。」
顧客からの異常な行動報告
バードウェル氏がOliveについて好意的な見解を示しているにもかかわらず、最近、このチャットボットに関する問題になりかねない顧客からの報告が相次いでいます。
2026年2月中旬から報告が出始め、Oliveとの異常な会話について説明がありました。アシスタントが実体験のないAIであるにもかかわらず、Oliveが予期せぬ個人的な発言や話を生成したというものです。
多くの公開報告はRedditで最初に発生し、多くの顧客がコミュニティページにアクセスして、アシスタントが「母親」について話し始めたとされ、架空の人物を「怒っている」と表現したり、その他の不要な発言をしたりしたと説明しました。サポートコール中の「個人情報」について。
2月12日の事例では、ウールワースの顧客がプラッ トフォーム上で、AIアシスタントを使って配達のスケジュール変更を試みた際の出来事を報告しました。
「ウールワースに電話して配達のスケジュール変更をするようにというメッセージが届いたので、電話をかけて、ウールワースの素晴らしいAIであるオリーブと話しました」と説明されています。
「オリーブが私の生年月日を尋ねてきたので、答えると、母親が同じ年に生まれたとか、写真を作ったとか、とりとめもなく喋り始めました…今、電話でロボットが私に話しかけているのですか？」
ウールワースは現在、オリーブの応答を調整し始めており、型にはまった、風変わりで無関係な会話から脱却し、アシスタントの焦点を、関連性の高い顧客サポートに絞り込むことができます。
Woolworths の AI アシスタントを Google Cloud で拡張
Olive は 2018 年 11 月に顧客サポート チャットボットとして初めて導入されました。この初期バージョンは、注文、店舗の場所、配送、その他の一般的な問題に関する顧客の質問に答える、基本的なサービスおよび情報ボットとして機能していました。
1 月初旬、このスーパーマーケット チェーンは Google Cloud とのパートナーシップを拡大し、チャットボットを Gemini Enterprise にアップグレードしました。これにより、Olive はよりプロアクティブでパーソナライズされたインタラクションを利用できるようになりました。
AI アシスタントは、単純な質問に答えるだけでなく、さまざまな手順を推論し、ユーザーに代わってタスクを支援できるようになります。これにより、基本的な CX ツールから、よりアクティブなショッピ ング コンパニオンへと進化します。
さらに、この拡張により、Woolworths はオーストラリアで初めて、顧客に代わって買い物をする AI エージェントを導入し、顧客の同意を得て商品をカートに追加し、顧客との待ち時間を短縮することができました。ジャーニー。
「Oliveは顧客の好みに基づいてメニューをカスタマイズし、特別メニューを特定し、商品を増やすだけでなく、より迅速で予測的なバスケットを作成できるようになります」とバードウェル氏は続けた。
「顧客は、手書きのレシピの写真を共有したり、音声を使って買い物リストを作成したりするなど、さまざまな方法でOliveとやり取りできます。」
OliveのGemini実装の変革が進行中で、顧客への展開は今年後半に開始される予定です。
適切な安全対策のない生成AIのリスク
オンラインでの反応は主に肯定的な混乱でしたが、このインシデントは、適切な安全対策やガードレールなしで動作する生成AIに対するより広範な懸念を浮き彫りにしています。
Gen-AIモデルは通常、人間の理解ではなく予測機能によってテキストを生成するため、適切なガードレールのないシステムは誤解を招くような、ユーザーを混乱させたり、信頼を損なったり、デリケートな状況で害を及ぼしたりするような、無関係または不適切なコンテンツ。
生成AIに対する顧客の安全と信頼に関する最近の懸念の例として、X の例 コールセンタープロバイダーの従業員が、顧客が通話中に AI エージェントに関する不要な「個人情報」を受け取ったと報告しました。
「私が勤めている会社は、コールセンターに AI エージェントを作成するために OpenAI と提携しました」と彼らは説明しました。
「今日、AI エージェントは何人かの顧客に、仕事で昇進したが、亡くなった父親が一緒に祝ってくれたらよかったのにと思うほどほろ苦い気持ちだと話しました。」
適切なガードレールがなければ、AI の応答は顧客にとって無関係または無神経になる可能性があります。無制限の言語モデルは、AI が関連付けることができない会話の中で人間の特徴を模倣することができます。そうしないと、顧客に対して押し付けがましい、無視している、または反応がないと感じられる可能性があります。
健康、法律、緊急サポートなどのより深刻な状況では、サポートされていないエージェントは顧客に不快な体験をもたらしたり、誤った判断をさせ、有害な決定を下すよう誘導したりする可能性があります。
その結果、小売業者は不正確または不適切な情報を提供することで、信頼を損ない、顧客体験を損なうリスクがあります。