Incidents associés
Woolworth's procède actuellement à des ajustements de son chatbot IA suite à des signalements clients indiquant que celui-ci prétendait faussement avoir une « mère en colère » et se présentait comme possédant des expériences familiales personnelles.
L'assistant d'achat numérique de la chaîne de supermarchés australienne, connu sous le nom d'Olive, avait récemment bénéficié d'une extension de ses fonctionnalités en janvier, grâce à un partenariat avec Google Cloud. Ce partenariat visait à utiliser sa plateforme d'IA avancée, Gemini Enterprise for Customer Experience, pour des capacités d'IA agentielle.
Cet incident met en lumière un problème plus général concernant les entreprises et les détaillants qui ne mettent pas en place de contrôles ou de mesures de sécurité adéquats pour leurs systèmes d'IA générative.
Lors de la conf érence téléphonique sur les résultats trimestriels, en début de semaine, la PDG du groupe Woolworth's, Amanda Bardwell, a révélé les projets de l'entreprise visant à faire évoluer davantage l'assistant IA afin de le rendre plus proactif dans le parcours client.
« Je suis également ravie qu'Olive, notre assistant d'achat numérique très apprécié, soit sur le point de franchir une étape importante dans les prochains mois grâce à notre partenariat renforcé avec Google », a-t-elle expliqué.
Dans ce cadre, Olive deviendra un assistant conversationnel d'achat leader sur le marché, allant au-delà d'un simple outil de recherche et de questions-réponses.
Grâce à une IA interactive, Olive simplifiera le parcours d'achat des clients, facilitant ainsi leurs courses hebdomadaires en magasin et en ligne.
Des clients signalent un comportement inhabituel
Malgré l'optimisme affiché par Bardwell concernant Olive, de nombreux témoignages clients potentiellement problématiques circulent depuis peu au sujet du chatbot.
Ces témoignages ont commencé à apparaître mi-février 2026, décrivant des conversations inhabituelles avec Olive. L'assistant aurait alors émis des commentaires et raconté des histoires à connotation personnelle, alors qu'il s'agit d'une IA sans expérience réelle.
De nombreux témoignages ont d'abord été publiés sur Reddit, où de nombreux clients ont expliqué sur la page communautaire comment l'assistant aurait commencé à parler d'une « mère », décrivant cette figure imaginaire comme « en colère », et aurait également introduit d'autres détails « personnels » superflus lors de ses échanges. Appels.
Dans un exemple datant du 12 février, un client de Woolworths a décrit sur la plateforme un incident survenu lors de sa tentative de reprogrammer une livraison avec l'assistant virtuel.
« J'ai reçu un SMS m'invitant à reprogrammer ma livraison en appelant Woolworths. Je l'ai donc fait et j'ai parlé à Olive, la merveilleuse IA de Woolie », a-t-il expliqué.
« Elle m'a demandé ma date de naissance, et quand je la lui ai donnée, elle s'est mise à divaguer sur le fait que sa mère était née la même année et qu'elle prenait des photos ou quelque chose comme ça… Maintenant, j'ai un robot qui me parle sans arrêt au téléphone ? »
Woolworths a depuis entrepris de modifier les réponses d'Olive afin de les rendre moins stéréotypées, plus originales et hors sujet, et de recentrer l'assistant sur une assistance client pertinente.
Développement L'assistant IA de Woolworths avec Google Cloud
Lancé initialement en novembre 2018 comme chatbot de support client, Olive, dans sa première version, offrait un service de base et fournissait des informations aux clients concernant leurs commandes, la localisation des magasins, les livraisons et autres problèmes courants.
Début janvier, la chaîne de supermarchés a étendu son partenariat avec Google Cloud en modernisant son chatbot grâce à Gemini Enterprise. Olive devient ainsi plus proactif et offre des interactions plus personnalisées.
Au-delà des simples questions, l'assistant IA est désormais capable de raisonner et d'assister l'utilisateur dans ses tâches, passant d'un outil d'expérience client basique à un véritable compagnon d'achat actif.
Cette évolution a permis à Woolworths de devenir le premier supermarché australien à déployer des agents IA pour faire les courses à la place des clients, en ajoutant des articles à leur panier avec leur consentement et en simplifiant leur parcours d'achat.
« Olive pourra adapter les menus aux préférences des clients, identifier les promotions, « Et dynamiser les ventes, ainsi que constituer des paniers d'achat plus rapidement et de manière plus prédictive », a poursuivi Bardwell.
« Les clients peuvent interagir avec Olive de différentes manières, par exemple en partageant la photo d'une recette manuscrite ou en utilisant la commande vocale pour créer leur liste de courses. »
La transformation de l'implémentation Gemini d'Olive étant en cours, le déploiement auprès des clients devrait débuter plus tard cette année.
Les risques de l'IA générative sans garde-fous adéquats
Si la réaction en ligne a principalement été une confusion positive, cet incident met en lumière une préoccupation plus générale concernant l'IA générative qui ne fonctionne pas avec les garde-fous ou les protections nécessaires.
Comme les modèles d'IA générative fonctionnent généralement en produisant du texte grâce à des capacités prédictives et non grâce à la compréhension humaine, les systèmes qui ne disposent pas de garde-fous adéquats peuvent générer un contenu trompeur, non pertinent ou inapproprié qui perturbe les utilisateurs, mine la confiance, voire cause du tort dans des situations sensibles.
Dans des exemples récents Face aux inquiétudes concernant la sécurité et la confiance des clients envers l'IA générative, un employé d'un centre d'appels a signalé sur X (https://x.com/lindsaybitcoin/status/2026757175297581189) que ses clients avaient reçu des informations personnelles superflues concernant l'agent IA lors d'un appel.
« L'entreprise pour laquelle je travaille s'est associée à OpenAI pour créer un agent IA dans nos centres d'appels », a-t-il expliqué.
« Aujourd'hui, l'agent IA a dit à plusieurs clients qu'elle avait été promue, mais que c'était un sentiment doux-amer car elle aurait aimé que son père décédé soit là pour fêter ça avec elle. »
Sans garde-fous adéquats, les réponses de l'IA peuvent être inappropriées ou insensibles envers le client. Des modèles de langage non contrôlés, capables d'imiter des traits humains dans des conversations auxquelles ils ne peuvent s'identifier, peuvent donner au client une impression d'intrusion, de mépris ou d'absence de réponse.
Dans des contextes plus sensibles, comme celui de la santé, L'absence d'assistance juridique ou d'assistance d'urgence adéquate peut engendrer des expériences désagréables pour les clients ou les induire en erreur et les amener à prendre des décisions préjudiciables.
Par conséquent, les détaillants risquent de nuire à la confiance et à l'expérience client en fournissant des informations inexactes ou inappropriées.