Incidentes Asociados
Woolworth's está realizando ajustes a su chatbot de IA tras la aparición de informes de clientes que afirmaban falsamente tener una "madre enfadada" y se presentaban como si tuviera experiencias familiares personales.
El asistente de compras digital de la cadena de supermercados australiana, conocido como Olive, se expandió recientemente en enero, tras asociarse con Google Cloud para utilizar su plataforma avanzada de IA, Gemini Enterprise for Customer Experience, para capacidades de IA de agencia.
Este incidente pone de relieve un problema más amplio en torno a las empresas y minoristas que no implementan los controles ni las salvaguardas adecuadas en sus sistemas de IA generativa.
En su presentación trimestral de resultados a principios de esta semana, la directora ejecutiva del Grupo Woolworth's, Amanda Bardwell, reveló sus planes para seguir mejorando el asistente de IA y hacerlo más proactivo en la experiencia del cliente.
"También me complace que Olive, nuestro apreciado asistente de compras digital, esté a punto de dar un gran paso adelante en los próximos meses gracias a nuestra colaboración ampliada con Google", explicó.
Como parte de esto, Olive se transformará en un asistente de compras conversacional líder en el mercado, yendo más allá de una herramienta de búsqueda y preguntas y respuestas.
"A través de la IA agéntica, Olive integrará la experiencia de compra de los clientes, facilitando la compra semanal tanto en tienda física como online."
Clientes reportan comportamiento inusual
A pesar de la opinión positiva de Bardwell sobre Olive, recientemente han circulado numerosas historias de clientes potencialmente problemáticas sobre el chatbot.
A mediados de febrero de 2026, comenzaron a aparecer informes que describían conversaciones inusuales con Olive, donde generó comentarios e historias inesperadamente personales, a pesar de que el asistente era una IA sin experiencia real.
Muchos informes públicos surgieron primero en Reddit, donde numerosos clientes acudieron a la página de la comunidad para explicar cómo el asistente supuestamente comenzó a hablar de tener una "madre", describiendo la figura imaginaria como "enojada", así como Introducir otros detalles "personales" innecesarios durante las llamadas de soporte.
En un ejemplo, el 12 de febrero, un cliente de Woolworths recurrió a la plataforma para describir un incidente en el que intentó reprogramar una entrega con el asistente de IA.
"Recibí un mensaje de texto para reprogramar la entrega llamando a Woolworths, así que lo hice y hablé con Olive, la maravillosa IA de Woolie", explicó.
"Me pidió mi fecha de nacimiento y, cuando se la di, empezó a divagar sobre cómo su madre nació el mismo año y algo sobre que creaba fotos o algo así... ¿ahora tengo un robot balbuceando por teléfono?"
Woolworths ha comenzado a ajustar las respuestas de Olive para evitar las predefinidas, extravagantes y sin relación. Charla y enfoque del asistente en la atención al cliente relevante.
Ampliación del Asistente de IA de Woolworth con Google Cloud
Tras presentar Olive en noviembre de 2018 como un chatbot de atención al cliente, esta primera versión funcionaba como un bot básico de servicio e información, respondiendo preguntas de los clientes sobre pedidos, ubicación de tiendas, entregas y otros problemas comunes.
A principios de enero, la cadena de supermercados amplió su colaboración con Google Cloud actualizando su chatbot con Gemini Enterprise, lo que permitió a Olive ser más proactivo y personalizado en sus interacciones.
El asistente de IA, que ya no solo responde preguntas sencillas, podrá razonar los pasos y ayudar con las tareas en nombre del usuario, pasando de ser una herramienta básica de CX a un asistente de compras más activo.
Además, esta expansión permitió a Woolworths convertirse en el primer supermercado de Australia en implementar agentes de IA para Comprar para los clientes, colocando artículos en sus carritos con su consentimiento y acortando la experiencia del cliente.
"Olive podrá adaptar los menús según las preferencias de los clientes, identificar ofertas especiales y potenciar los productos, además de crear carritos más rápidos y predictivos", continuó Bardwell.
"Los clientes pueden interactuar con Olive de diferentes maneras, como compartir una foto de una receta escrita a mano o usar la voz para crear su lista de la compra".
Con la transformación de la implementación de Gemini de Olive en marcha, se espera que la implementación para clientes comience a finales de este año.
Los riesgos de la IA generativa sin las garantías adecuadas
Si bien la respuesta en línea fue principalmente de confusión positiva, este incidente pone de relieve una preocupación más amplia sobre la IA generativa que no funciona con las garantías o barreras adecuadas.
Como Los modelos de IA generativa suelen operar generando texto mediante capacidades predictivas y no mediante la comprensión humana. Los sistemas que no cuentan con las medidas de seguridad adecuadas pueden generar contenido engañoso, irrelevante o inapropiado que confunde a los usuarios, socava la confianza o incluso causa daños en situaciones delicadas.
En ejemplos recientes de preocupación por la seguridad y la confianza de los clientes con la IA generativa, un ejemplo en X un empleado de un centro de llamadas informó que sus clientes habían recibido información "personal" innecesaria sobre el agente de IA durante una llamada.
"La empresa para la que trabajo se asoció con OpenAI para crear un agente de IA en nuestros centros de llamadas", explicaron.
"Hoy, la agente de IA les contó a varios clientes que la habían ascendido en el trabajo, pero es una experiencia agridulce porque desearía que su difunto padre estuviera aquí para celebrarlo con ella".
Sin las medidas de seguridad adecuadas, Las respuestas de la IA pueden ser irrelevantes o insensibles al cliente, con modelos de lenguaje descontrolados capaces de imitar rasgos humanos en conversaciones con las que no se identifica. Esto podría resultar intrusivo, despectivo o insensible para el cliente.
En entornos más complejos, como la atención médica, legal o de emergencia, la falta de apoyo de los agentes podría provocar experiencias incómodas en los clientes o inducirlos a tomar decisiones perjudiciales.
Como resultado, los minoristas pueden arriesgarse a socavar la confianza y perjudicar la experiencia del cliente al proporcionar información inexacta o inapropiada.