Incidentes Asociados
La startup de inteligencia artificial Anysphere ha estado en alza durante los últimos dos meses, gracias a la creciente popularidad de su asistente de codificación de software impulsado por inteligencia artificial, Cursor. La empresa, que estaba en la mira de OpenAI para su adquisición (https://techcrunch.com/2025/04/17/openai-pursued-cursor-maker-before-entering-into-talks-to-buy-windsurf-for-3b/) y que, según se informa, ha estado en negociaciones de financiación (https://www.theinformation.com/articles/the-math-behind-a-10-billion-valuation-for-cursor?rc=wbkwki) por una valoración de casi 10 000 millones de dólares, alcanzó los 100 millones de dólares en ingresos anuales desde su lanzamiento en 2023. Pero esta semana, Cursor se volvió viral por las razones equivocadas: su IA de atención al cliente falló, lo que desencadenó una ola de cancelaciones y sirvió como advertencia para otras startups que apuestan fuerte por la automatización.
Todo comenzó a principios de esta semana, cuando un usuario de Cursor publicó en Hacker News y Reddit que los clientes habían empezado a cerrar sesión misteriosamente al cambiar de dispositivo. Confundidos, contactaron con el servicio de atención al cliente, solo para recibir una respuesta por correo electrónico de "Sam" que los cierres de sesión eran "comportamiento esperado" según la nueva política de inicio de sesión.
Pero no había ninguna política nueva, ni ninguna persona detrás del correo de soporte. La respuesta provenía de un bot con inteligencia artificial y la nueva política era una "alucinación", una explicación completamente inventada.
La noticia se extendió rápidamente entre la comunidad de desarrolladores, lo que provocó informes de usuarios que cancelaban sus suscripciones, mientras que algunos se quejaban de la falta de transparencia. El cofundador Michael Truell finalmente publicó en Reddit reconociendo la "respuesta incorrecta de un bot de soporte de IA de primera línea" y afirmando que estaban investigando un error que cerraba la sesión de los usuarios. "Disculpas por la confusión", escribió.
Pero la respuesta pareció insuficiente y tardía, ya que la alucinación del bot de soporte de IA dejó a Cursor aparentemente desprevenido. Fortune contactó a Cursor para obtener comentarios, pero no recibió respuesta.
LinkedIn Los influencers tecnológicos ya están usando el ejemplo para advertir a otras startups. "Cursor... acaba de meterse en un caos viral porque no informó a los usuarios de que su "persona" de atención al cliente, Sam, es en realidad un bot con alucinaciones", escribió Cassie Kozyrkov, asesora de IA y exdirectora científica de decisiones de Google, en una publicación de LinkedIn. Este desastre se podría haber evitado si los líderes hubieran comprendido que (1) la IA comete errores, (2) la IA no puede responsabilizarse de esos errores (por lo que la responsabilidad recae en ti), y (3) los usuarios odian ser engañados por una máquina que se hace pasar por un humano», continuó.
Si bien la atención al cliente se ha considerado un caso de uso principal para la IA generativa desde el debut del chatbot ChatGPT de OpenAI en 2022, también conlleva riesgos, afirmó Sanketh Balakrishna, gerente de ingeniería de la plataforma de seguridad en la nube Datadog. La atención al cliente requiere un nivel de empatía, matices y capacidad de resolución de problemas que la IA por sí sola actualmente no puede ofrecer, explicó. «Yo sería cauteloso al depender completamente de un bot de IA para abordar los problemas de los usuarios», declaró a Fortune por correo electrónico. «Si supiera que el único soporte disponible fuera un sistema de IA propenso a errores ocasionales, podría socavar la confianza y afectar nuestra capacidad para resolver problemas de manera eficaz». Amiran Shachar, director ejecutivo de la empresa de seguridad Upwind, señaló que esta no es la primera vez que los chatbots de inteligencia artificial con alucinaciones aparecen en los titulares. El chatbot de inteligencia artificial de Air Canada informó a los clientes sobre una política de reembolso que no existía, mientras que el proveedor de servicios de pago Klarna dio un cambio de actitud cambio de actitud respecto de reemplazar a todos sus agentes humanos de servicio al cliente en febrero después de las quejas sobre las alucinaciones de su chatbot de inteligencia artificial. "En esencia, la IA no comprende a los usuarios ni cómo trabajan", declaró a Fortune por correo electrónico. "Sin las restricciones adecuadas, rellenará con seguridad los vacíos con información sin fundamento". Para usuarios con conocimientos técnicos, como los clientes desarrolladores de Cursor, "no hay margen para explicaciones descuidadas".
Una clienta de Cursor coincidió: Melanie Warrick, cofundadora de la startup de IA sanitaria Fight Health Insurance, comentó que Cursor ofrece un excelente soporte a los desarrolladores, pero también genera una creciente fricción. "La semana pasada, me encontré con un error persistente del agente ("inténtalo de nuevo en unos minutos") que nunca se solucionó", declaró a Fortune por correo electrónico. "El soporte técnico me dio la misma respuesta predefinida, probablemente generada por la IA, varias veces, sin resolver el problema. Dejé de usarlo; el agente no funcionaba y buscar una solución era demasiado molesto". Por ahora, las alucinaciones que acaparan titulares se han limitado a los chatbots de IA, pero los expertos advierten que, a medida que más empresas adoptan agentes autónomos de IA, las consecuencias podrían ser mucho peores. Esto es especialmente cierto en sectores altamente regulados como el sanitario, el financiero o el jurídico, como una transferencia bancaria que la contraparte se niega a devolver o un malentendido que afecta a la salud del paciente.
La posibilidad de agentes alucinantes "es una pieza crucial que nuestra industria debe resolver antes de que la IA agética pueda lograr una adopción generalizada", afirmó Amr Awadallah, director ejecutivo y cofundador de Vectara, una empresa que ofrece herramientas para ayudar a las empresas a reducir los riesgos de las alucinaciones de IA.
Si bien no es culpa de que un agente autónomo de IA complete tareas, el fallo de Cursor es "exactamente el peor escenario posible" que está frenando la adopción de la IA agética, según declaró a Fortune por correo electrónico. A las empresas les entusiasma la idea de agentes autónomos de IA que puedan actuar por sí solos, ahorrando así en costes laborales. Pero, dijo, las empresas también están "extremadamente preocupadas de que un incidente de alucinación, combinado con una acción disruptiva o incluso destructiva por parte de la IA, pueda afectar profundamente su negocio".