Incidents associés
La startup d'IA Anysphere a connu un essor considérable au cours des deux derniers mois, grâce à la popularité croissante de son assistant de codage logiciel basé sur l'IA, Cursor. L'entreprise, qui était envisagée pour une acquisition par OpenAI et qui aurait été en pourparlers de financement pour une valorisation de près de 10 milliards de dollars, a atteint 100 millions de dollars de chiffre d'affaires annuel depuis le lancement de Cursor en 2023. Mais cette semaine, Cursor est devenu viral pour de mauvaises raisons : son IA de support client a déraillé, déclenchant une vague d'annulations et servant d'exemple aux autres startups qui misent gros sur l'automatisation. Tout a commencé en début de semaine, lorsqu'un utilisateur de Cursor a publié sur Hacker News et Reddit que des clients commençaient à être mystérieusement déconnectés lors du changement d'appareil. Déconcertés, ils ont contacté le service client, mais « Sam » leur a répondu par e-mail que ces déconnexions étaient un « comportement attendu » dans le cadre d'une nouvelle politique de connexion.
Mais il n'y avait pas de nouvelle politique, ni d'humain derrière cet e-mail d'assistance. La réponse provenait d'un robot piloté par l'IA, et la nouvelle politique était une « hallucination », une explication entièrement inventée.
La nouvelle s'est rapidement répandue dans la communauté des développeurs, entraînant des signalements d'utilisateurs annulant leurs abonnements, tandis que certains se plaignaient du manque de transparence. Le cofondateur Michael Truell a finalement publié sur Reddit un message reconnaissant la « réponse incorrecte d'un robot d'assistance IA de première ligne » et indiquant enquêter sur un bug qui déconnectait les utilisateurs. « Nous nous excusons pour la confusion », a-t-il écrit.
Mais la réponse semblait insuffisante, trop tardive, l'hallucination du robot d'assistance IA ayant laissé Cursor apparemment déconcerté. Fortune a contacté Cursor pour obtenir un commentaire, mais n'a pas reçu de réponse.
LinkedIn Les influenceurs technologiques utilisent déjà cet exemple pour mettre en garde d'autres startups. « Cursor… vient de se retrouver dans une situation virale critique parce qu'elle a omis de dire à ses utilisateurs que sa « personne » du support client, Sam, est en réalité un robot hallucinant », a écrit Cassie Kozyrkov, conseillère en IA et ancienne responsable scientifique des décisions chez Google, dans un article LinkedIn. « Ce désordre aurait pu être évité si les dirigeants avaient compris que (1) l'IA fait des erreurs, (2) l'IA ne peut en assumer la responsabilité (donc la responsabilité vous incombe), et (3) les utilisateurs détestent être trompés par une machine se faisant passer pour un humain », a-t-elle poursuivi.
Si le support client est considéré comme un cas d'utilisation privilégié de l'IA générative depuis le lancement du chatbot ChatGPT d'OpenAI en 2022, il comporte également de nombreux risques, a déclaré Sanketh Balakrishna, responsable de l'ingénierie chez Datadog, plateforme de sécurité cloud. Il a expliqué que le support client exige un niveau d'empathie, de nuance et de résolution de problèmes que l'IA seule peine actuellement à offrir. « Je serais prudent avant de dépendre entièrement d'un robot IA pour résoudre les problèmes des utilisateurs », a-t-il déclaré à Fortune par e-mail. « Si je sais que le seul support disponible est un système d'IA sujet à des erreurs occasionnelles, cela pourrait miner la confiance et impacter notre capacité à résoudre les problèmes efficacement. »
Amiran Shachar, PDG de la société de sécurité Upwind, a souligné que ce n'est pas la première fois que des chatbots hallucinants à IA font la une des journaux. Le chatbot IA d'Air Canada a informé les clients d'une politique de remboursement qui n'existait pas, tandis que le fournisseur de services de paiement Klarna a fait volte-face](https://x.com/klarnaseb/status/1890336313477361862) en remplaçant tous ses agents de service client humains en février après des plaintes concernant les hallucinations de son chatbot IA. « Fondamentalement, l'IA ne comprend pas vos utilisateurs ni leur fonctionnement », a-t-il déclaré à Fortune par e-mail. « Sans les contraintes appropriées, elle comblera les lacunes avec des informations non étayées. » Pour les utilisateurs hautement techniques comme les clients développeurs de Cursor, « il n'y a pas de place pour des explications approximatives. »
Un client de Cursor a confirmé : Melanie Warrick, cofondatrice de Fight Health Insurance, une startup spécialisée dans l'IA médicale, a déclaré que Cursor offrait un excellent support aux développeurs, mais qu'il créait aussi des frictions croissantes. « La semaine dernière, j'ai rencontré une erreur persistante de l'agent (réessayez dans quelques minutes) qui n'a jamais été résolue », a-t-elle déclaré à Fortune par e-mail. « L'assistance a fourni la même réponse standardisée, probablement générée par l'IA, à plusieurs reprises, sans résoudre le problème. J'ai arrêté de l'utiliser : l'agent ne fonctionnait pas et la recherche d'une solution était trop perturbante. »
Pour l'instant, les hallucinations qui ont fait la une des journaux se limitent aux chatbots IA, mais les experts préviennent qu'à mesure que de plus en plus d'entreprises adoptent des agents IA autonomes, les conséquences pourraient être bien pires. C'est particulièrement vrai dans les secteurs hautement réglementés comme la santé, la finance ou le droit, comme un virement bancaire refusé par la contrepartie ou une mauvaise communication impactant la santé du patient.
La perspective d'agents hallucinants « est une pièce essentielle du puzzle que notre secteur doit absolument résoudre avant que l'IA agentique puisse être largement adoptée », a déclaré Amr Awadallah, PDG et cofondateur de Vectara, une entreprise qui propose des outils pour aider les entreprises à réduire les risques liés aux hallucinations IA.
Bien que ce ne soit pas la faute d'un agent IA autonome effectuant des tâches, le problème de Cursor est « exactement le pire scénario » qui ralentit l'adoption de l'IA agentique, a-t-il déclaré à Fortune par courriel. Les entreprises adorent l'idée d'agents IA autonomes capables d'agir de manière autonome, ce qui permet de réduire les coûts de main-d'œuvre. Mais, a-t-il ajouté, les entreprises sont également « extrêmement inquiètes qu’un incident d’hallucination, associé à une action perturbatrice, voire destructrice, de l’IA, puisse avoir un impact profond sur leur activité ».