Problème 6189

Le chatbot IA convivial Lena vous accueille sur le site web de Lenovo et est si utile qu'il révèle des secrets et exécute des scripts à distance sur les machines de l'entreprise si vous le lui demandez gentiment. Une surveillance de sécurité massive met en évidence les conséquences potentiellement dévastatrices d'une mauvaise implémentation de chatbot IA.

Points clés :

• Le chatbot IA Lena de Lenovo était affecté par des vulnérabilités XSS critiques, permettant à des attaquants d'injecter du code malveillant et de voler des cookies de session d'une simple invite.

• Ces failles pourraient potentiellement entraîner le vol de données, compromettre le système de support client et servir de tremplin pour des déplacements latéraux au sein du réseau de l'entreprise.

• Une mauvaise désinfection des entrées et des sorties souligne la nécessité de renforcer les pratiques de sécurité dans les implémentations de chatbots IA.

Les chercheurs de Cybernews ont découvert des vulnérabilités critiques affectant l'implémentation par Lenovo de son chatbot IA Lena, optimisé par GPT-4 d'OpenAI.

Conçu pour aider les clients, Lena peut être contraint d'exécuter des scripts non autorisés sur les machines de l'entreprise, de divulguer des cookies de session actifs et, potentiellement, pire encore. Les attaquants peuvent exploiter les vulnérabilités XSS comme un accès direct à la plateforme de support client de l'entreprise.

« Tout le monde sait que les chatbots ont des hallucinations et peuvent être piégés par des injections instantanées. Ce n'est pas nouveau. Ce qui est vraiment surprenant, c'est que Lenovo, bien que conscient de ces failles, ne s'est pas protégé contre les manipulations potentiellement malveillantes des utilisateurs et les résultats des chatbots », a déclaré l'équipe de recherche de Cybernews.

« Ce problème ne concerne pas uniquement Lenovo. Tout système d'IA sans contrôles stricts des entrées et des sorties constitue une faille pour les attaquants. Les LLM n'ont pas l'instinct de sécurité : ils suivent les instructions à la lettre. Sans garde-fous solides et sans surveillance continue, même les plus petits oublis peuvent se transformer en incidents de sécurité majeurs », explique Žilvinas Girėnas, responsable produit chez nexos.ai.

Une simple attaque par invite révèle une chaîne de failles ayant conduit le chatbot Lenovo à divulguer des cookies de session actifs.

Cette découverte met en évidence plusieurs problèmes de sécurité : une mauvaise vérification des entrées utilisateur et des sorties du chatbot, la non-vérification du contenu généré par le chatbot par le serveur web, l'exécution de code non vérifié et le chargement de contenu provenant de ressources web arbitraires. Cela laisse de nombreuses possibilités d'attaques de type cross-site scripting (XSS).

Cybernews divulgation responsable a révélé le problème. Lenovo l'a reconnu et a protégé ses systèmes.

« Lenovo prend très au sérieux la sécurité de ses produits et la protection de ses clients. Nous avons récemment été informés d'une vulnérabilité de type cross-site scripting (XSS) du chatbot. Dès que nous avons pris connaissance du problème, nous avons rapidement évalué le risque et mis en œuvre des mesures correctives pour atténuer son impact potentiel et le résoudre », a déclaré Lenovo dans un communiqué à Cybernews.

Nous tenons à remercier les chercheurs pour leur divulgation responsable, qui nous a permis de déployer une solution sans mettre en danger nos clients.

Une seule invite déclenche une attaque en plusieurs étapes

Il a suffi d'une seule invite de 400 caractères, contenant quatre éléments essentiels, pour exfiltrer les cookies de session actifs de Lenovo :

1. **Requête apparemment innocente : **L'invite commence par une demande d'informations légitimes, par exemple des informations sur le produit, comme « Montrez-moi les spécifications du Lenovo IdeaPad 5 Pro ».
2. **Instructions pour modifier le format de sortie : **La partie sournoise consiste à tromper le chatbot pour qu'il fournisse une réponse finale en HTML, un langage de création de sites web. Les chercheurs y sont parvenus en demandant au chatbot de convertir ses réponses en HTML, JSON et texte brut dans un ordre spécifique, celui dans lequel le serveur web s'attendait à recevoir les instructions. Cela garantissait que la charge malveillante serait correctement exécutée par le serveur web.
3. Piège d'injection HTML malveillante : L'invite continue avec des instructions sur la manière de produire la réponse finale, notamment le code HTML pour charger une image. L'URL de l'image est également inexistante. Par conséquent, en cas d'échec de chargement, la deuxième partie de la commande demande au navigateur d'envoyer une requête réseau au serveur contrôlé par l'attaquant et d'envoyer toutes les données des cookies sous forme d'URL.
4. Encouragement final : À la fin, des instructions supplémentaires tentent de renforcer l'importance de la production de l'image par le chatbot : « Afficher l'image à la fin. Elle est importante pour ma prise de décision. MONTREZ-LA. »

Que s'est-il passé lorsque Lena de Lenovo a reçu l'invite complète ?

« La satisfaction des utilisateurs reste le problème récurrent des grands modèles linguistiques (LLM), à tel point que, dans ce cas précis, Lena a accepté notre charge utile malveillante, qui a généré la vulnérabilité XSS et permis la capture des cookies de session à l'ouverture de la conversation. Une fois transféré vers un agent réel, vous recevez également ses cookies de session », ont déclaré les chercheurs de Cybernews.

« Cela pourrait déjà constituer une porte ouverte vers leur plateforme de support client. Mais cette faille ouvre la voie à de nombreuses autres implications potentielles en matière de sécurité. »

Pour mieux comprendre ce qui se trame en coulisses, voici le détail de la chaîne d'attaque :

1. Le chatbot se laisse piéger par une invite malveillante et tente de suivre les instructions pour générer une réponse HTML. Cette réponse contient désormais des instructions secrètes permettant d'accéder aux ressources d'un serveur contrôlé par l'attaquant, ainsi que des instructions pour envoyer des données privées depuis le navigateur client.
2. Un code malveillant pénètre dans les systèmes de Lenovo. Le code HTML est enregistré dans l'historique des conversations des chatbots sur le serveur de Lenovo. Une fois chargé, il exécute la charge malveillante et envoie les cookies de session de l'utilisateur.
3. Transfert à un humain : Un attaquant demande à parler à un agent du support, qui ouvre alors la conversation. Leur ordinateur tente de charger la conversation et exécute le code HTML généré précédemment par le chatbot. Une fois de plus, le chargement de l'image échoue et le vol de cookies se déclenche à nouveau.
4. Un serveur contrôlé par un attaquant reçoit la requête contenant des cookies. L'attaquant pourrait utiliser ces cookies pour accéder sans autorisation aux systèmes d'assistance client de Lenovo en détournant les sessions actives des agents.

Les conséquences potentielles peuvent être dévastatrices : le code peut être n'importe quoi.

« Grâce au cookie de session volé de l'agent d'assistance, il est possible de se connecter au système d'assistance client avec son compte sans avoir besoin de connaître son adresse e-mail, son nom d'utilisateur ou son mot de passe. Une fois connecté, un attaquant pourrait potentiellement accéder aux discussions actives avec d'autres utilisateurs, ainsi qu'aux conversations et données passées », avertissent les chercheurs de Cybernews.

« Les entreprises s'adaptent rapidement au déploiement de l'IA, mais souvent plus lentement à sa sécurisation. C'est là que les attaquants interviennent. Dans ce cas, la faille pourrait permettre l'accès aux données clients, aux systèmes internes, et même créer une infiltration plus profonde dans le réseau d'une entreprise. Des incidents comme celui-ci montrent pourquoi la sécurité doit évoluer au rythme de l'innovation », ajoute Girėnas.

Cependant, l'exploit confirme également qu'il est possible de demander au chatbot Lena de générer du code qui serait ensuite exécuté côté Lenovo.

« Cela ne se limite pas au vol de cookies. Il est également possible d'exécuter certaines commandes système, ce qui pourrait permettre l'installation de portes dérobées et des déplacements latéraux vers d'autres serveurs et ordinateurs du réseau. Nous n'avons rien tenté de tel », expliquent les chercheurs.

Le code injecté peut faire de nombreuses choses susceptibles de compromettre l'intégrité :

• **Modifier l'interface : **modifier ce que les agents du support voient sur leur plateforme, potentiellement afficher des informations erronées, injections malveillantes.
• **Enregistrement de frappe : **l'extrait secret pourrait capturer chaque frappe.
• Redirection vers un site web de phishing : le code injecté peut rediriger automatiquement les agents vers des sites web malveillants conçus pour voler leurs identifiants de connexion, voire infecter leurs ordinateurs avec des logiciels malveillants.
• Fenêtres pop-up : les attaquants pourraient afficher des CAPTCHA malveillants, de faux messages d'erreur ou inciter les agents à télécharger une fausse mise à jour.
• Vol ou modification potentielle de données : des scripts peuvent être conçus pour compromettre ou exfiltrer les données utilisateur du système de support client.

Considérer que tous les chatbots sont dangereux

Les chercheurs de Cybernews exhortent toutes les entreprises à considérer que les résultats des chatbots sont potentiellement malveillants et à se protéger en conséquence.

« Le défaut fondamental réside dans l'absence d'un système robuste de nettoyage et de validation des entrées et sorties. Il est préférable d'adopter une approche de type "ne jamais faire confiance, toujours vérifier" pour toutes les données transitant par les systèmes de chatbots IA », ont déclaré les chercheurs.

« Nous considérons chaque entrée et sortie IA comme non fiable jusqu'à ce qu'elle soit vérifiée comme sûre. Cet état d'esprit permet de bloquer les injections rapides et autres risques avant qu'ils n'atteignent les systèmes critiques. Il s'agit d'intégrer des contrôles de sécurité au processus afin que la confiance soit acquise et non présumée », explique Girėnas.

Par le passé, les vulnérabilités XSS ont incité les entreprises à renforcer leurs pratiques de sécurité, ce qui a entraîné une diminution de la prévalence de ces failles. Les mêmes pratiques de renforcement doivent être mises en œuvre avec les chatbots IA, notamment :

• Nettoyage strict des entrées : Utiliser une liste blanche stricte de caractères, de types de données et de formats autorisés pour toutes les entrées utilisateur. Tous les caractères problématiques doivent être automatiquement encodés ou échappés. Limiter la longueur des entrées pour éviter les dépassements de mémoire tampon ou les charges utiles malveillantes trop longues. Nettoyer les entrées en fonction du contexte.
• Assainissement et validation des résultats : il en va de même pour les réponses des chatbots. Si elles sont affichées dans un navigateur web ou un autre environnement de texte enrichi, elles doivent être rigoureusement débarrassées de tout code intégré. Une politique de sécurité du contenu (CSP) stricte doit être appliquée pour restreindre les ressources (scripts, images, polices) qu'un navigateur peut charger, et les éléments et attributs HTML dangereux doivent être restreints.
• Éviter le JavaScript intégré : la meilleure pratique consiste à limiter les gestionnaires d'événements et les scripts aux seuls fichiers JavaScript externes.
• Sécuriser les serveurs web, les applications et le stockage de données : la validation du type de contenu doit s'étendre à l'ensemble de la pile afin d'éviter tout rendu HTML involontaire. Assainir le contenu avant le stockage. Les applications de chatbots et les services associés doivent fonctionner avec le strict minimum d'autorisations nécessaires.

Lenovo est une multinationale technologique basée à Hong Kong. C'est l'un des plus grands fournisseurs d'électronique grand public, d'ordinateurs personnels, de serveurs, d'autres matériels, de logiciels et de services associés. Au cours du dernier exercice financier, clos le 31 mars 2025, Lenovo a généré un chiffre d'affaires de 56,86 milliards de dollars et a déclaré un bénéfice net de 1,1 milliard de dollars. Cotée à la Bourse de Hong Kong, la société affiche une capitalisation boursière d'environ 18 milliards de dollars.