Problème 6144

Ce qui s'est passé : Un chercheur en sécurité a découvert que plus de 143 000 conversations d'utilisateurs avec les chatbots GenAI, dont Claude, Copilot et ChatGPT, sont accessibles au public sur Archive.org. Cette découverte fait suite à de récentes révélations selon lesquelles les requêtes ChatGPT étaient indexées par des moteurs de recherche comme Google. De tels incidents continuent de susciter des inquiétudes quant aux fuites de données et à l'exposition accidentelle d'informations sensibles via les plateformes d'IA.

**Incident détaillé : **Dans un récent blog, le chercheur en sécurité dead1nfluence explique comment il a découvert des liens partageables sur des plateformes telles que Grok, ChatGPT, Copilot, Claude, Mistral et Qwen.

• Le chercheur a d'abord identifié que les liens ChatGPT archivés étaient accessibles via une API publique fournie par Wayback Machine.

• En interrogeant ce point de terminaison, il a récupéré une liste complète des URL de conversations LLM partagées.

• À l'aide d'outils de ligne de commande de base (tels que wget et grep), il a téléchargé et classé les liens par fournisseur.

• Chaque plateforme LLM utilisait un mécanisme différent pour afficher le contenu partagé, allant de l'accès public direct à la nécessité d'appels d'API backend.

• Une fois les points de terminaison appropriés identifiés, les URL ont été préparées par programmation pour une collecte groupée.

• Au total, 143 000 conversations LLM accessibles au public ont été récupérées auprès de plusieurs fournisseurs.

• Le chercheur a également cherché à savoir si le contenu exposé pouvait être utile à un attaquant, découvrant ainsi des identifiants de clés d'accès AWS, un jeton d'API de réplication, et bien plus encore.

**Pourquoi est-ce important ? **De telles recherches en sécurité démontrent les risques importants pour l'IA et la confidentialité des données, en particulier pour les organisations qui adoptent des LLM dans des flux de travail sensibles. Même si les utilisateurs n'ont pas l'intention de partager des informations sensibles de manière malveillante, les messages contiennent souvent des informations confidentielles, des informations personnelles et des informations de propriété intellectuelle. Si ces conversations sont archivées et rendues publiques, ces informations pourraient être exposées à n'importe qui.

**Prenons du recul : **Les outils d'IA générative permettent aux utilisateurs d'agir rapidement, mais introduisent également de nouveaux risques, souvent cachés, liés à l'exposition des données.

• **Les utilisateurs peuvent ne pas comprendre pleinement où vont leurs données après avoir interagi avec un système d'IA. **Dans ce cas, un simple partage de conversation avec un chatbot via un lien peut entraîner l'archivage ou l'indexation permanente de ce contenu par les moteurs de recherche, même s'il était uniquement destiné à être consulté par un collègue.

• **Les entreprises n'ont pas une vision claire de la manière dont leurs données circulent et de leur destination lorsqu'elles interagissent avec des plateformes d'IA tierces. **Sans protections adéquates, les informations commerciales sensibles peuvent facilement échapper au contrôle de l'organisation. Cela crée un risque d'atteinte à la réputation, de violations réglementaires, d'activités cybercriminelles et de perte à long terme d'informations commerciales sensibles.

Stratégies de sécurité générales :

• Définir et appliquer des politiques d'utilisation de l'IA :

• Définir clairement les types de données pouvant et non être saisies dans les outils GenAI

• Restreindre l'utilisation des plateformes LLM publiques pour les données sensibles, confidentielles ou réglementées

• Établir un processus d'approbation pour l'adoption de nouveaux outils d'IA en interne

• Assurer la visibilité sur les outils d'IA fantômes (ceux qui ne sont pas connus du service informatique ou de sécurité)

• Surveiller et auditer l'utilisation de l'IA

• Suivre qui utilise les outils d'IA et à quelles fins

• Enregistrer et analyser les activités liées à l'IA

• Sensibiliser les utilisateurs aux risques liés à l'utilisation des outils d'IA

‍Pour les clients Obsidian :

• Inventorier toutes les utilisations de l'IA, y compris l'IA fantôme

• Pour chaque application d'IA, suivre et gérer l'adoption, comprendre les schémas d'utilisation et évaluer les niveaux de risque

• Restreindre l'accès aux plateformes d'IA non approuvées, afin d'empêcher les employés d'utiliser des outils à haut risque ou non officiels

• Mettre en œuvre les contrôles de sécurité des invites d'Obsidian :

• Intercepter les invites contenant des données sensibles avant leur envoi à des outils d'IA tiers.

• Bloquer les soumissions contenant des informations classifiées ou exclusives, même lorsque les outils GenAI sont accessibles via des comptes non gérés ou personnels