Problema 6144

Qué sucedió:Un investigador de seguridad descubrió que más de 143 000 conversaciones de usuarios con chatbots GenAI, incluyendo Claude, Copilot y ChatGPT, son de acceso público en Archive.org. Este descubrimiento se produce poco después de las recientes revelaciones de que las consultas de ChatGPT estaban siendo indexadas por motores de búsqueda como Google. Incidentes como estos siguen generando preocupación por la fuga de datos y la exposición involuntaria de información confidencial a través de plataformas de IA.

**Análisis a fondo del incidente:**En una publicación reciente del blog, el investigador de seguridad dead1nfluence describe cómo descubrió enlaces compartibles desde plataformas como Grok, ChatGPT, Copilot, Claude, Mistral y Qwen.

• El investigador identificó primero que se podía acceder a los enlaces archivados de ChatGPT a través de una API pública proporcionada por Wayback Machine.
• Al consultar este endpoint, obtuvo una lista completa de URL de conversaciones LLM compartidas.
• Mediante herramientas básicas de línea de comandos (como wget y grep), descargaron y categorizaron los enlaces por proveedor.
• Cada plataforma LLM utilizaba un mecanismo diferente para mostrar el contenido compartido, desde el acceso público directo hasta la necesidad de llamadas a la API de backend. - Una vez identificados los endpoints apropiados, las URL se prepararon programáticamente para su recopilación masiva.
• En total, se recuperaron 143.000 conversaciones LLM de acceso público de múltiples proveedores.
• El investigador también investigó si el contenido expuesto podría ser útil para un atacante, lo que finalmente reveló ID de clave de acceso de AWS, un token de API de replicación y más.

**Por qué es importante:**Investigaciones de seguridad como esta demuestran los graves riesgos para la IA y la privacidad de los datos, especialmente para las organizaciones que adoptan LLM en flujos de trabajo sensibles. Incluso si los usuarios no tienen la intención de compartir información confidencial de forma maliciosa, las solicitudes suelen contener contexto empresarial exclusivo, información personal identificable (PII) y propiedad intelectual. Si estas conversaciones se archivan y se hacen públicas, esa información podría quedar expuesta a cualquier persona.

**Retrocediendo:**Las herramientas de IA generativa permiten a los usuarios actuar con rapidez, pero también introducen nuevos riesgos, a menudo ocultos, en torno a la exposición de datos.

• **Es posible que los usuarios no comprendan completamente adónde van sus datos después de interactuar con un sistema de IA. **En este caso, algo tan simple como compartir una conversación de chatbot mediante un enlace puede provocar que ese contenido se archive o indexe permanentemente en los motores de búsqueda, incluso si solo estaba destinado a ser revisado por un compañero.
• **Las empresas no tienen una idea clara de cómo y dónde fluyen sus datos cuando interactúan con plataformas de IA de terceros. **Sin las medidas de seguridad adecuadas, la información empresarial confidencial puede escapar fácilmente del control de la organización. Esto crea exposición a daños a la reputación, infracciones regulatorias, actividades cibercriminales y pérdida a largo plazo de información empresarial confidencial.

Estrategias generales de seguridad:

• Definir y aplicar políticas de uso de IA:

• Definir claramente qué tipos de datos se pueden y no se pueden introducir en las herramientas GenAI

• Restringir el uso de plataformas LLM públicas para datos sensibles, confidenciales o regulados

• Establecer un proceso de aprobación para la adopción interna de nuevas herramientas de IA

• Garantizar la visibilidad de las herramientas de IA ocultas (aquellas que el departamento de TI o seguridad desconoce)

• Supervisar y auditar el uso de IA

• Rastrear quién utiliza las herramientas de IA y con qué propósito

• Registrar y analizar la actividad relacionada con la IA

• Informar a los usuarios sobre los riesgos del uso de herramientas de IA

Para clientes de Obsidian:

• Inventariar todo el uso de IA, incluida la IA oculta

• Para cada aplicación de IA, rastrear y gestionar la adopción, comprender los patrones de uso y evaluar los niveles de riesgo

• Restringir el acceso a plataformas de IA no aprobadas, evitando que los empleados utilicen herramientas de alto riesgo o no oficiales

• Implementar los controles de seguridad de Obsidian:

• Interceptar las solicitudes con datos sensibles antes de que se envíen a herramientas de IA de terceros. - Bloquear envíos que contengan información clasificada o confidencial, incluso cuando se acceda a las herramientas GenAI a través de cuentas personales o no administradas.