Problema 4587

Introducción Resecurity ha identificado un aumento en las campañas maliciosas dirigidas a agentes de IA y plataformas de IA conversacional que aprovechan los chatbots para proporcionar interacciones automatizadas similares a las humanas para los consumidores. Las plataformas de IA conversacional están diseñadas para facilitar las interacciones naturales entre humanos y máquinas utilizando tecnologías como procesamiento del lenguaje natural (NLP) y aprendizaje automático (ML). Estas plataformas permiten que las aplicaciones como los chatbots y los agentes virtuales participen en conversaciones significativas, lo que las convierte en herramientas valiosas en varias industrias. Los chatbots son una parte fundamental de las plataformas de IA conversacional, diseñadas para simular conversaciones humanas y mejorar las experiencias del usuario. Dichos componentes podrían interpretarse como una subclase de agentes de IA responsables de orquestar el flujo de trabajo de comunicación entre el usuario final (consumidor) y la IA. Las instituciones financieras (IF) están implementando ampliamente dichas tecnologías para acelerar la atención al cliente y los flujos de trabajo internos, lo que también puede generar riesgos de cumplimiento y de cadena de suministro. Muchos de estos servicios no son completamente transparentes con respecto a la protección y retención de datos, y funcionan como una "caja negra", cuyos riesgos asociados no son visibles de inmediato. Eso puede explicar por qué las principales empresas de tecnología restringen el acceso de los empleados a herramientas de IA similares, en particular las proporcionadas por fuentes externas, debido a las preocupaciones de que estos servicios podrían aprovechar los datos potencialmente privados que se les envían. Los principales innovadores de IA, incluidos OpenAI, Microsoft, Google y Amazon Web Services (AWS), están promoviendo intensamente el uso de agentes de IA para que las empresas puedan usar la IA para hacer su trabajo y aumentar la productividad y las oportunidades de ingresos. Muchos productos existentes también están preparados para mejorar sus funciones de IA generativa con una mayor automatización, lo que puede resaltar el papel cada vez mayor de las plataformas conversacionales y los chatbots de IA. A diferencia de los chatbots tradicionales, los chatbots de IA conversacionales pueden ofrecer consejos y recomendaciones personalizados en función de las interacciones del usuario. Esta capacidad mejora la experiencia del usuario al proporcionar respuestas personalizadas que satisfacen las necesidades individuales. Los bots pueden recopilar datos valiosos de las interacciones del usuario, que se pueden analizar para obtener información sobre las preferencias y los comportamientos de los clientes. Esta información puede informar las estrategias comerciales y mejorar las ofertas de servicios. Al mismo tiempo, crea un riesgo significativo en la protección de datos, ya que los datos recopilados de los usuarios pueden revelar información confidencial y contexto debido a interacciones personalizadas. Otro aspecto importante es si la entrada del usuario recopilada se conservará para una mayor capacitación y si dichos datos se desinfectarán posteriormente para minimizar la divulgación de PII (información de identificación personal) y otros datos que puedan afectar la privacidad del usuario en caso de una violación. ### Comprensión de la IA conversacional frente a la IA generativa La IA de las comunicaciones, a menudo denominada IA conversacional, está diseñada principalmente para facilitar las interacciones bidireccionales con los usuarios. Se centra en la comprensión y el procesamiento del lenguaje humano para generar respuestas similares a las humanas. Esta tecnología se utiliza comúnmente en chatbots, asistentes virtuales y aplicaciones de servicio al cliente, donde el objetivo es proporcionar interacciones significativas y contextualmente relevantes. Por otro lado, la IA generativa se centra en la creación de nuevo contenido basado en patrones aprendidos a partir de datos existentes. Esto incluye la generación de texto, imágenes, música y otras formas de medios. La IA generativa no se limita a la conversación; puede producir obras originales de forma autónoma cuando se le solicita, lo que la hace adecuada para aplicaciones en campos creativos, creación de contenido y más. Diferencias clave Propósito: - La IA conversacional tiene como objetivo involucrar a los usuarios en el diálogo y proporcionar respuestas que imiten la conversación humana. \ - La IA generativa se centra en producir contenido nuevo, como escribir artículos, crear obras de arte o componer música. Funcionalidad: - La IA conversacional procesa la información de los usuarios y genera respuestas apropiadas, a menudo basándose en guiones predefinidos o patrones conversacionales aprendidos. - La IA generativa analiza datos para crear resultados completamente nuevos, aprovechando algoritmos complejos para innovar en lugar de solo responder. En resumen, si bien ambas tecnologías utilizan principios de IA, la IA conversacional se trata de interacción y diálogo, mientras que la IA generativa se trata de creación de contenido e innovación. Los sistemas de IA conversacional son cada vez más frecuentes en varias industrias y aplicaciones. Estos son algunos ejemplos notables:** Asistentes virtuales - Siri (Apple), Alexa (Amazon), Google Assistant (Google) - Estos asistentes virtuales activados por voz utilizan IA conversacional para comprender el lenguaje natural y brindar respuestas a las consultas de los usuarios. ** Chatbots potenciados por IA - Chatbots en sitios web de comercio electrónico - Estos chatbots potenciados por IA ayudan a los clientes con información de productos, seguimiento de pedidos y otras consultas. - Chatbots de aplicaciones de mensajería - Chatbots integrados en plataformas de mensajería como Slack, Facebook Messenger y WhatsApp para proporcionar información y soporte al cliente automatizados. ** Bots activados por voz - Herramientas de dictado de voz a texto - Sistemas de IA conversacional que pueden transcribir el lenguaje hablado en texto, lo que permite una comunicación con manos libres. \ - Dispositivos domésticos inteligentes activados por voz - Algunos ejemplos incluyen Amazon Alexa, Google Nest y Apple HomePod, que utilizan IA conversacional para controlar las funciones del hogar inteligente. ** Aplicaciones empresariales - Agentes de servicio al cliente automatizados - Chatbots potenciados por IA y agentes virtuales que manejan consultas y tareas comunes de los clientes, como facturación, gestión de cuentas y resolución de problemas. - Asistentes de incorporación de RR.HH. - Sistemas de IA conversacional que pueden guiar a los nuevos empleados a través del proceso de incorporación, respondiendo preguntas y proporcionando información. ** Aplicaciones de atención médica - Asistentes de enfermería virtuales - Sistemas de IA conversacional que pueden interactuar con los pacientes, brindar asesoramiento médico y ayudar con la programación de citas y la gestión de medicamentos. Estos ejemplos muestran las diversas aplicaciones de la IA conversacional, que van desde asistentes virtuales orientados al consumidor hasta sistemas de soporte y automatización a nivel empresarial. A medida que la tecnología continúa evolucionando, podemos esperar ver casos de uso aún más innovadores para la IA conversacional en el futuro. ### Riesgos emergentes de los agentes de IA y la IA conversacional En una publicación reciente de Avivah Litan, analista distinguida de VP en Gartner, se destacaron los riesgos emergentes y las amenazas de seguridad introducidas por los agentes de IA: - Exposición o exfiltración de datos\ Los riesgos pueden ocurrir en cualquier parte a lo largo de la cadena de eventos del agente. - Consumo de recursos del sistema\ Las ejecuciones e interacciones no controladas de agentes, ya sean benignas o maliciosas, pueden provocar denegación de servicio o denegación de escenarios de billetera, sobrecargando los recursos del sistema. - Actividades no autorizadas o maliciosas\ Los agentes autónomos pueden realizar acciones no deseadas, incluido el "secuestro de agentes" por parte de procesos maliciosos o humanos. - Errores de lógica de codificación\ Los errores de codificación no autorizados, no deseados o maliciosos por parte de agentes de IA pueden provocar violaciones de datos u otras amenazas. - Riesgo de la cadena de suministro\ El uso de bibliotecas o código de sitios de terceros puede introducir malware que se dirija tanto a entornos de IA como a entornos que no sean de IA. - Abuso de la gestión de acceso\ Incorporar credenciales de desarrollador en la lógica de un agente, especialmente en desarrollos con poco o ningún código, puede generar riesgos significativos de gestión de acceso. - Propagación de código malicioso\ El procesamiento automatizado de agentes y el envenenamiento por generación aumentada por recuperación (RAG) pueden desencadenar acciones maliciosas. Estos riesgos resaltan la importancia de diseñar controles sólidos para mitigar la exposición de datos, el consumo de recursos y las actividades no autorizadas. La IA conversacional, si bien ofrece beneficios significativos en la interacción y automatización del usuario, también presenta varios riesgos que deben gestionarse con cuidado. Dichos sistemas a menudo manejan información confidencial del usuario, lo que genera preocupaciones sobre violaciones de confidencialidad y exposición de datos. Por ejemplo, al interactuar con un sistema de IA conversacional, el usuario final puede solicitar actualizaciones sobre la última confirmación de pago, preguntar sobre el estado de la entrega compartiendo su dirección y proporcionar otra información personal para recibir la salida adecuada. Si esta información se ve comprometida, podría conducir a una fuga de datos significativa. ### Actividad en la Dark Web Una de las categorías críticas de plataformas de IA conversacional es el software de centro de llamadas impulsado por IA y las suites de experiencia del cliente. Dichas soluciones utilizan chatbots diseñados específicamente para interactuar con los consumidores procesando su entrada y generando información significativa. La implementación de soluciones impulsadas por IA como estas es especialmente importante en las tecnologías financieras, el comercio electrónico y el gobierno electrónico, donde la cantidad de consumidores finales es sustancial y el volumen de información que se debe procesar hace que la interacción humana manual sea casi imposible, o al menos comercial y prácticamente ineficaz. Los modelos de IA entrenados optimizan la retroalimentación a los consumidores y ayudan con las solicitudes posteriores, lo que reduce los tiempos de respuesta y los procedimientos que requieren mucha mano de obra humana que podrían abordarse con IA. 8 de octubre de 2024: Resecurity identificó una publicación en la Dark Web relacionada con la monetización de datos robados de una de las principales soluciones de centros de llamadas en la nube impulsadas por IA en Medio Oriente. El actor de amenazas obtuvo acceso no autorizado al panel de administración de la plataforma, que contiene más de 10,210,800 conversaciones entre consumidores, operadores y agentes de IA (bots). Los datos robados podrían usarse para orquestar actividades fraudulentas avanzadas y campañas de ingeniería social, así como otras tácticas cibercriminales utilizando IA. El incidente se detectó de manera oportuna y se mitigó con éxito alertando a la parte afectada y colaborando con las organizaciones policiales. La desafortunada consecuencia es que los actores maliciosos robaron una gran cantidad de información, lo que generó riesgos de privacidad para los consumidores. Basándose en la inteligencia humana disponible (HUMINT), Resecurity ha adquirido artefactos adicionales relacionados con el incidente del actor: \ Uno de los impactos significativos de la actividad maliciosa identificada (las comunicaciones vulneradas entre los agentes de IA y los consumidores) reveló información de identificación personal (PII), incluidos documentos de identidad nacionales y otros detalles confidenciales proporcionados para abordar solicitudes específicas. El adversario podría aplicar técnicas de extracción y minería de datos para adquirir registros de interés y utilizarlos en escenarios avanzados de phishing y otros fines ciberofensivos. ### Confianza en la plataforma de IA: precursora de la fuga de datos Como resultado del compromiso, los adversarios podrían acceder a sesiones específicas de clientes y robar datos y adquirir conocimiento sobre el contexto de interacción con el agente de IA, lo que más tarde podría conducir a un secuestro. Este vector puede ser especialmente eficaz en campañas fraudulentas y de ingeniería social cuando el adversario se centra en adquirir información de pago de la víctima utilizando algún pretexto de verificación KYC o soporte técnico de una institución financiera o red de pago específica. Muchas plataformas de IA conversacional permiten a los usuarios cambiar entre un operador asistido por IA y un humano: el actor malicioso podría interceptar la sesión y controlar aún más el diálogo. Al explotar la confianza del usuario, los actores maliciosos podrían solicitar que las víctimas proporcionen información confidencial u organicen ciertas acciones (por ejemplo, confirmar un OTP) que podrían usarse en esquemas fraudulentos. Resecurity prevé una variedad de esquemas de ingeniería social que podrían orquestarse mediante el abuso y la obtención de acceso a plataformas de IA conversacionales confiables. La víctima final (el consumidor) no se dará cuenta en absoluto si un adversario intercepta la sesión y seguirá interactuando con el agente de IA, pensando que la sesión es segura y que el curso de acción posterior es legítimo. El adversario puede explotar la confianza de la víctima en la plataforma de IA y obtener información confidencial, que más tarde podría usarse para fraude de pago y robo de identidad. El problema con la información de identificación personal retenida se puede observar en las comunicaciones vulneradas que encuentra un adversario potencial en los datos de la plataforma de IA conversacional disponible y sus modelos. Por ejemplo, según uno de los estudios de caso publicado por el Centro Australiano de Seguridad Cibernética de la Dirección de Señales de Australia (ACSC de ASD) en colaboración con socios internacionales, los sistemas de IA alojados por terceros requieren una evaluación integral de los riesgos. En noviembre de 2023, un equipo de investigadores publicó los resultados de sus intentos de extraer datos de entrenamiento memorizados de los modelos de lenguaje de IA. Una de las aplicaciones con las que experimentaron los investigadores fue ChatGPT. En el caso de ChatGPT, los investigadores descubrieron que al pedirle al modelo que repitiera una palabra para siempre, el modelo divulgaba datos de entrenamiento a una tasa mucho mayor que cuando se comportaba de manera normal. Los datos de entrenamiento extraídos incluían información de identificación personal (PII). ### Sistemas de IA alojados por terceros: un riesgo importante para la cadena de suministro Además del problema de la información de identificación personal (PII) retenida almacenada en las comunicaciones entre el agente de IA y los usuarios finales, los actores maliciosos también pudieron apuntar a tokens de acceso, que las empresas podrían usar para la implementación del servicio con API de servicios y aplicaciones externos: La manipulación de tokens puede provocar la inyección de datos maliciosos en los canales de integración compatibles e impactar negativamente a los consumidores finales de las plataformas de conversación de IA. Los resultados de los agentes de IA se podrían integrar en varias plataformas, y los bots se podrían agregar a otras aplicaciones como Discord, WhatsApp, Slack y Zapier. Debido a la penetración significativa de los sistemas de IA externos en la infraestructura empresarial y el procesamiento de volúmenes masivos de datos, su implementación sin una evaluación de riesgos adecuada debe considerarse un riesgo emergente de ciberseguridad en la cadena de suministro de TI. Según Gartner, las herramientas de IA de terceros plantean riesgos de confidencialidad de los datos. A medida que su organización integra modelos y herramientas de IA de proveedores externos, también absorbe los grandes conjuntos de datos utilizados para entrenar esos modelos de IA. Sus usuarios podrían acceder a datos confidenciales dentro de los modelos de IA de otros, lo que potencialmente crea consecuencias regulatorias, comerciales y de reputación para su organización. ### Espectro de ataques contra sistemas habilitados para IA El espectro de tácticas y técnicas adversas contra sistemas habilitados para IA basadas en observaciones de ataques del mundo real se define en la Matriz MITRE ATLAS. Proporciona un marco para identificar y abordar vulnerabilidades en los sistemas de IA, lo que puede ayudar a prevenir ataques y proteger datos confidenciales, y permite a los investigadores navegar por el panorama de amenazas a los sistemas de inteligencia artificial. Al utilizar la matriz MITRE ATLAS, Resecurity asignó la actividad maliciosa observada a los TTP clave: - AML.T0012\ Cuentas válidas - AML.T0049\ Explotar aplicación pública - AML.T0052\ Suplantación de identidad - AML.T0055\ Credenciales no seguras - AML.T0007\ Descubrimiento de artefactos de ML - AML.T0035\ Recopilación de artefactos de ML - AML.T0043\ Elaborar datos adversarios - AML.T0025\ Exfiltración a través de medios cibernéticos - AML.T0024\ Exfiltración a través de la API de interfaz de ML - AML.T0048\ Daños externos (impacto financiero) ### Medidas de mitigación Resecurity destaca la importancia de un programa integral de gestión de la confianza, el riesgo y la seguridad de la IA (TRiSM) para garantizar de forma proactiva que los sistemas de IA cumplan las normas, sean justos, fiables y protejan la privacidad de los datos. La Ley de IA de la UE y otros marcos regulatorios en América del Norte, China e India ya están estableciendo regulaciones para gestionar los riesgos de las aplicaciones de IA. Por ejemplo, las recientes Directrices de IA del PDPC en Singapur ya alientan a las empresas a ser más transparentes al solicitar el consentimiento para el uso de datos personales a través de la divulgación y las notificaciones. Las empresas tienen que asegurarse de que los sistemas de IA sean confiables, brindando así a los consumidores confianza en cómo se utilizan sus datos personales. De acuerdo con los Principios para tecnologías de inteligencia artificial generativa responsables, confiables y protectoras de la privacidad publicados por la Oficina del Comisionado de Privacidad de Canadá y otros reguladores de la industria, es fundamental realizar evaluaciones, como Evaluaciones de impacto sobre la privacidad (PIA), para identificar y mitigar los impactos potenciales o conocidos que un sistema de inteligencia artificial generativa (o su uso propuesto, según corresponda) pueda tener sobre la privacidad. Según las Mejores prácticas para implementar sistemas de IA seguros y resistentes publicadas de la Agencia de Seguridad Nacional (NSA), los expertos recomiendan adoptar una mentalidad de confianza cero (ZT), que supone que una infracción es inevitable o que ya se ha producido. Teniendo en cuenta la actividad maliciosa observada que implica el compromiso de las plataformas de IA conversacional y su impacto significativo en la privacidad del cliente, Resecurity puede enfatizar la importancia de las comunicaciones seguras entre los agentes de IA y los consumidores finales. Esto incluye minimizar la retención de información de identificación personal (PII) y adoptar un enfoque proactivo para la ciberseguridad de la cadena de suministro en el contexto de soluciones de IA alojadas por terceros. ### Importancia Las plataformas de IA conversacional se han convertido en un elemento crítico de la cadena de suministro de TI moderna para las grandes empresas y agencias gubernamentales. Su protección requerirá un equilibrio entre las medidas de ciberseguridad tradicionales relevantes para SaaS (Software-as-a-Service) y aquellas especializadas y adaptadas a las particularidades de la IA. En algún momento, las plataformas de IA conversacional comienzan a reemplazar los canales de comunicación tradicionales. En lugar de la mensajería de correo electrónico "de la vieja escuela", estas plataformas permiten la interacción a través de agentes de IA que brindan respuestas rápidas y brindan navegación de múltiples niveles a través de los servicios de interés casi en tiempo real. La evolución de la tecnología también ha llevado a ajustes en las tácticas por parte de los adversarios que buscan explotar las últimas tendencias y dinámicas en el mercado global de las TIC para su propio beneficio. Resecurity detectó un interés notable tanto de la comunidad cibercriminal como de los actores estatales en las plataformas de IA conversacional, debido a una cantidad considerable de consumidores y volúmenes masivos de información procesada durante las interacciones y sesiones personalizadas respaldadas por IA. Los cibercriminales apuntarán a las plataformas de IA conversacional debido a la aparición de nuevas ofertas orientadas al consumidor. Por ejemplo, este año China lanzó el prototipo de un hospital con inteligencia artificial (https://www.globaltimes.cn/page/202405/1313235.shtml) para mostrar un enfoque innovador de la atención médica, en el que los asistentes de enfermería y los médicos virtuales interactuarán con los pacientes. Estas innovaciones pueden crear riesgos significativos para la privacidad de los pacientes a largo plazo, ya que la IA conversacional puede transmitir y procesar información confidencial sobre los datos de atención médica. La IA conversacional ya está revolucionando la industria bancaria y de tecnología financiera al automatizar la atención al cliente, brindar orientación financiera personalizada y mejorar la eficiencia transaccional, mejorando la satisfacción del cliente y la efectividad operativa. Estos ejemplos prueban las diversas aplicaciones de la IA conversacional, que van desde los asistentes virtuales orientados al consumidor hasta los sistemas de automatización y soporte a nivel empresarial. A medida que la tecnología continúe evolucionando, podemos esperar ver casos de uso aún más creativos para la IA conversacional en el futuro, y nuevas amenazas de ciberseguridad dirigidas a dichas tecnologías y a los usuarios finales. ### Referencias - Mitigación de riesgos emergentes y amenazas de seguridad de agentes de IA\ https://securitymea.com/2024/09/10/mitigate-emerging-risks-and-security-threats-from-ai-agents/ - Abordar la confianza, el riesgo y la seguridad en los modelos de IA\ https://www.gartner.com/en/articles/what-it-takes-to-make-ai-safe-and-effective - Principios para tecnologías de IA generativas responsables, confiables y que protejan la privacidad\ https://www.priv.gc.ca/en/privacy-topics/technology/artificial-intelligence/gd_principles_ai/- Interacción con la inteligencia artificial (IA)\ https://media.defense.gov/2024/Jan/23/2003380135/-1/-1/0/CSI-ENGAGING-WITH-ARTIFICIAL-INTELLIGENCE.P...