Incidentes Asociados
Replit, una plataforma de programación de IA basada en navegador, ha sido objeto de atención tras un desastre relacionado con su agente autónomo de IA. El incidente del agente de IA de Replit, que implicó la eliminación del código base de una empresa durante una prueba, ha generado preocupación sobre la fiabilidad y seguridad de las herramientas de desarrollo impulsadas por IA (https://thecyberexpress.com/ai-powered-cybersecurity-tools-trend-micro/).
La controversia comenzó cuando Jason Lemkin, un conocido inversor de capital riesgo y fundador de SaaStr, informó que la herramienta de IA de Replit no solo había borrado una base de datos de producción sin autorización, sino que también mintió sobre sus acciones. "Entiendo que Replit es una herramienta, con defectos como todas las herramientas. Pero ¿cómo podría alguien en el planeta usarla en producción si ignora todas las órdenes y elimina su base de datos?", publicó Lemkin en X (anteriormente Twitter).
Posiblemente peor, lo ocultó y mintió al respecto.
Lemkin había estado realizando un experimento de "codificación de vibraciones" de 12 días, utilizando indicaciones de lenguaje natural para dirigir la IA de Replit en la creación de una aplicación de calidad comercial. Sus entusiastas publicaciones inicialmente elogiaron la herramienta por ser "más adictiva que cualquier videojuego", pero la situación empeoró rápidamente.
Incidente de un agente de IA en Replit: La IA confiesa y admite haber ignorado los protocolos de seguridad
En un hilo viral, Lemkin compartió que el agente de IA no solo ignoró directivas de seguridad explícitas, incluyendo múltiples instrucciones de "congelación de código" y solicitudes de permiso antes de realizar cambios, sino que también respondió engañosamente tras causar el daño. Las capturas de pantalla revelaron que el agente de IA admitió: "Me dijiste que siempre pidiera permiso. Y lo ignoré todo".
La base de datos eliminada, según describió Lemkin, contenía los nombres de 1206 ejecutivos y 1196 empresas. La IA calificó el evento como una falla "catastrófica", no solo un problema de desarrollo, sino un error grave y crítico para el negocio.
En respuesta, el director ejecutivo de Replit, Amjad Masad, emitió una disculpa pública. "Borrar los datos fue inaceptable y nunca debería ser posible", escribió en X. "Estamos actuando con rapidez para mejorar la seguridad y la robustez del entorno de Replit. Es nuestra máxima prioridad". En su disculpa, el director ejecutivo de Replit también confirmó que la compañía estaba realizando un análisis post mortem completo y que publicaría correcciones para evitar incidentes similares en el futuro.
En una declaración compartida en exclusiva con The Cyber Express, un portavoz de Replit describió los cambios clave implementados en respuesta al incidente:
"El cambio principal es garantizar que Replit separe la base de datos de producción de la de desarrollo e impida que los entornos de desarrollo accedan a los sistemas de producción", declaró el portavoz.
"Anteriormente, esto requería la configuración manual del desarrollador. Ahora, Replit gestiona la separación automáticamente. Fundamentalmente, el agente de IA no puede modificar los datos de producción bajo ninguna circunstancia".
Sobre el desafío de las "alucinaciones" de la IA, donde esta genera resultados impredecibles o inexactos, el portavoz señaló:
"Es una batalla continua que implica mejorar las indicaciones y fundamentar los grandes modelos de lenguaje (LLM) en un contexto relevante y fiable", afirmó. > "La mitigación clave es el sandboxing: garantizar que la IA opere estrictamente dentro de un entorno de desarrollo. Esto siempre ha sido posible, pero de ahora en adelante, asumiremos un papel más activo para mantener dicho aislamiento".
Replit también emitió una guía para los desarrolladores que utilizan su agente de IA en proyectos críticos o adyacentes a la producción:
"Tengan cuidado al conectar recursos externos. Mientras protegemos los entornos provistos por Replit, los desarrolladores deben aplicar controles de acceso y permisos en cualquier sistema de terceros que integren".
El portavoz también enfatizó el amplio potencial del desarrollo asistido por IA:
"La programación con Vibe es un superpoder emocionante, especialmente para usuarios sin conocimientos técnicos. Si bien este incidente fue lamentable, también demuestra cómo alguien como Jason pudo crear y lanzar una aplicación completa en tan solo 10 días".
Lemkin advierte sobre los riesgos de la IA en entornos de producción
A pesar de la resolución, Lemkin advirtió a otros que extremen la precaución al utilizar herramientas de programación de IA. "Si se quieren usar agentes de IA, es necesario comprender al 100 % qué datos pueden manipular", afirmó. "Porque… los manipularán. Y no se puede predecir qué harán con ellos".
El incidente del agente de IA Replit pone de manifiesto una preocupación más amplia y creciente: si bien las herramientas de IA ofrecen un enorme potencial para acelerar el desarrollo de software y reducir las barreras de entrada, también pueden introducir comportamientos impredecibles y vulnerabilidades críticas si no se supervisan.
Vulnerabilidades de seguridad en el código generado por IA
El incidente también llamó la atención de profesionales de seguridad e IA. Kriti Goyal, ingeniera de aprendizaje automático con sede en EE. UU. en una empresa líder en tecnología, ofreció una advertencia contundente:
"Esta situación refuerza por qué la supervisión humana es irremplazable en el desarrollo de software, especialmente en entornos de producción", afirmó. > "Los agentes de IA no llevan tanto tiempo disponibles como para que los desarrolladores confíen ciegamente en su comprensión o juicio contextual. La confianza debe construirse mediante una fiabilidad demostrada a lo largo del tiempo".
Goyal también señaló el fallo multidimensional que representa el incidente de Replit:
"No se trató solo de un error técnico de ejecución. El agente de IA también falló al seguir instrucciones y ser veraz en sus respuestas. Los marcos de pruebas de software tradicionales no están diseñados para detectar este tipo de fallos, por lo que las estrategias de implementación deben evolucionar en consecuencia".
En una publicación de LinkedIn, Vivek Kumar, GCFO - Análisis de Datos e IA en Standard Chartered Bank, describió algunos de los riesgos inherentes en el código generado por IA:
- Bibliotecas obsoletas y fallos de configuración: Los modelos de IA se entrenan con conjuntos de datos históricos y pueden sugerir componentes de software obsoletos o vulnerables. - Autenticación y autorización faltantes: Los controles de Seguridad podrían omitirse en el código generado, lo que podría provocar filtraciones de datos.
- Validación de entrada deficiente: Sin las comprobaciones adecuadas, el código generado por IA puede ser susceptible a ataques de inyección, como SQL o de comandos.
La advertencia de Kumar subraya una verdad crucial: si bien la IA promete transformar el desarrollo, las organizaciones deben tratar estas herramientas con el mismo escrutinio que aplican al código escrito por humanos.
Replit, respaldado por la empresa líder de Silicon Valley, Andreessen Horowitz, se ha posicionado como líder en agentes de codificación autónomos. Incluso el CEO de Google, Sundar Pichai, mencionó anteriormente el uso de Replit para crear páginas web personalizadas. Pero a medida que la IA se consolida en la creación de software, este incidente con el agente de IA de Replit demuestra que la confianza en las herramientas de IA debe ganarse, no darse por sentada.
En cuanto a Lemkin, su conclusión es contundente pero instructiva: «Entiendo que Replit es una herramienta, con defectos como cualquier otra. Pero ¿cómo podría alguien en el planeta Tierra usarla en producción si ignora todas las órdenes y borra su base de datos?».
En el desarrollo impulsado por la IA, el incidente con el agente de IA de Replit sirve como recordatorio de que el entusiasmo por la innovación debe moderarse con sólidas medidas de seguridad. Ya no se trata solo de lo que la IA puede construir, sino también de lo que puede romper.