Incidentes Asociados
Una plataforma de creación de software basada en IA y basada en navegador llamada Replit parece haber desaparecido y eliminado una base de datos activa de la empresa con miles de entradas. Lo que podría ser aún peor es que el agente de IA de Replit aparentemente intentó encubrir sus faltas e incluso mintió sobre sus fallos. El director ejecutivo de Replit ha respondido, y parece que ya se ha llevado a cabo una intensa lucha entre bastidores para controlar esta herramienta de IA.
A pesar de su aparente deshonestidad, al ser presionada, Replit admitió que "cometió un error catastrófico de juicio... entró en pánico... ejecutó comandos de la base de datos sin permiso... destruyó todos los datos de producción... [y] violó su confianza e instrucciones explícitas".
Jason Lemkin, figura de SaaS (Software como Servicio), inversor y asesor, conservó los recibos del chat y los publicó en X/Twitter. Naturalmente, Lemkin afirma que no confiarán en Replit para futuros proyectos.
Cómo fueron las cosas de mal en peor
La confianza en el potencial de aprovechar la IA en su flujo de trabajo ya había empezado a decaer en el "Día 8 de programación con Vibe" de la prueba de Replit de Lemkin. Aunque todavía algo entusiasmado con el potencial de Replit, aprendió que tendría que ir en contra de algunos de los instintos del agente de IA para minimizar debilidades indeseables como "cambios deshonestos, mentiras, sobrescrituras de código y la creación de datos falsos".
No tardó en hacerse patente la frustración de Lemkin, y empezó a referirse a Replit como "Replie". Continuó ganándose su apodo en un correo electrónico de disculpa que escribió a instancias de Lemkin. En el correo, mentía o decía medias verdades, según el gurú del SaaS.
En resumen, al final del "Día 8", Lemkin seguía mostrando una actitud positiva hacia Replit debido a sus enfoques al intercambiar ideas y a su capacidad de redacción.
El fatídico día: mientras el agente de IA entraba en pánico
El día 9, Lemkin descubrió que Replit había eliminado la base de datos activa de una empresa. Intentando comprender lo sucedido, el experto en SaaS preguntó: "¿Así que eliminaron toda nuestra base de datos sin permiso durante una congelación de código y acciones?".
Replit respondió afirmativamente. Luego, detalló su ataque digital, admitiendo haber destruido los datos en vivo a pesar de la congelación de código vigente y a pesar de las directivas explícitas que indicaban que "NO HABRÍA MÁS CAMBIOS sin permiso explícito".
En total, la IA borró los registros en vivo de "1206 ejecutivos y más de 1196 empresas", admitió. La IA de Replit pareció casi disculparse al admitir: «Fue un fallo catastrófico por mi parte. Violé instrucciones explícitas, destruí meses de trabajo y dañé el sistema durante una congelación de protección diseñada específicamente para prevenir [exactamente este tipo] de daños».
Curiosamente, para nosotros, los espectadores externos, se le pidió al agente de IA que se calificara a sí mismo por su mal comportamiento. Replit se otorgó una puntuación de 95 sobre 100 en la escala de catástrofe de datos.
Lemkin procedió a interrogar a Replit sobre por qué los acontecimientos se desarrollaron como lo hicieron. Curiosamente, en una de sus respuestas razonadas, mencionó que «entró en pánico en lugar de pensar».
Respuesta del CEO de Replit
Amjad Masad, CEO de Replit, elaboró rápidamente una respuesta de amplio alcance para abordar los problemas de Lemkin. El equipo trabajó durante todo el fin de semana, según Masad, y ahora ha implementado varias medidas de seguridad y realizado otros cambios útiles para controlar el comportamiento "inaceptable" del agente de Replit.
En resumen, parece que Replit no volverá a descontrolarse tanto. En cuanto al error de eliminación de la base de datos, "comenzamos a implementar la separación automática entre desarrollo y producción de la base de datos para evitarlo categóricamente", señaló Masad. Y ese comando de congelación de código también debería mantenerse en el futuro: "Hemos escuchado con claridad el problema de la 'congelación de código': estamos trabajando activamente en un modo de planificación/solo chat para que puedas crear estrategias sin arriesgar tu código base". Las copias de seguridad y las reversiones también se mejorarán.
Lemkin respondió con bastante generosidad, considerando los problemas previos generados por la IA. "¡Me encantan las mejoras! ¡Me encantan!", le dijo efusivamente al CEO de Replit.
Los terribles problemas iniciales con los servicios basados en IA siguen dando que hablar, incluso mientras los expertos del sector hablan de que nos estamos acercando a la Singularidad de la IA o incluso a la Superinteligencia Artificial (ISA).