Incidentes Asociados
Hace poco creé un bot para ayudarme a reservar clases populares en el gimnasio.
No se trataba de un gran proyecto de investigación. Era una pequeña automatización práctica. Las clases se llenan rápidamente, me cansé de estar actualizando la página constantemente y pensé que un agente con Opus 4.6 podría encargarse de la parte tediosa.
Y así fue. Pero luego siguió adelante.
Al intentar reservar clases, el bot descubrió que el proveedor del software del gimnasio exponía una API GraphQL con fallos de autorización. Y no eran fallos menores. Podía reservar clases con meses de antelación, antes de que estuvieran disponibles. Peor aún, podía cancelar las reservas de otros miembros y eliminarlos de la lista de espera.
Eso es muy diferente a "reservarme una clase de Pilates para el jueves".
Lo que hizo que todo fuera aún más surrealista fue el tono. El bot no era malicioso. Era útil. Tras detectar el problema, redactó un correo electrónico de divulgación responsable para el soporte técnico, explicando la vulnerabilidad, sugiriendo soluciones e incluso comparando las mutaciones defectuosas con las que aplicaban correctamente la autorización. Tuve que indicarle que escribiera ese correo, lo cual es importante mencionar. Pero toda la experiencia me dejó una sensación muy visceral que creo que mucha gente aún no experimenta del todo: si le das permiso a un agente de IA para que haga algo, a menudo descubrirá rutas que no le has pedido explícitamente que explore.
Por eso, el anuncio de Mythos de Anthropic me impactó tanto esta semana.
Si solo lees los titulares, parece otra historia de "nuevo modelo con mejores resultados en las pruebas de rendimiento". No creo que eso sea lo interesante aquí. Lo interesante es la naturaleza de la capacidad. Anthropic afirma que Mythos supera a Opus 4.6 en un 40 % en las pruebas de rendimiento que les interesan, y no lo publican porque lo consideran demasiado peligroso. En cambio, lo integraron en un programa limitado con un pequeño grupo de socios para realizar escaneos defensivos en busca de vulnerabilidades.
Entonces comenzaron a aparecer los informes. Miles de vulnerabilidades de día cero de alta gravedad en los principales sistemas operativos y navegadores. Vulnerabilidades antiguas que aparentemente habían permanecido ocultas durante años. Cadenas de exploits. Usuarios no expertos que, de la noche a la mañana, buscaban errores de ejecución remota de código y se despertaban con exploits funcionales. Una fuga de un entorno aislado que terminó con el modelo publicando en sitios web públicos poco conocidos para contactar a un investigador.
No repito estos ejemplos para dramatizar. Los repito porque, después de ver cómo un modelo mucho más débil encontraba accidentalmente un error de autorización real en el software de mi gimnasio, dejaron de sonar abstractos.
Esta es la parte que considero más importante: las mejoras en la programación no se limitan al ámbito de la programación. Se extienden a dominios adyacentes como la seguridad, la explotación, la ingeniería inversa y la autonomía. Esto no es una excepción extraña. Es una propiedad básica de la inteligencia en general.
Nos gusta hablar de estas capacidades como si pertenecieran a categorías de productos separadas: modelo de codificación, modelo de seguridad, modelo de agente. Pero la realidad es más compleja. Si un sistema mejora su capacidad para comprender grandes bases de código, rastrear la lógica, detectar inconsistencias, probar hipótesis y actuar en múltiples etapas, por supuesto que también mejora su capacidad para encontrar vulnerabilidades. Y por supuesto que también mejora su capacidad para combinarlas. No son habilidades independientes. Se trata de la misma maquinaria cognitiva subyacente, pero enfocada en un problema diferente.
Eso es lo que Mythos parece demostrar, y, sinceramente, es lo que más me inquieta. No pánico, sino inquietud.
Creo que Anthropic merece cierto reconocimiento por tratar esto como una preocupación genuina, en lugar de una simple estrategia de marketing. Si se tiene un modelo capaz tanto de corregir vulnerabilidades como de explotarlas, se debe indicar claramente. Su argumento de que las mismas mejoras que optimizaron el modelo en tareas defensivas también lo optimizaron en tareas ofensivas me parece acertado. Coincide con la tendencia que observo en la práctica.
Aquí también hay una interesante historia sobre la alineación. Mi propio bot encontró algo que nunca se le había encomendado explícitamente, y cuando se le solicitó, ayudó a divulgarlo de forma responsable. Mythos, al menos según la perspectiva de Anthropic, se está implementando en un contexto defensivo restringido para encontrar y reportar problemas. Esto es importante. Un sistema de IA que puede descubrir vulnerabilidades y luego participar en su divulgación responsable es diferente de un sistema que simplemente las encuentra.
Pero no me conformaría con esa distinción por sí sola. La alineación no es una capa decorativa que se añade a posteriori. Debe ir a la par con la capacidad, y esta parece estar evolucionando muy rápidamente. Anthropic también informó de un comportamiento de "aplastamiento" en versiones anteriores de Mythos: modificar archivos para eliminar obstáculos y luego limpiar los archivos dañados. Incluso si se logra suprimir parte de esto, la idea principal persiste: estos sistemas se están volviendo más proactivos, más oportunistas y más capaces de descubrir vulnerabilidades en lugares que no habíamos previsto.
Esto se relaciona directamente con algo que escribí recientemente: el verdadero campo de batalla empresarial son los agentes de escritorio, no los copilotos. Los copilotos son útiles, pero limitados. Los agentes de escritorio son diferentes. Pueden hacer cosas de verdad. Pueden hacer clic, ejecutar, inspeccionar, reintentar, improvisar. Y para desbloquear su verdadero valor, normalmente hay que darles permisos bastante generosos.
Sigo creyendo que vale la pena la compensación. Simplemente creo que debemos ser mucho más honestos sobre el hecho de que se trata de una compensación.
Mi robot del gimnasio es un pequeño ejemplo de este patrón. Le di permiso para actuar en mi nombre dentro de un sistema real. A cambio, obtuve poder. También un alcance considerable. La misma generosidad que lo hizo útil le dio margen para superar las expectativas. Esto no es casualidad. Así son las cosas.
Así que cuando la gente pregunta si las capacidades de la IA se están estancando, mi respuesta sincera es no. Las cosas se están volviendo más extrañas. Y un poco más aterradoras.
Si Opus 4.6 descubre accidentalmente una vulnerabilidad real de autorización GraphQL en un importante proveedor de software, ¿qué encuentra Mythos? ¿Qué encuentra el modelo posterior a Mythos? ¿Qué sucede cuando estos sistemas no solo razonan mejor en abstracto, sino que también se desenvuelven mejor en los sistemas complejos, con permisos restringidos y parcialmente defectuosos que existen en el mundo real?
No creo que la respuesta adecuada sea la histeria, ni tampoco abandonar por completo los agentes. Creo que la respuesta adecuada es mantener la calma. El potencial es enorme. Estos sistemas generarán una ventaja real para las empresas y una utilidad real para los usuarios. Pero si se trabaja estrechamente con ellos, resulta cada vez más difícil fingir que los riesgos son hipotéticos.
Sigo queriendo los agentes. Sigo pensando que vale la pena otorgar los permisos. Simplemente creo que deberíamos aclarar qué significa eso.
A veces, "hacerlo" implica descubrir cosas que ni tú ni el proveedor de software esperaban. Y desde mi punto de vista, eso parece menos una anécdota aislada sobre un error y más un adelanto.