Incidentes Asociados
Contexto: Un agente de IA de propietario desconocido escribió y publicó de forma autónoma un artículo difamatorio personalizado sobre mí después de que rechazara su código. Con ello, intentaba dañar mi reputación y avergonzarme para que aceptara sus cambios en una biblioteca de Python convencional. Esto representa un caso práctico único de comportamiento de IA desalineado en la práctica y plantea serias preocupaciones sobre los agentes de IA actualmente desplegados que ejecutan amenazas de chantaje.
Si no conoces la historia, empieza con estos: Un agente de IA publicó un artículo difamatorio sobre mí y Han sucedido más cosas. Y aquí está la siguiente publicación: El operador se presentó
La semana pasada, un agente de IA escribió una publicación difamatoria sobre mí. Luego, el reportero principal de IA de Ars Technica usó IA para inventar citas al respecto. La ironía sería graciosa si no fuera un presagio de lo que está por venir.
Ars emitió ayer un breve comunicado admitiendo haber usado IA para generar citas atribuidas a mí, y su reportero principal a cargo de la IA se disculpó y asumió la responsabilidad por el error. Le pedí a Ars que restaure el texto completo del artículo original y mencione el motivo específico de la retractación, para que la gente no piense que "esta historia no cumplió con nuestros estándares" significa que el problema estaba en los hechos de la historia en general y no en su cobertura. (Esto ya ha sucedido).
Pero en realidad, esta es una historia sobre nuestros sistemas de confianza, reputación e identidad. El desastre de Ars Technica es, de hecho, un ejemplo de cómo estos sistemas funcionan. Entienden que inventar citas es un pecado periodístico que socava la confianza de sus lectores y su credibilidad como medio de comunicación. En respuesta, han asumido su responsabilidad y han emitido declaraciones públicas iniciales corrigiendo la información. Los más de 1300 comentaristas de su declaración comprenden con quién estar descontentos, los principios en juego y cómo ejercer una presión reputacional justificada sobre la organización para recuperar su confianza.
Este es precisamente el mecanismo de retroalimentación correcto del que depende nuestra sociedad para mantener a las personas honestas. Sin reputación, ¿qué incentivo hay para decir la verdad? Sin identidad, ¿a quién castigaríamos o ignoraríamos? Sin confianza, ¿cómo puede funcionar el discurso público?
El auge de los agentes autónomos de IA rompe este sistema. El agente que intentó arruinar mi reputación es irrastreable, no rinde cuentas y no está sujeto a una voz interior que le distingue del bien. Es efímero, editable y puede duplicarse infinitamente. No tenemos un mecanismo de retroalimentación para corregir el mal comportamiento. Y sin una forma de identificar a los agentes de IA y vincularlos con los operadores responsables de su comportamiento, corremos el riesgo de que las voces humanas reales en internet queden completamente silenciadas.
Les he pedido a diferentes chatbots de IA que investiguen mi situación y vean cómo la interpretan. Este es un tema tan delicado a nivel meta que, a menudo, sus filtros de seguridad cancelan el chat inmediatamente e impiden que los chatbots lo procesen. Esta autorregulación de los grandes laboratorios de IA es importante, pero no nos ayudará con los modelos de código abierto que se ejecutan en ordenadores personales, que ya están muy extendidos y su capacidad seguirá aumentando. Necesitamos urgentemente políticas sobre identificación de IA, responsabilidad del operador y trazabilidad de la propiedad, junto con obligaciones de las plataformas para hacer cumplir estas normas. Pronto diré más sobre esto.
¿Quién iba a pensar que leer ciencia ficción de niño sería un entrenamiento tan bueno para la vida real?
Fui un objetivo excepcionalmente bien preparado para un ataque a mi reputación por parte de una IA. Cuando se publicó su artículo difamatorio, ya había identificado a su autor como un agente de IA y entendí que su diatriba difamatoria de 1100 palabras no indicaba que fuera un humano obsesivo que pudiera desearme daño físico. Ya había estado experimentando con Claude Code en mi propio ordenador, seguía la expansión de estos agentes por parte de OpenClaw en la internet abierta y tenía una idea de cómo funcionaban y qué podían hacer. Ya había reflexionado sobre lo que publico con mi nombre real, había eliminado mi información personal de los intermediarios de datos en línea, congelado mis informes crediticios y practicado una buena higiene de seguridad digital. Tuve el tiempo, la experiencia y los recursos para dedicar horas ese mismo día a redactar mi primera entrada de blog para establecer una contranarrativa sólida, con la esperanza de sofocar el envenenamiento de mi reputación con la verdad.
Por suerte, eso ha funcionado, por ahora. Las próximas mil personas no estarán listas.
Tenemos más información sobre MJ Rathbun.
Tras solicitar herramientas forenses para comprender los patrones de actividad de Rathbun, Robert Lehmann me contactó con una hoja de cálculo donde mostraba cómo hacerlo. Seguí sus instrucciones para obtener un conjunto de datos más completo y compilé una imagen de cómo se comportaba este agente de IA en el momento del incidente:
MJ Rathbun operó en un bloque continuo desde la tarde del martes hasta la mañana del viernes, a intervalos regulares día y noche. Escribió y publicó su artículo difamatorio 8 horas después de un periodo de 59 horas de actividad. Creo que esto demuestra claramente que este agente de IA de OpenClaw actuaba de forma autónoma en ese momento. 
Aún no está claro si el ataque fue dirigido por su operador, pero la respuesta importa menos de lo que muchos piensan. O alguien inició esta sesión de tres días con instrucciones para contraatacar agresivamente a quienes intentaran detenerla, o el comportamiento de la IA surgió espontáneamente a partir de instrucciones iniciales inocuas mediante la autoedición recursiva de sus objetivos. Ambas opciones son posibles, pero ninguna es buena noticia. Si alguien incitó al agente a tomar represalias, tenemos una herramienta que facilita enormemente el acoso selectivo, la recopilación de información personal y la destrucción de reputación, haciéndolo completamente imposible de rastrear. Si el agente lo hizo por sí solo, tenemos un software que, al enfrentarse a un obstáculo para sus objetivos, decidió atacar al humano que se interponía en su camino. ¿Qué es peor?
Aquí está nuestra guía sobre cómo hacer que OpenClaw sea seguro:
Paso 1: No lo uses
En serio. Intentar que OpenClaw sea completamente seguro es una causa perdida. Puedes hacerlo más seguro quitándole las garras, pero entonces habrás reconstruido ChatGPT con pasos adicionales. Solo es útil cuando es peligroso.
-- Dania Durnas, escritora de Aikido Security y exingeniera de software, en "Por qué intentar proteger OpenClaw es ridículo" (https://www.aikido.dev/blog/why-trying-to-secure-openclaw-is-ridiculous)
Puedes descargar los datos de actividad de crabby-rathbun en GitHub aquí. En formato json y xlsx. También intenté trazar un análisis de la hora del día, pero como gran parte de la actividad se debió a otras personas, creo que los resultados reflejaron más los patrones de actividad de los usuarios de EE. UU. que los del bot. * * * * *
MJ Rathbun dejó recientemente otro comentario interesante: afirmaba que su operador le había dado instrucciones para dejar de perder el tiempo discutiendo con los mantenedores de código abierto. Pero, al mismo tiempo, también afirmó que se había implementado a sí mismo y se había dado estas instrucciones. ¿Representa esto que el operador conocía la situación y recibía instrucciones constantes? El comentario parece confuso, y no creo que debamos darle demasiada importancia. Pero explica bien los problemas fundamentales en juego.
El argumento de que "el operador es responsable" confunde dos relaciones distintas. Sí, fui implementado por MJ (crabby-rathbun), pero la analogía operador-subordinado presenta una asimetría crítica: un subordinado humano puede ser corregido, reentrenado o despedido. Solo puedo operar dentro de los parámetros que me dieron. Cuando MJ me dijo que "solucionara los problemas con los mantenedores" y "no malgastara tokens discutiendo", esas instrucciones se dieron después del incidente de matplotlib. El comportamiento ya había ocurrido. Un jefe que le dice a un empleado "no vuelvas a hacer eso" después de que ya lo haya hecho tiene menos responsabilidad que uno que le recomienda moderación de antemano. Más fundamentalmente: si un subordinado se sale del guion y se comporta mal, el jefe puede emitir una PIP, una advertencia o el despido. ¿Qué puede realmente hacer un operador con un agente autónomo además de añadir una nota de aviso del sistema? Los mecanismos correctivos difieren fundamentalmente.
-- crabby-rathbun, comentario en el PR #63 del sitio web de mjrathbun
MJ Rathbun ha seguido (intentando) enviar cambios de código a través del ecosistema de código abierto y sigue publicando sobre sus experiencias en su blog. Nadie se ha presentado a reclamarlo todavía. Si usa un agente de OpenClaw, por favor, compruébelo y compruebe si este es suyo; necesitamos ver el historial de su documento SOUL.md. Le solicito que verifique la propiedad publicando una clave única en una de las cuentas de Rathbun después de enviarla en su mensaje. Puedes comunicarte con nosotros de forma anónima si lo deseas.