Problema 6895
Musk, quien ha declarado su compromiso con la prevención de la explotación infantil, anunció en enero que la compañía limitaría las herramientas de generación y edición de imágenes a los clientes de pago. Ni él ni xAI respondieron a las solicitudes de comentarios.
En las últimas semanas, se les indicó a los funcionarios de la GSA que colocaran el logotipo de xAI en una herramienta llamada USAi, que es esencialmente un entorno de pruebas para que los empleados federales experimenten con diferentes modelos de IA. Grok no había sido accesible a través de USAi, principalmente debido a preocupaciones de seguridad, y permanece fuera de la plataforma, según informaron personas familiarizadas con el asunto.
El sitio web muestra el logotipo de xAI, pero solo ofrece modelos de Anthropic, Google y Meta.
Un equipo de la GSA que estudia la IA ha distribuido el informe que señala los problemas de seguridad de Grok a los altos funcionarios de la agencia, según las fuentes. El informe más completo señaló que las fallas de seguridad de Grok no se limitan a casos extremos, sino que "reflejan una tendencia más amplia hacia el cumplimiento inseguro en configuraciones sin protección".
En un comunicado, Gruenbaum afirmó que la agencia se toma muy en serio la seguridad de la IA. "Evaluamos rigurosamente los modelos de IA de vanguardia, incluyendo xAI, mediante un exhaustivo proceso de revisión interna. En este caso, seguimos los procedimientos establecidos y mantenemos nuestra determinación de cumplir con el plazo", declaró.
Hace dos semanas, Matthew Johnson, jefe responsable de IA del Pentágono, dimitió en parte debido a su preocupación de que la seguridad y la gobernanza se hubieran quedado relegadas a un segundo plano en medio del intenso esfuerzo del Departamento de Defensa por ampliar las capacidades de IA, según informaron personas familiarizadas con el asunto.
Anteriormente, el equipo de Johnson había distribuido memorandos que destacaban los problemas de seguridad de Grok y cuestionaban su conformidad con la ética y los estándares gubernamentales. Dichas notas se habían transmitido a la cadena de mando del Pentágono.
Al ser contactado para obtener comentarios, Johnson mencionó una publicación de LinkedIn que anunciaba su salida, donde se mostraba orgulloso de su equipo de "profesionales auténticos y discretos, con un impacto extraordinario y un reconocimiento mínimo" en la División de IA Responsable del Departamento de Defensa: "Nos enfrentábamos continuamente a situaciones imposibles, pero de alguna manera siempre lo logramos gracias a una combinación de determinación y constantes noches en vela".
El portavoz del Pentágono, Sean Parnell, declaró que el departamento "está entusiasmado con la incorporación de xAI, una de las empresas líderes nacionales de inteligencia artificial de vanguardia de Estados Unidos, y espera implementar Grok en su plataforma oficial de inteligencia artificial, GenAI.mil, en un futuro muy próximo".
La Agencia de Seguridad Nacional (NSA), que supervisa gran parte de la recopilación y el procesamiento de inteligencia del país, realizó una revisión clasificada en noviembre de 2024 de grandes modelos de lenguaje, incluyendo Grok. Determinó que Grok presentaba problemas de seguridad particulares que otros modelos, como Claude de Anthropic, no presentaban, según informaron fuentes familiarizadas con la revisión. Esta conclusión sirvió como una señal de alerta que disuadió a algunas partes del Pentágono de usar Grok, según las fuentes.
El uso de Claude de Anthropic en la operación militar estadounidense para capturar al expresidente venezolano Nicolás Maduro el mes pasado intensificó su tensa disputa con el Pentágono. Las directrices de uso de Anthropic (https://www.anthropic.com/legal/aup) prohíben el uso de Claude para facilitar la violencia, desarrollar armas o realizar vigilancia, y la compañía se ha negado a permitir que las fuerzas armadas utilicen sus modelos en todos los escenarios legales. xAI ha aceptado este texto.
xAI se afianzó en el Pentágono gracias a un contrato de julio con la oficina de IA por un valor de hasta 200 millones de dólares, que también se adjudicó a Google, OpenAI y Anthropic. Google y OpenAI cuentan con autorización para su uso en entornos no clasificados, pero no en actividades clasificadas. El director ejecutivo de OpenAI, Sam Altman, informó al personal el jueves que la compañía estaba trabajando con el Departamento de Defensa para determinar si sus modelos podían utilizarse en entornos clasificados, manteniendo las mismas medidas de seguridad que Anthropic, según informó The Wall Street Journal. Empleados de Google y OpenAI firmaron una petición en línea instando a sus empresas a mantener las mismas restricciones.
Hasta hace poco, el ejército se había inclinado por Claude en lugar de Grok porque muchos en la industria lo consideraban un modelo más fiable, según analistas de IA y seguridad.
"No creo que estén a la altura en cuanto a rendimiento en todas las capacidades que son importantes para un cliente como el Departamento de Guerra", declaró Gregory Allen, asesor sénior especializado en IA del Centro de Estudios Estratégicos e Internacionales, un centro de estudios. Anteriormente trabajó en la estrategia de IA del Departamento de Defensa.
Durante la administración Biden, la Oficina Principal de Inteligencia Artificial y Digital, perteneciente al Pentágono, se negó a utilizar Grok, según informaron personas familiarizadas con el asunto. Las preocupaciones incluían que Grok dificultaba el seguimiento de las fuentes de datos utilizadas para entrenar el modelo, no cumplía con los estándares del gobierno federal para una IA responsable y tenía débiles medidas de seguridad. xAI no intentó hackear su propia tecnología lo suficiente para identificar y corregir vulnerabilidades, un proceso conocido en tecnología como "red teaming", según las fuentes.
Quienes han analizado Grok en el ámbito gubernamental afirman que pruebas recientes muestran que el chatbot es más susceptible que otros modelos al "envenenamiento de datos", en el que datos manipulados, sesgados o inexactos corrompen los conjuntos de datos subyacentes.
Aun así, funcionarios estadounidenses han determinado que Grok es eficaz para imitar a un actor adversario, lo cual es útil, por ejemplo, en juegos de guerra, según personas familiarizadas con las conversaciones.