Incidentes Asociados
El Departamento de Eficiencia Gubernamental (DOGE) desarrolló una herramienta de inteligencia artificial (IA) para identificar contratos innecesarios en el Departamento de Asuntos de Veteranos (VA), con el objetivo de reducir costos. Sin embargo, el sistema de IA presentó importantes fallas técnicas e imprecisiones, lo que resultó en cancelaciones de contratos potencialmente perjudiciales que afectaban a los servicios para veteranos.
Desarrollo y propósito de la herramienta de IA
A principios de 2023, la administración Trump buscó reducir el gasto en el VA. Los funcionarios contrataron a Sahil Lavingia, un ingeniero de software con poca experiencia en atención médica o compras gubernamentales, para desarrollar una solución rápida de IA. Trabajando con plazos extremadamente ajustados, Lavingia creó una herramienta de evaluación de contratos en cuestión de días.
Este software de IA etiquetó los contratos considerados no esenciales como "DISCRIPTABLES", con el objetivo de optimizar el gasto al recomendar qué contratos podrían eliminarse. La herramienta de Lavingia fue diseñada para analizar los textos de los contratos y extraer detalles como el número de contrato y el valor total del contrato.
Fallas técnicas e imprecisiones
Uso de modelos de IA obsoletos
El sistema de IA se basaba en modelos de lenguaje extensos, obsoletos y económicos. Se produjeron varios errores. Por ejemplo, malinterpretaba los valores de los contratos, inflando a menudo el valor de los contratos pequeños. Algunos contratos, reportados como de 34 millones de dólares, en realidad tenían un valor de tan solo 35.000 dólares. Esta inflación de datos distorsionaba las decisiones sobre qué contratos recortar.
Alcance limitado del análisis de datos
El algoritmo de Lavingia evaluó solo las primeras 2.500 palabras de los contratos. Estas páginas iniciales ofrecen resúmenes escasos y rara vez representan los términos completos, lo que da lugar a juicios demasiado simplificados. La IA también confundía múltiples valores monetarios dentro de los contratos, seleccionando cifras inexactas cuando existían datos más precisos en bases de datos públicas.
Falta de contexto y experiencia del Departamento de Asuntos de Veteranos
La herramienta de IA ignoró el conocimiento contextual crucial de las operaciones del Departamento de Asuntos de Veteranos. No tuvo en cuenta los requisitos legales ni comprendió qué servicios eran esenciales para la atención a los veteranos. Como resultado, los componentes centrales del sistema de contratación del VA, que respaldan funciones vitales, se clasificaron erróneamente como "devorables".
Impacto en los contratos del VA y los servicios para veteranos
Contratos marcados para cancelación
La IA de DOGE marcó más de 2000 contratos para su posible cancelación. La transparencia sobre las medidas de seguimiento sigue siendo limitada. Sin embargo, al menos 24 contratos identificados por el sistema han sido cancelados. Estos incluían contratos que apoyaban el desarrollo de tratamientos contra el cáncer mediante secuenciación genética, análisis de muestras de sangre para la investigación del VA y herramientas para la mejora de la atención de enfermería.
Preocupación por los efectos en los veteranos
El VA declaró que su objetivo era evitar recortar contratos que afectaran directamente la atención a los veteranos debido a posibles perjuicios. A pesar de esto, los informes de investigación han identificado que incluso recortes modestos corren el riesgo de reducir la calidad de los servicios para los veteranos. Algunos empleados del VA informaron intentos apresurados de justificar la retención de contratos, a veces con solo horas de trabajo y limitados a respuestas escritas breves que imitaban los límites de caracteres de las redes sociales.
Antecedentes de Sahil Lavingia y el enfoque de DOGE
Experiencia de Lavingia y limitaciones de tiempo
Sahil Lavingia, con casi 15 años de experiencia en ingeniería de software, carece de experiencia formal en IA o atención médica. Tras unirse a DOGE el 17 de marzo de 2023, desarrolló el sistema de IA al día siguiente mediante codificación asistida por IA. Durante sus dos meses de permanencia, dedicó tiempo a descargar y analizar contratos de la Administración de Veteranos (VA), pero tuvo pocas oportunidades de aprender los procedimientos de la VA.
Reconocimiento de las limitaciones de la herramienta
Lavingia admitió a ProPublica que se produjeron errores en la herramienta. Desaconseja usar el código como factor decisivo. Publicó el script "comible" en GitHub para facilitar las mejoras de la comunidad, en consonancia con el objetivo de transparencia de DOGE bajo la supervisión de Elon Musk durante ese período.
Críticas y opiniones de expertos
Preocupaciones sobre el uso de la IA en los recortes presupuestarios
Los expertos cuestionan la idoneidad de la IA para decisiones presupuestarias complejas, especialmente cuando los servicios de los veteranos están en juego. Cary Coglianese, profesor de derecho de la Universidad de Pensilvania, criticó la dependencia de modelos de lenguaje extenso (LLM) estándar, destacando su poca fiabilidad en un contexto tan complejo.
Enfoques alternativos recomendados
Waldo Jaquith, exjefe de contratación de TI del Departamento del Tesoro, calificó la IA como la herramienta inadecuada para esta tarea. Argumentó que la IA genera resultados plausibles pero incorrectos. Destacó la necesidad de supervisión humana por parte de profesionales especializados y capacitados para evaluar exhaustivamente los contratos gubernamentales.
Respuesta del VA y futuras direcciones
Proceso de revisión de contratos del VA
El secretario de prensa del VA, Pete Kasperowicz, elogió los esfuerzos de DOGE y calificó la revisión como un "precedente de sentido común". Señaló que los 76,000 contratos del VA se someten a múltiples revisiones internas antes de cualquier reducción o cancelación, con la participación de expertos en contratación y personal directivo.
Posible expansión de la IA en el VA
Los funcionarios del VA no han confirmado el uso continuo de la herramienta de IA "comestible". Los documentos revelan que DOGE consideró seguir utilizando la IA para reestructurar los departamentos de reclamaciones de prestaciones, con la posibilidad de reemplazar personal. Esto sugiere un interés continuo en las soluciones de IA a pesar de los desafíos previos.
Conclusiones clave
- DOGE creó una herramienta basada en IA para identificar y eliminar contratos no esenciales del VA, pero se enfrentó a errores significativos debido a modelos obsoletos y a la falta de conocimiento del contexto.
- La IA subestimó los contratos y pasó por alto matices legales y operativos críticos, con el riesgo de cancelar servicios vitales para veteranos.
- Las cancelaciones de contratos influenciadas por la herramienta ya han afectado importantes programas de investigación y atención.
- Los expertos recomiendan la experiencia humana en lugar de la IA general para decisiones tan complejas, enfatizando el riesgo de alucinaciones e imprecisiones de la IA. * El Departamento de Asuntos de Veteranos (VA) reconoce el papel de la herramienta de IA, pero enfatiza una revisión interna exhaustiva antes de tomar decisiones contractuales.
- El futuro despliegue de la IA en el VA sigue siendo incierto, y los planes para expandir su uso se realizan con cautela.
DOGE desarrolló una herramienta de IA propensa a errores para "reducir" los contratos de Asuntos de Veteranos
¿Puede una herramienta de IA con modelos obsoletos y un contexto mínimo decidir qué contratos de Asuntos de Veteranos merecen ser eliminados? En resumen: no. Pero eso no impidió que DOGE desarrollara precisamente una herramienta de este tipo destinada a "reducir" los contratos, con consecuencias que plantean serias dudas sobre el papel de la IA en la toma de decisiones gubernamentales.
Entonces, ¿qué sucedió exactamente? Analicemos esta fascinante y aleccionadora historia de ambición en IA, desarrollo deficiente y grandes riesgos para los veteranos.
El nacimiento de una herramienta de IA para la eliminación de contratos
A principios de 2023, cuando la administración Trump se disponía a cancelar varios contratos en el Departamento de Asuntos de Veteranos (VA), le encomendaron la tarea a Sahil Lavingia, un ingeniero de software sin experiencia en atención médica ni políticas gubernamentales. Trabajando bajo la tutela del Departamento de Eficiencia Gubernamental (DOGE), Lavingia recibió el encargo de desarrollar una herramienta para identificar contratos "no esenciales" que pudieran ser cancelados.
¿El resultado? Una herramienta de IA improvisada: la "herramienta de IA". Escaneaba contratos, etiquetaba algunos como "devorables" y, presumiblemente, ahorraba dinero a los contribuyentes. Suena genial en teoría, ¿verdad?
IA obsoleta y alucinaciones a raudales
Bueno, no tan rápido. El sistema de IA se basó en modelos baratos y obsoletos, algo así como comprar un GPS de 15 años para un viaje por todo el país. Cometió errores flagrantes, como inflar desmesuradamente el valor de los contratos. Por ejemplo, la herramienta marcó más de mil contratos como si cada uno valiera 34 millones de dólares, mientras que algunos valían legítimamente solo 35.000 dólares.
¿Cómo sucedió esto? El sistema de Lavingia analizó solo las primeras 2.500 palabras: las páginas de resumen de cada contrato. Los resúmenes eran escasos y carecían de los detalles necesarios para tomar decisiones acertadas. Y lo que es peor, la IA obtenía cantidades erróneas cuando había varias cifras en un mismo documento. Los expertos enfatizan que los datos correctos eran fácilmente accesibles en bases de datos públicas, pero no se aprovecharon adecuadamente.
¿Contexto? ¿Qué contexto?
El talón de Aquiles de la IA en este escenario: el contexto. Las indicaciones de Lavingia no contenían información crucial sobre las operaciones del VA, como qué contratos son obligatorios por ley o vitales para la atención al paciente. Esto generó resultados extraños en los que la IA etiquetó una parte esencial del propio sistema de adquisiciones del VA como "comestible".
Peor aún, el sistema no comprendió los matices de las cancelaciones de contratos. No todos los recortes generan ahorros sin consecuencias; algunos erosionan servicios de los que los veteranos dependen a diario.
Consecuencias: Contratos denunciados y veteranos afectados
El portavoz de DOGE detectó más de 2000 contratos para su posible cancelación. La transparencia sobre qué contratos se eliminaron sigue siendo confusa, pero se han confirmado al menos dos docenas de cancelaciones. Estas incluyen contratos para el mantenimiento de dispositivos de secuenciación genética (utilizados en el avance de los tratamientos contra el cáncer), el análisis de muestras de sangre para la investigación del VA y el suministro de herramientas que ayudan al personal de enfermería a brindar una mejor atención.
¿Qué está en juego? Es real. Si bien el VA afirma que evita recortar contratos directamente relacionados con la atención a veteranos para prevenir daños, los informes cuentan una historia diferente. Incluso recortes relativamente pequeños ya han afectado la calidad de la atención a los veteranos.
Los miembros del personal revelan que solo tuvieron unas horas —o, en algunos casos, solo 255 caracteres— para justificar por qué no se debía recortar un contrato. Eso es básicamente escribir un tuit defendiendo servicios críticos. Este proceso apresurado no inspira confianza en la herramienta ni en la toma de decisiones posterior.
La carrera contrarreloj de Lavingia y la admisión de fallas
Sahil Lavingia aportó casi 15 años de experiencia en software, pero carecía de formación formal en IA. Aún más desafiante: solo tuvo un día para desarrollar la herramienta desde cero tras unirse a DOGE a mediados de marzo. Mediante programación asistida por IA, creó rápidamente el script "comestible" y dedicó la semana siguiente a analizar contratos.
Posteriormente reconoció las fallas: "Se cometieron errores. Nunca recomendaría a nadie ejecutar mi código e hacer lo que dice". Comentarios sinceros del creador, pero lamentablemente demasiado tarde para algunos contratos de asistente virtual ya afectados.
Aun así, en una decisión inusual, Lavingia publicó la herramienta en código abierto en GitHub, en línea con los objetivos de transparencia aprobados por Musk en DOGE, invitando a la comunidad tecnológica a mejorar el sistema. Desafortunadamente, la publicación del código aportó poco a las reparaciones inmediatas en el lío de la cancelación de contratos.
Expertos Opinan: La IA no es la solución
Muchos expertos expresaron fuertes críticas. Cary Coglianese, profesor de derecho y ciencias políticas en la Universidad de Pensilvania, especializado en gobernanza de la IA, consideró sumamente problemático el uso de modelos de lenguaje extenso (LLM) estándar para decisiones complejas. Estos modelos de IA genéricos carecen de fiabilidad para decisiones presupuestarias con matices.
Waldo Jaquith, exjefe de contratación de TI del Departamento del Tesoro, criticó duramente el uso de la IA en este contexto: "La IA ofrece respuestas aparentemente convincentes que a menudo son erróneas". ¿Su recomendación? Emplear humanos para evaluar los contratos. La IA debería asistir, no reemplazar, el juicio humano, y definitivamente no determinar por sí sola el destino de los servicios de apoyo a los veteranos.
La postura del Departamento de Asuntos de Veteranos y sus perspectivas futuras
A pesar del revuelo, el portavoz del Departamento de Asuntos de Veteranos, Pete Kasperowicz, elogió los esfuerzos de DOGE, calificándolos de "precedente de sentido común" en la revisión de contratos. Hizo hincapié en que los 76.000 contratos del VA se someten a un examen exhaustivo por parte de expertos en contratación y personal directivo antes de cualquier cancelación.
Sin embargo, el VA se negó a confirmar si seguirá utilizando la herramienta "destructora". Documentos de principios de año indican que DOGE propuso ampliar el uso de la IA; por ejemplo, automatizar el procesamiento de solicitudes de prestaciones mediante la sustitución de empleados.
Esta perspectiva preocupa a muchos. Implementar la IA más allá de la evaluación de contratos para reemplazar potencialmente a los trabajadores humanos de prestaciones podría afectar directamente a los veteranos que buscan servicios.
Lecciones aprendidas: Lo que nos enseña esta historia
La saga del destructor de IA de DOGE para contratos del VA ofrece información esencial:
- Velocidad vs. precisión: Implementar soluciones de IA apresuradas sin la experiencia adecuada en el área conduce a errores que afectan la vida real.
- El contexto es clave: Las herramientas de IA deben comprender los entornos operativos y legales específicos para realizar evaluaciones válidas.
- La supervisión humana sigue siendo esencial: La IA puede apoyar, pero no debe reemplazar, el juicio humano en decisiones políticas críticas. La transparencia importa: El código abierto es positivo, pero los procesos de toma de decisiones que afectan a los veteranos requieren una rendición de cuentas más allá de los repositorios de Github.
¿Podría haber ayudado una mejor IA?
Imaginen si el Departamento de Asuntos de Veteranos (VA) le hubiera dado a Lavingia tiempo y recursos para comprender a fondo los contratos de atención médica. ¿Qué pasaría si la IA se hubiera entrenado con modelos actualizados basados en mandatos legales y prioridades médicas? Quizás entonces, la herramienta habría detectado contratos ineficientes sin comprometer la investigación y los servicios vitales.
En cambio, la herramienta se convirtió más en una solución tecnológica rápida que en un aliado confiable para la eficiencia gubernamental.
¿Qué pueden hacer los veteranos y los ciudadanos?
Manténgase informado sobre el uso de la IA en las políticas públicas, especialmente cuando afecta a los servicios de los que dependen. Pregunte:
- ¿Se verifican de forma independiente las recomendaciones de la IA?
- ¿Hay transparencia en la toma de decisiones?
- ¿Participan los humanos activamente en las decisiones críticas o las máquinas toman todas las decisiones?
Exigir una implementación responsable de la IA protege a todos, pero especialmente a los veteranos, quienes merecen sistemas de apoyo sólidos y bien pensados.
Reflexiones finales
La herramienta de IA de DOGE para analizar los contratos del Departamento de Asuntos de Veteranos (VA) representa una advertencia sobre el uso de la IA por parte del gobierno. Si bien la automatización promete ahorros y eficiencia, nunca debe ir en detrimento de la calidad de la atención ni de la toma de decisiones informada.
¿Puede la IA realmente decidir qué es esencial para el bienestar de los veteranos sin la sabiduría humana? Todavía no. Por ahora, dejemos de analizar los contratos a los pequeños detalles y mantengamos los servicios para veteranos en manos confiables.
¿Cuál fue el objetivo principal de la herramienta de IA desarrollada por DOGE para los contratos del Departamento de Asuntos de Veteranos?
La herramienta buscaba identificar los contratos no esenciales del VA. Etiquetó algunos contratos como "DISCULPABLES" para sugerir que debían cancelarse o revisarse para su eliminación.
¿Por qué la herramienta de IA produjo tantos errores al analizar los contratos del VA?
La herramienta utilizaba modelos de IA obsoletos y datos contractuales limitados, malinterpretando a menudo los valores y detalles de los contratos. Carecía de contexto sobre las operaciones del VA, lo que resultaba en evaluaciones incorrectas.
¿Cómo afectó la herramienta de IA a los servicios para veteranos y a las cancelaciones de contratos del VA?
La herramienta marcó más de 2000 contratos para su cancelación. Entre ellos se encontraban contratos cruciales para la atención a veteranos, como el mantenimiento de la secuenciación genética y el análisis de muestras de sangre, algunos de los cuales fueron cancelados.
¿Cuáles fueron las principales críticas de los expertos sobre el uso de IA para las revisiones de contratos del VA?
Los expertos afirmaron que los modelos de IA estándar no son fiables para decisiones complejas como los recortes presupuestarios. Hicieron hincapié en la necesidad del criterio humano, ya que la IA puede proporcionar respuestas plausibles pero incorrectas.
¿Cómo afectaron la experiencia y las limitaciones de tiempo de Sahil Lavingia al desarrollo de la herramienta de IA?
Lavingia no tenía experiencia en salud ni en el sector público y desarrolló la herramienta en cuestión de días bajo presión. Admitió que se cometieron errores y recomendó no confiar únicamente en las conclusiones de la IA.