Incidentes Asociados
El mes pasado, el equipo DOGE de Elon Musk esbozó un plan para transformar el gobierno federal de los Estados Unidos a través de una “estrategia de IA primero”.
Dirigido por Thomas Shedd, un ex ingeniero de Tesla ahora a cargo del equipo de tecnología de la Administración de Servicios Generales, el plan es implementar la IA ampliamente en todo el gobierno federal. El objetivo general es reducir el presupuesto de la agencia en un cincuenta por ciento. Shedd sugirió utilizar la IA para analizar los contratos en busca de despidos, erradicar el fraude y facilitar una reducción de la fuerza laboral federal mediante la automatización de gran parte de su trabajo.
No sorprende que Musk, que cofundó OpenAI en 2015 y ahora (entre sus diversos emprendimientos) dirige la empresa xAI, esté abogando por una transformación del gobierno impulsada por la IA. Esta ambición puede parecer plausible, ya que las herramientas de IA son capaces de muchas hazañas impresionantes, desde escribir ensayos hasta responder preguntas de física. Pero dar rienda suelta a la IA para revolucionar el gobierno federal es una receta para el desastre.
Para predecir cómo resultará la transformación propuesta por Musk, podemos observar ejemplos anteriores de integración de la IA en la toma de decisiones y las operaciones del gobierno. Ya hay muchos casos de gobernanza impulsada por la IA que salieron mal, en particular en casos en los que el objetivo era erradicar el fraude y recortar presupuestos.
En mi estado natal, Michigan, la Agencia de Seguro de Desempleo (UIA, por sus siglas en inglés) adoptó un algoritmo (el Sistema Automatizado de Datos Integrados de Michigan, también conocido como MiDAS) para agilizar sus operaciones. Los objetivos de la UIA eran prevenir el fraude por desempleo y eliminar un tercio del personal existente automatizando su trabajo. MiDAS aumentó rápidamente los casos de presunto fraude a la asistencia social por un factor de cinco, lo que llevó a un aumento de 23 veces en los ingresos de la UIA.
Según estas cifras, MiDAS parece haber logrado los objetivos de la UIA. ¿El único problema? Casi todas las acusaciones de fraude (el 93% de los supuestos casos de fraude) eran incorrectas. Luego, incluso cuando estos errores se hicieron evidentes, se necesitaron años de litigio para que los acusados injustamente recibieran el dinero que se les debía. Para muchas personas, el cargo de fraude permaneció en sus antecedentes penales durante años, lo que les impidió conseguir trabajo.
En Estados Unidos y el resto del mundo, algoritmos similares han privado a personas vulnerables de la atención médica y violado los derechos humanos.
Una razón central para estas herramientas de IA defectuosas es que los ingenieros subestiman la complejidad de los procesos gubernamentales. A su vez, los ingenieros incorporan sus suposiciones superficiales al software y sobreestiman las capacidades de sus herramientas.
Es una historia típica que los ingenieros ingresen a los departamentos gubernamentales con una confianza temeraria, creyendo que la experiencia técnica puede superar los cuellos de botella existentes y resolver todos los problemas del gobierno. Estas propuestas de soluciones rápidas suelen ser ridículas para el personal existente en esas agencias, que tiene una profunda experiencia en navegar por los complejos matices de los procesos gubernamentales. Los ingenieros no entienden los intrincados flujos de trabajo que siguen las agencias gubernamentales. Y como no entienden estos flujos de trabajo, los ingenieros no saben cómo interpretar los datos y formularios gubernamentales.
En un estudio reciente, mis colegas y yo les pedimos a los científicos informáticos que desarrollaran una herramienta de software que brindara asesoramiento automático sobre si las personas son elegibles para el alivio de la bancarrota. Los científicos informáticos completaron la tarea rápidamente, y uno de ellos incluso señaló: "esto parece muy simple". Sin embargo, cuando analizamos las herramientas de software que construyeron, descubrimos que los errores y los conceptos erróneos legales eran rampantes. A pesar de estos defectos, los científicos informáticos confiaban en que sus herramientas serían beneficiosas en la práctica. El setenta y nueve por ciento de ellos afirmó que se sentirían cómodos con su herramienta reemplazando a los jueces en el tribunal de quiebras.
El equipo de DOGE está mostrando esta arrogancia de ingeniería en un grado extremo. Están avanzando a toda velocidad sin tener en cuenta las leyes y los protocolos existentes. Sin dedicar tiempo a comprender las operaciones del gobierno, Shedd ha afirmado que la IA puede reemplazar a muchos trabajadores federales.
¿Qué sucederá si estos planes para una revolución de la IA en el gobierno avanzan? Ya estamos viendo evidencia de que DOGE está repitiendo los mismos errores que han plagado otros casos de automatización gubernamental.
Lo más notable es que DOGE probablemente hará muchos juicios infundados sobre el desperdicio y el fraude basados en los resultados de la IA. Este resultado se deberá en parte a las definiciones exageradamente expansivas de desperdicio y fraude del propio Musk. Ha afirmado, sin ninguna evidencia y en contra de otras estimaciones, que "se puede ahorrar un billón de dólares simplemente abordando el desperdicio, el fraude y el abuso". Desde este punto de vista, los desarrolladores de IA de DOGE seguramente estarán más preocupados por evitar los falsos negativos (pasar por alto un caso de fraude) que los falsos positivos (etiquetar incorrectamente un contrato como derrochador o fraudulento), particularmente en casos en los que puedan tener un conflicto de intereses.
Una causa de acusaciones erróneas será la mala interpretación de la información en las bases de datos gubernamentales. Los datos gubernamentales son notoriamente complejos. Entender su significado requiere un conocimiento detallado de cómo se recopilan y utilizan esos datos. Un ejemplo temprano de este error se produjo cuando Musk tuiteó indignado por el hecho de que millones de personas mayores de 100 años supuestamente estaban recibiendo cheques de la Seguridad Social. Su publicación incluía una captura de pantalla de un análisis simple de la base de datos de la Seguridad Social, en el que se contaba la cantidad de personas marcadas como “vivas” a diferentes edades. Aunque su análisis contaba correctamente los datos, Musk malinterpretó lo que significaba. Millones de personas mayores de 100 años están marcadas como vivas debido a limitaciones técnicas y lagunas en los datos. Y, lo que es crucial, casi ninguna de ellas está recibiendo cheques. De hecho, hace varios años, la Administración del Seguro Social consideró actualizar sus sistemas para anotar las muertes, pero decidió que el costo de la actualización no valdría la pena. Si Musk simplemente hubiera preguntado a los expertos del Seguro Social sobre los datos, podría haber llegado a una conclusión correcta. En cambio, se apresuró a llegar a una conclusión incorrecta.
Otra causa probable de acusaciones erróneas de fraude es la incapacidad de la IA para interpretar el significado de los contratos y las relaciones entre ellos. Los gobiernos a menudo dividen el trabajo en varios contratos, cada uno de los cuales sirve para diferentes aspectos de programas más grandes. Estos contratos pueden parecer redundantes para una herramienta de IA cuando, de hecho, son distintos y complementarios. Sin duda, puede haber beneficios en la racionalización de los contratos gubernamentales, pero eso requiere reconstruir cuidadosamente los contratos para que sirvan a los objetivos de política subyacentes, no enviar los contratos existentes a la trituradora de madera.
DOGE ya ha demostrado un patrón de mala interpretación de los contratos, lo que la llevó a exagerar enormemente los ahorros que ha generado. El 19 de febrero, DOGE publicó un “muro de recibos”, en el que se jactaba de un ahorro de 16.500 millones de dólares por los contratos cancelados. Sus cálculos estaban plagados de errores. Por ejemplo, muchos contratos “cancelados” habían finalizado hace años o se habían rescindido bajo administraciones anteriores. Desde su publicación inicial, DOGE ha actualizado el 40% de los contratos con valores más precisos (y más pequeños). Estas actualizaciones incluyeron la eliminación de los cinco contratos más grandes por los que DOGE inicialmente se había atribuido el crédito. Esos 16.500 millones de dólares ahora parecen más bien 8.000 millones de dólares, y quedan errores adicionales sin corregir.
Para empeorar las cosas, DOGE está tomando estas decisiones de una manera opaca e irresponsable. No está claro qué papel ha desempeñado la IA en las acciones que DOGE ya ha tomado. En el futuro, la clasificación de fraude por parte de una IA podría llevar a que se cancelen contratos inmediatamente sin previo aviso ni proceso de apelación. Cuando esta acción perjudica a una persona u organización, es posible que no puedan obtener una explicación clara de lo que sucedió más allá de "la IA lo dijo".
Por supuesto, para Musk y sus aliados, estos problemas pueden ser características en lugar de errores. La IA los ayudará a recortar rápidamente el presupuesto federal y afirmar su dominio sobre el gobierno. ¿Y qué pasa si muchas acusaciones de fraude son incorrectas y algunas operaciones gubernamentales esenciales se ven obstaculizadas?
Nada de esto quiere decir que la IA no pueda ser una herramienta útil para mejorar los servicios y las operaciones del gobierno, pero para alcanzar ese objetivo es necesario adoptar el enfoque opuesto al de DOGE.
Durante el tiempo que trabajé como científico de datos en el gobierno local, rápidamente aprendí que mis conocimientos técnicos eran tremendamente insuficientes por sí solos. Para impulsar proyectos socialmente beneficiosos, tuve que reconocer los límites de la tecnología y evitar la suposición de que las herramientas técnicas más avanzadas serían las más útiles en la práctica. También tuve que apreciar la sabiduría del personal existente. Confié en su orientación para dar sentido a los procesos y conjuntos de datos del gobierno. Necesitaba ver mi trabajo como un complemento al trabajo de los equipos existentes, no como un reemplazo.
La evidencia más inequívoca de que Musk y DOGE no están comprometidos con el desarrollo reflexivo de tecnología que mejore el gobierno es que están desmantelando los equipos que han sido pioneros en esta tarea. Desde su fundación en 2014, el Servicio Digital de los Estados Unidos (USDS, por sus siglas en inglés) ha generado beneficios, como mejorar el acceso a la atención médica para 18 millones de veteranos y permitir que millones de hogares rurales tengan acceso a Internet de alta velocidad a un precio asequible. Sin embargo, DOGE despidió rápidamente a un tercio del personal del USDS. Unos días después, otro grupo de empleados del USDS renunció y escribió que “las acciones de DOGE… no son compatibles con la misión que nos unimos al Servicio Digital de los Estados Unidos para llevar a cabo: brindar mejores servicios al pueblo estadounidense a través de la tecnología y el diseño”. Luego, el fin de semana pasado, DOGE eliminó a 18F, un grupo que ayuda a las agencias federales a mejorar su tecnología. Esta medida se produjo apenas unas semanas después de que Shedd le dijera al personal de 18F que representaban el "estándar de oro" de los desarrolladores de tecnología gubernamental.
Dado el ritmo frenético y la arrogancia de Musk y el equipo de DOGE, temo que esta incursión de la IA causará un daño increíble a las operaciones federales y a las personas que dependen de ellas. Pero, al menos, quienes impartimos cursos sobre tecnología y políticas públicas tendremos un nuevo estudio de caso de IA gubernamental que salió mal para compartir con nuestros estudiantes.