Incidentes Asociados
El 22 de marzo de 2003, dos días después de la invasión de Irak liderada por Estados Unidos, las tropas estadounidenses dispararon un misil interceptor Patriot contra lo que supusieron era un misil anti-radiación iraquí diseñado para destruir los sistemas de defensa aérea. Siguiendo la recomendación de su arma impulsada por computadora, los estadounidenses dispararon en defensa propia, pensando que estaban derribando un misil que venía a destruir su puesto de avanzada. Lo que el sistema de misiles Patriot había identificado como un misil entrante, era de hecho un avión de combate Tornado del Reino Unido, y cuando el Patriot golpeó el avión, mató a dos tripulantes a bordo al instante. Las muertes fueron las primeras pérdidas sufridas por la Royal Air Force en la guerra y el trágico resultado del fuego amigo. Una [investigación] posterior de la Junta de Investigación de la RAF (https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/82817/maas03_02_tornado_zg710_22mar03.pdf) concluyó que el derribo fue el resultado de una combinación de factores: cómo el misil Patriot clasificó los objetivos, las reglas para disparar los misiles, el funcionamiento autónomo de las baterías de misiles Patriot y varios otros factores técnicos y de procedimiento, como que el Tornado no transmitió su identificador de "amigo o enemigo" en ese momento del fuego amigo. La destrucción del Tornado ZG710, concluyó el informe, representó un trágico error habilitado por las rutinas informáticas del misil. El derribo del Tornado ocurrió hace casi 20 años, pero ofrece una idea de cómo los sistemas habilitados para IA o las herramientas automatizadas en el campo de batalla afectarán los tipos de errores que ocurren en la guerra. Hoy en día, la toma de decisiones humana se está desplazando hacia las máquinas. Con este cambio viene el potencial de reducir el error humano, pero también de introducir tipos de errores nuevos y novedosos. Donde los humanos podrían haber identificado erróneamente a un civil como combatiente, se espera que las computadoras intervengan y proporcionen un juicio más preciso. En una variedad de funciones militares, desde el movimiento de aviones y automóviles autónomos hasta la identificación de tanques en un campo de batalla, se espera que las computadoras proporcionen decisiones rápidas y precisas. Pero la adopción de la IA en aplicaciones militares también conlleva un riesgo inmenso. Los nuevos sistemas introducen la posibilidad de nuevos tipos de error y la comprensión de cómo las máquinas autónomas [fallarán](https ://www.nytimes.com/2018/11/15/magazine/autonomous-robots-weapons.html) es importante cuando [elaboración de políticas](https://www.brookings.edu/blog/techtank/2019/05 /10/es-tiempo-de-empezar-a-pensar-sobre-la-gobernanza-de-las-armas-autónomas/) para [comprar y supervisar](https://www.brookings.edu/techstream/applying-arms-control-frameworks -a-armas-autónomas/) esta nueva generación de armas autónomas. Lo que salió mal en 2003 ----------------------- El misil Patriot comenzó a desarrollarse en la década de 1960, cuando el ejército de los EE. UU. buscó un medio para derribar aviones enemigos de manera confiable . Más tarde, el misil ganaría la capacidad de interceptar también otros misiles y, a medida que se ampliaron las funciones asignadas al misil, sus [capacidades autónomas aumentaron] (https://history.redstone.army.mil/miss-patriot.html). Las baterías de misiles Patriot utilizan un radar de matriz en fase para detectar e identificar objetivos. Esta información luego se alimenta a una estación de control de computadora para administrar cómo se lanzan los misiles en respuesta. Una vez disparados, los misiles vuelan hacia un punto de intercepción identificado calculado antes de disparar, direcciones que pueden alterarse enviando lecturas actualizadas del sensor por señal de radio a el misil disparado. A medida que se acerca al impacto, el propio radar del misil sigue al objetivo. Raytheon, que fabrica el Patriot, ha descrito el sistema como si tuviera "operaciones automatizadas" con Capacidades de "anulación de hombre en el circuito (humano)": tecnología que permite que el arma ataque objetivos rápidamente con la velocidad necesaria para llevar a cabo su misión de defensa antimisiles. La automatización es una característica convincente para un sistema antiaéreo y, especialmente, para un sistema antimisiles. Los cálculos involucrados en el derribo de aviones y misiles son difíciles y requieren una traducción inmediata de la información del sensor. Tanto los interceptores como los objetivos viajan excepcionalmente rápido. Es el tipo de tarea en la que la participación de un ser humano introduce un retraso, ralentiza el proceso y hace que sea menos probable que un misil derribe con éxito un proyectil o un avión que se aproxima. Pero los operadores humanos también cumplen un papel esencial: prevenir derribos accidentales e incorrectos. Y esto requiere un equilibrio entre la toma de decisiones humana y mecánica que es difícil de lograr. Cuando el Pentágono investigó las causas del derribo del Tornado, así como dos otro incidentes de fuego amigo que involucró a los sistemas Patriot, las funciones automatizadas del sistema de misiles fueron identificadas como factores contribuyentes en la identificación errónea de amigo como enemigo. Las baterías Patriot de EE. UU. se desplegaron en Irak bajo el supuesto de que enfrentarían fuertes ataques con misiles, lo que requeriría que las baterías operaran con un grado relativo de autonomía para responder con suficiente velocidad. Como se observó en un [informe] de 2005 (https://dsb.cto.mil/reports/2000s/ADA435837.pdf) del Grupo de Trabajo de la Junta de Ciencias de la Defensa sobre el rendimiento del sistema Patriot, el funcionamiento autónomo requería que las fuerzas estadounidenses confiaran en que las características automatizadas del sistema funcionaban correctamente. Entonces, cuando las suposiciones que subyacen a la decisión de permitir que el sistema Patriot identifique de forma autónoma y, a veces, dispare a los objetivos ya no se aplicaban, los soldados que operaban el sistema no estaban en condiciones de cuestionar lo que les decían los sensores del arma. Si las fuerzas estadounidenses y de la coalición hubieran enfrentado fuertes ataques con misiles en la guerra, habría tenido más sentido automatizar tales defensas. En cambio, las fuerzas estadounidenses y aliadas rápidamente establecieron la superioridad aérea, lo suficiente como para cambiar drásticamente el equilibrio de lo que había en el cielo. En lugar de enfrentarse a grandes cantidades de misiles entrantes, las baterías Patriot observaban una gran cantidad de aviones aliados que operaban en el cielo sobre ellos y, a veces, luchaban por identificar a un amigo de un enemigo. Según el grupo de trabajo de la Junta de Ciencias de la Defensa, los primeros 30 días de combate en Irak vieron nueve ataques con misiles balísticos que se esperaba que las baterías Patriot contrarrestaran, en comparación con las 41.000 salidas de aviones, lo que equivale a una "amistosa de 4.000 a 1". -proporción de enemigos. Elegir los objetivos correctos en el contexto de una gran cantidad de posibles falsos positivos resultó ser un gran desafío. En el caso del derribo del Tornado, la automatización, y la velocidad con la que se tomó la acción automatizada, probablemente fue suficiente por sí sola para causar la tragedia, pero podría haberse evitado si otros sistemas no hubieran fallado. Como concluyó el Ministerio de Defensa del Reino Unido en su informe examinando el incidente, el La batería culpable del derribo no tenía su conjunto de comunicaciones, que todavía estaba en tránsito desde los Estados Unidos. El contacto con el cuartel general del batallón se produjo a través de un repetidor de radio con otra batería equipada con enlaces de voz y datos al cuartel general. “La falta de equipo de comunicaciones significaba que la tripulación del Patriot no tenía acceso a la ‘imagen’ más amplia posible del espacio aéreo que los rodeaba para crear conciencia de la situación”, encontró el informe. Otro sistema que falló y que podría haber evitado el derribo fue el sistema de identificación como amigo o enemigo, una medida de seguridad diseñada para evitar errores tan mortales. Ese tipo de información, transmitida de forma segura e inmediata, podría haber evitado que un sistema automatizado derribara el avión. Si la información se comunicó a la tripulación humana que operaba la batería Patriot, habría sido una señal para cancelar el ataque. Trágicamente, el transpondedor IFF o la capacidad de la batería Patriot para recibir dicha señal fallaron. Si bien es tentador centrarse en las funciones automatizadas del sistema Patriot al examinar el derribo, o los sistemas autónomos y semiautónomos de manera más amplia, es importante considerar tales armas como parte de sistemas más amplios. A medida que los formuladores de políticas consideran cómo evaluar el despliegue de armas y sistemas militares cada vez más autónomos, la complejidad de dichos sistemas, las formas en que pueden fallar y cómo los operadores humanos los supervisan son cuestiones clave a considerar. Las fallas en la comunicación, la identificación y el control de incendios pueden ocurrir en diferentes puntos de una cadena de eventos, y puede ser difícil predecir cómo las fallas interactuarán entre sí y producirán un resultado potencialmente letal. El examen del Patriot por parte de la Junta de Ciencias de la Defensa concluyó que los conflictos futuros probablemente serán "más estresantes" e involucrarán "compromisos simultáneos de misiles y defensa aérea". En tal escenario, "se necesitará un protocolo que permita una mayor supervisión y control del operador de las principales acciones del sistema", argumentó el grupo de trabajo. Lecciones aprendidas desde --------------------- Encontrar la combinación adecuada de confianza entre una máquina autónoma y el ser humano que depende de ella es un delicado equilibrio, especialmente dada la inevitabilidad de error. Diecisiete años después del derribo del Tornado, las características automatizadas del misil Patriot permanecen en su lugar, pero la forma en que se utilizan ha cambiado. Las amenazas aéreas, como aviones, helicópteros y misiles de crucero, ahora solo pueden activarse en modo manual "para reducir el riesgo de fratricidio", como se describe en el manual del Ejército de EE. UU. para defensa aérea y antimisiles (https://armypubs.army .mil/epubs/DR_pubs/DR_a/ARN31339-FM_3-01-000-WEB-1.pdf). En el modo manual, los sistemas automatizados aún detectan y rastrean objetivos, pero es un ser humano quien toma la decisión sobre cuándo y si disparar. Pero "para misiles balísticos y misiles anti-radiación", como el tipo que el Patriot en Irak asumió que era el Tornado, "el operador tiene la opción de participar en el modo automático o manual", aunque el manual señala que estos "compromisos son típicamente llevado a cabo en el modo automático.” Los investigadores de defensa advierten que los seres humanos no están bien preparados para monitorear sistemas autónomos de esta manera. “Pueden surgir problemas cuando se ha desarrollado el sistema de control automatizado porque presumiblemente puede hacer el trabajo mejor que un operador humano, pero el operador debe 'supervisar' que el sistema automatizado está funcionando correctamente e intervenir cuando no es así”. el psicólogo ingeniero John Hawley, que participó en los esfuerzos del Ejército de los EE. UU. para estudiar los incidentes de fuego amigo de 2003, escribió en un informe de 2017. “Los humanos son muy malos para cumplir con las demandas de monitoreo e intervención impuestas por el control de supervisión”. Esta dinámica se desarrolló en el otro incidente fatal de fuego amigo que involucró una batería de misiles Patriot durante la Guerra de Irak, cuando un avión F/A-18 de la Marina de los EE. UU. fue identificado erróneamente como un misil balístico y derribado, matando al piloto. Según un [informe] del Centro de Análisis Navales de 2019 (https://www.cna.org/CNA_files/PDF/DOP-2019-U-021957-1Rev.pdf), el Patriot recomendó que el operador dispare misiles en respuesta a lo que había identificado como un proyectil enemigo, y el operador aprobó la recomendación de disparar “sin un escrutinio independiente de la información disponible para él”. Esta dificultad que enfrentan las baterías de misiles Patriot para identificar correctamente los objetivos potenciales ilustra uno de los desafíos más serios que enfrentan las armas autónomas: obtener datos de entrenamiento precisos. A medida que los militares avanzan hacia una mayor autonomía en una amplia gama de sistemas, dependen cada vez más de la tecnología de aprendizaje automático que utiliza grandes conjuntos de datos para hacer predicciones sobre cómo debería funcionar una máquina. El desafío de adquirir datos precisos prepara a los sistemas autónomos para fallas inevitables. “Los entornos de conflicto son duros, dinámicos y conflictivos, y siempre habrá más variabilidad en los datos del mundo real del campo de batalla que en la muestra limitada de datos sobre la que se construyen y verifican los sistemas autónomos”, como Arthur Holland Michel, y asociado investigador del Programa de Seguridad y Tecnología del Instituto de Investigación sobre el Desarme de las Naciones Unidas, escribió en un informe el año pasado sobre problemas de datos en armas militares autónomas. La falta de datos confiables o la incapacidad de producir conjuntos de datos que reproduzcan las condiciones de combate hará que sea más probable que las armas autónomas no logren identificar con precisión. Consciente del potencial de error, una forma de adoptar sistemas autónomos mientras se aborda el riesgo para los civiles y los miembros del servicio es cambiar hacia una postura en la que el riesgo lo asume principalmente la máquina. Los derribos de 2003 involucraron misiles Patriot que actuaron en defensa propia e identificaron erróneamente a su enemigo. Al aceptar un mayor riesgo para los sistemas autónomos, que pueden ser destruidos o inhabilitados, los sistemas autónomos pueden evitar el riesgo de fuego amigo o bajas civiles "usando paciencia táctica o permitiendo que la plataforma se acerque para obtener una determinación más precisa de si una amenaza realmente existe”, como argumenta Larry Lewis, autor del informe de la CNA de 2019. En lugar de disparar rápidamente en defensa propia, esta visión aboga por la paciencia y sacrificar una medida de velocidad en favor de la precisión. En términos más generales, Lewis recomienda un enfoque de gestión de riesgos para el uso de la IA. Mientras que la naturaleza específica de cada error dado es difícil de anticipar, el rango de resultados malos y no deseados puede caer en categorías similares de error o resultado. La planificación de la IA incorporada en armas, sensores y pantallas de información podría incluir una conciencia de error y presentar esa información de una manera útil sin aumentar la carga cognitiva de la persona que usa la máquina. La inteligencia artificial ya ha pasado de lo especulativo a las aplicaciones tangibles del mundo real. Ya informa las decisiones sobre los objetivos de las armas militares, y determinará cada vez más cómo las personas en combate usan máquinas y herramientas. Adaptarse a este futuro, como parecen intentar hacer el Pentágono y otras instituciones militares, significa planificar errores, accidentes y daños novedosos, la forma en que los militares ya se han adaptado a tales errores en manos humanas. El Pentágono ha tomado algunas medidas para abordar estos riesgos. En febrero de 2020, el Departamento de Defensa publicó un conjunto de [principios de ética de la IA] (https://www.defense.gov/News/News-Stories/Article/Article/2094085/dod-adopts-5-principles-of- artificial-intelligence-ethics/) redactado [por la Junta de Innovación de Defensa] (https://media.defense.gov/2019/Oct/31/2002204458/-1/-1/0/DIB_AI_PRINCIPLES_PRIMARY_DOCUMENT.PDF). Uno de estos principios es la "trazabilidad", enfatizando que el personal relevante "poseerá una comprensión adecuada de la tecnología", incluida una metodología de datos transparente y auditable. Para fomentar esa comprensión y garantizar que los sistemas no deterministas puedan auditarse, el Pentágono está invirtiendo en métodos de prueba, evaluación, validación y verificación para la IA. El desarrollo de herramientas de prueba y explicabilidad para aplicaciones militares de IA representa uno de los desafíos clave para la tecnología, y realizar las inversiones necesarias para desarrollar estas herramientas será clave para implementar de manera responsable las herramientas de IA en el campo de batalla. Este trabajo continúa en el Centro Conjunto de Inteligencia Artificial, que en febrero [otorgó](https://www.c4isrnet.com/artificial-intelligence/2022/02/10/pentagons-ai-center-awards-contracts-to- 79-empresas-en-nuevo-acuerdo-de-prueba-y-evaluación/) contratos con 79 proveedores por un valor de hasta $15 millones cada uno para desarrollar tecnología de prueba y evaluación. En esta etapa relativamente temprana de implementación de IA en aplicaciones militares, es importante que los investigadores y los encargados de formular políticas desarrollen lo que Holland Michel describe como un “esquema más detallado para diferenciar entre diferentes tipos de falla. Al desarrollar criterios para distinguir los problemas desconocidos conocidos de los problemas desconocidos desconocidos, los formuladores de políticas pueden obtener una comprensión más clara de cómo fallan los sistemas de IA, lo que podría ayudar a los esfuerzos para cuantificar el riesgo en las operaciones y asignar la debida responsabilidad por el daño no intencionado que surge de los problemas de datos. ” Otro enfoque de política sería la incorporación de equipos rojos y evaluación de adversarios en la evaluación de productos de IA, ya que permitiría a los ingenieros de IA militar anticipar y planificar futuras fallas en combate basadas en acciones hostiles. Los desafíos adicionales que trae la IA no vendrán de la existencia del error, sino de la naturaleza del error y los límites de la explicabilidad del error. La formulación de políticas reflexivas puede anticipar esto y, en caso de duda, diseñar sistemas que pongan a las máquinas en peligro antes. arriesgar la vida de civiles o militares.