Incidentes Asociados
Una captura de pantalla de un video promocional que anuncia el dron Kargu. En el video, el arma se sumerge hacia un objetivo antes de explotar.
El año pasado en Libia, un arma autónoma de fabricación turca, el dron STM Kargu-2, puede haber "cazado y atacado de forma remota" a los soldados en retirada leales al general libio Khalifa Haftar, según un informe reciente del Panel de Expertos de la ONU sobre Libia. En el transcurso del año, el Gobierno de Acuerdo Nacional reconocido por la ONU hizo retroceder a las fuerzas del general de la capital, Trípoli, lo que indica que había ganado la partida en el conflicto libio, pero el Kargu-2 significa algo quizás aún más significativo a nivel mundial. : un nuevo capítulo en armas autónomas, uno en el que se utilizan para luchar y matar seres humanos basados en inteligencia artificial.
El Kargu es un dron "merodeador" que puede utilizar la clasificación de objetos basada en el aprendizaje automático para seleccionar y atacar objetivos, con capacidades de enjambre en desarrollo para permitir que 20 drones trabajen juntos. El informe de la ONU llama al Kargu-2 un arma autónoma letal. Su fabricante, STM, promociona las capacidades "antipersonal" del arma en un video sombrío que muestra un modelo de Kargu en una fuerte caída hacia un objetivo en medio de un grupo de maniquíes. (Si alguien muriera en un ataque autónomo, probablemente representaría el primer caso histórico conocido de armas autónomas basadas en inteligencia artificial que se usaron para matar. El informe de la ONU insinúa en gran medida que lo fueron, y señala que los sistemas de armas autónomos letales contribuyeron a importantes bajas de el sistema tripulado de misiles tierra-aire Pantsir S-1, pero no es explícito al respecto).
Muchas personas, incluidos Steven Hawking y Elon Musk, han dicho que quieren prohibir este tipo de armas, diciendo que no pueden distinguir entre civiles y soldados, mientras que otros dicen que serán fundamentales para contrarrestar amenazas rápidas como enjambres de drones y en realidad puede reducir el riesgo para los civiles porque cometerán menos errores que los sistemas de armas guiados por humanos. Los gobiernos en las Naciones Unidas están debatiendo si se necesitan nuevas restricciones en el uso de combate de armas autónomas. Sin embargo, lo que la comunidad global no ha hecho adecuadamente es desarrollar una imagen de riesgo común. Sopesar las compensaciones entre riesgos y beneficios girará en torno a los valores personales, organizacionales y nacionales, pero determinar dónde se encuentra el riesgo debe ser objetivo.
Es solo una cuestión de estadísticas.
Al más alto nivel, el riesgo es un producto de la probabilidad y la consecuencia del error. Cualquier arma autónoma dada tiene alguna posibilidad de fallar, pero esos errores podrían tener una amplia gama de consecuencias. Las armas autónomas de mayor riesgo son aquellas que tienen una alta probabilidad de error y matan a muchas personas cuando lo hacen. Fallar un .357 magnum es una cosa; detonar accidentalmente una ojiva nuclear W88 es otra cosa.
Hay al menos nueve preguntas que son importantes para comprender dónde están los riesgos cuando se trata de armas autónomas.
¿Cómo decide un arma autónoma a quién matar? Las minas terrestres, en cierto sentido, un arma autónoma extremadamente simple, usan sensores de presión para determinar cuándo explotar. El umbral de disparo se puede variar para garantizar que la mina terrestre no explote cuando un niño la recoja. Las municiones merodeadoras como la Arpía israelí suelen detectar y apuntar a las firmas de radar del enemigo. Al igual que con las minas terrestres, la sensibilidad se puede ajustar para separar el radar civil del militar. Y afortunadamente, los niños no emiten ondas de radio de alta potencia.
Pero lo que ha despertado la preocupación internacional es la inclusión de la toma de decisiones basada en el aprendizaje automático como se utilizó en el Kargu-2. Estos tipos de armas funcionan con algoritmos basados en software "enseñados" a través de grandes conjuntos de datos de entrenamiento para, por ejemplo, clasificar varios objetos. Los programas de visión por computadora se pueden entrenar para identificar autobuses escolares, tractores y tanques. Pero los conjuntos de datos con los que entrenan pueden no ser lo suficientemente complejos o robustos, y una inteligencia artificial (IA) puede "aprender" la lección equivocada. En un caso, una empresa estaba considerando usar una IA para tomar decisiones de contratación hasta que la gerencia determinó que el sistema informático creía que la calificación más importante para los candidatos para el puesto era llamarse Jared y jugar lacrosse en la escuela secundaria. Los resultados no serían nada cómicos si un arma autónoma cometiera errores similares. Los desarrolladores de armas autónomas deben anticipar las complejidades que podrían hacer que un sistema de aprendizaje automático tome una decisión equivocada. La naturaleza de caja negra del aprendizaje automático, en la que la forma en que el sistema toma decisiones a menudo es opaca, agrega desafíos adicionales.
¿Qué papel tiene el ser humano? Los humanos podrían ser capaces de observar si algo sale mal. En configuraciones de humanos en el circuito, un soldado monitorea las actividades de armas autónomas y, si la situación parece ir en una dirección horrible, puede hacer una corrección. Como muestra el uso informado del Kargu-2, un sistema humano fuera del circuito simplemente hace su trabajo sin protección. Pero tener un soldado al tanto no es una panacea. El soldado puede confiar en la máquina y no controlar adecuadamente su funcionamiento. Por ejemplo, Missy Cummings, directora del Laboratorio Humano y de Autonomía de la Universidad de Duke, encuentra que cuando se trata de autos autónomos, "los conductores que piensan que sus autos son más capaces de lo que son pueden ser más susceptibles a un mayor estado de distracciones y, por lo tanto, al mayor riesgo de accidentes”.
Por supuesto, es posible que el comportamiento autónomo de un arma no siempre esté activado: un humano puede estar conectado, conectado o desconectado según la situación. Corea del Sur ha desplegado un arma centinela a lo largo de la zona desmilitarizada con Corea del Norte llamada SGR A-1 que, según se informa, opera de esta manera. El riesgo cambia según cómo y cuándo se active la función totalmente autónoma. La operación autónoma por defecto obviamente crea más riesgo que la operación autónoma restringida solo a circunstancias limitadas.
¿Qué carga útil tiene un arma autónoma? Disparar accidentalmente a alguien es horrible, pero mucho menos que detonar accidentalmente una ojiva nuclear. El primero puede costarle la vida a un inocente, pero el segundo puede matar a cientos de miles. Los formuladores de políticas pueden centrarse en las armas más grandes, reconociendo los costos del error, reduciendo potencialmente los riesgos de las armas autónomas. Sin embargo, no está claro exactamente qué cargas útiles tendrán las armas autónomas. En teoría, las armas autónomas podrían armarse con pistolas, bombas, misiles, bloqueadores de guerra electrónica, láseres, armas de microondas, computadoras para ataques cibernéticos, agentes de armas químicas, agentes de armas biológicas, armas nucleares y todo lo demás.
¿Cuál es el objetivo del arma? Ya sea que un arma autónoma dispare un tanque, un destructor naval o un ser humano, es importante. Los sistemas actuales basados en aprendizaje automático no pueden distinguir efectivamente a un agricultor de un soldado. Los granjeros pueden usar un rifle para defender su tierra, mientras que los soldados pueden usar un rastrillo para derribar una torreta. Pero incluso la clasificación adecuada de un vehículo también es difícil, porque varios factores pueden inhibir una decisión precisa. Por ejemplo, en un estudio, oscurecer las ruedas y la mitad de la ventana delantera de un autobús provocó que un sistema basado en aprendizaje automático clasificara el autobús como una bicicleta. El cañón de un tanque puede hacer que sea más fácil distinguirlo de un autobús escolar en un entorno abierto, pero no si los árboles o los edificios ocultan partes clave del tanque, como el propio cañón.
¿Cuántas armas autónomas se están utilizando? Más armas autónomas significan más oportunidades de fracaso. Esa es la probabilidad básica. Pero cuando las armas autónomas se comunican y coordinan sus acciones, como en un enjambre de drones, aumenta el riesgo de que algo salga mal. La comunicación crea riesgos de errores en cascada en los que un error de una unidad se comparte con otra. La toma colectiva de decisiones también crea el riesgo de error emergente en el que la interpretación correcta se suma a un error colectivo. Para ilustrar el error emergente, considere la parábola de los ciegos y el elefante. Tres ciegos escuchan que un animal extraño, un elefante, ha sido traído a la ciudad. Un hombre palpa la trompa y dice que el elefante es grueso como una serpiente. Otro palpa las piernas y dice que es como un pilar. Un tercero toca el costado del elefante y lo describe como una pared. Cada uno percibe la realidad física con precisión, aunque de forma incompleta, pero sus interpretaciones individuales y colectivas de esa realidad son incorrectas. ¿Un enjambre de drones concluiría que el elefante es un elefante, una serpiente, un pilar, una pared o algo completamente diferente?
¿Dónde se están utilizando las armas autónomas? Un vehículo terrestre autónomo armado que deambula por un glaciar antártico cubierto de nieve casi no tiene posibilidades de matar a personas inocentes. No vive mucho allí y el entorno es en su mayoría estéril con poco para obstruir o confundir los sensores a bordo del vehículo. Pero el mismo vehículo deambulando por las calles de la ciudad de Nueva York o Tokio es otro asunto. En las ciudades, el sistema de IA se enfrentaría a muchas oportunidades de error: los árboles, las señales, los automóviles, los edificios y las personas pueden atascar la evaluación correcta del objetivo.
Las armas autónomas basadas en el mar pueden ser menos propensas a errores solo porque puede ser más fácil distinguir entre un barco militar y uno civil, con menos obstrucciones, que hacer lo mismo con un autobús escolar y un vehículo blindado de transporte de personal. Incluso el clima importa. Un estudio reciente encontró que el clima neblinoso redujo la precisión de un sistema de inteligencia artificial utilizado para detectar obstáculos en las carreteras al 58 por ciento en comparación con el 92 por ciento en clima despejado. Por supuesto, el mal tiempo también puede obstaculizar a los humanos en la clasificación efectiva de objetivos, por lo que una pregunta importante es cómo se compara la clasificación de IA con la clasificación humana.
¿Qué tan bien probada está el arma? Cualquier militar profesional verificaría y probaría si un arma autónoma funciona como se desea antes de poner en riesgo a los soldados y objetivos estratégicos más amplios. Sin embargo, es posible que los militares no prueben todas las complejidades que pueden confundir a un arma autónoma, especialmente si se desconocen esas complejidades. Las pruebas también se basarán en usos anticipados y entornos operativos, que pueden cambiar a medida que cambia el panorama estratégico. Un arma autónoma probada sólidamente en un entorno puede fallar cuando se usa en otro. Seattle tiene muchos más días de niebla que Riyadh, pero muchas menos tormentas de arena.
¿Cómo se han adaptado los adversarios? En una batalla que involucre armas autónomas, los adversarios buscarán confundir las operaciones, lo que puede no ser muy difícil. OpenAI, una empresa de IA líder en el mundo, desarrolló un sistema que puede clasificar una manzana como Granny Smith con un 85,6 % de confianza. Sin embargo, pegue un trozo de papel que diga "iPod" en la manzana y el sistema de visión artificial concluye con un 99,7 por ciento de confianza de que la manzana es un iPod. En un caso, los investigadores de IA cambiaron un solo píxel en una imagen, lo que provocó que un sistema de visión artificial clasificara un bombardero furtivo como un perro. En la guerra, un oponente podría simplemente pintar "autobús escolar" en un tanque o, más maliciosamente, "tanque" en un autobús escolar y potencialmente engañar a un arma autónoma.
¿Qué tan ampliamente disponibles están las armas autónomas? Los actores estatales y no estatales variarán naturalmente en su tolerancia al riesgo, en función de sus estrategias, culturas, objetivos y sensibilidad general a las compensaciones morales. Cuanto más fácil sea adquirir y usar armas autónomas, más puede esperar la comunidad internacional que las armas sean utilizadas por grupos terroristas apocalípticos, regímenes nefastos y grupos que simplemente son insensibles al riesgo de error. Como le gusta señalar a Stuart Russell, profesor de ciencias de la computación en la Universidad de California, Berkeley: “Con tres buenos estudiantes de posgrado y posiblemente con la ayuda de un par de mis colegas de robótica, será un proyecto a término construir un arma que podría entrar en el edificio de las Naciones Unidas y encontrar al embajador ruso y entregarle un paquete”. Afortunadamente, la perspicacia técnica, la organización, la infraestructura y la disponibilidad de recursos limitarán la sofisticación de las armas autónomas. Ningún terrorista lobo solitario construirá jamás un F-35 autónomo en su garaje.
El riesgo de las armas autónomas es complicado, variable y multidimensional: el qué, dónde, cuándo, por qué y cómo se usa es importante. En el extremo de alto riesgo del espectro se encuentran las armas nucleares autónomas y el uso de enjambres autónomos colaborativos en entornos muy urbanos para matar a la infantería enemiga; en el extremo inferior están las armas de autonomía opcional que se usan en áreas despobladas como armas defensivas y solo se usan cuando la muerte es inminente. Donde los estados trazan la línea depende de cómo sus ejércitos y sociedades equilibren el riesgo de error frente a la necesidad militar. Pero trazar una línea requiere una comprensión compartida de dónde se encuentra el riesgo.