Incidents associés
Le 22 mars 2003, deux jours après le début de l'invasion de l'Irak par les États-Unis, les troupes américaines ont tiré un missile intercepteur Patriot sur ce qu'elles supposaient être un missile anti-rayonnement irakien conçu pour détruire les systèmes de défense aérienne. Agissant sur recommandation de leur arme assistée par ordinateur, les Américains tirent en légitime défense, pensant abattre un missile venant détruire leur avant-poste. Ce que le système de missile Patriot avait identifié comme un missile entrant était en fait un avion de chasse britannique Tornado, et lorsque le Patriot a frappé l'avion, il a tué instantanément deux membres d'équipage à bord. Les morts étaient les premières pertes subies par la Royal Air Force pendant la guerre et le résultat tragique d'un tir ami. Une commission d'enquête ultérieure de la RAF [enquête] (https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/82817/maas03_02_tornado_zg710_22mar03.pdf) a conclu que l'abattage était le résultat d'une combinaison de facteurs : comment le missile Patriot a classé les cibles, les règles de tir des missiles, le fonctionnement autonome des batteries de missiles Patriot et plusieurs autres facteurs techniques et procéduraux, comme le Tornado ne diffusant pas son identifiant "ami ou ennemi" à l'époque du feu ami. La destruction du Tornado ZG710, conclut le rapport, représente une erreur tragique rendue possible par les routines informatiques du missile. L'abattage du Tornado s'est produit il y a près de 20 ans, mais il offre un aperçu de la façon dont les systèmes activés par l'IA ou les outils automatisés sur le champ de bataille affecteront les types d'erreurs qui se produisent en temps de guerre. Aujourd'hui, la prise de décision humaine se déplace vers les machines. Avec ce changement vient le potentiel de réduire l'erreur humaine, mais aussi d'introduire de nouveaux types d'erreurs. Là où les humains auraient pu autrefois identifier à tort un civil comme un combattant, on s'attend à ce que les ordinateurs interviennent et fournissent un jugement plus précis. Dans toute une gamme de fonctions militaires, du déplacement d'avions et de voitures autonomes à l'identification de chars sur un champ de bataille, les ordinateurs sont censés fournir des décisions rapides et précises. Mais l'adoption de l'IA dans les applications militaires comporte également un risque immense. De nouveaux systèmes introduisent la possibilité de nouveaux types d'erreurs, et comprennent comment les machines autonomes [échoueront](https ://www.nytimes.com/2018/11/15/magazine/autonomous-robots-weapons.html) est important lorsque [politique d'artisanat](https://www.brookings.edu/blog/techtank/2019/05 /10/its-time-to-start-thinking-about-governance-of-autonomous-weapons/) pour [acheter et superviser](https://www.brookings.edu/techstream/applying-arms-control-frameworks -to-autonomous-weapons/) cette nouvelle génération d'armes autonomes. Qu'est-ce qui a mal tourné en 2003 ----------------------- Le missile Patriot a commencé son développement dans les années 1960, lorsque l'armée américaine a cherché un moyen d'abattre de manière fiable les avions ennemis . Plus tard, le missile acquerra la capacité d'intercepter également d'autres missiles, et à mesure que les rôles attribués au missile se sont élargis, ses [capacités autonomes ont augmenté] (https://history.redstone.army.mil/miss-patriot.html). Les batteries de missiles Patriot utilisent un radar à réseau phasé pour détecter et identifier les cibles. Ces informations sont ensuite introduites dans une station de contrôle informatique pour gérer la manière dont les missiles sont lancés en réponse. Une fois tirés, les missiles volent vers un point d'interception identifié [calculé avant le tir] (https://apps.dtic.mil/sti/pdfs/ADA319957.pdf), des directions qui peuvent être modifiées en envoyant des lectures de capteur mises à jour par signal radio à le missile tiré. À l'approche de l'impact, le radar du missile suit la cible. Raytheon, qui fabrique le Patriot, a décrit le système comme ayant des "opérations automatisées" avec Capacités de «man-in-the-loop (humain) prioritaire» - technologie qui permet à l'arme d'engager rapidement des cibles avec la vitesse nécessaire pour mener à bien sa mission de défense antimissile. L'automatisation est une caractéristique incontournable pour un système anti-aérien et, en particulier, pour un système anti-missile. Les calculs impliqués dans l'abattage d'avions et de missiles sont difficiles et nécessitent une traduction immédiate des informations des capteurs. Les intercepteurs et les cibles voyagent exceptionnellement vite. C'est le genre de tâche dans laquelle l'implication d'un humain introduit un décalage, ralentit le processus et rend moins probable qu'un missile réussisse à abattre un projectile ou un avion entrant. Mais les opérateurs humains jouent également un rôle essentiel : empêcher les abattages accidentels et incorrects. Et cela nécessite un équilibre difficile à atteindre entre la prise de décision humaine et la prise de décision par la machine. Lorsque le Pentagone a enquêté sur les causes de la fusillade de Tornado, ainsi que two other incidents de tir ami impliquant des systèmes Patriot, les fonctions automatisées du système de missile ont été identifiées comme des facteurs contributifs à l'identification erronée d'un ami comme d'un ennemi. Les batteries américaines Patriot déployées en Irak dans l'hypothèse où elles feraient face à de lourdes attaques de missiles, ce qui obligerait les batteries à fonctionner avec un degré relatif d'autonomie afin de répondre avec une vitesse suffisante. En tant que [rapport] (https://dsb.cto.mil/reports/2000s/ADA435837.pdf) de 2005 du groupe de travail du Conseil des sciences de la défense sur les performances du système Patriot observé, le fonctionnement autonome obligeait les forces américaines à croire que les fonctionnalités automatisées du système fonctionnaient correctement. Ainsi, lorsque les hypothèses sous-jacentes à la décision de permettre au système Patriot d'identifier et parfois de tirer sur des cibles de manière autonome ne s'appliquaient plus, les soldats exploitant le système n'étaient pas en mesure de remettre en question ce que les capteurs de l'arme leur disaient. Si les forces américaines et de la coalition avaient fait face à de lourdes attaques de missiles pendant la guerre, l'automatisation de ces défenses aurait été plus logique. Au lieu de cela, les forces américaines et alliées ont rapidement établi leur supériorité aérienne, suffisamment pour modifier radicalement l'équilibre de ce qui se trouvait dans le ciel. Au lieu de faire face à de grandes quantités de missiles entrants, les batteries Patriot observaient un grand nombre d'avions alliés opérant dans le ciel au-dessus d'eux et luttant parfois pour identifier l'ami de l'ennemi. Selon le groupe de travail du Conseil des sciences de la défense, les 30 premiers jours de combat en Irak ont vu neuf attaques de missiles balistiques que les batteries Patriot auraient pu contrer, contre 41 000 sorties d'avions, soit un "4 000 contre 1 amical contre -rapport ennemi. Choisir les bonnes cibles dans le contexte d'un grand nombre de faux positifs potentiels s'est avéré très difficile. Dans le cas de la fusillade de Tornado, l'automatisation - et la rapidité avec laquelle l'action automatisée a été entreprise - était probablement suffisante à elle seule pour provoquer la tragédie, mais elle aurait pu être évitée si d'autres systèmes n'avaient pas échoué. Comme l'a conclu le ministère britannique de la Défense dans son rapport examinant l'incident, le La batterie coupable de la fusillade était sans sa suite de communication, qui était toujours en transit depuis les États-Unis. Le contact avec le quartier général du bataillon s'est produit via un relais radio avec une autre batterie équipée de liaisons voix et données vers le quartier général. "Le manque d'équipement de communication signifiait que l'équipage du Patriot n'avait pas accès à la" photo "la plus large possible de l'espace aérien qui les entourait pour renforcer la connaissance de la situation", indique le rapport. Un autre système qui a échoué et qui aurait pu empêcher la fusillade était le système d'identification en tant qu'ami ou ennemi, une mesure de sécurité conçue pour éviter de telles erreurs mortelles. Ce type d'informations, transmises de manière sécurisée et immédiate, aurait pu empêcher un système automatisé d'abattre l'avion. Si l'information avait été communiquée à l'équipage humain qui exploitait la batterie Patriot, cela aurait été un signal pour annuler l'attaque. Tragiquement, le transpondeur IFF ou la capacité de la batterie Patriot à recevoir un tel signal a échoué. Bien qu'il soit tentant de se concentrer sur les fonctionnalités automatisées du système Patriot lors de l'examen de la fusillade - ou des systèmes autonomes et semi-autonomes plus largement -, il est important de considérer ces armes comme faisant partie de systèmes plus larges. Alors que les décideurs réfléchissent à la manière d'évaluer le déploiement d'armes et de systèmes militaires de plus en plus autonomes, la complexité de ces systèmes, la manière dont ils pourraient échouer et la manière dont les opérateurs humains les supervisent sont des questions clés à prendre en compte. Des échecs de communication, d'identification et de contrôle de tir peuvent survenir à différents points d'une chaîne d'événements, et il peut être difficile de prédire comment les échecs interagiront les uns avec les autres et produiront un résultat potentiellement mortel. L'examen du Patriot par le Conseil des sciences de la défense a conclu que les futurs conflits seront probablement "plus stressants" et impliqueront "des engagements simultanés de missiles et de défense aérienne". Dans un tel scénario, "un protocole qui permet plus de surveillance et de contrôle des actions majeures du système par l'opérateur sera nécessaire", a fait valoir le groupe de travail. Leçons apprises depuis --------------------- Trouver le bon mélange de confiance entre une machine autonome et l'humain qui en dépend est un équilibre délicat, surtout compte tenu de l'inévitabilité de Erreur. Dix-sept ans après la fusillade de Tornado, les fonctionnalités automatisées du missile Patriot restent en place, mais la manière dont elles sont utilisées a changé. Les menaces aériennes, telles que les avions, les hélicoptères et les missiles de croisière, ne peuvent désormais être engagées qu'en mode manuel "pour réduire le risque de fratricide", comme le décrit le manuel de l'armée américaine pour la défense aérienne et antimissile [https://armypubs.army .mil/epubs/DR_pubs/DR_a/ARN31339-FM_3-01-000-WEB-1.pdf). En mode manuel, les systèmes automatisés détectent et suivent toujours les cibles, mais c'est un humain qui décide quand et s'il faut tirer. Mais "pour les missiles balistiques et les missiles anti-rayonnement", comme le type que le Patriot en Irak supposait que le Tornado était, "l'opérateur a le choix de s'engager en mode automatique ou manuel", bien que le manuel note que ces "engagements sont généralement effectué en mode automatique. Les chercheurs de la défense avertissent que les êtres humains ne sont pas bien adaptés pour surveiller les systèmes autonomes de cette manière. "Des problèmes peuvent survenir lorsque le système de contrôle automatisé a été développé car il peut probablement faire le travail mieux qu'un opérateur humain, mais l'opérateur est laissé pour 'surveiller' que le système automatisé fonctionne correctement et intervenir lorsqu'il ne l'est pas", le psychologue en génie John Hawley, qui a participé aux efforts de l'armée américaine pour étudier les incidents de tir ami de 2003, a écrit dans un rapport de 2017. "Les humains sont très pauvres pour répondre aux exigences de surveillance et d'intervention imposées par le contrôle de supervision." Cette dynamique s'est déroulée dans l'autre incident mortel de tir ami impliquant une batterie de missiles Patriot pendant la guerre en Irak, lorsqu'un avion F/A-18 de la marine américaine a été identifié à tort comme un missile balistique et abattu, tuant le pilote. Selon un [rapport] du Centre d'analyses navales de 2019 (https://www.cna.org/CNA_files/PDF/DOP-2019-U-021957-1Rev.pdf), le Patriot a recommandé à l'opérateur de tirer des missiles en réponse à ce qu'il avait identifié comme un projectile ennemi, et l'opérateur a approuvé la recommandation de tirer "sans examen indépendant des informations dont il disposait". Cette difficulté rencontrée par les batteries de missiles Patriot pour identifier correctement les cibles potentielles illustre l'un des défis les plus sérieux auxquels sont confrontées les armes autonomes : obtenir des données d'entraînement précises. Alors que les militaires évoluent vers une plus grande autonomie dans un large éventail de systèmes, ils dépendent de plus en plus de la technologie d'apprentissage automatique qui utilise de grands ensembles de données pour faire des prédictions sur la façon dont une machine devrait fonctionner. Le défi de l'acquisition de données précises expose les systèmes autonomes à une défaillance inévitable. "Les environnements de conflit sont difficiles, dynamiques et conflictuels, et il y aura toujours plus de variabilité dans les données réelles du champ de bataille que dans l'échantillon limité de données sur lesquelles les systèmes autonomes sont construits et vérifiés", comme Arthur Holland Michel, et associé chercheur au sein du programme de sécurité et de technologie de l'Institut des Nations Unies pour la recherche sur le désarmement, a écrit dans un rapport l'année dernière traitant des problèmes de données dans les armes militaires autonomes. Un manque de données fiables ou une incapacité à produire des ensembles de données qui reproduisent les conditions de combat rendront plus probable que les armes autonomes ne parviennent pas à effectuer des identifications précises. Conscient du potentiel d'erreur, une façon d'adopter des systèmes autonomes tout en traitant le risque pour les civils et les militaires est de passer à une posture dans laquelle le risque est principalement supporté par la machine. Les fusillades de 2003 impliquaient des missiles Patriot agissant en état de légitime défense et identifiant mal leur ennemi. En acceptant un plus grand risque pour les systèmes autonomes - qu'ils puissent être détruits ou désactivés - les systèmes autonomes peuvent éviter le risque de tirs amis ou de pertes civiles en "utilisant la patience tactique, ou en permettant à la plate-forme de se rapprocher pour obtenir une détermination plus précise de si une menace existe réellement », comme l'affirme Larry Lewis, l'auteur du rapport 2019 de l'AIIC. Plutôt que de tirer rapidement en légitime défense, ce point de vue plaide pour la patience et sacrifie une mesure de vitesse en faveur de la précision. Plus largement, Lewis recommande une approche de gestion des risques pour l'utilisation de l'IA. Bien que la nature spécifique de chaque erreur donnée soit difficile à anticiper, la gamme de résultats mauvais et indésirables peut tomber dans des catégories similaires d'erreurs ou de résultats. La planification de l'IA intégrée dans les armes, les capteurs et les affichages d'informations pourrait inclure une prise de conscience des erreurs et présenter ces informations de manière utile sans ajouter à la charge cognitive de la personne qui utilise la machine. L'intelligence artificielle est déjà allée au-delà de la spéculation vers des applications tangibles et réelles. Il informe déjà les décisions de ciblage des armes militaires et façonnera de plus en plus la façon dont les gens au combat utilisent les machines et les outils. S'adapter à cet avenir, comme le Pentagone et d'autres établissements militaires semblent avoir l'intention de le faire, signifie planifier les erreurs, les accidents et les nouveaux dommages, de la même manière que les militaires se sont déjà adaptés à de telles erreurs entre les mains de l'homme. Le Pentagone a pris des mesures pour faire face à ces risques. En février 2020, le ministère de la Défense a publié un ensemble de [principes d'éthique de l'IA](https://www.defense.gov/News/News-Stories/Article/Article/2094085/dod-adopts-5-principles-of- artificial-intelligence-ethics/) rédigé par le Defense Innovation Board. L'un de ces principes est la "traçabilité", soulignant que le personnel concerné "possède une compréhension appropriée de la technologie", y compris une méthodologie de données transparente et vérifiable. Pour favoriser cette compréhension et garantir que les systèmes non déterministes peuvent être audités, le Pentagone investit dans des méthodes de test, d'évaluation, de validation et de vérification pour l'IA. Le développement d'outils de test et d'explicabilité pour les applications d'IA militaire représente l'un des principaux défis pour la technologie, et faire les investissements nécessaires pour développer ces outils seront essentiels pour déployer de manière responsable des outils d'IA sur le champ de bataille. Ce travail est en cours au Joint Artificial Intelligence Center, qui en février [awarded](https://www.c4isrnet.com/artificial-intelligence/2022/02/10/pentagons-ai-center-awards-contracts-to- 79-companies-in-new-test-and-evaluation-agreement/) conclut des contrats avec 79 fournisseurs d'une valeur pouvant atteindre 15 millions de dollars chacun pour développer une technologie de test et d'évaluation. À ce stade relativement précoce du déploiement de l'IA dans les applications militaires, il est important que les chercheurs et les décideurs développent ce que Holland Michel décrit comme « un schéma plus fin pour différencier les différents types de panne. En développant des critères pour distinguer les problèmes inconnus connus des problèmes inconnus inconnus », les décideurs politiques peuvent acquérir une compréhension plus claire de la façon dont les systèmes d'IA échouent, ce qui pourrait « aider les efforts pour quantifier les risques dans les opérations et attribuer la responsabilité des dommages involontaires résultant des problèmes de données. ” Une autre approche politique consisterait à incorporer l'équipe rouge et l'évaluation contradictoire dans l'évaluation des produits d'IA, car cela permettrait aux ingénieurs de l'IA militaire d'anticiper et de planifier les futurs échecs au combat basés sur une action hostile. Les défis supplémentaires apportés par l'IA ne proviendront pas de l'existence d'une erreur, mais de la nature de l'erreur et des limites de l'explicabilité de l'erreur. L'élaboration de politiques réfléchies peut anticiper cela et, en cas de doute, concevoir des systèmes qui mettent les machines en danger avant risquer la vie de civils ou de militaires.