Incidents associés
Une capture d'écran d'une vidéo promotionnelle annonçant le drone Kargu. Dans la vidéo, l'arme plonge vers une cible avant d'exploser.
L'année dernière en Libye, une arme autonome de fabrication turque - le drone STM Kargu-2 - pourrait avoir "traqué et engagé à distance" des soldats en retraite fidèles au général libyen Khalifa Haftar, selon un récent rapport du Groupe d'experts de l'ONU sur Libye. Au cours de l'année, le gouvernement d'accord national reconnu par l'ONU a repoussé les forces du général de la capitale Tripoli, signalant qu'il avait pris le dessus dans le conflit libyen, mais le Kargu-2 signifie quelque chose peut-être encore plus significatif à l'échelle mondiale. : un nouveau chapitre dans les armes autonomes, celui dans lequel elles sont utilisées pour combattre et tuer des êtres humains basés sur l'intelligence artificielle.
Le Kargu est un drone "vagabond" qui peut utiliser la classification d'objets basée sur l'apprentissage automatique pour sélectionner et engager des cibles, avec des capacités d'essaimage en développement pour permettre à 20 drones de travailler ensemble. Le rapport de l'ONU qualifie le Kargu-2 d'arme autonome mortelle. Son fabricant, STM, vante les capacités "anti-personnelles" de l'arme dans une sombre vidéo montrant un modèle Kargu dans une plongée abrupte vers une cible au milieu d'un groupe de mannequins. (Si quelqu'un était tué lors d'une attaque autonome, cela représenterait probablement un premier cas historique connu d'utilisation d'armes autonomes basées sur l'intelligence artificielle pour tuer. le système de missile sol-air habité Pantsir S-1, mais n'est pas explicite à ce sujet.)
De nombreuses personnes, dont Steven Hawking et Elon Musk, ont déclaré vouloir interdire ce type d'armes, affirmant qu'elles ne pouvaient pas faire la distinction entre les civils et les soldats, tandis que d'autres affirment qu'elles seront essentielles pour contrer les menaces rapides telles que les essaims de drones et peuvent en fait réduire le risque pour les civils car ils feront moins d'erreurs que les systèmes d'armes à guidage humain. Les gouvernements aux Nations Unies débattent de la nécessité de nouvelles restrictions sur l'utilisation au combat d'armes autonomes. Ce que la communauté mondiale n'a pas fait de manière adéquate, cependant, c'est de développer une image commune des risques. Peser les compromis entre les risques et les avantages dépendra des valeurs personnelles, organisationnelles et nationales, mais déterminer où se situe le risque doit être objectif.
Ce n'est qu'une question de statistiques.
Au niveau le plus élevé, le risque est le produit de la probabilité et des conséquences d'une erreur. Toute arme autonome donnée a des chances de se tromper, mais ces erreurs pourraient avoir un large éventail de conséquences. Les armes autonomes les plus risquées sont celles qui ont une forte probabilité d'erreur et qui tuent beaucoup de gens lorsqu'elles le font. Rater un .357 magnum est une chose; faire exploser accidentellement une ogive nucléaire W88 est autre chose.
Il y a au moins neuf questions importantes pour comprendre où se situent les risques en ce qui concerne les armes autonomes.
Comment une arme autonome décide-t-elle qui tuer ? Les mines terrestres – en quelque sorte une arme autonome extrêmement simple – utilisent des capteurs de pression pour déterminer quand exploser. Le seuil de tir peut être modifié pour s'assurer que la mine terrestre n'explose pas lorsqu'un enfant la ramasse. Les munitions errantes comme la harpie israélienne détectent et se concentrent généralement sur les signatures radar ennemies. Comme pour les mines terrestres, la sensibilité peut être ajustée pour séparer les radars civils des militaires. Et heureusement, les enfants n'émettent pas d'ondes radio de grande puissance.
Mais ce qui a suscité des inquiétudes internationales, c'est l'inclusion de la prise de décision basée sur l'apprentissage automatique, comme celle utilisée dans le Kargu-2. Ces types d'armes fonctionnent sur des algorithmes logiciels "enseignés" via de grands ensembles de données de formation pour, par exemple, classer divers objets. Les programmes de vision par ordinateur peuvent être formés pour identifier les autobus scolaires, les tracteurs et les chars. Mais les ensembles de données sur lesquels ils s'entraînent peuvent ne pas être suffisamment complexes ou robustes, et une intelligence artificielle (IA) peut "apprendre" la mauvaise leçon. Dans un cas, une entreprise envisageait d'utiliser une IA pour prendre des décisions d'embauche jusqu'à ce que la direction détermine que le système informatique pensait que la qualification la plus importante pour les candidats à un emploi était de s'appeler Jared et de jouer à la crosse au lycée. Les résultats ne seraient pas du tout comiques si une arme autonome commettait des erreurs similaires. Les développeurs d'armes autonomes doivent anticiper les complexités qui pourraient amener un système d'apprentissage automatique à prendre la mauvaise décision. La nature de la boîte noire de l'apprentissage automatique, dans laquelle la façon dont le système prend des décisions est souvent opaque, ajoute des défis supplémentaires.
Quel rôle ont les humains ? Les humains pourraient être capables de surveiller quelque chose qui ne va pas. Dans les configurations human-in-the-loop, un soldat surveille les activités des armes autonomes et, si la situation semble prendre une direction horrible, peut apporter une correction. Comme le montre l'utilisation signalée du Kargu-2, un système humain hors boucle fait simplement son travail sans protection. Mais avoir un soldat au courant n'est pas la panacée. Le soldat peut faire confiance à la machine et ne pas surveiller adéquatement son fonctionnement. Par exemple, Missy Cummings, directrice du Human and Autonomy Laboratory de l'Université Duke, constate qu'en ce qui concerne les voitures autonomes, « les conducteurs qui pensent que leur voiture est plus performante qu'eux-mêmes peuvent être plus sensibles à des états de distraction accrus, et donc à plus de risques d’accidents.
Bien sûr, le comportement autonome d'une arme peut ne pas toujours être activé - un humain peut être dans, sur ou hors de la boucle en fonction de la situation. La Corée du Sud a déployé une arme de sentinelle le long de la zone démilitarisée avec la Corée du Nord appelée SGR A-1 qui fonctionnerait de cette façon. Le risque change en fonction de la manière et du moment où la fonction entièrement autonome est activée. Le fonctionnement autonome par défaut crée évidemment plus de risques que le fonctionnement autonome limité uniquement à des circonstances étroites.
Quelle charge utile possède une arme autonome ? Tirer accidentellement sur quelqu'un est horrible, mais beaucoup moins que de faire exploser accidentellement une ogive nucléaire. Le premier peut coûter la vie à un innocent, mais le second peut en tuer des centaines de milliers. Les décideurs politiques peuvent se concentrer sur les armes plus grosses, reconnaissant les coûts des erreurs, réduisant potentiellement les risques des armes autonomes. Cependant, on ne sait pas exactement quelles charges utiles les armes autonomes auront. En théorie, les armes autonomes pourraient être armées de fusils, de bombes, de missiles, de brouilleurs de guerre électronique, de lasers, d'armes à micro-ondes, d'ordinateurs pour la cyberattaque, d'agents d'armes chimiques, d'agents d'armes biologiques, d'armes nucléaires et de tout le reste.
Quel est le ciblage de l'arme ? Qu'une arme autonome tire sur un char, un destroyer naval ou un être humain compte. Les systèmes actuels basés sur l'apprentissage automatique ne peuvent pas distinguer efficacement un agriculteur d'un soldat. Les fermiers pouvaient tenir un fusil pour défendre leurs terres, tandis que les soldats pouvaient utiliser un râteau pour renverser une tourelle. Mais même une classification adéquate d'un véhicule est également difficile, car divers facteurs peuvent empêcher une décision précise. Par exemple, dans une étude, l'obscurcissement des roues et de la moitié de la vitre avant d'un bus a amené un système basé sur l'apprentissage automatique à classer le bus comme un vélo. Le canon d'un char peut faciliter la distinction d'un autobus scolaire dans un environnement ouvert, mais pas si des arbres ou des bâtiments masquent des parties clés du char, comme le canon lui-même.
Combien d'armes autonomes sont utilisées ? Plus d'armes autonomes signifient plus de possibilités d'échec. C'est la probabilité de base. Mais lorsque des armes autonomes communiquent et coordonnent leurs actions, comme dans un essaim de drones, le risque que quelque chose tourne mal augmente. La communication crée des risques d'erreur en cascade dans laquelle une erreur d'une unité est partagée avec une autre. La prise de décision collective crée également le risque d'erreur émergente dans laquelle une interprétation correcte s'ajoute à une erreur collective. Pour illustrer l'erreur émergente, considérons la parabole des aveugles et de l'éléphant. Trois aveugles entendent qu'un animal étrange, un éléphant, a été amené en ville. Un homme sent la trompe et dit que l'éléphant est épais comme un serpent. Un autre sent les jambes et dit que c'est comme un pilier. Un troisième sent le côté de l'éléphant et le décrit comme un mur. Chacun perçoit la réalité physique avec précision, sinon de manière incomplète, mais leurs interprétations individuelles et collectives de cette réalité sont incorrectes. Un essaim de drones conclurait-il que l'éléphant est un éléphant, un serpent, un pilier, un mur ou autre chose ?
Où sont utilisées les armes autonomes ? Un véhicule terrestre armé et autonome errant sur un glacier antarctique enneigé n'a presque aucune chance de tuer des innocents. Il n'y a pas grand-chose qui y vit et l'environnement est généralement stérile avec peu d'obstacles ou de confusion pour les capteurs embarqués du véhicule. Mais le même véhicule errant dans les rues de New York ou de Tokyo est une autre affaire. Dans les villes, le système d'IA serait confronté à de nombreuses opportunités d'erreur : les arbres, les panneaux, les voitures, les bâtiments et les personnes peuvent tous bloquer l'évaluation correcte de la cible.
Les armes autonomes basées en mer pourraient être moins sujettes aux erreurs simplement parce qu'il peut être plus facile de faire la distinction entre un navire militaire et un navire civil, avec moins d'obstacles, que de faire la même chose pour un autobus scolaire et un véhicule blindé de transport de troupes. Même la météo compte. Une étude récente a révélé que le temps brumeux réduisait la précision d'un système d'IA utilisé pour détecter les obstacles sur les routes à 58 %, contre 92 % par temps clair. Bien sûr, le mauvais temps peut également empêcher les humains de classer efficacement les cibles. Une question importante est donc de savoir comment la classification de l'IA se compare à la classification humaine.
L'arme est-elle bien testée ? Tout militaire professionnel vérifierait et testerait si une arme autonome fonctionne comme souhaité avant de mettre en danger des soldats et des objectifs stratégiques plus larges. Cependant, l'armée peut ne pas tester toutes les complexités qui peuvent confondre une arme autonome, surtout si ces complexités sont inconnues. Les tests seront également basés sur les utilisations prévues et les environnements opérationnels, qui peuvent changer à mesure que le paysage stratégique change. Une arme autonome solidement testée dans un environnement peut tomber en panne lorsqu'elle est utilisée dans un autre. Seattle a beaucoup plus de jours de brouillard que Riyad, mais beaucoup moins de tempêtes de sable.
Comment les adversaires se sont-ils adaptés ? Dans une bataille impliquant des armes autonomes, les adversaires chercheront à confondre les opérations, ce qui peut ne pas être très difficile. OpenAI, une société leader dans le domaine de l'IA, a développé un système capable de classer une pomme dans la catégorie Granny Smith avec une confiance de 85,6 %. Pourtant, collez un morceau de papier qui dit "iPod" sur la pomme, et le système de vision artificielle conclut avec 99,7% de confiance que la pomme est un iPod. Dans un cas, des chercheurs en intelligence artificielle ont modifié un seul pixel sur une image, ce qui a amené un système de vision artificielle à classer un bombardier furtif comme un chien. En temps de guerre, un adversaire pourrait simplement peindre « autobus scolaire » sur un char ou, plus malicieusement, « char » sur un autobus scolaire et potentiellement tromper une arme autonome.
Dans quelle mesure les armes autonomes sont-elles largement disponibles ? Les États et les acteurs non étatiques varieront naturellement dans leur tolérance au risque, en fonction de leurs stratégies, cultures, objectifs et sensibilité globale aux compromis moraux. Plus il est facile d'acquérir et d'utiliser des armes autonomes, plus la communauté internationale peut s'attendre à ce que ces armes soient utilisées par des groupes terroristes apocalyptiques, des régimes infâmes et des groupes tout simplement insensibles au risque d'erreur. Comme Stuart Russell, professeur d'informatique à l'Université de Californie à Berkeley, aime à le noter : « [A]vec trois bons étudiants diplômés et peut-être l'aide de quelques-uns de mes collègues robotiques, ce sera un projet à long terme pour construire une arme qui pourrait entrer dans le bâtiment des Nations Unies et trouver l'ambassadeur de Russie et lui livrer un colis. Heureusement, le sens technique, l'organisation, l'infrastructure et la disponibilité des ressources limiteront la sophistication des armes autonomes. Aucun terroriste loup solitaire ne construira jamais un F-35 autonome dans son garage.
Le risque lié aux armes autonomes est complexe, variable et multidimensionnel : le quoi, le lieu, le moment, le pourquoi et le mode d'utilisation sont importants. À l'extrémité à haut risque du spectre se trouvent les armes nucléaires autonomes et l'utilisation d'essaims collaboratifs et autonomes dans des environnements fortement urbains pour tuer l'infanterie ennemie ; sur le bas de gamme se trouvent les armes optionnelles d'autonomie utilisées dans les zones non peuplées comme armes défensives et utilisées uniquement lorsque la mort est imminente. L'endroit où les États tracent la ligne dépend de la manière dont leurs armées et leurs sociétés équilibrent le risque d'erreur par rapport à la nécessité militaire. Mais pour tracer une ligne, il faut une compréhension commune de l'endroit où se situe le risque.