I. Un seuil qu’on ne sait même pas dater
En mars 2020, dans le ciel libyen, une munition rôdeuse de fabrication turque aurait traqué et engagé des combattants en retraite sans qu’aucun opérateur humain n’ait validé le tir. Le conditionnel s’impose, et il ne se lèvera sans doute jamais. La source est un rapport du Panel d’experts des Nations unies publié en 2021, qui décrit un engin programmé pour frapper sans liaison de données avec son opérateur. Le fabricant a démenti, soutenant que son appareil ne choisit pas seul ses cibles. L’État concerné a parlé d’un système télécommandé. Et les spécialistes qui ont examiné le rapport conviennent que rien, dans les éléments rendus publics, ne permet d’établir avec certitude si la machine a frappé de sa propre initiative ou sous contrôle humain. Cinq ans plus tard, la question reste ouverte, et nulle enquête n’est venue la trancher.
Cette indétermination n’est pas un détail technique en attente de résolution. Elle est un élément constitutif du problème. Une arme employée en mode autonome ressemble trait pour trait à la même arme employée manuellement, car l’autonomie ne réside pas dans la carrosserie mais dans quelques lignes de programme que rien, de l’extérieur, ne donne à voir. Nous voici donc devant une situation neuve, où il devient impossible de constater, même après coup, si une vie a été prise sur décision d’un homme ou sur calcul d’une machine. Or c’est sur cette distinction que repose tout notre droit de la guerre. L’épisode libyen n’est peut-être pas le premier homicide commis par un système autonome. Mais il est, à coup sûr, le premier moment où l’humanité s’est découverte incapable de savoir si elle avait franchi ce seuil. Et une frontière qu’on ne peut plus observer est une frontière qui a déjà cédé.
II. Le principe que le droit avait patiemment construit
Pour mesurer ce qui vacille, il faut revenir à ce que le droit de la guerre avait mis des siècles à établir. Le droit international humanitaire, depuis les Conventions de Genève et leurs protocoles, repose sur un principe d’apparence modeste mais de portée immense : toute décision d’ôter une vie doit pouvoir être imputée à un être humain identifiable, inséré dans une chaîne de commandement, et tenu pour responsable de la légalité de son geste. Ce principe n’est pas un ornement moral ajouté après coup aux nécessités militaires. Il en est l’armature fonctionnelle. C’est lui qui rend opérantes la distinction entre le combattant et le civil, la proportionnalité entre l’objectif visé et les pertes infligées, la nécessité militaire opposée à la violence gratuite. Ces exigences n’ont de sens qu’autant qu’un sujet peut en répondre devant un juge, et accepter d’être jugé sur la manière dont il les a honorées.
Des décennies d’expérience des pires brutalités ont lentement façonné cette idée que la guerre, pour rester un tant soit peu gouvernable, suppose toujours quelqu’un qui décide et que l’on puisse mettre en cause. Une machine échappe par construction à cette prise. On ne la punit pas, on ne la dissuade pas, on ne la réforme pas, car la punition, la dissuasion et le remords présupposent un sujet, et il n’y en a aucun. Retirez ce sujet, et l’édifice ne s’écroule pas dans un fracas visible, il se vide en silence. Les règles subsistent, intactes dans les manuels, mais elles n’ont plus de destinataire. Une prescription qui ne s’adresse à personne n’est plus une prescription, c’est une formule. Voilà ce que les systèmes d’armes autonomes mettent en jeu, non pas telle règle particulière que l’on pourrait amender, mais la condition qui rend toutes les règles applicables.
III. Le vide de responsabilité
Que l’on imagine, donc, une arme qui sélectionne et engage sa cible sans qu’un homme ait validé le tir à l’instant où il advient. Qui répond alors de cette mort ? L’algorithme ne comparaît pas devant un tribunal, il n’a ni intention ni conscience que le droit puisse interroger. L’ingénieur qui l’a conçu ne saurait être tenu pour responsable d’une décision prise des mois plus tard, dans des circonstances qu’il n’avait pas envisagées et que la nature même d’un système apprenant rendait imprévisibles. Le commandant qui l’a déployé pourra soutenir, sans nécessairement mentir, qu’il ne pouvait connaître les cibles précises que l’engin retiendrait une fois lâché. Chacun, dans cette chaîne, peut renvoyer la responsabilité au maillon voisin, et le renvoi se referme sur un vide. Des êtres humains sont morts, et il n’existe plus personne dont on puisse dire qu’il en a décidé.
Ce vide n’est pas une zone grise que des juristes patients finiront par éclairer, il est un trou de structure, ouvert par la délégation à un agent dont nul ne maîtrise entièrement le comportement. Il emporte avec lui la dissuasion elle-même, car toute l’architecture du droit pénal de la guerre repose sur la crainte d’être jugé, et l’on n’effraie pas un programme. Les alertes sont anciennes. Dès le début des années 2010, le Rapporteur spécial des Nations unies sur les exécutions extrajudiciaires réclamait un cadre de gouvernance avant que le déploiement n’installe des faits accomplis irréversibles. Une coalition d’organisations a porté cette exigence dans les enceintes diplomatiques, et des discussions se tiennent, depuis 2014, dans le cadre de la Convention sur certaines armes classiques. Pendant qu’elles s’enlisent, la frontière entre le semi-autonome, dont le tir reste formellement validé par un humain, et le pleinement autonome, qui s’en affranchit, s’amenuise sous la pression des impératifs opérationnels. Les mêmes États qui affirment dans leurs doctrines que la décision létale doit rester humaine financent des systèmes qui rendent cette affirmation, d’année en année, plus formelle et moins réelle.
IV. La course que personne n’a choisie
Comment expliquer une telle contradiction entre ce que les États proclament et ce qu’ils construisent ? Non par le cynisme de leurs dirigeants, mais par une logique que chacun subit sans l’avoir explicitement voulue. Dans un affrontement où la vitesse décide de l’issue, exiger qu’un homme valide chaque tir devient un désavantage tactique. Si l’adversaire confie à ses machines des décisions prises à l’échelle de la milliseconde, celui qui maintient un opérateur dans la boucle se condamne d’avance. Aucun acteur ne choisit donc l’autonomie pour elle-même, chacun y est poussé par la crainte que l’autre ne l’y devance. La prudence unilatérale y est irrationnelle, et l’agrégation de ces prudences contrariées produit une trajectoire collective que personne n’a décidée et que personne ne sait infléchir.
Cette trajectoire, les appareils de défense la connaissent. Ils produisent en interne les analyses qui en décrivent les périls, l’escalade accidentelle, l’effacement des délais de décision sous le seuil de la délibération humaine, la diffusion de la technologie vers des acteurs non étatiques. Un essaim de munitions autonomes prenant des décisions létales à la milliseconde n’ouvre aucun délai de correction une fois lancé. Ces analyses n’ont pourtant pas conduit à des accords de limitation comparables à ceux que la guerre froide avait su négocier, du Traité ABM de 1972 à d’autres dispositifs de retenue mutuelle.
V. La puissance sans le jugement
Les Romains distinguaient la capacitas, l’aptitude à accomplir une tâche définie, de la virtus, la disposition à juger droitement de ce qu’il convient de faire. La course aux armes autonomes développe la première avec une intensité sans précédent, et tient la seconde pour quantité négligeable. Toute l’ingéniosité disponible se concentre sur la capacité technique à produire des systèmes plus rapides, plus précis, plus efficaces que ceux de l’adversaire. La question qui devrait pourtant précéder celle-là, celle des limites que la sagesse impose à la puissance, n’est posée par aucun des dispositifs qui décident effectivement du développement de ces armes.
On aurait tort d’y voir une faute morale des hommes qui les conçoivent ou qui les commandent. Beaucoup, à l’intérieur même des appareils militaires, produisent les avertissements les plus lucides. Ces avertissements existent, ils circulent, et ils restent sans effet. La raison n’est pas que ces hommes manqueraient de discernement, c’est que les structures qui les sélectionnent et les promeuvent récompensent la supériorité opérationnelle et la maîtrise technique, jamais la prudence devant des risques diffus et différés. L’analyste qui exprime un doute sur l’opportunité d’une trajectoire est rangé parmi les timorés, le responsable de programme qui livre dans les délais est promu. Un tel système ne fait pas remonter ceux qui savent douter, il fait remonter ceux qui savent livrer. La virtus n’a pas été combattue, ce qui supposerait qu’on l’ait encore en vue, elle a simplement cessé d’être demandée. C’est le trait le plus inquiétant de la situation, non pas que nos institutions aient sciemment choisi la puissance contre le jugement, mais qu’elles aient bâti des mécanismes de sélection où la question du jugement ne se pose plus. Elles produisent des décideurs admirablement équipés pour gagner une course dont elles ont perdu la faculté de se demander si elle doit être courue.
VI. Instituer ce qui ne se code pas
À ce constat, une réponse revient sans cesse, qui prétend conjurer le danger par la technique même qui l’a fait naître, avec des garde-fous logiciels, des procédures d’interprétabilité, des architectures que l’on dit alignées sur des valeurs humaines. Cette réponse se trompe d’ordre de problème. Aucun perfectionnement du code ne rétablira un responsable là où l’architecture l’a supprimé, car ce qui fait défaut n’est pas une fonction à programmer, c’est une institution à bâtir. La solution, s’il en existe une, ne viendra pas du logiciel, mais des cadres que la tradition juridique et politique a appris à dresser, lentement et souvent dans la douleur, pour contraindre la force.
L’histoire récente prouve que la chose n’est pas hors de portée. Le Traité d’Ottawa sur les mines antipersonnel, signé en 1997 par plus de cent soixante États, a créé une norme internationale contraignante en moins d’une décennie, contre l’opposition initiale des grandes puissances militaires, sous la pression d’une coalition d’organisations non gouvernementales et d’États de taille moyenne qui avaient rendu le maintien du statu quo politiquement intenable. Une coalition comparable s’efforce aujourd’hui de reproduire ce modèle pour les armes autonomes. L’obstacle est connu, les précédents qui ont réussi reposaient tous sur une crise visible, des victimes que l’on pouvait montrer, un coût immédiat et reconnaissable. Le danger des armes autonomes est d’une autre nature, diffus, différé, dissimulé jusque dans l’incertitude qui entoure ses premiers usages, et le jour où il deviendra indiscutable sera, selon toute vraisemblance, celui où il sera déjà trop tard pour le contenir.
Reste alors la voie la plus exigeante, et la seule qui ne réclame pas la catastrophe pour s’ouvrir : instituer par avance les contre-pouvoirs que la prudence commande, avant que l’accumulation des faits accomplis ne les rende illusoires. Décider quelles puissances létales il est raisonnable de construire, et sous quelles conditions il serait légitime de les employer, n’est pas une affaire d’expertise technique, et nul surcroît de compétence dans la conception des systèmes n’y répondra jamais. C’est une question de jugement sur les bornes que la sagesse assigne à la force. Un tel jugement ne s’inscrit pas dans un programme. Il se dépose dans des règles, des responsabilités attribuées, des institutions qui le maintiennent quand l’urgence voudrait l’effacer, ou il ne se dépose nulle part. Les armes autonomes ne nous confrontent pas d’abord à une prouesse technologique. Elles nous renvoient à une incapacité ancienne, celle de gouverner ce que nous savons construire, et elles la rendent, pour la première fois, irréversible à l’échelle de l’instant.
