Les systèmes multi-agents (MAS) sont constitués de multiples agents autonomes qui interagissent dans un environnement partagé pour atteindre des objectifs individuels ou communs. Ces agents peuvent être des robots, des logiciels, des drones ou des véhicules, chacun étant équipé de capacités de détection, de communication et de prise de décision. La coordination de ces agents est essentielle pour s'attaquer à des tâches complexes qui dépassent la capacité d'un seul agent, depuis l'automatisation des entrepôts et les missions de recherche et sauvetage jusqu'à la conduite autonome sur route et la détection distribuée.

Fondations des systèmes multi-agents

Avant de plonger dans un contrôle optimal, il est essentiel de comprendre les éléments constitutifs de base des systèmes multi-agents. Les agents peuvent être homogènes (identique en capacité et comportement) ou hétérogéniques[ (diversité en matériel, en logiciel ou en rôles). Les équipes hétérogéniques sont souvent plus flexibles mais nécessitent des mécanismes de coordination plus sophistiqués. La communication entre agents peut suivre une architecture centralisée — où un agent ou un serveur central recueille toutes les informations et les commandes de problèmes — ou une architecture décentralisée, où les agents échangent des informations uniquement avec leurs voisins.

Représentation graphique-théorique

Un outil mathématique commun pour modéliser les topologies d'interaction dans les systèmes multi-agents est la théorie du graphique. Les agents sont représentés comme des nœuds dans un graphique, et les liens de communication ou de détection sont des bords. La matrice de l'adjacence du graphique capture quels agents peuvent échanger des données, tandis que la matrice Laplacienne est utilisée pour analyser les propriétés de consensus et de synchronisation. Par exemple, dans un protocole consensus, chaque agent met à jour son état en fonction de la différence entre son propre état et la moyenne pondérée des états de ses voisins.

Taxonomie de la coordination multi-agents

Les tâches de coopération peuvent être classées en plusieurs catégories: consensus (les agents conviennent d'une valeur commune), contrôle de la formation[ (les agents maintiennent une forme géométrique désirée), couverture (agents répartis pour surveiller une zone), attribution des tâches[ (attribution de sous-tâches aux agents), et déploiement/chauffement (inspiré par des collectifs naturels comme les troupeaux d'oiseaux et les écoles de poissons). Chaque problème a ses propres objectifs et contraintes de contrôle, et le choix d'une méthode de contrôle optimale dépend de l'objectif et de l'environnement spécifiques.

Formulation de problèmes pour un contrôle optimal

Le contrôle optimal des systèmes multi-agents vise à trouver des entrées de contrôle qui minimisent une fonction coût[ tout en satisfaisant la dynamique des agents et les contraintes inter-agents. Le problème est souvent formulé comme une optimisation contrainte sur un horizon fini ou infini. Laissez chaque agent i avoir un vecteur d'état xi(t)[ et l'entrée de contrôle u]i(t)[], avec la dynamique décrite par [ẋ]] = f]]]i[t)][x][F

L'aspect coopératif[ apparaît dans la fonction de coût et les contraintes : les agents doivent partager l'information pour minimiser un objectif global, éviter les collisions entre eux ou maintenir la formation. Le défi est que l'optimisation devient couplée entre les agents, ce qui entraîne un problème à grande échelle, souvent non convexe, qui nécessite des techniques de décomposition ou d'optimisation distribuée.

Défis dans le contrôle optimal des systèmes multi-agents

Si les avantages de la coopération multi-agents sont évidents, il est difficile de parvenir à un contrôle optimal dans la pratique, non seulement sur le plan technique mais aussi sur le plan de la complexité inhérente à la prise de décisions réparties dans l'incertitude.

Échelle

Les solutions centralisées, où un seul contrôleur résout l'optimisation multi-agents, peuvent devenir insolubles pour les équipes de centaines ou de milliers d'agents. L'espace d'état explose, et le temps nécessaire pour calculer des actions de contrôle globalement optimales peut dépasser les contraintes en temps réel. Les algorithmes évolutives doivent avoir une complexité qui croît linéairement (ou sous-linéairement) avec le nombre d'agents, souvent obtenus par décomposition et interaction locale.

Contraintes en matière de communication

L'échange d'informations fiable n'est pas garanti dans les déploiements réels. Les agents peuvent connaître des retards de communication, , perte de paquets[, bande passante limitée[, ou une connectivité intermittente. Les stratégies de contrôle doivent être robustes à ces imperfections.

Décentralisation et protection des renseignements personnels

Dans de nombreuses applications, un contrôleur central est indésirable en raison de préoccupations de confidentialité, de risques de sécurité ou de limitations d'infrastructure. Le contrôle décentralisé exige que chaque agent calcule son action de contrôle en se basant uniquement sur des informations locales et des mises à jour limitées de voisins. Cela nécessite des algorithmes d'optimisation répartis qui convergent vers un optimum global (ou quasi-optimum) sans partager d'informations complètes.

Hétérogénéité

Lorsque les agents ont des dynamiques, des capacités ou des contraintes différentes, le problème de contrôle devient plus complexe. Par exemple, une équipe de drones à voilure fixe et de quadcopters exige différentes lois de contrôle et stratégies de coordination parce que leurs modèles de mouvement diffèrent considérablement. La fonction de coût doit tenir compte de ces différences, et les algorithmes d'attribution des tâches doivent correspondre de façon optimale aux fonctions des agents.

La robustesse à l'incertitude

Les environnements réels sont stochastiques : les capteurs produisent des mesures bruyantes, les actionneurs ont des inexactitudes et les perturbations externes (vent, terrain, actions humaines) affectent le comportement des agents. Une politique de contrôle optimale calculée pour un modèle nominal peut être mal exécutée sous ces incertitudes. Le contrôle des robots et les méthodes de contrôle optimal des stochastiques visent à garantir des limites de performance ou à minimiser le coût prévu.

Stratégies optimales de contrôle

Un large éventail de méthodes a été développé pour relever les défis ci-dessus. Le choix de la stratégie dépend de la taille de l'équipe, des capacités de communication, des exigences de tâches et des ressources informatiques disponibles.

Modèle de contrôle prédictif (MPC)

Dans un cadre centralisé MPC[, un seul contrôleur résout un problème d'optimisation sur un horizon de recul pour générer des entrées de contrôle pour tous les agents. Bien que simple, cette approche ne s'évalue pas bien. ]Distribué MPC (DMPC)[ partitionne le problème : chaque agent résout son propre problème local MPC pendant que le partage itératif des trajectoires prédites avec les voisins. Les algorithmes DMPC communs incluent DMPC coopératif (agents optimisent un objectif commun) et DMPC non coopératif (chaque agent optimise son propre objectif, traitant les voisins comme des perturbations).

Par exemple, dans le cas d'un peloton autonome, le module MPC de chaque véhicule calcule des commandes d'accélération qui maintiennent des distances intervéhicules sûres tout en réduisant la consommation de carburant. En échangeant des profils d'accélération prévus sur une liaison de communication à courte portée dédiée, le peloton atteint la stabilité de la chaîne. La recherche a montré que le MPC distribué peut garantir l'évitement des collisions et la faisabilité sous des hypothèses légères.

Optimisation distribuée

Lorsque la fonction de coût global peut être décomposée comme une somme des coûts locaux plus les termes de couplage, les méthodes d'optimisation distribuées telles que Méthode de direction alternative des multiplicateurs (ADMM) et composition double sont efficaces. Dans ADMM, chaque agent résout un sous-problème local qui comprend une pénalité sur l'écart par rapport aux variables de consensus. L'algorithme itère entre la minimisation locale et une étape de coordination centralisée ou décentralisée (p. ex., moyenne). ADMM converge vers l'optimum global sous convexité et a été appliqué avec succès au contrôle de la formation multirobot et à la gestion du trafic de drones. Voir cette enquête sur l'optimisation distribuée pour les systèmes multirobots.

Contrôle fondé sur l'apprentissage

Dans des environnements dynamiques ou mal modélisés, les approches basées sur l'apprentissage offrent une flexibilité. L'apprentissage du renforcement multi-agents (MARL)[ permet aux agents d'apprendre des politiques optimales par l'interaction avec l'environnement et entre eux. Des algorithmes tels que MADDPG[ (gradient de la politique déterministe profonde multi-agents) et QMIX[ sont conçus pour gérer des environnements coopératifs et concurrentiels. Cependant, MARL souffre de non-stationarité (puisque tous les agents apprennent simultanément) et nécessite une affectation de crédit prudente.

La navigation autonome par essaim de drones dans des environnements encombrés est un cas d'utilisation privilégié : les agents apprennent à éviter les collisions et à rester ensemble tout en explorant des espaces inconnus. Un exemple notable est la commande de vol distribuée d'un essaim de 10 drones utilisant l'apprentissage par renforcement.

Contrôle fondé sur le consensus

Les algorithmes de consensus fournissent une méthode évolutive et sans gradient pour que les agents parviennent à un accord sur une variable commune (p. ex. position, cap ou vitesse). Dans le contrôle de la formation, les protocoles de consensus sont combinés avec des champs potentiels locaux pour maintenir les distances interagents souhaitées. L'approche basée sur le consensus est de nature à être simple et ne nécessite que la communication locale, ce qui la rend adaptée aux très grands essaims.

Contrôle théorique du jeu

Pour les tâches coopératives, les jeux potentiels garantissent l'existence d'un équilibre pur Nash, et les agents peuvent améliorer leurs politiques pour atteindre une configuration socialement optimale. Dans les jeux de différence, chaque agent résout un problème d'optimisation dynamique qui dépend des stratégies des autres. Cette approche est souvent utilisée dans les scénarios de poursuite-évacuation multivéhicules et l'allocation de ressources distribuées.

Applications du contrôle optimal coopératif

Les avancées théoriques dans le contrôle optimal multi-agents ont engendré une large gamme d'applications réelles dans les industries. Ci-dessous, nous mettons en évidence plusieurs domaines où le contrôle coopératif a un impact tangible.

Swarm Robotics pour l'exploration et la recherche

Les missions de recherche et sauvetage dans les zones sinistrées bénéficient de l'essaim robot qui peut couvrir de grandes zones rapidement. Les algorithmes de contrôle optimaux doivent équilibrer l'exploration (couvrant de nouveaux terrains) avec l'entretien de la communication (assurer la connexion des séjours d'essaim). Par exemple, un algorithme de contrôle de la couverture distribué peut conduire chaque robot à une position de surveillance optimale, minimisant ainsi la zone globale d'incertitude. Les expériences sur le terrain ont démontré que des robots terrestres et aériens autonomes coopèrent pour localiser les survivants dans les décombres.

Déplacement autonome de véhicules

Dans le transport, le pelotonnage des poids lourds réduit la traînée aérodynamique, la consommation de carburant et les émissions. Le véhicule de tête fixe la vitesse et suit les véhicules maintenir un écart serré grâce à un régulateur de vitesse adaptatif amélioré par la communication intervéhicules.Des méthodes de contrôle optimales, particulièrement distribuées MPC, sont utilisées pour assurer le confort, la sécurité et la stabilité des cordes.

Réseaux de capteurs distribués

Les réseaux de capteurs fixes ou mobiles collaborent pour surveiller les paramètres environnementaux (p. ex. température, pollution, activité sismique).Le contrôle optimal des positions des capteurs ou des taux d'échantillonnage peut maximiser le gain d'information tout en minimisant la consommation d'énergie.Les filtres Kalman basés sur le consensus permettent aux capteurs d'estimer l'état d'un champ environnemental sans fusion centrale.

Formations coopératives de drones

Les émissions de lumière commerciale (p. ex., les drones Intel Shooting Star) reposent sur des trajectoires centralisées pré-planifiées, mais des applications plus avancées nécessitent une replanification en ligne. Les formations pour la surveillance, la livraison de paquets ou le relais de communications bénéficient d'un contrôle optimal qui maintient la forme tout en évitant les obstacles et en limitant le drainage de la batterie.

Orientations futures et problèmes ouverts

Malgré des progrès rapides, de nombreux défis subsistent. La prochaine génération de contrôles optimaux multi-agents intégrera probablement l'apprentissage et le contrôle plus étroitement, traitera des garanties de sécurité pour les politiques basées sur l'IA et fonctionnera sous des contraintes de ressources extrêmes.

Intégration de l'intelligence artificielle

Cependant, les méthodes MARL actuelles ont du mal à obtenir l'efficacité des échantillons et ne sont pas assorties de garanties formelles de sécurité. Combiner l'apprentissage avec le contrôle prédictif du modèle — en utilisant des réseaux neuronaux pour prédire la dynamique ou pour optimisation du démarrage à chaud — est une direction prometteuse. Safe RL et contraint-aware learning sont des domaines de recherche actifs.

Algorithmes évolutives pour les très grands swarms

Pour les essaims de centaines ou de milliers d'agents (par exemple, micro-drones ou robots essaims pour la construction), la communication et le calcul doivent être extrêmement légers. La théorie du jeu moyen-champ remplace les grandes populations par une limite continue, réduisant le problème de contrôle à la résolution d'équations différentielles partielles.

Interaction homme-chauffe

Les systèmes multi-agents étant déployés aux côtés des humains, les stratégies de contrôle doivent tenir compte des opérateurs humains qui donnent des commandes de haut niveau ou qui travaillent à proximité. La conception d'interfaces intuitives et de schémas de contrôle partagés (p. ex., « playback » ou « lead ») est essentielle.

Robuste et vérification formelle

Les applications critiques pour la sécurité, comme les taxis d'air autonomes ou les robots chirurgicaux, nécessitent un contrôle provulnérablement correct. Les fonctions de barrier[ et contrôlent les fonctions de Lyapunov peuvent être intégrées dans un contrôle optimal pour assurer la sécurité et la convergence.

En conclusion, le contrôle optimal des systèmes multi-agents est un domaine multidisciplinaire dynamique qui combine la théorie du contrôle, l'optimisation, l'apprentissage automatique et la robotique. Les outils fondamentaux – de la théorie des graphiques et de la MPC distribuée à la MARL – continuent d'évoluer, permettant des comportements coopératifs de plus en plus sophistiqués.