Le rôle des méthodes de variation dans la théorie optimale du contrôle

La théorie du contrôle optimal fournit un cadre mathématique pour concevoir des systèmes dynamiques qui permettent d'atteindre un comportement désiré tout en minimisant ou en maximisant une mesure de performance. Les ingénieurs, les économistes et les mathématiciens appliqués s'appuient sur cette discipline pour résoudre des problèmes allant de l'optimisation de la trajectoire de fusée à l'allocation des ressources en finance. Parmi les outils les plus puissants développés à cette fin, on peut citer les méthodes variationnelles, qui réinterprètent les problèmes de contrôle à travers l'objectif du calcul des variations.

Fondations du Calcul des Variations

Avant de traiter directement les problèmes de contrôle, il est essentiel de comprendre le calcul des variations, qui traite des fonctions de recherche qui extrémitént une fonction. Un J map une fonction y(x) à un nombre réel, généralement exprimé comme une intégrale: J[y] = -L(x, y, y') dx. Le but est de trouver la fonction y] qui rend J stationnaire (généralement un minimum).

Dans le contrôle optimal, la fonction représente un indice de performance (p. ex. consommation de carburant, temps ou erreur au carré), et la fonction à trouver est la loi de contrôle u(t). La dynamique du système agit comme une contrainte différentielle d'égalité liant l'état x(t) et le contrôle u(t). En formant une fonction augmentée qui inclut la dynamique par l'intermédiaire des multiplicateurs de Lagrange (cotes), le problème devient un calcul des variations avec une variable indépendante (temps) et deux variables dépendantes (état et coût). L'équation Euler-Lagrange donne alors les conditions nécessaires pour l'optimisation, souvent exprimées sous la forme des équations Hamiltonienne et adjointe.

Pour les lecteurs intéressés par une plongée plus profonde dans le calcul des variations, MIT OpenCourseWare offre une excellente série de conférences.

Structure formelle d'un problème de contrôle optimal

Un problème de contrôle optimal est défini par les éléments suivants:

  • Équations d'état: Un système d'équations différentielles ordinaires =f(x, u, t), où x -Rn est le vecteur d'état et u -Rm est le vecteur de contrôle.
  • Indice de performance[: Un scalaire fonctionnel J[ = φ(x(tf, t[f) + φt0t[]f] L(x, u, t) dt, où φ est le coût terminal et L le coût d'exploitation.
  • Constraints : Ces conditions peuvent comprendre des conditions initiales et terminales sur les états, des limites sur les contrôles ou des contraintes de chemin d'inégalité (p. ex. obstacles en robotique).

L'objectif est de trouver une trajectoire de contrôle admissible u*(t) et la trajectoire d'état correspondante x*(t) qui minimisent (ou maximisent) J[ tout en satisfaisant les équations et contraintes d'état. Le problème peut être résolu de plusieurs façons, les méthodes de variation étant parmi les plus fondamentales.

Réforme variée : les Hamiltoniens et les Lagrangiens

L'approche lagrangienne

Pour appliquer des méthodes de variation, l'optimisation dynamique contrainte est convertie en un problème non contraint à l'aide de multiplicateurs Lagrange.

L = φ(x(tf), t[f) + φt0t[f] [L(x, u, t) + λT(t)(f(x, u, t) - ) ] dt

Ici λ(t) - -Rn est le vecteur des multiplicateurs Lagrange, souvent appelés variable costate ou adjointe. En prenant la première variation de L[ par rapport à x, u et λ, et en la fixant à zéro, donne les conditions nécessaires pour l'optimalité. L'intégration par les parties par rapport au terme -- produit l'équation adjointe et les conditions limites sur les Costaates.

La formulation hamiltonienne

Il est courant de définir les équations Hamiltoniennes H = L + λT f. Ensuite, les équations Euler-Lagrange deviennent un ensemble d'équations canoniques:

  • Équation d'état[: -= -H/-λ
  • Équation de la coétate[: λ λ λ = - λH/ χ
  • Conditions d'optimisation[: -H[/-u = 0 (pour les minima intérieurs, en supposant qu'il n'y ait pas de limites de contrôle)
  • Conditions limites: états fixes ou conditions de transversalité impliquant -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Ces conditions nécessaires de premier ordre sont le fondement de la plupart des résolveurs de commande optimaux à base de variation. Lorsque des contraintes de contrôle sont présentes (par exemple, u -U, un ensemble fermé), la condition -[H[/-u = 0 est remplacée par le principe maximal de Pontryagin (PMP), qui stipule que le contrôle optimal minimise le sens du point hamiltonien : u* = argminuH(x*, λ*, u, t).

Pontryagines Principe maximum : le résultat principal

Le principe maximal de Pontryagin est un résultat central dans la théorie de contrôle optimal qui généralise le calcul des variations pour gérer les contraintes de contrôle. Il fournit à la fois les conditions nécessaires et, sous des hypothèses de convexité, suffisantes pour l'optimalité. Le principe indique que pour le problème de contrôle optimal décrit ci-dessus, il existe un coût λ(t) tel que:

  1. Le Hamiltonien est minimisé par le témoin optimal : H(x*, λ*, u*, t) ≤ H(x*, λ*, u, t) pour tous les u admissibles.
  2. Le coût évolue selon λ λ λ = - λH/ λx, avec des conditions de transversalité appropriées au moment du terminal.
  3. L'équation d'état --H/-=- est maintenue avec les conditions initiales données.

On peut obtenir des PMP par des méthodes de variation en considérant les perturbations du contrôle en forme d'aiguille et en analysant le changement résultant dans le coût fonctionnel.Ce principe est particulièrement puissant pour les problèmes de contrôle de bang-bang (où le contrôle optimal bascule entre les valeurs extrêmes) et les arcs singuliers (où le Hamiltonien est linéaire dans le contrôle). Scholarpedia fournit un aperçu détaillé du principe maximal de Pontryagin.

Résoudre les problèmes de contrôle optimal avec les méthodes de variation

Méthodes indirectes

Les méthodes variables forment la base des résolveurs indirects, qui tentent de résoudre le problème de la valeur de la limite à deux points (TPBVP) découlant des conditions nécessaires. Les équations de l'état et du coût, ainsi que les conditions de la limite, constituent un système différentiel-algébrique.

  • Méthodes de mise en place: Devinez les coûts initiaux inconnus et intégrez l'avant; ajustez les prévisions en utilisant la méthode Newton="s pour satisfaire les conditions terminales.
  • Shooting multiple: Diviser l'horizon temporel en segments, imposer des conditions de continuité et résoudre un système non linéaire plus grand.
  • Méthodes de collocation: Discrétiser l'état et calculer les trajectoires aux points de collocation et imposer des équations différentielles comme contraintes algébriques.

Méthodes directes

Bien que non purement variationnelles, les méthodes directes tracent également leurs racines au calcul des variations. Elles discrétisent les variables de contrôle et parfois d'état, convertissant le problème de contrôle optimal en un problème de programmation non linéaire (NLP). Le NLP est ensuite résolu à l'aide d'algorithmes d'optimisation standard (par exemple, programmation quadrimatique séquentielle). Les méthodes directes sont plus faciles à initialiser et à gérer les contraintes plus solidement que les méthodes indirectes, mais elles ne fournissent pas directement l'information chiffrée (qui peut être récupérée via des variables doubles).

Exemple illustré : Régulateur linéaire quadriratique (LQR)

L'application classique des méthodes de variation est le problème du régulateur quadriatique linéaire (LQR). Considérez un système linéaire - - = Ax + Bu et un coût quadratique J = - - (xTQx + uTRu) dt, avec Q ≥ 0 et R > 0. Le Hamiltonien est H[ = xTQx + uTRu + λT(Ax + Bu). L'état d'optimalité -H/---------------------------------------------------------------------------------------------------------

Pour un tutoriel complet sur LQR et sa connexion au calcul variationnel, Stanford , les notes EE363 fournissent un traitement en profondeur.

Contraintes de manipulation dans le contrôle optimal de variation

Contraintes d'inégalité sur les contrôles

Lorsque le contrôle est limité, la condition -H/-u = 0 peut ne pas donner de solution possible. Au lieu de cela, selon PMP, le contrôle optimal minimise le Hamiltonien sur l'ensemble admissible. Cela conduit à des structures possibles : bang-bang (où u saute entre les limites) ou arcs singuliers (où -H/-u = 0 et le Hamiltonien est linéaire en u).

Contraintes d'inégalité d'État

Les contraintes sur l'état, comme x(t) ≤ x max, sont plus complexes. Les méthodes variables les traitent en augmentant le Lagrangien avec des multiplicateurs supplémentaires (ou en utilisant une approche de fonction de pénalité). La solution peut impliquer des arcs de contact où la contrainte est active, et le coût peut avoir des conditions de saut aux heures d'entrée/sortie.

Temps terminal libre et conditions de transversalité

Si le temps final tf est libre, une condition supplémentaire s'applique : le Hamiltonien au moment du terminal doit satisfaire H(tf) = -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Avantages et limites des méthodes de variation

Avantages

  • Conditions d'optimisation des rayons[: Les méthodes de variation produisent les conditions nécessaires qui peuvent être vérifiées de façon analytique ou numérique. Elles permettent de comprendre la structure de la solution optimale (p. ex. temps de commutation, arcs singuliers).
  • Application aux problèmes non linéaires[: Contrairement aux outils de conception de contrôle linéaire, les méthodes de variation peuvent gérer la dynamique non linéaire et les coûts non-quadratiques, tant que les conditions nécessaires peuvent être dérivées et résolues.
  • Informations sur la coétate[: Les variables communes λ(t) ont des interprétations économiques (prix de l'ombre) dans les problèmes d'allocation des ressources et l'analyse de sensibilité en ingénierie.
  • Cadre unifié: Les mêmes principes variationnels sous-tendent de nombreux domaines: mécanique (lagrangienne/dynamie hamiltonienne), économie (croissance optimale) et physique (principe d'action minimum).

Limitations

  • Problème de valeur de frontière à deux points : La résolution du PTBVP est notoirement sensible aux hypothèses initiales.
  • Frais informatiques[: Les méthodes indirectes nécessitent la résolution d'équations différentielles avec des conditions limites inconnues, conduisant souvent à la recherche de racines non linéaires itératives qui s'écrasent mal avec la dimension.
  • Limitations avec contraintes de trajectoire[: Les contraintes d'état et les contraintes mixtes peuvent introduire des arcs singuliers et des structures de commutation complexes qui sont difficiles à deviner a priori.
  • Lac de robustesse: Les conditions nécessaires sont locales; avec des problèmes non convexes, il existe plusieurs solutions fixes, et la méthode peut converger vers un extrémum suboptimal.

Malgré ces limitations, les méthodes variationnelles restent essentielles pour l'analyse théorique et l'étalonnage.Elles fournissent l'épine dorsale mathématique pour les approches de programmation directe et dynamique.L'article de Wikipedia sur le contrôle optimal offre une perspective large sur les différentes méthodes de solution.

Extensions et applications modernes

Contrôle optimal robuste et stochastique

Dans le contrôle stochastique optimal, le coût fonctionnel est une attente, et le système est entraîné par le mouvement brownien. L'équation Hamilton-Jacobi-Bellman (HJB) provient de la programmation dynamique, mais les formulations variationnelles (principe maximal stochastique) fournissent une voie alternative. Pour le contrôle robuste, les formulations min-max utilisent des inégalités variationnelles pour gérer les perturbations les plus graves.

Contrôle optimal des équations différentielles partielles (EDP)

Lorsque l'état est régi par un PDE (par exemple, équation de chaleur, Navier-Stokes), les méthodes de variation deviennent essentielles. Le coût fonctionnel implique des intégrales sur l'espace et le temps, et les conditions nécessaires conduisent à des PDE adjoints qui doivent être résolus en arrière dans le temps. Ce cadre est largement utilisé dans le contrôle de flux de fluide, l'optimisation structurelle, et le traitement d'image.

Renforcement de l'apprentissage et de l'apprentissage automatique

Les algorithmes modernes d'apprentissage du renforcement (RL) pour le contrôle continu, comme les méthodes de critique des acteurs, utilisent implicitement des approches basées sur le gradient qui peuvent être liées à un contrôle optimal variationnel. Le théorème du gradient politique est analogue à l'analyse de sensibilité dérivée des équations de coût.

Applications en aérospatiale et robotique

Par exemple, le problème de la fusée Goddard (altitude maximale donnée par le carburant) est un cas classique de test pour les méthodes indirectes. De même, les manipulateurs robotiques résolvent souvent un contrôle optimal limité pour minimiser l'énergie tout en évitant les obstacles, en utilisant la collocation directe ou la prise de vue multiple dérivée de principes de variation.

Pour les lecteurs intéressés par les implémentations pratiques, ce dépôt GitHub cure des tutoriels et des exemples de code pour résoudre des problèmes de contrôle optimaux avec des méthodes directes et indirectes.

Considérations pratiques concernant l'utilisation de méthodes variables

Lorsqu'ils appliquent des méthodes de variation à un problème de contrôle optimal dans le monde réel, les praticiens devraient envisager les étapes suivantes:

  • Modèle Formulation[: Définir clairement les variables d'état, les entrées de contrôle, la dynamique et le coût fonctionnel.
  • Check for Contraintets: Identifier si le problème implique des limites de contrôle, des contraintes d'état ou des contraintes terminales.Cela détermine si la condition d'optimalité est -H/-u = 0 ou une condition min- H .
  • Conditions nécessaires de vie[: Écrire le Hamiltonien, calculer -H/-H/-u, et obtenir le système d'ODE de la coétate d'État. Déterminer les conditions de frontière et de transversalité.
  • Choisir la méthode de solution: Pour les problèmes de faible dimension, une méthode de prise de vue indirecte avec une bonne estimation initiale peut être efficace.Pour des dimensions plus élevées ou des contraintes complexes, la collocation directe (p. ex., utilisant des logiciels comme CasAdi ou ACADO) est souvent plus robuste.
  • Validité Optimisation[: Après avoir obtenu une solution candidate, vérifier que l'Hamiltonien est minimisé de façon ponctuelle (si PMP s'applique) et vérifier les conditions de deuxième ordre (convexité de l'Hamiltonien) pour confirmer l'optimalité locale.

Le choix entre les méthodes indirectes et directes dépend des caractéristiques du problème et de la connaissance de l'utilisateur des équations différentielles. De nombreuses bibliothèques modernes, telles que la page du logiciel de l'Association for Computational Optimal Control=, fournissent des références comparatives.

Conclusion

En transformant l'optimisation dynamique en un problème de calcul des variations, elles produisent les conditions nécessaires — les équations Euler-Lagrange, la formulation Hamiltonienne et le principe maximum de Pontryagin — qui guident la recherche de lois de contrôle optimales. Malgré les défis informatiques associés à la résolution de problèmes de valeur à deux points, ces méthodes demeurent indispensables pour l'analyse théorique, l'analyse comparative et la compréhension de la structure des solutions optimales. Elles ont été étendues pour gérer les contraintes, les incertitudes et les systèmes de paramètres distribués, et elles sous-tendent de nombreux algorithmes modernes dans les domaines de la robotique, de l'aérospatiale et de l'apprentissage des machines.