Renforcement de l'apprentissage et du contrôle de la PID : un nouveau paradigme

Les contrôleurs proportionnels-intégraux-dérivatifs (PID) restent le cheval de bataille des systèmes de contrôle industriels, utilisés dans tout, de la régulation de la température au positionnement robotisé des bras. L'accord des trois gains (Kp, Ki, Kd) pour obtenir un comportement stable et réactif est un défi technique classique. Les méthodes traditionnelles d'accord PID – telles que Ziegler-Nichols, Cohen-Coon ou optimisation basée sur le modèle – reposent sur un modèle mathématique raisonnablement précis de l'usine ou sur des expériences de réponse progressive. Mais, à mesure que les systèmes deviennent plus complexes, non linéaires et sujets à des changements en temps réel, ces approches conventionnelles sont souvent insuffisantes.

Qu'est-ce que l'apprentissage sans modèle?

L'apprentissage du renforcement est une branche de l'apprentissage automatique où un agent apprend à prendre une séquence de décisions en interagissant avec un environnement. L'agent prend des mesures (par exemple, ajuster les gains de PID), observe l'état résultant et un signal de récompense, et met à jour sa politique pour maximiser la récompense cumulative au fil du temps.

Bien que les approches fondées sur les modèles puissent être efficaces par sondage, elles souffrent de biais de modèle et peuvent échouer catastrophiquement lorsque le modèle est inexact. Des méthodes sans modèle, comme l'apprentissage Q, les réseaux Q profonds (DQN), les gradients de politique (REINFORCE) et les architectures acteur-critique (A2C, DDPG, PPO), ont démontré un succès remarquable dans les tâches de contrôle continu, ce qui en fait des candidats naturels pour le réglage PID.

Pourquoi travailler sans modèle pour le contrôle

Les systèmes de contrôle, en particulier ceux régis par PID, vivent dans un espace d'action continu : les gains peuvent être des nombres réels dans les limites. Les algorithmes RL sans modèle comme le Gradient de la politique déterministe profonde (DDPG) ou l'optimisation de la politique proximale (PPO) sont conçus pour gérer exactement ces espaces. Ils apprennent une politique qui cartographie les états observés (erreur, intégrale, dérivée ou sortie système) pour obtenir des ajustements.

Avantages de la LR sans modèle pour le réglage de la PID

Adaptabilité en temps réel

Dans de nombreux scénarios pratiques, une dynamique de l'usine change au fil du temps en raison de l'usure, des changements environnementaux ou de conditions de charge variables. Un contrôleur PID accordé hors ligne avec des méthodes traditionnelles devient suboptimal et peut même devenir instable. RL sans modèle excelle dans l'adaptation en ligne: l'agent continue à interagir avec le système et affiner sa politique. Par exemple, un PID ajusté RL pour un quadcopter peut maintenir un vol stable à mesure que la tension de la batterie diminue ou que des dommages à l'hélice se produisent, tandis qu'un contrôleur à gain fixe nécessiterait un recalibrage.

Élimination de la modélisation du système

La construction d'un modèle mathématique précis d'un procédé industriel complexe, tel qu'un réacteur chimique, un bras robotique flexible ou une éolienne, peut prendre des semaines ou des mois d'efforts d'experts. Le modèle n'est jamais parfait et ses simplifications dégradent souvent les performances de contrôle. Avec un RL sans modèle, la seule exigence est la capacité de faire fonctionner le système physique (ou un simulateur de haute fidélité) et d'observer un signal de récompense scalaire.

Manipulation Non-linéarités et incertitudes

Lorsque le système est très non linéaire – par exemple dans la lévitation magnétique, les actionneurs hydrauliques ou les dispositifs biomédicaux – l'approximation linéaire se décompose en dehors d'une région étroite. L'utilisation de la LR sans modèle n'assume pas la linéarité. En apprenant une politique par de nombreux épisodes d'interaction, l'agent de la LR apprend implicitement à gérer l'hystérie, la friction, les zones mortes et d'autres effets difficiles à modéliser. Il traite aussi naturellement des perturbations stochastiques et du bruit des capteurs, tant que la fonction de récompense fournit des commentaires sur l'atténuation souhaitée.

Optimisation automatisée de bout en bout

Le réglage PID est un problème multi-objectifs : on veut un temps de montée rapide, un dépassement minimal, une petite erreur de stabilité et une robustesse aux perturbations. Les méthodes traditionnelles exigent du concepteur qu'il échange manuellement ces objectifs. Le RL sans modèle peut intégrer directement tous ces objectifs dans la fonction récompense. Par exemple, la récompense peut pénaliser le temps de réglage, l'erreur absolue intégrale (EAI), la consommation d'énergie et l'effort de contrôle simultanément, avec des poids définis par l'utilisateur. L'agent apprend alors une politique unique qui optimise l'objectif composite, automatisant efficacement l'ensemble du processus de réglage.

Mise en œuvre de la LR sans modèle pour l'optimisation des PID

Définition de l'État et des espaces d'action

La représentation de l'état devrait saisir toutes les informations nécessaires pour déterminer les gains de PID bons. Les choix courants comprennent les derniers échantillons de l'erreur de suivi, l'intégrale d'erreur et la dérivée d'erreur, ainsi que peut-être les gains de PID actuels eux-mêmes. Dans certaines implémentations, l'état est simplement l'erreur normalisée, intégrale et dérivée (les trois composants sur lesquels l'IDP agit). L'action est généralement un vecteur d'ajustement des gains – soit des valeurs absolues, soit des changements de delta.

Conception de la fonction de récompense

La fonction de récompense est sans doute l'aspect le plus critique de l'accord PID basé sur la RL. Une récompense mal conçue peut conduire à des oscillations, à un comportement agressif ou à un échec de convergence. Une bonne pratique est de définir une récompense qui est une somme pondérée de pénalités négatives: r(t) = -[w1· φe(t) , et le terme intégral encourage l'erreur de contrôle zéro état stable. On peut aussi utiliser l'intégrale temporelle d'un critère comme IAE, ISE ou ITAE comme retour épisodique et fixer la récompense au coût négatif de ce cumul.

Sélection de l'algorithme

Pour les espaces d'action continue, les algorithmes les plus utilisés sont les suivants:

  • Dep Deterministic Policy Gradient (DDPG): Méthode d'action-critique qui apprend une politique déterministe et une fonction Q. Elle est efficace par l'échantillonnage et fonctionne bien dans les espaces d'états à faible dimension typiques du réglage PID.
  • Proximale Policy Optimization (PPO): Méthode de graduation des politiques qui limite la mise à jour des politiques pour éviter de gros changements destructeurs. PPO est plus stable sur une plus large gamme d'hyperparamètres et est souvent préféré pour les systèmes du monde réel où la fiabilité est importante.
  • Twin DDPG (TD3) retardé: Une amélioration par rapport à DDPG qui atténue la surestimation de valeur, offrant une meilleure performance et stabilité.

Pour les cas simples et à faible dimension, l'apprentissage de base en Q-Tabulaire ou SARSA peut être utilisé si l'état et les espaces d'action sont discrétés, mais cela est rarement pratique pour l'accord de gain continu.

Formation à la simulation par rapport au matériel réel

La formation d'un agent RL directement sur un système physique comporte des risques de dommages et nécessite de nombreux épisodes (potentiellement des milliers) pour converger. L'approche standard consiste à d'abord former un simulateur de haute fidélité – en utilisant un moteur physique comme MuJoCo, Gazebo ou un jumeau numérique – et ensuite transférer la politique apprise au système réel (transfert sim-to-real).La randomisation de domaine (variant les paramètres du simulateur comme la friction, la masse ou le délai pendant l'entraînement) aide la politique à généraliser les conditions réelles.

Considérations liées à l'architecture des réseaux neuronaux

Pour l'accordage des gains de PID, les réseaux de politiques et de valeurs sont généralement petits, deux ou trois couches cachées avec 64-256 neurones chacune. La couche d'entrée correspond à la dimension de l'état (souvent 3-10), et la couche de sortie a trois neurones (ΔKp, ΔKi, ΔKd). Les activations de la reLU sont courantes dans les couches cachées, avec tangh ou activation linéaire sur la sortie.

Défis et considérations

Efficacité de l'échantillon et temps de convergence

Pour un processus industriel lent où une seconde de temps réel correspond à une seule étape, la formation peut prendre des heures ou des jours. C'est un obstacle majeur à la formation en ligne directe. Les solutions comprennent l'utilisation de simulation rapide (le simulateur peut fonctionner plus rapidement que le temps réel), des environnements de formation parallélisés ou le transfert d'apprentissage d'une tâche similaire.

Sécurité pendant l'exploration

Pendant la formation, l'agent de RL doit explorer l'espace d'action pour trouver de meilleures politiques. L'exploration aléatoire des gains de PID peut faire que le contrôleur devienne instable, oscillant sauvagement ou conduisant le système dans des régions dangereuses. Il est essentiel de mettre en place des contraintes de sécurité : des coupures d'action, des pénalités pour dépassement de limites sûres et une réinitialisation périodique à une politique de base stable connue.

Génie de la récompense et compromis multi-objectifs

Il est notoirement difficile de concevoir une fonction de récompense qui donne le comportement souhaité sans effets secondaires involontaires. L'agent peut exploiter la fonction de récompense de façon que le concepteur ne l'anticipait pas, par exemple en provoquant des oscillations rapides qui réduisent brièvement l'erreur mais endommagent le actionneur au fil du temps. Il est crucial de tester diverses formules de récompense dans la simulation et de surveiller des mesures supplémentaires pendant l'entraînement.

Ressources informatiques

L'entraînement des agents RL profonds nécessite une puissance de calcul importante (GPU pour les mises à jour du réseau neuronal). Cependant, comme l'état et les espaces d'action pour le réglage PID sont faibles, la demande de calcul est beaucoup plus faible que dans les jeux ou la robotique avec des entrées de vision à haute dimension. Un ordinateur portable moderne avec un GPU moyen-range peut former un agent PPO en quelques heures pour une installation relativement simple.

Interprétation et validation

Les méthodes classiques de réglage PID donnent des indications mathématiques claires : gain de marges, marges de phase, locus racine, etc. Une politique de réglage RL, par contre, est un réseau neural à boîte noire. Les ingénieurs peuvent être réticents à lui faire confiance sans validation approfondie. Pour y remédier, on peut analyser la politique apprise en balayant les conditions d'exploitation et en vérifiant que les réponses à l'étape résultante sont bien respectées.

Applications et études de cas dans le monde réel

Le réglage de l'ID P basé sur le modèle RL a été démontré dans plusieurs domaines :

  • Robotiques: Une étude réalisée par des chercheurs à l'ETH Zurich a montré que DDPG pouvait apprendre à gagner des horaires pour un quadcopter qui a surperformé les PIDs à la main dans le rejet de perturbations du vent.
  • Optimiser les boucles PID pour la température, la pression et le débit dans les usines chimiques où la dynamique des plantes dérive avec le vieillissement du catalyseur. Travaux publiés dans IEEE Transactions on Industrial Informatics ont appliqué des PPO à un réacteur à cuves mobiles continues simulées, atteignant 30 % moins d'AEI que Ziegler-Nichols.
  • Power Electronics: Tuning PID controllers for DC-DC converters and motor drives where varieting load conditions dgrading performance. RL-tuned controllers ont montré une récupération transitoire plus rapide et une meilleure efficacité à travers les points d'exploitation.
  • Automobile:[ Systèmes de régulation de vitesse et de suspension adaptatifs qui apprennent à ajuster les paramètres PID en fonction des conditions routières et du style de conduite.

Conclusion

En éliminant la nécessité de modèles de centrale explicites et en permettant une adaptation en temps réel, RL peut réduire considérablement l'effort d'ingénierie et améliorer les performances de contrôle dans les applications exigeantes. Cependant, les praticiens doivent gérer soigneusement les défis liés à l'efficacité des échantillons, à la sécurité, à la conception de récompenses et aux besoins en ressources informatiques. Comme les outils de simulation, l'accélération matérielle et les algorithmes robustes continuent de mûrir, RL sans modèle est prêt à devenir un outil standard dans la boîte à outils de l'ingénieur de contrôle, qui complète plutôt que remplace les méthodes classiques.

Pour plus de détails, voir l'enquête exhaustive sur la LR pour le contrôle par Busoniu et al. (2018) et un guide pratique de la LR pour l'accordage de la DIP[ de la communauté Contrôle et Automation.