Разработка оптимальных законов управления для недостаточно отработанных механических систем

Модель предиктивного контроля (MPC)

Модели предиктивного управления решает конечную задачу оптимального управления в режиме онлайн, неоднократно, используя модель системы. Для нелинейных систем, нелинейная MPC (NMPC) особенно привлекательна, потому что она может обрабатывать ограничения, нелинейную динамику и несколько целей одновременно. Контроллер прогнозирует будущие состояния на горизонте N и оптимизирует управляющие входы при соблюдении состояния и входных ограничений. В каждый момент выборки применяется только первый контрольный ход, и оптимизация решается снова с помощью обновленных измерений. Достижения в вычислительной мощности и эффективных решателей (например, последовательное квадратичное программирование, схемы итерации в реальном времени) сделали NMPC возможным для систем, таких как квадроторы, ходовые роботы и автономные транспортные средства. Функция затрат в MPC может кодировать ошибку отслеживания, потребление энергии и комфорт. Однако потребность в точных динамических моделях и вычислительная нагрузка остаются проблемами, особенно для быстрой динамики.

Энергосберегающий контроль

Многие недостаточно активированные механические системы, особенно те, которые имеют пассивные степени свободы, могут управляться путем формирования их общей энергии. Классическим примером является подкачка энергии в систему (изменение точки поворота или прикладывание крутящего момента) на правильной фазе, маятник получает достаточно кинетической энергии, чтобы достичь перевернутого положения. Контроллеры на основе энергии часто полагаются на пассивность, используя тот факт, что естественная динамика системы является энергодиссипативной. Функция Ляпунова может быть построена из разницы между фактической и желаемой энергией плюс демпфирующий термин. Такие контроллеры обычно надежны и не требуют полного планирования траектории состояния - они просто приводят энергию к эталонному значению.

Управление скольжением (SMC) и переменная структура

SMC — это надежный нелинейный метод, который заставляет систему скользить по спроектированной поверхности в пространстве состояний. Он эффективен для несрабатывающих систем с соответствующими неопределенностями, поскольку он может обрабатывать нелинейности и нарушения. Однако болтовня из-за прерывистого переключения может ухудшить производительность. Модификации, такие как SMC более высокого порядка или сглаживание пограничного слоя, смягчают это. SMC можно комбинировать с оптимальными принципами управления, проектируя скользящую поверхность для минимизации интегральной стоимости (например, скользящий режим с LQR-оптимальной скользящей поверхностью). Это особенно полезно для таких систем, как роботизированные манипуляторы с пассивными соединениями.

Усиление обучения (RL) для оптимального контроля

В последние годы обучение с подкреплением (особенно глубокое RL) стало дополнительным подходом к традиционному оптимальному управлению для недостаточно нагруженных систем. Алгоритмы, такие как DDPG (глубоко детерминированный градиент политики), PPO и SAC изучают политику (законы управления) непосредственно из взаимодействия с окружающей средой или из моделирования. RL может обрабатывать сложные нелинейные динамики и неизвестные модели, что делает его привлекательным для сложных ненастроенных задач, таких как акробатические маневры, двуногие ходьбы или гонки на дронах. Однако эффективность выборки, гарантии безопасности и доказательства стабильности остаются открытыми проблемами. Многие исследователи объединяют RL с оптимальным управлением на основе модели (например, поиск политики на основе MPC), чтобы извлечь выгоду из сильных сторон как на основе данных, так и на основе моделей.

Математическая формула задачи оптимального управления

Типичная задача оптимального управления недостаточной механической системой формулируется следующим образом.Динамика системы задается дифференциальным уравнением второго порядка:

M(q) që + C(q, q?) q? + G(q) = B(q) u

где q ∈ Rn являются обобщенными координатами, M(q) является матрицей инерции, C(q, q?) содержит кориолис и центробежные термины, G(q) представляет гравитационные силы, u ∈ Rm является управляющим входом, а B(q) является матрицей отображения входа.Подключение подразумевает, что ранк(B) = m < n. Оптимальное управление стремится минимизировать:

J = φ(q(T), q?(T)) + ⁇ 0T L(q(t), q?(t), u(t)) dt

с учетом ограничений состояния (например, пределов соединения, скоростных границ) и входных ограничений (например, насыщения привода). Конечная стоимость φ и эксплуатационные расходы L выбираются разработчиком. Решение этой проблемы непосредственно, как правило, неразрешимо аналитически для нелинейных недостаточно отлаженных систем, следовательно, зависимость от численных методов или приблизительных решений с помощью методов, описанных выше.

Проблемы в разработке оптимальных законов управления для недостаточно отработанных систем

Нелинейность и неголономия

Недоработанные системы по своей сути нелинейны. Их динамика часто проявляет сложные поведения, такие как бифуркации, хаотические движения и сингулярности. Многие из них также не голономичны, что означает, что достижимые скорости системы в любой конфигурации ограничены подпространством, но ограничения не интегрируемы (например, катящееся колесо или робот-змея). Это усложняет планирование траектории: управление не может просто позиционировать систему напрямую; оно должно использовать пути и дифференциальные ограничения. Оптимальное управление должно явно учитывать эти нелинейные ограничения, часто требующие многократной стрельбы или методов прямого коллокации.

Ввод и государственные ограничения

Физические ограничения, такие как пределы крутящего момента двигателя, пределы угла стыка и предотвращение препятствий, налагают неравенства как на состояния, так и на входы. Приведение их в оптимальную структуру управления увеличивает сложность задачи. Например, квадротор не может превышать максимальную тягу; шагающий робот должен поддерживать контактную силу ноги в колбочках трения. Необходимо гарантировать осуществимость оптимального решения, которое может потребовать смягчения ограничений или барьерных функций.

Модель неопределенности и беспорядков

Точные модели недостаточно приспособленных систем часто трудно получить. Трение, гибкость, динамика привода и взаимодействия с окружающей средой (например, сопротивление воздуха, наземные контакты) вводят неопределенности. Оптимальные законы управления, предназначенные для идеализированной модели, могут работать плохо в реальности. Надежный оптимальный контроль или адаптивный оптимальный контроль (например, использование идентификации системы в паре с MPC) поэтому является активной областью исследований. компромисс между надежностью и оптимальностью особенно очевиден.

Вычислительная сложность

Оптимальное управление в режиме реального времени для недостаточно оснащенных систем требует быстрых решателей. Нелинейный MPC требует решения проблемы ограниченной оптимизации в каждый момент выборки; для высокоразмерных систем (например, гуманоидных роботов с десятками суставов) это может быть вычислительно запретительным. Снижение модели, явная MPC и офлайн-оптимизация (например, примитивы движения) являются общими обходными путями. Появление ускорения GPU и специализированного оборудования (например, решатели на основе FPGA) раздвигает границы, но сложность остается основным препятствием.

Глобальный оптимизм против локальной оптимы

Стоимость ландшафта для недостаточно отработанных систем часто невыпуклый, пронизанный локальными минимумами. Алгоритмы оптимизации на основе градиента (например, прямое коллокация, одиночная съемка) могут сходиться к субоптимальным решениям, если первоначальные догадки не являются отличными. Глобальные методы оптимизации (например, рой частиц, смоделированный отжиг) существуют, но слишком медленные для реального времени. Гибридные подходы, которые сочетают планирование на основе выборки (RRT, PRM) с локальной оптимизацией (например, CHOMP, TrajOpt) популярны в планировании движения для недостаточно отремонтированных роботов.

Тематические исследования и приложения

Квадротор Траектория Отслеживание

Квадроторы являются классическим испытательным стендом для недостаточного оптимального управления. Типичный оптимальный контроллер минимизирует рывок или щелчок (четвертая производная положения) для генерации гладких, энергоэффективных траекторий при соблюдении пределов тяги. Широко используется нелинейный MPC: состояние квадротора (позиция, скорость, ориентация, угловая скорость) прогнозируется на коротком горизонте (0,5-2 секунды) при оптимизации для отслеживания ошибок и входных усилий. Недостаточная тяга преодолевается путем обеспечения наклона вектора тяги, введения связи между переводом и вращением. Последние работы включают предотвращение препятствий и отторжение помех ветра (например, с использованием надежного MPC на основе трубки).

Бипедальная ходьба

Ходячие роботы, такие как двуногие Cassie или Asimo, сильно неактивны в течение одной фазы поддержки (только одна нога в контакте, крутящий момент лодыжки ограничен). Оптимальное управление используется для планирования и стабилизации циклов походки. Проблема часто формулируется как гибридная система (непрерывная динамика + дискретные воздействия на стопу). Методы включают прямую транскрипцию оптимальной проблемы управления (например, использование FROST или OCS2) в сочетании с модельным прогностическим контролем для онлайн-адаптации. Энергооптимальные походки, которые минимизируют стоимость транспорта (COT), являются основной целью, достигаемой за счет использования пассивной динамики через модели весенней массы и оптимизации сил реакции на земле.

Автономные подводные транспортные средства (AUV)

Многие АУВ используют только несколько двигателей (например, два задних и два вертикальных) для навигации по шести степеням свободы. Оптимальные законы управления для отслеживания траектории или парения должны учитывать гидродинамическое сопротивление, токи и связь между осями (например, шаг влияет на скорость вперед). Применялись методы на основе Ляпунова и МПК. Проблема недостаточной регулировки является острой на низких скоростях (где плавники теряют эффективность), требуя тщательной конструкции колебательного движения или использования устойчивых углов.

Будущие направления и тенденции исследований

Быстро развивается область оптимального управления недостаточно отработанными механическими системами.

• Обучение на основе управления: Обучение с глубоким подкреплением и обучение имитационному обучению интегрируются с оптимальным управлением на основе модели. Гибридные подходы (например, остаточная динамика обучения или функции затрат) обещают объединить эффективность данных MPC с адаптивностью RL. Усилия по обеспечению стабильности и безопасности через функции Ляпунова в цикле обучения (например, нейронный контроль Ляпунова) набирают обороты.
• Безопасно-критический контроль: Реальное развертывание требует формальных гарантий. Функции барьера управления (CBF) и функции управления Ляпунова (CLF) обеспечивают доказуемую безопасность и стабильность, соответственно. Комбинирование квадратичных программ на основе CBF-CLF (QP) с оптимальным управлением дает основу, которая обменивается производительностью для безопасности вычислительно эффективным образом.
• Кооперативные и многоагентные системы: Недоработанные системы часто работают в роях (например, дрон-формации, команды роботов). Распределённое оптимальное управление, при котором каждый агент решает локальную задачу оптимизации при общении с соседями, является активной областью. Недозагрузка добавляет сложность, поскольку каждый агент должен координировать свои ограничения движения.
• Методы сокращения модели (например, правильное ортогональное разложение, динамическое разложение режима) и изученные модели (например, нейронные обычные дифференциальные уравнения) позволяют в реальном времени оптимально управлять высокоразмерными недостаточно приспособленными системами, сжимая динамику в низкоразмерное скрытое пространство.
• Различимое моделирование:] Такие инструменты, как MuJoCo, дифференцируемые физические двигатели на основе PyTorch и CasADi, позволяют сквозную оптимизацию законов управления с использованием градиентов через динамику. Это облегчает одновременную оптимизацию как траектории, так и параметров высокого уровня (например, морфологии или весов затрат).