Применение нейронных сетей в нелинейных задачах управления

Основные архитектуры нейронных сетей для управления

Нейронные сети Feedforward (FNN)

Простейшей и наиболее широко используемой архитектурой управления является многослойный перцептрон (MLP) с одним или двумя скрытыми слоями. FNN обычно используются для приближения статических функций, таких как изучение обратной динамики робота-манипулятора. При прямом обратном управлении сеть обучена отображать желаемые выходы (например, углы соединения) на требуемые управляющие входы (крутящие моменты). Однако FNN не имеют памяти, поэтому они лучше всего подходят для систем, которые являются статическими или где текущий выход зависит только от текущего входа, а не от прошлых значений.

Рекуррентные нейронные сети (RNN) и долговременная кратковременная память (LSTM)

Для систем с динамикой — где состояние развивается с течением времени и зависит от предыдущих входов и состояний — рекуррентные сети являются естественным выбором. RNN имеют внутренние соединения обратной связи, которые дают им память о прошлых сигналах. Это делает их эффективными для идентификации системы (обучение функции перехода растения) и для прогностического управления моделью, где будущие выходы должны быть предсказаны за горизонт. Вариант LSTM с его механизмом замера может изучать долгосрочные зависимости и смягчать исчезающую проблему градиента, что делает его популярным для сложных динамических систем, таких как химические процессы или автономное прогнозирование траектории движения.

Свёрточные нейронные сети (CNN) и гибридные модели

В то время как CNN в основном используются для обработки изображений, они нашли приложения для управления, когда задействована визуальная обратная связь. Например, CNN может обрабатывать изображения камеры для оценки состояния (например, положение конечного эффекта манипулятора), а затем вторая сеть или стандартный контроллер генерирует управляющий сигнал. Гибридные архитектуры, которые объединяют CNN для извлечения функций с RNN для временного моделирования, также распространены в сквозном обучении для автономных транспортных средств.

Reservoir Computing / Echo State Networks (ESN) (недоступная ссылка)

Для чрезвычайно быстрого обучения и управления в реальном времени эхо-состояния сети (тип резервуарных вычислений) набрали тягу. Идея состоит в том, чтобы использовать фиксированный случайный рекуррентный резервуар, который отображает входные сигналы в высокоразмерное пространство и только тренирует простой линейный выходной слой. Обучение чрезвычайно эффективно (решение линейной регрессии), что делает ESN пригодными для онлайн-адаптивного управления в таких приложениях, как подавление тремора в вспомогательной робототехнике или вибрационный контроль в реальном времени.

Каждая архитектура приносит компромиссы между мощностью представления, сложностью обучения и вычислительными затратами. Выбор зависит от конкретной проблемы управления и доступных вычислительных ресурсов.

Стратегии управления на основе нейронных сетей

Исследователи управления разработали несколько парадигм, которые интегрируют нейронные сети в цикл управления. Три наиболее заметные являются прямое управление , нейронная модель предиктивного управления (NMPC) и адаптивное управление .

Прямой нейронный контроль

При прямом управлении нейронная сеть берет на себя роль самого контроллера. Сеть принимает текущие состояния системы (или набор соответствующих измерений) и непосредственно выводит управляющий сигнал. Обучение может выполняться в автономном режиме с использованием набора данных желаемых отображений состояния-контроля (например, от эксперта-человека или оптимального контроллера) или в режиме онлайн с использованием обучения с подкреплением (RL).

Одним из классических примеров является нейро-контроль для отслеживания траектории роботизированной руки. Сеть на корме обучается для изучения обратной динамики руки: при желаемом ускорении сеть выводит совместные крутящие моменты. После обучения сеть может вычислять команды управления за долю миллисекунды, что позволяет контролировать высокую пропускную способность. Основная проблема заключается в том, что обратное отображение может быть неуникальным или плохо обусловленным, требующим специальных алгоритмов обучения (например, дополненные якобианские методы).

В обучении с подкреплением нейронная сеть действует как аппроксиматор политики. Агент взаимодействует с окружающей средой, собирает вознаграждения (или затраты) и обновляет свои веса, чтобы максимизировать кумулятивное вознаграждение. Прямое нейронное управление на основе RL успешно продемонстрировано в стабилизации квадротора, манипулировании роботом и игре (например, AlphaGo). Однако гарантии стабильности остаются активной областью исследований.

Нейронная модель прогнозирования (NMPC)

Модель предиктивного управления (MPC) решает задачу онлайн-оптимизации на каждом этапе: учитывая модель установки, она вычисляет последовательность будущих управляющих действий, которые минимизируют функцию затрат на горизонте прогнозирования, с учетом ограничений. Качество MPC сильно зависит от точности модели. Нейронные сети используются для изучения этой модели из данных, заменяя традиционную модель на основе физики. Полученный подход известен как нейронная модель предиктивного управления (NMPC).

Преимущества значительны: модель нейронной сети может захватывать сложную, нелинейную динамику, которую трудно получить аналитически. Например, в управлении химическими процессами модель нейронной сети реактора может прогнозировать будущие концентрации и температуры, позволяя MPC вычислять оптимальные положения клапанов при соблюдении ограничений безопасности. Недостатком является вычислительная стоимость - решение оптимизации на каждом образце может быть требовательным, особенно с глубокими сетями. Недавние достижения в эффективных решателях и ускоренном выводе GPU сделали NMPC в реальном времени осуществимым даже для быстрых процессов, таких как автономное вождение.

Популярным вариантом является нелинейная авторегрессивная с экзогенными входами (NARX) сеть, которая моделирует выход системы как функцию прошлых выходов и прошлых входов. Эта модель затем встраивается в оптимизацию MPC. Чтобы гарантировать осуществимость, ограничения часто смягчаются, и сеть должна быть обучена на данных, которые покрывают ожидаемую операционную область.

Нейронный адаптивный контроль

Адаптивное управление имеет давнюю традицию в теории управления, где параметры контроллера (прибыли) настраиваются онлайн, чтобы справиться с вариациями параметров. Нейронные сети модернизируют эту идею, позволяя регулировать нелинейные параметры. Есть два основных подхода:

• Прямой адаптивный нейронный контроль:] Контроллер представляет собой нейронную сеть, вес которой настроен онлайн, чтобы минимизировать некоторые меры отслеживания или стабильности. Например, законы адаптации на основе Ляпунова получены для обеспечения того, чтобы система замкнутого цикла оставалась стабильной, пока сеть учится. Это распространено в таких приложениях, как роботизированные экзоскелеты, где динамика взаимодействия человека и робота резко меняется.
• Непрямое адаптивное нейронное управление: Используются две сети: одна выступает в качестве идентификатора (модель установки), а другая в качестве контроллера. Идентификатор обновляется онлайн на основе данных ввода-вывода, а контроллер пересчитывается (или обновляется) на основе идентифицированной модели. Такой подход может обеспечить лучшую производительность, поскольку контроллер может быть переработан по мере развития модели.

Адаптивное нейронное управление оказалось эффективным для систем с изменяющимися во времени параметрами, таких как управление полетом самолета, где аэродинамические коэффициенты изменяются с высотой и числом Маха, или для управления шагом ветряной турбины при различных скоростях ветра.Главная задача заключается в том, чтобы адаптация не приводила к нестабильности или чрезмерному усилию управления — требуется тщательный анализ стабильности, часто с использованием теории Ляпунова или аргументов пассивности.

Обучение нейронных сетей для контроля

Оффлайн-обучение с машинным обучением

Когда достаточно репрезентативный набор данных доступен, модели нейронных сетей могут быть обучены офлайн с использованием стандартного контролируемого обучения. Для идентификации системы данные ввода-вывода собираются с завода, и сеть обучена прогнозировать будущие выходы. Такие методы, как отсев, ранняя остановка и увеличение данных, помогают предотвратить переобучение. После обучения сеть может быть развернута и использована в качестве модели установки (например, в NMPC) или в качестве контроллера непосредственно.

Онлайн-обучение и адаптация в реальном времени

Офлайн-обучение часто недостаточно, потому что система может работать в регионах, не охваченных во время обучения, или ее параметры могут дрейфовать. Онлайн-обучение позволяет сети непрерывно адаптироваться. Это может быть сделано с использованием методов на основе градиента (например, стохастический градиентный спуск с импульсом) или рекурсивных наименьших квадратов, но должно быть тщательно реализовано, чтобы избежать катетеризации растения. Алгоритмические гарантии, такие как мертвые зоны, проекция и постоянное возбуждение, являются общими.

В обучении с подкреплением обучение по своей сути является онлайновым (или пакетным онлайн, как в Deep Q-Networks). Агент исследует окружающую среду, используя некоторую стратегию исследования (например, epsilon-greedy) при обновлении сети политики. Важным соображением является эффективность выборки: многие алгоритмы RL требуют миллионов взаимодействий для сложных систем, что непрактично для реального оборудования. Sim-to-real transfer, где сеть обучается симуляции, а затем настраивается на реальной системе, является общим практическим подходом.

Применение нейронных сетей в нелинейном контроле

робототехника

Робототехника, возможно, является самой большой областью применения. Контроллеры нейронной сети используются для управления крутящим моментом на уровне суставов, манипулирования всем телом и передвижения. Например, обучение глубокому усилению было использовано для обучения четвероногих ходить и бегать по сложной местности. Нейронная сеть принимает показания датчиков (совместные углы, данные IMU) и выводит совместные крутящие моменты, все время обучения на основе проб и ошибок в симуляции. Полученные политики удивительно надежны для толчков и неравномерной земли.