Достижения в области технологий сплавления датчиков для управления электромеханической системой

Сенсорный синтез стал краеугольной технологией в современном электромеханическом системном управлении, позволяя устройствам от автономных дронов до точных роботизированных рук работать с беспрецедентной точностью и надежностью. Благодаря интеллектуальному объединению данных от нескольких разрозненных датчиков, эти системы преодолевают ограничения отдельных датчиков, таких как шум, дрейф или ограниченное поле зрения, чтобы произвести последовательную и надежную оценку состояния системы и окружающей среды. Недавние прорывы в алгоритмах, аппаратном и машинном обучении подталкивают слияние датчиков к новым высотам, что позволяет контролировать сложные электромеханические системы в динамических, реальных условиях с минимальным человеческим надзором. В этой статье исследуются фундаментальные принципы слияния датчиков, последние технологические достижения и будущие направления, которые обещают изменить отрасли от производства до здравоохранения.

Понимание сенсорной сплавки

В своей основе, синтез датчиков представляет собой процесс интеграции данных от нескольких датчиков для получения более точного, полного и надежного представления состояния системы, чем любой один датчик может обеспечить в одиночку. В электромеханических системах, общие датчики включают инерциальные единицы измерения (IMU), содержащие акселерометры и гироскопы, магнитометры, кодеры положения и скорости, силы/крутящего момента датчики и системы зрения, такие как камеры и LiDAR. Процесс слияния может происходить на разных уровнях абстракции:

• Слияние на уровне данных — показания с помощью сырых датчиков объединяются непосредственно, часто с использованием усредненной или дополнительной фильтрации.
• Фьюжн на уровне характеристик — характеристики, извлеченные из отдельных датчиков (например, края от камеры, скорость от кодера), объединяются для формирования описания более высокого уровня.
• Слияние на уровне принятия решений — каждый датчик самостоятельно принимает решение или оценку, и эти решения объединяются с использованием голосования, байесовского вывода или других методов, основанных на правилах.

Выбор уровня синтеза зависит от приложения, задействованных датчиков и доступных вычислительных ресурсов.Для управления в реальном времени часто предпочитают синтез на уровне данных или на уровне функций, поскольку он сохраняет информацию с низкой задержкой, критическую для управления замкнутым контуром.

Основополагающей концепцией в слиянии датчиков является задача оценки состояния : при заданной последовательности шумных измерений оценить истинное состояние (позиция, скорость, ориентация и т. д.) системы. Обычно это формулируется с помощью вероятностных моделей, где целью является вычисление заднего распределения вероятности состояния при заданных измерениях. Наиболее широко используемыми алгоритмами решения этой задачи являются рекурсивные байесовские фильтры, которые будут подробно обсуждаться позже.

В последние годы глубокое обучение было интегрировано в конвейеры синтеза датчиков. Нейронные сети могут изучать сложные нелинейные отношения непосредственно из необработанных данных датчиков, минуя явные модели систем. Например, сверточные нейронные сети (CNN) могут сплавлять изображения камеры с данными IMU для визуально-инерциальной одометрии, в то время как текущие нейронные сети (RNN) и Долгосрочная память (LSTM) сети моделируют временные зависимости. Такие подходы, как KalmanNet используют глубокое обучение для изучения параметров фильтра Калмана сквозным образом, улучшая надежность в неопределенных средах.

Последние достижения в технологиях сенсорного синтеза

Эта область быстро развивается, что обусловлено необходимостью большей автономии, производительности в реальном времени и адаптивности.

Интеграция глубокого обучения на уровне слияния

Вместо использования классических фильтров с настроенными вручную параметрами современные системы обучают сквозные термоядерные сети, которые непосредственно отображают потоки датчиков для управления выходами. Например, системы визуально-инерциальной одометрии (VIO) теперь используют рекуррентные сети для прогнозирования движения камеры и глубины от изображений временных рядов и показаний IMU, достигая современной точности в сложных условиях, таких как быстрое движение или низкий свет.

Реальное слияние на устройствах Edge

С распространением встроенных ускорителей ИИ (например, NVIDIA Jetson, Google Coral), алгоритмы синтеза датчиков, которые когда-то были ограничены мощными настольными компьютерами, теперь могут работать в режиме реального времени на небольших маломощных аппаратных средствах. Это позволяет автономным роботам и дронам выполнять синтез на борту, не полагаясь на облачное подключение, уменьшая задержку и повышая надежность.

Адаптивные и самонастраивающиеся фильтры

Традиционные фильтры Калмана требуют точного знания ковариаций процессов и шума измерений, которые трудно получить на практике. Новые адаптивные методы используют машинное обучение для оценки этих параметров в Интернете из самих данных. Вариационные байесовские методы и онлайн-максимизация ожидания позволяют фильтру автоматически регулировать свое доверие к каждому датчику при изменении условий, например, когда камера становится окклюдированной или IMU нагревается и его смещения дрейфует.

Вероятностные графические модели и факторные графики

Факторные графы обеспечивают мощную основу для представления проблем синтеза датчиков, особенно в сценариях с несколькими датчиками, многократными шагами. Они позволяют решать сложные проблемы, такие как одновременная локализация и картирование (SLAM), с использованием методов постепенного сглаживания, таких как iSAM2. В недавней работе расширены факторные графы для включения изученных факторов из нейронных сетей, создавая гибридную модель, которая использует как физические принципы, так и модели, основанные на данных.

Слияние сенсоров с камерами на основе событий

Камеры на основе событий, которые выводят асинхронные события изменения уровня пикселей, а не кадры, набирают силу в высокоскоростном электромеханическом управлении (например, высокоскоростной роботизированный захват). Они предлагают задержку микросекундного уровня и высокий динамический диапазон. Для слияния камер событий с традиционными ИМУ и камерами на основе кадра требуются новые алгоритмы, которые обрабатывают асинхронные, скудные данные - проблема, решаемая фильтрацией на основе графов и пиковыми нейронными сетями.

Применение Advanced Sensor Fusion

Практическое влияние достижений в области синтеза датчиков наиболее заметно в нескольких ключевых областях применения:

Автономные автомобили

Автономные автомобили сливают данные с LiDAR, радара, камер, ультразвуковых датчиков, GPS и ИМУ для достижения надежного восприятия и локализации. Последние системы используют глубокое обучение для слияния изображений камеры с облаками точек LiDAR для обнаружения объектов, используя при этом EKF или факторные графики для локализации на основе ориентиров. Достижения в области слияния позволили автономное вождение уровня 3+ в ограниченных условиях с постоянным улучшением в направлении полной автономии.

Промышленная робототехника и автоматизация

В производстве синтез датчиков позволяет роботам безопасно работать вместе с людьми. Сплавленные с зрением датчики силы/крутящего момента позволяют роботам выполнять деликатные сборочные задачи, такие как вставка колышка в отверстие, путем адаптации к ошибкам выравнивания. Слияние кодеров в реальном времени, ИМУ и внешних камер помогает мобильным роботам перемещаться по складским средам с высокой точностью.

аэрокосмические системы

Беспилотные летательные аппараты (БПЛА) в значительной степени полагаются на синтез датчиков для стабильного полета, особенно в средах, отрицаемых GPS. Объединение ИДУ, барометров, магнитометров и оптических датчиков потока через EKF или UKF дает надежные оценки отношения и положения. Последние достижения позволили беспилотникам выполнять акробатические маневры и автономную посадку на движущиеся платформы с использованием визуально-инерциального синтеза.

Медицинская робототехника

Хирургические роботы используют слияние датчиков для повышения точности и тактильной обратной связи. Например, роботизированные лапароскопические системы сливают данные с кодеров, датчиков силы и электромагнитных трекеров для управления инструментами с субмиллиметровой точностью. Новые приложения включают автономную вставку игл и характеристику ткани в реальном времени с использованием слитого ультразвука и данных силы.

Носимая робототехника и протезирование

Экзоскелеты и протезы с питанием заменяют ИДУ, совместные кодеры и электромиографические датчики (ЭМГ) для интерпретации намерений пользователя и обеспечения бесшовной помощи. Модели машинного обучения оценивают фазу походки и тип местности из слитых данных, что позволяет использовать адаптивные стратегии управления, которые улучшают комфорт и энергоэффективность.

Проблемы и будущие направления

Несмотря на значительный прогресс, синтез датчиков для электромеханического управления по-прежнему сталкивается со значительными проблемами:

Шум, калибровка и деградация датчиков

Все датчики со временем ухудшаются из-за износа, изменения температуры или факторов окружающей среды. Онлайн-калибровка и самодиагностика имеют решающее значение, но требуют вычислительных усилий. Будущие системы могут включать в себя цифровые двойники, которые моделируют поведение датчиков и позволяют алгоритмам синтеза постоянно адаптироваться.

Вычислительные ограничения и потребление энергии

Слияние в реальном времени с высокоразмерными данными (например, 3D-облаками точек) подчеркивает платформы с батарейным питанием. Новые аппаратные средства, такие как нейроморфные процессоры и ускорители на основе FPGA, обещают снизить энергопотребление при сохранении производительности. Алгоритмически исследуются отдельные гауссовские процессы и , основанные на событиях фильтрация .

Безопасность данных и целостность

По мере того, как электромеханические системы становятся более связанными, алгоритмы синтеза датчиков должны быть устойчивы к кибератакам, таким как спуфинг датчиков.Исследование обнаружения аномалий на основе согласованности и , нацеленное на выявление и отклонение вредоносных данных без ущерба для стабильности системы.