Проблемы захвата данных о движении в наружных средах против контролируемых студий

Технология захвата движения стала незаменимой в таких отраслях, как кино, анимация, виртуальная реальность, биомеханика, спортивная наука и робототехника. Независимо от того, приносит ли она цифровой характер к жизни или анализ походки спортсмена, качество данных о движении напрямую влияет на точность и реализм конечного результата. Однако не все среды захвата движения созданы равными. Контролируемая студийная обстановка с ее строгим регулированием переменных резко контрастирует с непредсказуемой, богатой переменными внешней средой. Понимание уникальных проблем, которые представляет каждая установка, и стратегии их преодоления, имеет решающее значение для исследователей, разработчиков и практиков, которые полагаются на данные о движении для стимулирования инноваций.

Контролируемая среда студии: точность через ограничение

Студия, предназначенная для захвата движения, часто описывается как «лаборатория движения». Эти пространства специально построены для минимизации внешних помех, что позволяет техникам достигать точности отслеживания субмиллиметров. Однако контролируемая среда имеет свой собственный набор ограничений, которыми необходимо тщательно управлять.

Оптимальное освещение и настройка камеры

В студии освещение полностью искусственное и фиксированное. Банки светодиодных или вольфрамовых огней расположены для устранения теней и минимизации бликов на отражающих маркерах. Эта согласованность позволяет системам оптических камер - будь то пассивные (ретрорефлексивные маркеры, освещаемые инфракрасными стропами) или активные (самосвежающиеся светодиоды) - отслеживать маркеры без путаницы от бродячих источников света. Единообразная яркость также упрощает алгоритмы постобработки, поскольку порог для обнаружения маркеров остается стабильным на протяжении сеанса захвата.

Однако само преимущество контролируемого освещения может стать ограничением для определенных типов движения. Высоко отражающие поверхности (например, полированные полы, металлический реквизит) могут создавать нежелательные зеркальные изюминки, которые путают программное обеспечение отслеживания. Студии часто компенсируют это, используя матовые напольные покрытия и покраску стен в черный цвет или используя не отражающие материалы, но эти изменения уменьшают визуальный реализм, который естественным образом обеспечивают наружные среды.

Калибровочный уровень и окклюзия маркера

Студия захвата движения полагается на точные протоколы калибровки. Типичный рабочий процесс включает в себя махание калибровочной палочкой (из известных размеров с тремя или более маркерами) в пределах объема захвата для отображения положения, ориентации и искажения объектива каждой камеры. Этот процесс должен повторяться, если любая камера перемещается, и даже небольшие изменения в установке студии (например, перепозиционирование одной камеры, чтобы избежать тени) требуют перекалибровки. Стоимость времени нетривиальна: полная калибровка для 40-камерного объема может занять 30–60 минут, и любой дрейф или неправильной калибровки приводит к систематическим ошибкам, которые ухудшают качество данных.

Маркерная окклюзия является постоянной проблемой даже в контролируемых условиях. Когда часть тела исполнителя блокирует маркер с точки зрения одной камеры, система полагается на триангуляцию от оставшихся камер. В плотных объемах захвата со многими камерами окклюзия обычно коротка, но она все еще создает пробелы в данных о траектории, которые должны заполняться с помощью интерполяции или прогнозирующих алгоритмов. Квалифицированные специалисты смягчают окклюзию, проектируя размещения маркеров, которые максимизируют видимость, например, устанавливая маркеры по бокам конечностей, а не прямо спереди / сзади, но проблема никогда не исчезает полностью.

Ограничения объема и захват естественного движения

Объемы захвата студии обычно ограничены несколькими метрами в каждом измерении. Большая студия может предложить площадь захвата 10 м × 10 м × 3 м, достаточную для одноместной работы, но неадекватную для групповых сцен, занятий спортом на открытом воздухе или исследований передвижения, охватывающих большие расстояния. Исполнителей просят оставаться в пределах объема, ограничивая диапазон естественного движения. Это искусственное ограничение может изменить биомеханику: бегун, ограниченный 10-метровой дорожкой, не будет демонстрировать такое же ускорение или траекторию шага, как бег на 100 метров на открытом воздухе.

Кроме того, пол студии часто окрашен или покрыт материалом, который отличается от реальных поверхностей. Трение, поглощение удара и тактильная обратная связь различны, что может повлиять на походку и осанку. Для исследований биомеханики, в частности, данные, собранные в студиях, могут не полностью представлять движение в реальном мире - известное ограничение, которое заставляет многих исследователей исследовать захват на открытом воздухе.

Наружная среда: непредсказуемость и богатство

Захват движения на открытом воздухе открывает дверь для записи движений в естественных, экологически обоснованных контекстах - бегун на пляже, лыжник на склоне, солдат, плавающий по неровной местности. Тем не менее, это богатство стоит дорого: окружающая среда активно работает против верности захвата.

Освещение окружающей среды и изменчивость погоды

Единственная самая большая проблема для оптического захвата движения на открытом воздухе - это солнце. Солнечная подсветка направлена, создавая жесткие тени, которые могут заслонять маркеры и вызывать ложные срабатывания при обнаружении камеры. По мере того, как солнце движется по небу, углы тени сдвигаются, что означает, что условия захвата меняются даже в течение короткого сеанса. Облачная крышка производит диффузное освещение, которое уменьшает контраст, делая маркеры более трудными для различения от фона. В яркие дни инфракрасные камеры, которые полагаются на фильтрацию окружающей ИК-сигналы, могут стать насыщенными, особенно если солнце светит непосредственно в объектив. Это снижает эффективный динамический диапазон камеры и может привести к отсева маркера.

Погода добавляет еще один слой сложности. Дождь и туман создают в воздухе частицы, которые рассеивают свет, создавая ложные отражения. Ветер качает камеры (если только они не жестко установлены на тяжелых штативах) и может вызвать трепет маркеров - особенно тех, которые прикреплены к одежде или волосам - добавляя шум к данным о траектории. Чрезвычайные температуры влияют на срок службы батареи в активных маркерах и системах беспроводной передачи, в то время как высокая влажность может запотевать объективы камеры и вызывать конденсацию на окнах датчиков.

Справочная сложность и окклюзия в природных условиях

В студии фоны обычно просты, однородны и статичны. На открытом воздухе фоны сложны: деревья качаются, облака движутся, пешеходы ходят мимо, транспортные средства проходят. Оптические алгоритмы отслеживания должны различать светоотражающие маркеры и все другие движущиеся объекты. Это особенно сложно, когда маркеры малы, а фон содержит другие яркие или инфракрасные отражающие поверхности, такие как дорожные знаки, лужи воды или даже трава, освещенная прямым солнечным светом. Фильтрация этих ложных срабатываний требует сложного компьютерного зрения и моделей машинного обучения, которые являются вычислительно дорогими и все еще могут ошибочно классифицировать шум как маркер или наоборот.

Проблемы с затворничеством усиливаются на открытом воздухе, поскольку камеры нельзя размещать произвольно. Для захвата бегуна на 100-метровой трассе камеры должны распространяться по трассе с интервалами, но деревья, здания и местность имеют блокировочные линии обзора. Количество камер, необходимых для поддержания многозрительного покрытия, резко увеличивается, а объем захвата становится свободной коллекцией перекрывающихся разрывов, а не бесшовным единым объемом. Отсев маркеров становится более частым и длительным.

GPS и инерциальные ограничения датчиков

Для борьбы с оптическими проблемами многие системы захвата движения на открытом воздухе интегрируют данные Глобальной навигационной спутниковой системы (GNSS) с установленными на теле исполнителя инерциальными измерительными блоками (IMUs). В то время как этот гибридный подход улучшает покрытие, он вводит новые проблемы. GNSS потребительского класса точен только в пределах 1-3 метров под открытым небом; даже дифференциальные решения GPS (DGPS) и кинематические решения реального времени (RTK), которые могут достигать точности сантиметра, подвергаются деградации сигнала вблизи деревьев или зданий (многолучевые ошибки). IMU обеспечивают высокочастотную ориентацию и данные ускорения, но они дрейфуют с течением времени из-за смещения гироскопа и шума акселерометра, требуя периодической коррекции от GPS или оптических ссылок. Слияние этих разрозненных потоков данных (часто через фильтр Калмана) нетривиально, а ошибки в калибровке любого датчика могут повредить конечную траекторию.

Технические проблемы в обеих средах

Хотя окружающая среда отличается, некоторые технические проблемы появляются в обеих настройках, но проявляются по-разному.

Маркерное прикрепление и артефакт кожи

Как в студийном, так и в наружном захвате маркеры, прикрепленные к коже, движутся относительно основной кости — явление, известное как артефакт мягких тканей. Это хорошо документированный источник ошибки в биомеханике, особенно для сегментов, таких как бедро, где активация мышц меняет позиции маркеров на несколько миллиметров. В студии исследователи могут использовать несколько маркеров на сегмент и применять сложные алгоритмы (например, кластеры маркеров наименьших квадратов) для оценки положения костей. На открытом воздухе применяются те же алгоритмы, но проблема еще хуже, потому что маркеры могут также смещаться из-за ветра или движения одежды, вводя непредсказуемый шум, который труднее моделировать.

Объем данных и требования к обработке

Наружный захват часто включает в себя более длительные периоды захвата (например, пробег 5 км маршрута) и более высокие скорости выборки для захвата быстрых движений. Это генерирует терабайты необработанных данных - видеопотоки с десятков камер, данные IMU на 200 Гц или более, GPS-координаты на 10-50 Гц. Пост-обработка трубопроводов должна обрабатывать этот объем, используя автоматизированные алгоритмы отслеживания, которые могут пропускать маркеры, когда происходят окклюзии. Ручная очистка, в то время как распространенная в студийных настройках для коротких заходов, становится непрактичной для длинных открытых сессий. Это приводит к необходимости надежных автоматизированных алгоритмов заполнения зазоров и фильтрации, которые могут поддерживать точность без вмешательства человека.

Стратегии и решения: преодоление разрыва

Несмотря на эти проблемы, исследователи и практики разработали набор стратегий для повышения надежности захвата движения на открытом воздухе. Наиболее успешные подходы сочетают в себе аппаратные инновации, программные алгоритмы и тщательное планирование.

Аппаратные решения

Активные маркеры с кодированным идентификатором меньше подвержены изменению окружающего света, поскольку они излучают свет на определенных длинах волн (часто ближнего инфракрасного диапазона) и могут быть модулированы на импульсные уникальные идентификаторы. Это делает их отличимыми от фоновых отражений и позволяет надежно отслеживать даже с меньшим количеством камер. Однако они требуют мощности, что добавляет вес и ограничивает продолжительность сеанса.

Гибридные системы, которые смешивают инерциальные датчики с оптическим захватом, становятся стандартом для наружных работ. Такие компании, как Xsens и Rokoko предлагают костюмы на основе IMU, которые могут использоваться отдельно или сплавлены с редким набором камер. IMU обрабатывают непрерывное отслеживание и невосприимчивы к освещению и окклюзии, в то время как камеры периодически сбрасывают дрейф. Для чистого наружного захвата этот подход слияния часто является наиболее практичным.

Современные методы компьютерного зрения, в частности, обнаружение маркеров на основе глубокого обучения, могут превосходить традиционные методы на основе пороговых значений. Например, сверточные нейронные сети (CNN) могут быть обучены идентифицировать маркеры даже при частичном окклюзии или при наличии сложных фонов. Такие инструменты, как DeepLabCut , широко используются для захвата движения без маркеров в сценариях на открытом воздухе, используя предварительно обученные модели, которые обобщаются в разных средах.

Миниатюрные, недорогие ИДУ в сочетании с сетью Bluetooth-мешков позволяют непрерывно отслеживать исполнителя на больших расстояниях без каких-либо внешних камер. Такие компании, как Qualisys уже интегрируют данные ИДУ в свою экосистему. Будущие носимые устройства будут включать в себя барометрические датчики давления (для высоты), магнитометры (для направления) и даже ультразвуковые датчики для уточнения локального положения. Проблема остается в слиянии данных, но продолжающиеся исследования в области синхронизации и калибровки датчиков обещают обеспечить бесперебойный захват движения на открытом воздухе в течение нескольких лет.

AI-усовершенствованная обработка данных

Постобработка все чаще автоматизируется с использованием ИИ для заполнения пробелов, плавного шума и исправления систематических ошибок. Генеративные модели могут прогнозировать недостающие траектории маркеров на основе изученных априорных движений (например, симметрия походки). Для длинных наружных захватов эти модели резко сокращают время ручной очистки при сохранении научной обоснованности.

Заключение

Захват данных о движении на открытом воздухе остается более сложной задачей, чем в контролируемой студии, но разрыв сужается. Каждая среда накладывает определенные ограничения: студии предлагают точность за счет экологической обоснованности и объема; на открытом воздухе обеспечивает реальную актуальность за счет надежности. Понимая физику света, ограничения датчиков и достижения в вычислительных методах, практикующие могут выбрать правильный подход для своего конкретного применения - будь то анимация голливудского персонажа, требующая точности студийного уровня или исследование спортивной биомеханики, требующее аутентичности на открытом воздухе. Продолжение эволюции аппаратного и программного обеспечения вскоре сделает вопрос «студия против наружного» менее актуальным, поскольку завтрашние системы захвата движения будут разработаны, чтобы преуспеть в любом месте.

Для дальнейшего чтения по конкретным технологиям и исследованиям см. недавнее исследование оценки позы человека на открытом воздухе при различной освещенности , опубликованное в Nature Scientific Reports , и всеобъемлющий обзор методов синтеза датчиков Kok et al. (2023) в Journal of Biomechanics .