Лучшие практики для создания экономически эффективной студии захвата движения дома

Планирование вашего движения захватывает пространство

Проектирование выделенной зоны для захвата движения является первым шагом к созданию экономичной домашней студии. Пространство должно вмещать свободное, неограниченное движение при минимизации переменных, которые могут ухудшить качество данных. Цель для комнаты не менее 10 на 10 футов (3 на 3 метра) с высотой потолка не менее 8 футов, чтобы позволить движениям, прыжкам или установке оборудования. Если вы планируете захватывать нескольких исполнителей одновременно, увеличить площадь до 15 на 15 футов или более.

Рассмотрим напольные покрытия: твердые поверхности, такие как бетон или плитка, могут вызывать неудобные воздействия во время длительных сеансов, в то время как ковер может вводить проблемы с статическим разрядом с чувствительной электроникой. Гладкие, ровное и слегка смягченные поверхности, такие как рулонный винил над пенопластовой подстилкой, хорошо работают. Избегайте комнат со многими отражающими поверхностями (окна, зеркала, глянцевая мебель), потому что они могут спутать оптические системы слежения.

Экологические факторы

Хорошее управление освещением не подлежит обсуждению. Если вы используете инфракрасный или видимый световой оптический захват, вам нужна возможность блокировать весь внешний свет и создавать равномерное, диффузное освещение. Занавески отключения стоят недорого и эффективны. Для фона используйте сплошной цвет — зеленый, синий или нейтральный серый — который контрастирует с маркерами или оттенками кожи. Безморщинная ткань или матовая краска на портативной стеновой панели хорошо работает.

Акустический шум менее критичен, чем визуальный шум, но избегайте размещения студии рядом с вентиляторами, вентиляционными отверстиями HVAC или внешним трафиком, который может вызвать вибрации.Если вы планируете записывать звук одновременно, звукопоглощающие панели (даже DIY-панели, изготовленные из движущихся одеял) могут улучшить результаты.

Выбор технологии захвата движения в бюджет

Основное решение в любой домашней студии мокап - метод захвата. Существуют три основные категории: инерциальная, оптическая и безмаркерная. Каждая имеет свои профили затрат и сильные стороны.

Системы захвата инерциальных движений

Инерциальные системы используют гироскопы, акселерометры и магнитометры, сшитые в костюм или привязанные к корпусу. Они выводят данные ориентации, которые программное обеспечение преобразует в совместные вращения. Инерциальные костюмы потребительского уровня от Rokoko или Noitom начинаются примерно с 1000-2500 долларов США, часть профессиональных буровых установок. Для экстремального бюджетного строительства вы можете собрать инерциальную систему захвата DIY с использованием отдельных IMU (например, MPU-9250), подключенных к Arduino или Raspberry Pi. Прошивка с открытым исходным кодом и сценарии обработки существуют, но ожидают более низкой точности и большего усилия по калибровке.

Инерциальные системы легко настроить в любом помещении, потому что они не требуют камер или специального освещения. Компромиссы - чувствительность к магнитным помехам (металлические структуры, неэкранированные силовые кабели) и дрейф в течение длительного времени. Многие пакеты программного обеспечения включают алгоритмы коррекции дрейфа, которые очищают выход.

Оптический захват движения в бюджете

Профессиональные оптические системы, такие как Vicon или OptiTrack, используют несколько высокоскоростных инфракрасных камер и отражающих маркеров для субмиллиметровой точности - по цене, часто превышающей 20 000 долларов США. Для домашних студий две стратегии снижают стоимость. Во-первых, используйте веб-камеры потребительского класса или камеры смартфонов (1080p, минимум 60 кадров в секунду) с отражающими лентами. Программное обеспечение с открытым исходным кодом, такое как ]OpenCV , может триангулировать позиции маркеров от по крайней мере двух калиброванных камер. Во-вторых, рассмотрите использованные или не арендованные камеры PlayStation Eye (часто менее 10 долларов США каждая) с их ИК-фильтрами пропуска, удаленными в паре с ИК-светодиодными иллюминаторами. Несколько общественных проектов обеспечивают калибровочные палочки и скелетные растворители.

Оптические подходы требуют контролируемого освещения: блокировать весь солнечный свет, потому что он содержит ближнее инфракрасное излучение, которое смывает маркерные отражения. Черная, матовая одежда и поверхности уменьшают маркеры призраков. Это самый трудоемкий вариант, но может обеспечить удивительно хорошие результаты менее чем за 500 долларов.

Захват без маркеров с помощью глубинных датчиков

Глубинные камеры, такие как Microsoft Kinect v2 (прекращается, но широко доступен для использования менее чем за 50 долларов) или Intel RealSense, обеспечивают скелетное отслеживание без маркеров. Программное обеспечение, такое как Nuitrack (коммерческий SDK) или библиотеки с открытым исходным кодом (libfreenect) извлекают 3D-совместные позиции из карты глубины. В то время как отслеживание точности отстает от систем на основе маркеров, безмаркерный захват идеально подходит для приложений в реальном времени, виртуальной предвизуализации производства или анализа походки. Основными ограничениями являются диапазон камеры (обычно 1-4 метра) и чувствительность к окклюзиям (самокклюзия или скрещивание конечностей).

Для многопользовательского захвата нужно несколько датчиков глубины, каждый со своим полем зрения. Перекрывающее покрытие требует хост-компьютера с достаточной пропускной способностью USB и вычислительной мощностью. Несмотря на эти ограничения, безмаркерный подход остается наиболее доступной точкой входа для захвата движения.

Необходимые устройства для домашней студии

Помимо самих устройств захвата, для надежного сбора данных критически важны несколько вспомогательных компонентов.

Камеры и датчики

Если вы выбираете оптическую систему, вам нужно по крайней мере две камеры для 3D-реконструкции. Четыре-шесть камер значительно улучшают окклюзионную управляемость и точность. Используйте камеры с глобальным затвором (не затвором для качения), чтобы избежать искажений во время быстрых движений. Веб-камеры с глобальными затворами встречаются редко, но некоторые промышленные устройства (например, серия Blackfly FLIR) могут быть найдены используемыми. Потребительские смартфоны обычно используют затворы для качения - лучше всего избегать для серьезного захвата.

Для инерциальных систем вам нужен концентратор или приемник, который взаимодействует беспроводным образом с датчиками. Убедитесь, что диапазон приемника покрывает ваш объем захвата.

Маркеры и костюмы

Для оптического захвата светоотражающие маркеры могут быть сделаны путем наклеивания 3М скотчлитовой ленты или отражающей ленты на шарики для пинг-понга или деревянные шарики. Прикрепите их к плотно облегающему черному костюму (спандексу или танцевальной одежде) с помощью Velcro или мешочков. Используйте по меньшей мере 30–35 маркеров для захвата всего тела, следуя стандартной компоновке (например, набор маркеров из стандартов файлов C3D или BVH).

При использовании инерциальных датчиков костюм или ремни должны крепко держать каждый датчик на корпусе, чтобы предотвратить перетасовку артефактов.Многие строители DIY сшивают карманы в старый спортивный костюм и обеспечивают ИДУ эластичными лентами.

вычислительная мощность

Обработка захвата движения является CPU- и GPU-интенсивным, особенно для приложений реального времени. Минимум 16 ГБ ОЗУ, современный многоядерный процессор (Intel i7/AMD Ryzen 7 или лучше) и выделенный GPU (NVIDIA GTX 1660 или выше) целесообразны для снижения задержки во время обработки. Для инерционного захвата ноутбука среднего класса часто может быть достаточно, потому что расчеты проще. Оптические и безмаркерные системы извлекают выгоду из быстрого хранения (SSD) для обработки больших видеопотоков или облаков точек.

Программные инструменты для захвата движения

Программное обеспечение — это мозг вашей установки; многие высококачественные пакеты доступны практически бесплатно.

Открытый источник и свободное программное обеспечение

Blender (blender.org) включает в себя мощный модуль отслеживания движения камеры и маркерных позиций из видеоматериалов. Хотя Blender не предназначен для захвата в реальном времени, он отлично подходит для офлайновой постобработки и экспорта данных в форматы FBX или BVH. OpenCV (opencv.org) предоставляет базовые алгоритмы компьютерного зрения. Библиотеки, такие как LibreMoCap предлагают полный конвейер для оптического захвата с использованием доступных камер, в комплекте с процедурами калибровки и реконструкции скелета.

Для инерционного захвата проект с открытым исходным кодом IMU Capture (доступен на GitHub) позволяет взаимодействовать с несколькими IMU и производить выход BVH. Он использует фильтр Madgwick или Mahony для синтеза датчиков и требует некоторых сценариев Python для адаптации к вашему оборудованию.

Доступные коммерческие опционы

Nuitrack (nuitrack.com) предоставляет бесплатный уровень с ограниченными кадрами в секунду и платной про-версией для коммерческого использования.iPi Soft предлагает программное обеспечение для захвата без маркеров, которое работает с несколькими камерами глубины или даже стандартными видеокамерами. Хотя базовая версия не бесплатна, она стоит менее 500 долларов и дает высококачественные результаты.

MVN Analyze от Xsens является отраслевым стандартом для инерционного захвата, но его цена ($5,000+) является непомерно высокой для многих домашних студий. Вместо этого, посмотрите на Rokoko Studio (бесплатно с аппаратным обеспечением Rokoko) или Noitom’s Axis Studio (бесплатно с сенсорными костюмами).

Обработка данных и интеграция

После захвата данные движения должны быть очищены и перенацелены. Blender может перенацелить любой скелет BVH на пользовательскую установку. Для игровых движков Unity и Unreal Engine принимают файлы BVH и FBX. Коммерческие решения, такие как MotionBuilder (Autodesk) являются мощными, но дорогими; существуют альтернативы с открытым исходным кодом, такие как использование скриптов Python в Blender для автоматизации ретаргетинга.

Создайте свою студию для успеха

Правильная калибровка и методическое тестирование устраняют большинство подводных камней до начала производства.

Процедуры калибровки и испытаний

Для каждой системы захвата требуется калибровка. Для оптических установок откалибровать внутренние и внешние параметры каждой камеры. Используйте шаблон шахматной доски, напечатанный на прочном картоне, и перемещайте его по объему захвата при съемке снимков. Функции калибровки шахматной доски OpenCV работают хорошо. Для инерциальных систем выполняйте калибровку T-позы или N-позы в начале каждой сессии для установления нейтрального выравнивания.

Испытайте простыми движениями, такими как качание руками, ходьба по прямой линии и вращение туловища. Изучите полученный скелет на предмет дрожания, отсева или сбоев. Пороги тонкой настройки, сглаживающие фильтры и размещение датчиков до тех пор, пока не будут последовательно получены чистые данные.

Освещение и фоновая оптимизация

Для оптического захвата исключите все инфракрасные источники, кроме ваших иллюминаторов. Окна крыши с ИК-блокирующей пленкой или тяжелыми темными шторами. Используйте косвенное диффузное освещение для визуальных эталонных камер. Для датчиков глубины без маркеров избегайте сильного прямого солнца, потому что оно насыщает датчик глубины; используйте ровную, окружающую комнатную подсветку.

Фоновые помехи могут быть уменьшены путем подвешивания сплошного цветового фона или использования зеленого экрана для ключа хрома. Если использовать датчики глубины, убедитесь, что объекты не находятся в глубинном фоне, что может сбить с толку алгоритм сегментации программного обеспечения.

Workflow лучшие практики

Запишите несколько дублей и пометьте каждый файл именем актера, датой и типом движения. Разработайте стандартизированную конвенцию имен. Используйте обратный отсчет перед захватом, чтобы позволить исполнителю достичь начальной позы. Для оптического захвата укажите помощника, чтобы не было отсутствующих или свободных маркеров.

Настройте предварительный просмотр в режиме реального времени (если ваша система поддерживает его) для проверки качества захвата перед инвестированием времени в обработку. Если появляется какой-либо дрейф или джиттер, остановитесь и перекалибровитесь. Сохраните журнал настроек программного обеспечения и конфигурации оборудования для повторяемости.

Стратегии экономии затрат и решения DIY

Строительство студии захвата движения без большого бюджета требует креативности и находчивости.

Устранение общих проблем

Даже хорошо спланированная студия столкнется с проблемами. Вот решения для частых проблем:

Заключение

Эффективная по стоимости студия захвата движения доступна для всех, кто готов потратить время на планирование и эксперименты. Начните с оценки вашего пространства и выбора технологии захвата, которая соответствует вашему бюджету и требуемой точности. Инерциальные, оптические и безмаркерные системы имеют свои сильные стороны, а гибридные подходы часто дают наилучшую ценность. Дополните свое оборудование программным обеспечением с открытым исходным кодом, создайте свои собственные маркеры и инструменты калибровки и тщательно проверьте свою настройку перед важными съемками.

Систематически обращаясь к каждому компоненту — пространству, методу захвата, аппаратному обеспечению, программному обеспечению, калибровке и рабочему процессу — вы можете построить домашнюю студию, которая производит высококачественные данные о движении без шестизначного ценника.