Как захват движения улучшает виртуальные производственные процессы в кинопроизводстве

Эволюция захвата производительности в современном кинопроизводстве

Захват движения коренным образом изменил подход кинематографистов к виртуальному производству, обеспечив уровень реализма и творческой гибкости, который был невообразим всего два десятилетия назад. Захватывая нюансы движений актеров и переводя их в цифровые данные, эта технология устраняет разрыв между живым действием и компьютерными изображениями (CGI), позволяя режиссерам создавать захватывающие миры в реальном времени. От эпических фантастических пейзажей до гиперреалистичных инопланетных персонажей, захват движения стал незаменимым инструментом как в крупнобюджетных блокбастерах, так и в независимых постановках.

Сегодня виртуальные производственные рабочие процессы, где кинопроизводство в реальном времени сочетается с цифровыми средами, в значительной степени зависят от захвата движения, чтобы упорядочить творческий процесс. Этот подход не только снижает дорогостоящие итерации после производства, но и дает возможность актерам напрямую взаимодействовать с виртуальными наборами и персонажами во время съемок, что приводит к более аутентичному исполнению. Поскольку индустрия продолжает расширять границы, понимание тонкостей захвата движения и его интеграции в виртуальное производство имеет важное значение для кинематографистов, технологов и рассказчиков.

Что такое захват движения? Технологии за пределами основ

По своей сути захват движения (часто называемый mo-cap) - это процесс записи движений реальных актеров или объектов с использованием датчиков, камер или комбинации обоих. Эти записанные движения затем отображаются на цифровых персонажах, роботизированных системах или анимированных активах. Результатом является высокоточная, естественная анимация, которая сохраняет тонкость человеческой деятельности, от тонкого подергивания лица до последовательности действий всего тела.

Хотя концепция проста, современные системы захвата движения являются сложными инструментами, которые широко варьируются в подходе и применении. Понимание этих различий имеет решающее значение для выбора правильной технологии для данного производства.

Системы захвата оптического движения

Оптические системы используют несколько камер, расположенных вокруг объема захвата, для отслеживания отражающих маркеров, прикрепленных к телу актера. Эти маркеры, как правило, представляют собой небольшие сферы, покрытые светоотражающим материалом, который отражает свет обратно к камерам. Триангулируя положения маркеров в трехмерном пространстве, система реконструирует движение актера с субмиллиметровой точностью. Высокоскоростные камеры, работающие со скоростью 120-240 кадров в секунду, могут захватывать быстрые движения без размытия движения. Основные бренды, такие как Vicon и OptiTrack доминируют на этом рынке, предлагая масштабируемые системы, которые могут обрабатывать несколько исполнителей одновременно.

Оригинальное название: Markerless Mocap: The Next Frontier

Недавние достижения в области компьютерного зрения привели к появлению безмаркерного захвата движения, что устраняет необходимость в костюмах и отражающих точках. Используя камеры с датчиком глубины, алгоритмы машинного обучения и отслеживание скелета, такие системы, как Rokoko и Move.ai , могут захватывать движение человека из стандартных видеоканалов. Хотя все еще менее точные, чем оптические настройки на основе маркеров для сложных взаимодействий, технология без маркеров быстро улучшается и особенно привлекательна для инди-кинематографистов и этапов предвидения, где скорость и низкая стоимость являются приоритетами.

Системы захвата инерциальных движений

Инерциальные системы полагаются на небольшие датчики (гироскопы, акселерометры и магнитометры), встроенные в костюм, который носит актер. Эти датчики измеряют скорость вращения и линейное ускорение, которые затем сливаются для оценки ориентации суставов. Xsens и Noitom являются ведущими производителями инерциальных костюмов. В отличие от оптических систем, инерциальные технологии не ограничены линией видимости или условиями освещения, что делает их идеальными для наружных побегов или узких пространств. Однако они склонны к дрейфу с течением времени и часто требуют периодической перекалибровки. Многие производства объединяют инерциальные и оптические данные для смягчения слабостей каждого метода.

Захват лица и пальцев

Захват производительности выходит за пределы тела, чтобы охватить выражения лица и жесты рук. Камеры с высоким разрешением, установленные на голове (например, используемые в системе Face-FACS Weta Digital), захватывают сложные мышечные движения лица актера. Эти точки данных обрабатываются с помощью анимационных установок для лица, чтобы воссоздать реалистичные эмоции на цифровых персонажах. Аналогично, перчаточные или системы отслеживания рук (оптические или магнитные) записывают артикуляцию пальцев, позволяя персонажам общаться с той же ловкостью, что и человеческая рука.

Роль захвата движения в виртуальных производственных рабочих процессах

Виртуальное производство - это техника кинопроизводства, которая объединяет физические и цифровые процессы от предварительного производства до окончательной фотографии. Широкое внедрение этапов светодиодного объема - впервые предложенных Mandalorian - ускорило необходимость захвата движения в реальном времени. Вместо того, чтобы полагаться исключительно на зеленые экраны и пост-продакшн композитинг, кинематографисты теперь строят целые среды внутри массивных светодиодных стен. Эти стены отображают визуальные эффекты в камере, которые динамически реагируют на позиции и движения актеров, все визуализируются в реальном времени игровыми движками, такими как Unreal Engine .

Визуализация в реальном времени и принятие решений на месте

Современные системы захвата движения подают данные непосредственно в двигатели рендеринга в реальном времени, позволяя режиссёрам, кинематографистам и супервайзерам визуальных эффектов видеть финальные пиксели во время съёмок. Эта непосредственность трансформирует творческий процесс: актёры могут выступать в полностью реализованной цифровой среде, взаимодействуя с виртуальными объектами и персонажами, как если бы они физически присутствовали. Результатом является более динамичная сцена, поскольку исполнители могут регулировать свою блокировку и эмоциональное выражение на основе того, что они видят вокруг себя. Например, во время производства Avatar: The Way of Water Джеймс Кэмерон использовал систему виртуальной камеры в паре с захватом движения для просмотра сцен на мониторе в реальном времени, внося коррективы в кадрирование и освещение перед фактическим захватом.

Расширенное сотрудничество между департаментами

Поскольку виртуальные элементы видны во время съемок, петли обратной связи резко сокращаются. Режиссер может попросить команду камеры перепозиционировать виртуальное солнце, или команда визуальных эффектов может настроить текстуру инопланетного существа на лету. Эта совместная среда снижает зависимость от догадок и дорогостоящих пересъемок. Она также способствует совместному использованию словаря между техническими художниками и рассказчиками, поскольку обе стороны видят одно и то же развивающееся изображение.

Предвизуализация и поствизуализация

Захват движения не ограничивается основной фотографией. Во время предварительного просмотра режиссеры могут блокировать целые последовательности действий с помощью упрощенных цифровых марионеток, управляемых недорогими системами мокап. Этот процесс выявляет логистические проблемы, такие как размещение камеры или интервал между персонажами, задолго до того, как один доллар будет потрачен на конструкцию набора. В поствизе данные захвата движения используются для уточнения анимации и обеспечения непрерывности между пластинами живого действия и цифровыми активами. Линия между предварительным производством, производством и пост-продакшн растворяется, позволяя более плавный творческий конвейер.

Ключевые технологии захвата движения в виртуальном производстве

Несколько дополнительных технологий объединились, чтобы сделать современные рабочие процессы захвата движения эффективными и экономичными.

Стадии объема светодиодов и VFX in-Camera

Подход к объему светодиодов опирается на огромные массивы светодиодных панелей, которые отображают фотореалистичные фоны, часто генерируемые Unreal Engine или Unity. Когда данные захвата движения подаются в движок рендеринга, среда может плавно сдвигать перспективу по мере движения камеры. Это устраняет ошибки параллакса, распространенные в композитинге зеленого экрана, и обеспечивает точные отражения на реквизитах и лицах актеров. Такие производства, как The Batman и Thor: Love и Thunder, использовали светодиодные тома для включения цифровых сред в кадр живого действия без ручного композитинга.

Калибровка и отслеживание камер

Точный захват движения в объеме требует не только отслеживания исполнителей, но и физической камеры. Краны, куклы и установки Steadicam оснащены маркерами или датчиками, которые позволяют виртуальной камере соответствовать положению реальной камеры и параметрам объектива. Такие системы, как Technoprops и NCAM, обеспечивают отслеживание камеры в реальном времени и калибровку объектива, гарантируя, что элементы CG остаются идеально заблокированными для живых кадров.

Машинное обучение для очистки движения

Сырые данные захвата движения часто содержат шум, джиттер или маркерные окклюзии. Алгоритмы машинного обучения, такие как разработанные DeepMotion или встроенные в современные анимационные конвейеры, могут автоматически очищать и перенацеливать данные движения на различные скелетные установки. Это уменьшает ручной труд, традиционно необходимый аниматорам, и ускоряет цикл итерации. Некоторые инструменты даже выводят движение всего тела из частичных данных, например, используя только отслеживание головы и рук из гарнитуры VR.