Проектирование Fpga-систем для игр с низкой задержкой и виртуальной реальности

Почему FPGA являются естественными для низкозадержанных интерактивных систем

Задержка является врагом погружения в игры и виртуальную реальность. Даже несколько дополнительных миллисекунд между движением пользователя и соответствующим визуальным обновлением могут нарушить присутствие и вызвать дискомфорт. Полевые программируемые массивы ворот (FPGA) предлагают принципиально другой подход к обработке: вместо последовательного извлечения и выполнения инструкций они реализуют пользовательские аппаратные пути передачи данных, которые работают параллельно с детерминированным временем. Это делает их уникальными для синтеза датчиков в реальном времени, деформации дисплея и других задач, чувствительных к задержке, где согласованность имеет значение столько же, сколько сырая пропускная способность.

Типичная система на базе процессора вводит задержку через декодирование инструкций, предсказание ветвей, пропуски кэша и планирование операционной системы. GPU работает в модели командного буфера с накладными расходами и непредсказуемыми шаблонами доступа к памяти. FPGA, однажды запрограммированная, функционирует как прямой аппаратный конвейер: данные поступают от входных контактов через комбинационную и последовательную логику к выходным значкам с задержкой, которая известна наносекунде. Для гарнитуры VR со строгими сроками движения к фотону этот детерминизм неоценим. Возможность гарантировать, что датчик считывает, фильтрует и представляет обновление в течение фиксированного количества тактовых циклов каждый раз позволяет инженерам агрессивно бюджетировать задержку и предоставлять отзывчивый опыт.

Перенастраиваемость FPGA также означает, что разработчики могут повторять аппаратную логику без изготовления новых чипов. Эта быстрая возможность прототипирования особенно полезна для игровых периферийных устройств и конструкций гарнитур, которые требуют тонкой настройки алгоритмов обработки сигналов, протоколов интерфейса или времени отображения. По мере созревания инструментов синтеза высокого уровня нагрузка на разработку уменьшается, что делает FPGA доступными для команд с сильным программным обеспечением.

Понимание цепочки задержки в играх и VR

В интерактивных системах задержка не является единичным числом, а представляет собой совокупность задержек от ввода к выходу. Задержка движения к фотону включает в себя захват датчика, обработку, рендеринг и сканирование дисплея. Для VR это должно оставаться ниже 20 мс, чтобы избежать заметного запаздывания; высокопроизводительные системы нацелены на 10 мс или менее. Задержка ввода от контроллеров, задержка звука для пространственного звука и задержка сети для многопользовательского режима каждый добавляет в цепочку. Проблема в том, что любая единая связь с высоким джиттером или шипами может нарушить погружение.

FPGA атакуют каждую линию одновременно. Путем глубокой прокладки пути обработки, пользовательский дизайн может перекрывать слияние датчиков, деформацию изображения и вывод дисплея. Например, в то время как один блок выполняет коррекцию искажений на текущем кадре, другой блок может сплавлять данные IMU для следующего обновления позы. Этот потоковый подход устраняет необходимость ждать, пока один этап закончится, прежде чем начать следующий, уменьшая общий бюджет задержки.

Аудио задержка часто является запоздалой мыслью, но пространственное аудио требует головокружительной бинауральной обработки с задержками ниже 30 мс. FPGA может реализовать выделенные HRTF свертки и конвейеры моделирования помещений, которые работают на аппаратном обеспечении, добавляя субмиллисекундную задержку при сохранении тесной синхронизации с визуальным движением.

Основные принципы проектирования для систем с низкой задержкой на основе FPGA

Эксплуатировать параллелизм и глубокое пипелирование

Первый принцип заключается в использовании способности FPGA инстанцировать сотни независимых элементов обработки. Виртуальный трубопровод может включать в себя специальный модуль синтеза датчиков, корректор искажения объектива, контроллер времени отображения и двигатель DMA - все работает одновременно. Данные проходят через буферы FIFO с минимальным рукопожатием над головой. Критический путь сбалансирован так, что самая длинная стадия трубопровода определяет пропускную способность, в то время как общая задержка остается постоянной.

Глубокая пиплайнинг разбивает вычисления на множество мелких этапов, каждый из которых занимает один тактовый цикл. Для алгоритма оценки стерео глубины этапы для выпрямления, вычисления несоответствий и процесса фильтрации уверенности пикселей на нативной скорости камеры. Общая задержка от захвата пикселей до вывода глубины составляет всего несколько сотен тактовых циклов, независимо от разрешения изображения.

Создайте пользовательские пути данных и прямые подключения

Общие шины и сложные иерархии памяти вводят арбитражные задержки. FPGA позволяют использовать потоковые интерфейсы точек-точек с использованием протоколов, таких как AXI4-Stream. Данные перемещаются непосредственно из интерфейса камеры MIPI в блок демозаики, затем в экстрактор функций, без разбора шины. Такой подход также снижает мощность: каждый элемент данных потребляется сразу же после его производства, избегая повторных считываний и записей во внешнюю DRAM.

Для отслеживания на основе видения FPGA может извлекать функциональные точки в реальном времени и отправлять только координаты в процессор хоста, уменьшая полезную нагрузку данных и избегая полнокадровой буферизации. Эта модель потоковой передачи является прямой заменой буферно-тяжелых трубопроводов, типичных для систем CPU или GPU.

Разработка подсистемы детерминированной памяти

Блок-на-чипе RAM (BRAM) и UltraRAM обеспечивают самое быстрое хранение. Буферы видеолинии, таблицы поиска и коэффициенты фильтра должны жить внутри ткани, чтобы избежать непредсказуемой внешней задержки DRAM. Когда большие буферы являются обязательными, высокоширотная память (HBM), интегрированная в пакет FPGA, предлагает полосу пропускания терабайта в секунду с более низкой задержкой доступа, чем обычная память. Контроллеры памяти могут расставлять приоритеты для трафика, чувствительного к задержке, используя арбитраж с фиксированным приоритетом.

Для коррекции искажений линз деформирующий движок обычно требует соседства пикселей вокруг каждого выходного пикселя. Это эффективно реализовано с помощью нескольких буферов на основе BRAM, глубина которых соответствует максимальному смещению деформации. Поскольку шаблон доступа известен во время компиляции, планирование памяти полностью детерминировано.

Ускорение критических алгоритмов в аппаратном обеспечении

Графика, физика и вывод ИИ все выигрывают от выделенных аппаратных блоков. FPGA может реализовать движок пересечения трассировки лучей, фиксированный функциональные обратные кинематические решатель или легкий ускоритель нейронной сети для прогнозирования позы головы. Частичное перенастройка позволяет эти ускорители заменяться во время выполнения - например, загрузка модели отслеживания рук во время геймплея и модель обнаружения лица во время меню. Каждая конфигурация загружается в миллисекундах, не нарушая основной конвейер отображения.

Архитектура и инструменты FPGA для разработки с низкой задержкой

Современные FPGA из семейств Versal иIntel Agilex интегрируют закалённые IP-блоки: ядра ARM, двигатели ИИ, высокоскоростные приемопередатчики и контроллеры памяти. Эти устройства позволяют инженерам размещать программируемую логику непосредственно рядом с банками ввода-вывода, уменьшая задержки трассировки ПХД. Закалённые двигатели ИИ в Versal могут выполнять матричные операции для машинного обучения без использования ткани общего назначения, что делает их идеальными для задач VR, таких как оценка взгляда или отслеживание рук.

Инструменты разработки, такие как Vitis HLS, Quartus Prime и Synopsys Synplify, позволяют дизайнерам писать на C/C++ и синтезировать на аппаратное обеспечение. Для достижения низкой задержки необходимы явные прагмы для пиплайнинга, потока данных и разделения памяти. Для абсолютной низкой задержки RTL с ручным кодированием в Verilog или VHDL остается распространенным, но HLS закрывает разрыв для многих алгоритмов. SYCL — это еще один новый подход, позволяющий одноисточниковому коду нацеливаться на процессоры, графические процессоры и FPGA, упрощая исследование для команд, новых для ускорения FPGA.

Моделирование и отладка внутри системы с помощью интегрированных логических анализаторов (Xilinx ILA, Intel Signal Tap) позволяют командам проверять точное поведение цикла и напрямую измерять бюджеты задержки.

Стратегии параллельной обработки в играх и VR

Практическая архитектура помещает процессор приложений (ARM или x86) в управление сценами, принятие решений ИИ и сетевое ввод/вывод, в то время как FPGA обрабатывает датчики в реальном времени, визуализацию пост-процессов и вывод дисплея. Данные поступают от датчиков к FPGA, которая обрабатывает и передает абстрактную информацию в ЦП, а затем получает визуализированные кадры для окончательного деформирования и отображения.

Для позиционно отслеживаемой VR FPGA может выполнять IMU мертвое просчитывание при тысячах обновлений в секунду, предсказывая позу головы за микросекунды до обновления дисплея. Эта загрузка потребляет незначительные логические ресурсы и стоит всего несколько тактовых циклов. FPGA также может интегрироваться с контроллером времени дисплея для планирования прогнозирования позы в тот момент, когда сканирование достигает центра поля зрения пользователя, что еще больше снижает воспринимаемую задержку.

Для устройств ввода, таких как ручные контроллеры, FPGA собирает данные с акселерометров, емкостных сенсорных и тензодатчиков, выполняя слияние датчиков для вычисления позы рук и контактных сил через субмиллисекундные интервалы.Эти предварительно обработанные данные отправляются в основной процессор по линии с низким временем ожидания, уменьшая полосу пропускания и сохраняя время ожидания ввода под порогом восприимчивости.

Снижение задержки движения к фотону с помощью ускоренного рендеринга FPGA

Асинхронное временное деформирование является мощным методом: после того, как GPU отображает сцену, заключительный этап деформации применяет последнюю позу головы для сдвига изображения. На традиционном ПК это работает как вычислительный шейдер, добавляя резервное копирование буфера и накладные расходы. С FPGA между GPU и дисплеем деформация выполняется непосредственно перед сканированием с использованием аппаратного ячеистого движка, который считывает данные пикселей из линейного буфера и применяет преобразование на пиксель. Латтис КроссЛинк FPGA распространены в мобильных VR-гарнитурах для коррекции искажений на лету и смешивания.

Изогнутый двигатель обрабатывает пиксели в скан-линейном порядке, никогда не сохраняя весь кадр. Как только из GPU становится доступно несколько линий, начинается деформация, перекрытие передачи и коррекция. Этот метод может сбривать несколько миллисекунд с конвейера. Двигатель использует таблицу поиска, отображающую выходные пиксели в исходные местоположения, с билинейной интерполяцией, выполняемой в аппаратном обеспечении, добавляя только задержку нескольких линейных буферов.

Другой метод — замощенная визуализация с отслеживанием глаз. FPGA захватывает данные камеры слежения за глазами, вычисляет положение взгляда с задержкой до миллисекунды и передает параметры замотки контроллеру GPU или дисплея. Эта система замкнутого цикла динамически регулирует качество рендеринга без заметного запаздывания, обеспечивая более высокую точность в пределах ограничений полосы пропускания.

Слияние и отслеживание датчиков в виртуальной реальности

Точное отслеживание основано на данных высокой пропускной способности от камер, ИМУ и магнитометров, которые должны быть соотнесены во времени и пространстве. Временные метки датчика на основе FPGA с точностью до субмикросекунды с использованием аппаратного счетчика, синхронизированного по интерфейсам. Алгоритм слияния получает данные в детерминированных FIFO, никогда не пропуская образец из-за дрожания графика ОС.

Для слежения за камерой снаружи, легкая сверточная нейронная сеть, реализованная в срезах DSP, классифицирует положение руки или головы без потокового видео на хост. Трубопровод обрабатывает один ряд изображений на часы, выводя координаты ключевой точки с всего несколькими сотнями тактовых циклов задержки. Количественное определение сети до 8-битных весов снижает использование ресурсов при сохранении точности.

Отслеживание внешних базовых станций также имеет преимущества: время импульса декодируется в аппаратном обеспечении, вычисление угла прибытия с разрешением наносекунды. Несколько датчиков обрабатываются параллельно, и слияние оптических и инерционных данных происходит полностью в ткани FPGA, создавая позу 6-DOF с минимальной задержкой. Это имеет решающее значение для многопользовательских сред, где требуется точное относительное позиционирование.