Внедрение видеоаналитики на основе Fpga для систем наблюдения

Растущая потребность в видеоинтеллекте в реальном времени

За последнее десятилетие индустрия безопасности претерпела резкий сдвиг. Аналоговые системы видеонаблюдения уступили место IP-камерам, обеспечивающим потоки высокой четкости по стандартным сетям. По мере того, как разрешения камер достигают 4K и 8K, огромный объем видеоданных создает критическую проблему: как извлекать работоспособный интеллект в режиме реального времени без подавляющего хранения и пропускной способности. Программная аналитика, работающая на процессорах или графических процессорах, часто изо всех сил пытается идти в ногу, особенно когда десятки потоков высокого разрешения требуют одновременной обработки. Операционные системные планировщики, промахи кэша и накладные расходы драйвера GPU вводят изменчивость задержки, которая затрудняет гарантию детерминированного ответа. Именно здесь программируемые на местах воротные массивы (FPGA) предлагают убедительную альтернативу, обеспечивая аппаратно-ориентированный анализ непосредственно на краю с детерминированной производительностью с низкой задержкой. Спрос на упреждающее обнаружение угроз, операционный интеллект и соответствие нормативным требованиям подтолкнули видеоаналитику на основе FPGA от нишевой специальности к основной стратегии развертывания для предприятий,

Организации, развертывающие системы наблюдения, сталкиваются с балансирующим действием между разрешением захвата, анализом в реальном времени и затратами на хранение. Одна камера 4K генерирует примерно 15-20 ГБ несжатого видео в час. Умножьте это на десятки или сотни камер, и задача управления данными станет огромной. Традиционные подходы отправляют все эти данные на центральный сервер для обработки, создавая узкие места в сети и задержку, которые могут сделать невозможным ответ в реальном времени. Обработка FPGA на основе Edge решает эту проблему, выполняя аналитику непосредственно на камере или в ближайшей точке агрегации, отправляя только метаданные и оповещения в центральную систему. Этот архитектурный сдвиг снижает требования к пропускной способности на 90% или более, обеспечивая время отклика, измеренное в микросекундах, а не секундах.

Что делает FPGA разными для обработки видео

Полевой программируемый массив ворот представляет собой интегральную схему, внутренние логические блоки, межсоединения и ячейки ввода/вывода которой могут быть сконфигурированы после изготовления с использованием языка описания аппаратного обеспечения. В отличие от процессоров, которые выполняют инструкции последовательно, FPGA могут быть организованы для выполнения операций на уровне пикселей одновременно. В видеоаналитике это означает множественные операции— преобразование цветового пространства, вычитание фона, морфологическая фильтрация и извлечение признаков— могут происходить в одном тактовом цикле в разных областях кадра. Современные FPGA от поставщиков, таких как AMD Xilinx и Intel (Altera)Интегрируют высокоскоростные приемопередатчики и выделенные видеоинтерфейсы, позволяя прямое соединение с MIPI, LVDS или SDI-камерами без промежуточных конвертеров. Перенастраиваемая ткань означает, что по мере развития алгоритмов аналитики или появления новых стандартов, то

Чтобы понять, чем FPGA отличаются от обычных процессоров, рассмотрим типичный конвейер обработки видео. Система на базе процессора считывает кадр из памяти, выполняет инструкции для каждого пикселя, записывает результаты и повторяет для следующей операции. Этот последовательный подход создает узкие места пропускной способности памяти и ларьки трубопровода. FPGA может инстанцировать выделенный аппаратный конвейер, где каждый этап работает одновременно на разных элементах данных. Сырье данных пикселей проходит через каскад блоков обработки— шумоподавление, нормализация яркости, сегментация объектов, классификация— все часы с частотой видеопикселей. Задержка от ввода к выходу является детерминированной и остается постоянной независимо от того, сколько объектов появляется на сцене. Эта характеристика оказывается бесценной для приложений, таких как распознавание номерных знаков на шоссе или отслеживание дронов, где каждая микросекунда имеет значение.

Основные преимущества FPGA-ориентированной аналитики

Детерминированная обработка с низкой задержкой

В наблюдении разрыв между происходящим событием и системой, запускающей оповещение, является критическим. FPGA обрабатывают видео как конвейер, минуя планировщик операционной системы и иерархию кэша, которые вводят переменные задержки в системах на основе процессора или графического процессора. Хорошо спроектированный трубопровод FPGA может проглатывать необработанный видеокадр, запускать несколько алгоритмов обнаружения и выводить сигнал тревоги с задержкой, измеренной в микросекундах & #8212; часто меньше, чем один период кадра. Для обнаружения вторжения по периметру, локализации выстрела или обеспечения скорости движения по шоссе это детерминированное поведение делает разницу между ловлей инцидента и его полным отсутствием. Реальные развертывания показали последовательную субмиллисекундную сквозную обработку для потоков 1080p60, позволяя операторам действовать на события, прежде чем они закончат разворачиваться.

Мощность и тепловая эффективность

Многие установки видеонаблюдения работают при строгом бюджете мощности или полагаются на Power over Ethernet (PoE). FPGA среднего класса, выполняющая обнаружение объектов в реальном времени на четырех потоках 1080p, обычно потребляет менее 10 Вт, в то время как сопоставимый GPU может потреблять в два-три раза больше этого количества и требовать активного охлаждения. Поскольку FPGA выделяют аппаратные ресурсы только для точных задач, необходимых, они избегают накладных расходов графического конвейера общего назначения, что приводит к снижению рассеивания тепла и более простому управлению температурой. Это позволяет без вентилятора, герметичные корпуса, подходящие для наружных или промышленных сред. Для батареек или солнечных батарей краевые узлы, энергоэффективность FPGA может продлить срок службы на дни или недели по сравнению с альтернативами на основе GPU.

Гибкость и долгосрочная модернизация

Аналитика наблюдения развивается быстро. Алгоритмы для идентификации личности, обнаружения аномалий и отслеживания мультикамер постоянно совершенствуются. С помощью FPGA обновление программного обеспечения для битового потока может развертывать совершенно новую логику в кремнии без какого-либо аппаратного обмена. Это увеличивает срок службы развертывания полевого оборудования и позволяет системным интеграторам предлагать аналитику как услугу, где периодически выдвигаются улучшения функций. Розничная сеть может сначала развертывать подсчет людей и картирование тепла, а затем добавлять обнаружение складских запасов или управление очередями без изменения оборудования. Одна платформа FPGA может обслуживать несколько вертикальных рынков через различные нагрузки прошивки & #8212; логистический центр фокусируется на автоматическом распознавании номерных знаков и отслеживании контейнеров, в то время как критический инфраструктурный сайт подчеркивает обнаружение вторжений и отслеживание активов.

Многопотоковая параллель

В отличие от встроенных процессоров, которые разрезают время между задачами, FPGA может создавать отдельные аналитические конвейеры для каждого видеовхода, запускать их действительно одновременно и все еще иметь логические ресурсы, чтобы сэкономить на шифровании, сжатии или метаданных. Эта архитектура изящно масштабируется: добавление пятой камеры потребляет больше ворот, не ухудшая частоту кадров существующих каналов. Центры операций по обеспечению безопасности, отслеживающие десятки каналов, могут централизовать аналитику на одной или двух картах ускорителя FPGA, резко сокращая количество серверов и связанные с ними расходы на лицензирование. В полевых испытаниях Xilinx Kintex-7 FPGA обработал восемь потоков 1080p30 одновременно с обнаружением и классификацией объектов, поддерживая полную частоту кадров на всех каналах & #8212; подвиг, требующий нескольких высокопроизводительных графических процессоров или кластера встроенных процессоров.

Повышение безопасности и доверия

FPGA предлагают уникальные преимущества для развертывания, ориентированного на безопасность. Перенастраиваемая ткань может реализовать безопасную загрузку, проверку целостности среды выполнения и аппаратное шифрование, которое защищает аналитический конвейер от подделки. В отличие от процессоров или GPU, где вредоносный код может выполняться вместе с законными процессами, логика FPGA’ статична во время выполнения и не может быть изменена без обновления битового потока, требующего криптографической аутентификации. Эта цепочка доверия имеет решающее значение для приложений, где видеодоказательства должны быть допустимы в суде, таких как камеры правоохранительных органов или системы скрининга в аэропортах. Кроме того, детерминированная модель обработки устраняет атаки синхронизации боковых каналов, которые используют задержку переменных в программных системах.

Создание системы наблюдения с поддержкой FPGA

Определение требований

Каждое успешное развертывание начинается с четкой спецификации. Заинтересованные стороны должны определить типы требуемой видеоаналитики: обнаружение движения, пересечение проволоки, предупреждения об оставленных объектах, распознавание лиц или расширенный поведенческий анализ. Факторы окружающей среды & #8212; условия освещения, углы камеры, размеры в помещении против наружного и ожидаемые размеры объекта & #8212; непосредственно влияют на разработку алгоритма. Ограничения пропускной способности и политики хранения также имеют значение; некоторым системам может потребоваться удалить личную информацию до того, как данные покинут периферийное устройство. Этот документ требований становится эталоном, по которому измеряются аппаратные возможности и выбор ядра IP. Определите ложноположительные и ложноотрицательные уровни допуска, а также максимально допустимая задержка для генерации оповещения.

Выбор платформы Hardware

Выбор правильной FPGA включает в себя балансировку логической плотности, срезов DSP, оперативной памяти и вариантов ввода-вывода против затрат и мощности. Малые устройства форм-фактора, такие как Lattice ECP5 или Intel MAX 10, могут обрабатывать базовую аналитику на одном потоке низкого разрешения. Семьи среднего диапазона, такие как Xilinx Kintex или Intel Arria, обеспечивают достаточную пропускную способность для многопотоковой обработки 4K с возможностью вывода нейронных сетей. В высоком конце Zynq UltraScale + MPSoCs объединяют ткань FPGA с процессорами ARM Cortex, позволяя сосуществовать на одном чипе управлению на базе Linux, облачному подключению и ускорению FPGA. Наборы оценки с предварительно проверенными интерфейсами камеры и эталонными конструкциями от производителей кремния ускоряют прототипирование и сокращают время выхода на рынок. Xilinx Alveo Video AI Kit обеспечивает полную аппаратную и программную платформу для разработки видеоаналитики в реальном времени.

Разработка алгоритмов и оптимизация

Алгоритмы видеоаналитики, написанные для последовательных процессоров, редко эффективно отображаются на аппаратное обеспечение FPGA. Инженеры должны повторно создавать процедуры для использования параллелизма и конвейерирования. Модель вычитания фона может быть построена полностью потоковым способом, обрабатывая один пиксель за тактовый цикл с использованием буфера фиксированного размера, а не считывая целые кадры в память. Инструменты синтеза высокого уровня (HLS) & #8212; такие как Vitis HLS или Intel HLS Compiler & #8212; пусть разработчики работают на C или C++, а затем генерируют оптимизированный RTL, резко снижая барьер для разработчиков алгоритмов без глубокого аппаратного опыта. Требуется тщательное внимание к типам данных, развертыванию петли и разделению памяти, чтобы избежать задержек и максимизировать пропускную способность. Предварительно построенные IP-ядра для общих функций, таких как масштабирование видео, деинтерлаксация и фильтры свертки, еще больше сокращают циклы разработки. Для вывода машинного обучения оптимизированные IP-ядра нейронной сети от поставщиков, таких как [F

Программирование оборудования и генерация Bitstream

После того, как алгоритм реализован на языке описания аппаратного обеспечения или через HLS, дизайн подвергается синтезу, замыканию места и маршрута и замыканию времени в инструментальной цепи поставщика & #8217. Выход представляет собой файл битового потока, который настраивает FPGA. Современные инструменты предоставляют подробные отчеты об использовании ресурсов, тактовой частоте и оценках мощности. Для систем наблюдения с несколькими датчиками дизайнеры часто создают модульную архитектуру: центральный механизм прямого доступа к памяти видео (VDMA) захватывает кадры из интерфейсов камеры и передает их в параллельные аналитические модули, каждый из которых генерирует метаданные или сигнальные флаги. Проверка использует моделирование и тестирование аппаратных средств в цикле с предварительно записанными видеопоследовательностьми для проверки точности перед развертыванием. Непрерывные интеграционные конвейеры могут автоматизировать процесс сборки и тестирования, гарантируя, что изменения в логике аналитики не вводят регрессии.

Интеграция с камерами и программным обеспечением для управления

Модуль FPGA должен физически и логически подключаться к более широкой экосистеме безопасности. Общие интерфейсы включают MIPI CSI-2 для встроенных камер, SDI для датчиков вещания и GigE Vision или USB3 Vision для промышленных камер. На стороне вывода метаданные и видеопотоки упакованы в стандартные протоколы, такие как ONVIF Profile M или пользовательские полезные нагрузки JSON-over-RTSP. Сетевые видеорегистраторы (NVR) и системы управления видео (VMS) ожидают аналитических событий в определенном формате; встроенная система обработки FPGA’ запускает легкий стек промежуточного программного обеспечения для перевода аппаратных событий в действенные оповещения VMS. Тщательное тестирование интеграции гарантирует, что зоны обнаружения, пороги чувствительности и конфигурации графика соответствуют ожиданиям оператора. Многие поставщики VMS публикуют конкретные API для интеграции аналитики третьих сторон, которые могут быть использованы для создания бесшовного пользовательского опыта.

Полевые испытания и постоянная оптимизация

Никакое количество лабораторного моделирования не заменяет валидацию в реальном мире. Начальные развертывания обычно запускаются в теневом режиме, где аналитика FPGA регистрирует события без запуска тревоги, позволяя интегратору точно настраивать параметры и устранять ложные срабатывания, вызванные качающимися деревьями, бликами или насекомыми. Метрики производительности, такие как истинная положительная скорость, распределение задержки и падение кадра в худшем случае под нагрузкой, собираются и сравниваются с базовыми требованиями. Системы на основе FPGA часто могут быть удаленно обновлены с новым битовым потоком, что делает итерационное улучшение простым. Со временем модели машинного обучения, работающие на ткани FPGA & #8217 или тесно связанном NPU, могут быть переобучены и перераспределены для адаптации к сезонным изменениям освещения или новым шаблонам угроз. Операторы также должны контролировать использование ресурсов FPGA & #8217 и температуру для обеспечения долгосрочной надежности.

Основные алгоритмы видеоаналитики для реализации FPGA

Наиболее широко развернутые аналитические функции, естественно, отображаются в архитектурах FPGA. Каждая из них реализуется в виде потокового трубопровода с детерминированной задержкой.

• Обнаружение движения и отслеживание объектов: Фоновое моделирование с использованием адаптивных гауссовских смесей или рабочих средних, за которым следуют маркировка подключенных компонентов и фильтрация Калмана для траектории сшивания. FPGA реализуют их в глубоком трубопроводе, который обрабатывает несколько областей интересов одновременно, поддерживая фоновые модели на пикселях в блоковой оперативной памяти.
• Объектная классификация: Легкие сверточные нейронные сети (CNN), квантованные с точностью до INT8, ускоряются на блоках DSP. Обычные модели, такие как YOLO-nano или MobileNet-SSD, работают на десятках кадров в секунду на датчик, различая людей, транспортные средства и животных. Трубопровод FPGA обрабатывает многомасштабное обнаружение путем параллельной обработки пирамид изображений.
• Распознавание пластины по лицензии (LPR): Трехступенчатый трубопровод: локализация пластины с использованием морфологических операций, сегментация символов и оптическое распознавание символов. Выделенные двигатели LPR обрабатывают скорости выше 200 км/ч, когда задержка памяти управляется через буферы на кристалле. Некоторые реализации достигают 99% точности на европейских пластинах при контролируемом освещении.
• Обнаружение и распознавание лиц: Обнаружение лица с помощью гистограммы ориентированных градиентов (HOG) или легких CNN, с последующим встраиванием экстракции с использованием нейронной сети. Функция на основе FPGA, сопоставленная с базой данных списков, хранящейся в оперативной памяти блоков на чипе, обеспечивает почти мгновенный поиск, часто в пределах одного интервала кадра.
• Брошенный объект и обнаружение слюны:] Спатиотемпоральный анализ отслеживает стационарные объекты с течением времени, дифференцируя между упавшим мешком и человеком, стоящим на месте. FPGA поддерживает карту истории в выделенной памяти, позволяя оповещения на основе правил с минимальным вмешательством процессора.

Эти строительные блоки часто объединяются. Один FPGA может выполнять LPR с движением на входных полосах, распознавание лиц на пешеходном турникете и подсчет людей через торговый зал & #8212; все одновременно. Ключом является распределение логических ресурсов на основе относительной сложности и требуемой пропускной способности каждой функции.

Интеграция с существующей инфраструктурой безопасности

Одним из самых сильных моментов продаж для аналитики на основе FPGA является возможность интеграции в устаревшие установки без оптовой замены. Многие карты ускорителя FPGA сидят в ряде между камерой и сетевым коммутатором, обрабатывая несжатое видео до того, как оно достигнет кодера. Эта модель сжатия в проводе означает, что существующие NVR и VMS платформы получают расширенный поток с аналитическими метаданными, встроенными в качестве событий OSD или ONVIF XML. Альтернативно, централизованное устройство FPGA может принимать потоки RTSP из сети IP-камеры, выполнять аналитику и пересылать результаты на сервер управления. Совместимость с отраслевыми стандартами, такими как ONVIF Profile G для краевой записи и хранения имеет решающее значение. Ведущие поставщики VMS публикуют API и руководства по интеграции событий, позволяя настраивать разработку драйверов на хосте FPGA’s Linux, если это необходимо. Тщательное внимание к задержке и буферизации сети гарантирует, что временные метки предупреждения остаются синхронизированными на всех устройствах в командном центре безопасности.

Преодоление сложности развития и барьеров затрат

Разработка FPGA исторически требовала специальных навыков аппаратного проектирования, что делает принятие затратозатратным для небольших интеграторов. Этот барьер неуклонно снижается. Инструменты синтеза высокого уровня позволяют программно-ориентированным разработчикам создавать проекты FPGA из знакомого кода C/C++. Всесторонние библиотеки IP обеспечивают предварительно проверенные видеопроводы, контроллеры памяти и функции компьютерного зрения от таких поставщиков, как AMD Xilinx и сторонние. На порталах GitHub и сообщества поставщиков доступны эталонные проекты для полных сетей аналитики камеры-дисплей, предлагая отправные точки, которые могут быть настроены. Появляются модели FPGA-как-услуга, где подключенные к облаку граничные устройства получают предварительно компилированные аналитические битстримы по подписке, полностью исключая авансовые технологии. В то время как стоимость аппаратного обеспечения на единицу продукции может все еще превышать встроенный процессор, общая стоимость владения часто благоприятствует FPGA, когда пожизненное потребление энергии, надежность и адаптивность к новым угрозам рассматриваются. Гранты и налоговые льготы для проектов инфраструктуры общественной безопасности дополнительно компенсируют первоначальные инвестиции