Основы цифровой обработки сигналов в системах видеонаблюдения

Понимание цифровой обработки сигналов в современном видеонаблюдении

Системы видеонаблюдения превратились из простых аналоговых установок с замкнутым контуром (CCTV) в сложные цифровые экосистемы, способные к анализу в реальном времени и интеллектуальному принятию решений. В основе этой трансформации лежит Цифровая обработка сигналов (DSP) . DSP преобразует необработанные электрические сигналы от датчиков камеры в четкие, действенные видеопотоки, обеспечивая такие функции, как распознавание лиц, чтение номерных знаков и предупреждения на основе движения. Для профессионалов в области безопасности, интеграторов и ИТ-менеджеров понимание основ DSP имеет важное значение для проектирования, развертывания и поддержания эффективных сетей наблюдения, которые отвечают современным требованиям безопасности.

Что такое цифровая обработка сигналов?

Цифровая обработка сигналов - это математическое манипулирование оцифрованными сигналами, такими как видеокадры, аудио или данные датчиков, для улучшения качества, извлечения информации или сжатия данных для передачи и хранения. В отличие от аналоговой обработки, которая использует непрерывные уровни напряжения, DSP работает с дискретными числовыми значениями, представленными в двоичном формате. Это позволяет точные, повторяемые и программируемые операции на сигнале.

В видеонаблюдении сигнал исходит от датчика изображения камеры (обычно CMOS или CCD). Этот датчик захватывает свет и преобразует его в аналоговое напряжение. Затем аналого-цифровой преобразователь (ADC) затем с помощью регулярных интервалов пробует напряжение, производя поток цифровых значений пикселей. Алгоритмы DSP затем обрабатывают эти необработанные пиксельные данные для исправления несовершенств, улучшения функций и анализа контента до того, как видео будет сжато и передано или сохранено.

Корни DSP восходят к 1960-м годам с разработкой Fast Fourier Transform (FFT), но только в 1990-х годах, когда появились доступные цифровые сигнальные процессоры, видеонаблюдение стало серьезно использовать DSP. Сегодня специализированные чипы DSP, FPGA и мощные процессоры справляются с этими задачами в камерах, сетевых видеорегистраторах (NVR) и облачных серверах.

Основные функции DSP в видеонаблюдении

DSP выполняет несколько фундаментальных функций, которые непосредственно влияют на производительность и возможности систем видеонаблюдения. Каждая функция опирается на конкретные алгоритмы, предназначенные для решения конкретных задач в области захвата и анализа видео.

Улучшение изображения

Сырое видео от датчика часто страдает от шума — случайных изменений значений пикселей, вызванных низким светом, тепловым излучением датчика или помехами передачи. DSP использует методы фильтрации, такие как Гауссово размытие или медианная фильтрация , чтобы уменьшить шум при сохранении краев. Контрастная регулировка и выравнивание гистограммы растягивают диапазон интенсивности, делая детали в тени и выделения более заметными. Широкий динамический диапазон (WDR) Обработка сочетает в себе несколько экспозиций одной и той же сцены для создания одного кадра со сбалансированным освещением, критически важным в средах с сильной подсветкой или смешанными условиями освещения.

Обнаружение движения и отслеживание объектов

Одной из наиболее широко используемых функций DSP в наблюдении является обнаружение движения. Базовые алгоритмы сравнивают последовательные пиксели видеокадров по пикселям; любое значительное изменение значений пикселей вызывает тревогу. Более продвинутые методы используют вычитание фона для построения модели статической сцены и затем флага любых объектов переднего плана. Оптические алгоритмы потока оценивают векторы движения пикселей по кадрам, позволяя отслеживать движущиеся объекты даже в переполненных сценах. Эти DSP-управляемые обнаружения могут быть настроены на игнорирование нерелевантного движения (например, покачивание ветвей деревьев) путем установки порогов чувствительности и масок области интереса.

Видео сжатие

Несжатое цифровое видео генерирует огромное количество данных — поток 1080p при 30 кадрах в секунду может потребовать почти 1,5 Гбит/с. Алгоритмы DSP для сжатия, такие как H.264 (AVC), H.265 (HEVC) и более новый H.266 (VVC), уменьшают требования к пропускной способности и хранению, удаляя избыточную информацию как в пределах одного кадра (внутрикадровое сжатие), так и в последовательных кадрах (межкадровое сжатие). Например, H.265 может достигать до 50% лучшего сжатия, чем H.264, сохраняя при этом эквивалентное визуальное качество. DSP обрабатывает оценку движения и вычисления дискретного косинусного преобразования (DCT) вычисления, которые являются основой современных видеокодеков.

Распознавание лиц и классификация объектов

DSP позволяет проводить расширенную аналитику, извлекая функции из видеокадров. Для распознавания лиц процессор идентифицирует ключевые ориентиры (глаза, нос, рот) и генерирует математический шаблон (встраивание), который можно сравнить с базой данных. Аналогичным образом, лицензионное распознавание пластин (LPR) использует DSP для определения местоположения и чтения символов с автомобильных пластин, даже при различном освещении и углах. Алгоритмы классификации объектов, часто поддерживаемые легкими нейронными сетями, оптимизированными для аппаратного обеспечения DSP, могут различать людей, транспортные средства, животных и другие объекты, позволяя системе отфильтровать ложные сигналы тревоги от неугрожающего движения.

Аудио обработка

Многие камеры видеонаблюдения включают микрофоны. DSP обрабатывает аудиосигналы для фильтрации фонового шума, обнаружения специфических звуков, таких как разрыв стекла или выстрелы, и синхронизации аудио с видео. Подавление шума и отмена эха являются обычными операциями DSP, которые улучшают четкость звука для двусторонней связи в системах внутренней связи или публичных адресов.

Как работает DSP: цепочка сигналов

Понимание потока видеоданных через систему наблюдения помогает уточнить, где вписывается DSP. Цепь обычно состоит из нескольких этапов:

  1. Захват изображения: Свет проходит через объектив и поражает датчик. Датчик выдает аналоговое напряжение, пропорциональное интенсивности света для каждого пикселя.
  2. Аналог-цифровая конверсия:] АЦП преобразует аналоговое напряжение в цифровое число (например, 8-битное для стандартных 256 уровней серой шкалы, 10-битное или выше для HDR).
  3. Предварительная обработка (DSP): Сырая цифровая информация очищается — коррекция мертвых пикселей, удаление искажений объектива и фильтрация шума. Эта стадия также может выполнять автоматическую настройку баланса белого и экспозиции.
  4. Улучшение и аналитика (DSP): Чистый сигнал подвергается усилению контраста, WDR, заточки, а затем аналитическим задачам, таким как обнаружение движения или распознавание объектов.
  5. Сжатие (DSP): Усовершенствованное видео кодируется с использованием кодека для создания сжатого потока (например, H.265).
  6. Передача/Хранение: Сжатый поток отправляется по сети в NVR, систему управления видео (VMS) или облачное хранилище. Приемный конец может декодировать и повторно обрабатывать видео для отображения или дальнейшего анализа.

DSP может быть реализован на специализированном оборудовании (чипы DSP), процессорах общего назначения с оптимизированными библиотеками (например, Intel IPP, ARM NEON), графических процессорах или специализированных ускорителях AI. Выбор зависит от требуемой вычислительной мощности, энергопотребления и ограничений стоимости камеры или записывающего устройства.

Ключевые алгоритмы DSP в деталях

Несколько алгоритмов имеют основополагающее значение для современного наблюдения DSP. Здесь мы углубимся в наиболее влиятельные.

Адаптивное снижение шума

Шум неоднороден — он варьируется в зависимости от яркости сцены и настроек камеры. Алгоритмы адаптивного шумоподавления анализируют локальные характеристики окрестностей каждого пикселя и соответствующим образом корректируют прочность фильтрации. Пространственное шумоподавление работает на одном кадре, в то время как временное шумоподавление использует предыдущие кадры для различения стационарного шума и фактического движения. Чрезмерно агрессивный временный фильтр может вызывать призрачные артефакты при наличии движения, поэтому современный DSP тщательно уравновешивает это.

Широкий динамический диапазон (WDR)

WDR объединяет два или три изображения, сделанные в разное время экспозиции, в один кадр. Алгоритм выбирает правильно выставленные пиксели из каждого захвата: темные области из длинной экспозиции и яркие области из короткой экспозиции. DSP должен точно выровнять эти изображения, чтобы избежать неправильной регистрации, а затем объединить их плавно. True WDR производит окончательное изображение с деталями, видимыми как в глубоких тенях, так и в ярких бликах, критическая функция для входов, парковок и торговых сред.

Компенсированная временная фильтрация движения (MCTF)

MCTF - это передовая технология, используемая как для снижения шума, так и для сжатия. Она оценивает движение между кадрами, а затем фильтрует вдоль траекторий движения, а не фиксированных положений пикселей. Это сохраняет движущиеся объекты, все еще уменьшая шум. MCTF является вычислительно интенсивным, но обеспечивает превосходное качество видео, особенно в условиях низкой освещенности, где шум преобладает.

Фоновое моделирование и сегментация переднего плана

Обнаружение движения часто опирается на построение статистической модели фона — например, модели гауссовской смеси (GMM), которая представляет распределение цвета каждого пикселя с течением времени. Когда новый пиксель значительно отклоняется от модели, он классифицируется как передний план. Алгоритмы DSP периодически обновляют фоновую модель, чтобы адаптироваться к постепенным изменениям, таким как циклы дневного света или тени. Этот метод является основой обнаружения периметра и анализа сцены.

Преимущества использования DSP в видеонаблюдении

Интеграция DSP превращает простую камеру в интеллектуальное устройство. Ощутимые преимущества включают в себя:

Проблемы и ограничения

Хотя DSP обладает мощными возможностями, он также создает проблемы, с которыми системные разработчики должны справиться:

Будущие тенденции в DSP для наблюдения

Область цифровой обработки сигналов продолжает быстро развиваться, чему способствуют достижения в области искусственного интеллекта, аппаратного обеспечения и стандартов сжатия.

Интеграция глубокого обучения

Традиционный DSP использует алгоритмы ручной работы (например, фиксированные фильтры, обнаружение движения на основе правил). Глубокие нейронные сети могут обучаться оптимальной обработке данных, превосходя традиционные методы в таких задачах, как обнаружение объектов, семантическая сегментация и обнаружение аномалий. Специализированные чипы DSP, такие как Hailo-8, Google Edge TPU и NVIDIA Jetson, теперь включают нейронные процессоры (NPU), которые ускоряют вывод глубокого обучения при низкой мощности. Эта конвергенция DSP и AI позволяет использовать новые возможности, такие как анализ поведения, подсчет толпы и прогнозирование обнаружения угроз.

Край вычисления и локальная обработка

Вместо того, чтобы отправлять все видео на центральный сервер, больше обработки выполняется непосредственно на камере или ближайшем периферийном устройстве. Edge DSP снижает пропускную способность, снижает затраты на облачное хранилище и обеспечивает работу, даже если сетевое соединение потеряно. Будущие системы, вероятно, объединят DSP на устройстве с облачной аналитикой для оптимальной производительности.

Новые стандарты сжатия

H.266/Versatile Video Coding (VVC), доработанный в 2020 году, обещает до 30% лучшую компрессию, чем H.265. VVC полагается на еще более сложные алгоритмы DSP, но это позволит осуществлять наблюдение 4K и 8K при управляемых битрейтах. Между тем, JPEG XS предлагает визуальное сжатие без потерь с ультранизкой задержкой, подходящее для живого производства и криминалистического обзора.

Многоспектральный и 3D DSP

Камеры наблюдения выходят за пределы видимого света. Тепловые датчики, камеры времени полета с датчиками глубины и LiDAR генерируют сигналы, требующие специализированного DSP. Комбинирование видимого и теплового видео (слияние) обеспечивает надежное обнаружение во всех погодных и световых условиях. 3D-данные позволяют подсчитывать людей, измерять объем и анализировать заполняемость.

Заключение

Цифровая обработка сигналов является невоспетым героем современного видеонаблюдения, тихо преобразуя необработанные данные датчиков в четкие, интеллектуальные видеопотоки, на которые полагаются команды безопасности. От базового улучшения изображения до аналитики, основанной на ИИ в реальном времени, DSP лежит в основе каждого крупного прогресса в отрасли. По мере того, как технологии DSP продолжают развиваться - интеграция глубокого обучения, повышение эффективности сжатия и перемещение обработки на край - системы наблюдения станут более способными, более эффективными и более отзывчивыми. Для профессионалов, работающих в области безопасности, твердое понимание основ DSP больше не является обязательным; это является предпосылкой для создания систем, которые могут решать современные сложные проблемы безопасности и безопасности.