Будущее Fpga в автономных навигационных системах

Введение: аппаратная проблема автономной навигации

Гонка за развертывание полностью автономных транспортных средств выявила критическое узкое место: аппаратное обеспечение должно обрабатывать огромный объем данных датчиков в режиме реального времени при соблюдении строгих ограничений безопасности и мощности. Традиционные архитектуры, ориентированные на процессор, борются с задержкой и параллелизмом, необходимыми для таких задач, как обработка облака точек лидара, анализ радиолокационных сигналов и обнаружение объектов на основе камеры. Программируемые на полевых условиях массивы ворот появились в качестве убедительной альтернативы, предлагая уникальную комбинацию реконфигурируемости, детерминированной производительности и мелкозернистого параллелизма. В этой статье рассматривается, как FPGA меняют автономные навигационные системы транспортных средств, их технические сильные стороны, текущие ограничения и траектория, которая определит их роль в платформах самоуправляемого следующего поколения.

FPGA: за пределами общего процессора

По своей сути FPGA представляет собой ткань настраиваемых логических блоков, связанных программируемой маршрутизацией. В отличие от обычного процессора, который последовательно выполняет инструкции, FPGA может быть подключена для реализации любой цифровой схемы непосредственно в аппаратном обеспечении. Эта способность используется через языки описания аппаратного обеспечения или все чаще через инструменты синтеза высокого уровня, которые преобразуют код C/C++ в аппаратную логику. Полученная схема работает с детерминированным временем, часто на уровне тактового цикла, что делает FPGA идеальными для критически важных приложений, где время выполнения в худшем случае должно быть ограничено. Современные устройства автомобильного класса, такие как AMD Xilinx Zynq UltraScale + MPSoC , интегрируют процессоры приложений ARM с тканью FPGA, обеспечивая гетерогенную платформу, которая уравновешивает программное обеспечение управления с аппаратным ускорением.

Преимущество реконфигурируемости

Возможность изменения конфигурации аппаратного обеспечения после развертывания отличает FPGA от интегральных схем для конкретных приложений и ускорителей с фиксированной функцией. Автопроизводитель может обновить конвейер обработки датчиков через обновления потокового потока по воздуху, добавив поддержку новых моделей лидаров или улучшенных алгоритмов радара без замены физических компонентов. Эта гибкость согласуется с программно-определяемой парадигмой транспортного средства, где непрерывное улучшение распространяется на протяжении всего жизненного цикла транспортного средства. Например, после отзыва безопасности из-за сбоя обработки датчиков в угловом корпусе система на основе FPGA может развернуть исправление ошибок для всего парка в течение нескольких дней, что невозможно с конструкциями на основе ASIC.

Почему FPGA доминируют в трубопроводе «сенсор-восприятие»

Автономная навигация - это многоступенчатый процесс: сбор необработанных датчиков, предварительная обработка данных, синтез датчиков, восприятие (обнаружение объектов, семантическая сегментация), прогнозирование, планирование и управление. FPGA обеспечивают максимальное влияние на ранних, чувствительных к задержке этапах, где данные должны быть преобразованы из необработанных показаний датчиков в структурированную модель мира.

Детерминированная обработка с низкой задержкой

В системах безопасности задержка в худшем случае имеет значение больше, чем средняя пропускная способность. Процессор, работающий под управлением операционной системы реального времени, все еще может страдать от джиттера прерываний и задержек переключения контекста. GPU, в то время как параллельные, часто пакетные операции, вводят переменную задержку. FPGA обрабатывают данные по мере прохождения через выделенный трубопровод, причем каждая стадия завершается фиксированным количеством тактовых циклов. Например, облако точек лидара может быть фильтровано, преобразовано и сгруппировано в аппаратном трубопроводе, который гарантирует завершение в течение 50 микросекунд, независимо от нагрузки системы. Эта предсказуемость упрощает сертификацию функциональной безопасности ISO 26262. Крупные поставщики Tier-1, такие как Bosch и Continental, продемонстрировали блоки обработки датчиков на основе FPGA, которые достигают субмиллисекундной сквозной задержки для слияния камеры с LiDAR, что имеет решающее значение для высокоскоростного аварийного торможения.

Массивная параллель без накладных расходов

FPGA может выполнять тысячи независимых арифметических блоков, каждый из которых выполняет определенную операцию на потоке данных. Этот мелкозернистый параллелизм особенно подходит для скудных или нерегулярных рабочих нагрузок, таких как планирование пути на основе графов, динамическое отслеживание объектов или обработка доплеровского радара. В отличие от GPU, который должен запускать ядра и управлять потоками, логика FPGA работает непрерывно без накладных расходов, достигая более высокой эффективности на ватт для многих задач обработки датчиков. Один FPGA среднего диапазона может обрабатывать четыре потока камеры 1080p с 60 кадров в секунду - демозаика, гамма-коррекция и обнаружение края - одновременно вычисляя 64-канальную карту диапазона радара - доплеровская карта, все менее 10 ватт.

Сенсорная сплавка и фронтальная обработка

Типичный набор датчиков уровня 4+ включает в себя 8-12 камер, 3-5 лидаров, 6-10 радаров, ультразвуковые датчики и инерционные измерительные блоки. Консолидация этих потоков требует интерфейсов высокой пропускной способности и синхронизации в реальном времени. FPGA превосходят в качестве аппаратного узла, потому что они могут напрямую взаимодействовать с несколькими протоколами датчиков - MIPI CSI-2 для камер, LVDS для лидара и JESD204B для высокоскоростных ADC в радаре - без необходимости использования внешних чипов моста. FPGA может выполнять задачи предварительной обработки, такие как демозаика шаблонов Bayer, гамма-коррекция, карты диапазона FFT-допплеров и фильтрация облаков точек на основе FFT, прежде чем любые данные достигнут основного процессора. Эта разгрузка снижает нагрузку на центральный вычислительный блок, позволяя ему сосредоточиться на выводах и планировании ИИ высокого уровня. Семейство Intel Agilex FPGA с его интегрированными блоками DSP и высокоскоростными приемопередатчиками, иллюстрирует эту возможность обработки с помощью интегрированных блоков DSP

Реальные мировые развертывания

Несколько разработчиков автономных транспортных средств приняли фьюжн датчиков на основе FPGA. Ранняя платформа автономного вождения Waymo использовала Xilinx FPGA для обработки данных лидара и синхронизации датчиков. В то время как Waymo позже переключилась на пользовательские ASIC для производства, модульность FPGA позволила быстро итерировать алгоритм на этапе исследования. Совсем недавно китайский стартап автономного вождения WeRide использует AMD Xilinx Vitis AI на устройствах Zynq для обработки с низкой задержкой на интерфейсе в своих робототехнических системах 4 уровня, работающих в Гуанчжоу и Абу-Даби.

FPGA vs. GPU vs. ASIC: стратегическое сравнение

Автономная автомобильная промышленность обсуждает оптимальную вычислительную архитектуру. Каждый вариант имеет сильные и недостатки:

• Гибкость: FPGA полностью реконфигурируемы, позволяя обновлять аппаратное обеспечение после развертывания. GPU программируемы, но ограничены изменениями уровня программного обеспечения. ASIC фиксируются при производстве.
• Стоимость в масштабе: Для малых и средних объемов (например, флотов роботов) FPGA являются экономически эффективными, поскольку нет повторяющихся инженерных затрат. При больших объемах (миллионы единиц) ASIC предлагают более низкую стоимость единицы, но требуют больших первоначальных инвестиций.
• Эффективность питания: Хорошо оптимизированная FPGA может подходить к энергии ASIC-уровня за операцию для конкретных рабочих нагрузок, часто превосходя GPU, который должен часто получать доступ к внешней памяти. Например, конвейер обработки радара на FPGA потребляет 5-10 Вт, в то время как реализация на основе GPU может использовать 30-50 Вт для той же задачи.
• Сложность разработки: Грамматическое программирование с CUDA или OpenCL знакомо многим разработчикам программного обеспечения.Программирование FPGA требует навыков проектирования аппаратного обеспечения, хотя синтез высокого уровня сокращает разрыв.

Для систем 4 и 5 уровней появляется гетерогенный подход: FPGA обрабатывают передние и низкочастотные контуры управления датчиками, GPU ускоряют большие нейронные сети, а CPU запускают стек планирования и мониторы безопасности. Tesla, наоборот, использует пользовательский SoC (FSD Computer) для всей обработки, демонстрируя, что адаптированная ASIC может добиться успеха, когда архитектура нейронной сети стабильна. Однако большинство поставщиков Tier-1 и OEM-производителей рассматривают FPGA как необходимый для слоя предварительной обработки, который может адаптироваться к новому аппаратному обеспечению датчиков в течение 15-летнего жизненного цикла автомобиля.

Выводы по глубокому обучению на FPGA: квантизация и кастомизация

Нейронные сетевые выводы являются центральными для восприятия. В то время как графические процессоры доминируют в обучении, FPGA предлагают преимущества для вывода на краю. Благодаря квантованию моделей до точности INT8 или INT4 и отображению графика на срезы DSP и блоки ОЗУ, FPGA достигают высокой пропускной способности с низкой задержкой. Такие фреймворки, как AMD Xilinx Vitis AI поддерживают преобразование модели из TensorFlow и PyTorch, оптимизируя сверточные и повторяющиеся сети. Кроме того, FPGA могут реализовывать пользовательские слои, такие как нестандартные функции активации или новые схемы объединения, которые недоступны в фиксированных ускорителях ИИ. Эта гибкость ценна для исследовательских групп, которые хотят экспериментировать с сенсорными сетями синтеза, которые объединяют функции камеры и лидара на ранней стадии, требуя индивидуальных путей передачи данных.

Ускорение трансформатора на FPGA

С ростом трансформаторных архитектур для зрения и мультимодального синтеза FPGA используются для ускорения механизма внимания. Пользовательские аппаратные реализации могут уменьшить задержку операций самовнимания, которые являются интенсивными по пропускной способности памяти. Исследовательские прототипы продемонстрировали трансформаторы на основе FPGA, которые обрабатывают видеопотоки со скоростью 1080p 30fps при потреблении менее 15 Вт, опережая встроенные GPU в энергоэффективности. Такие компании, как Recogni, разработали специализированные ускорители трансформаторов, построенные на логике FPGA для восприятия автомобиля, доски оценки доставки в 2024 году.

Функциональная безопасность: доверие к Кремнию

Автономные системы вождения должны соответствовать стандартам ISO 26262, которые требуют строгого обнаружения и смягчения неисправностей. FPGA предлагают механизмы безопасности аппаратного уровня: логика шага блокировки, встроенные самотесты, ECC-защищенные воспоминания и возможность реализации избыточных путей обработки. Поскольку логика определена на уровне затвора, анализ режима впрыска и отказа может быть выполнен точно. Ведущие поставщики FPGA предоставляют функциональные пакеты безопасности с предварительно сертифицированными IP-блоками для подсистем процессора, контроллеров DMA и межсоединений, которые достигают ASIL B через ASIL D. Например, пакет безопасности Intel FPGA, который предварительно сертифицирован для ASIL D. Детерминированное время трубопроводов FPGA также упрощает расчет отказоустойчивых интервалов времени, ключевая метрика для проверки безопасности.

Обновление оборудования для воздушных судов: смена парадигмы

Возможность обновления аппаратной логики по воздуху является одной из наиболее привлекательных особенностей систем на основе FPGA. В отличие от ASIC, алгоритмы которого заморожены, FPGA может получать новый битовый поток, который перенастраивает свою логическую ткань для поддержки другой архитектуры нейронной сети, добавляет новый интерфейс датчика или улучшает блок обработки. Эта возможность поддерживает непрерывное улучшение и позволяет автопроизводителям исправлять аппаратные ошибки без отзывов. Для обеспечения безопасности битовые потоки должны быть аутентифицированы и зашифрованы; современные FPGA интегрируют аппаратный корень доверия и физические неклонируемые функции для предотвращения подделки. Ведущие автомобильные OEM-производители теперь требуют возможности обновления OTA для любого вычислительного модуля в транспортных средствах уровня 3 +, что делает FPGA естественным для этого требования.

Интеграция V2X и 5G связи

Транспортное средство-всему коммуникация вводит дополнительные потоки данных из инфраструктуры, других транспортных средств и облачных сервисов. Навигационная система должна обрабатывать сообщения V2X, обрабатывать криптографию и сплавлять эти данные с бортовыми датчиками. FPGA хорошо подходят для реализации стеков протоколов для 5G, DSRC и C-V2X непосредственно в аппаратном обеспечении, предлагая меньшую задержку и более высокую пропускную способность, чем реализации на основе программного обеспечения. Перенастройка FPGA означает, что по мере развития стандартов V2X (например, от 4G до 5G NR боковой линии) аппаратное обеспечение может адаптироваться без замены чипсета. Добавление криптографического ускорителя для аутентификации сообщений V2X тривиально в FPGA, тогда как для этого потребуется новый ASIC или дополнительный микроконтроллер. Платформа Snapdragon Ride Qualcomm использует гетерогенный подход с настраиваемыми ускорителями FPGA для этой цели, дополнительно проверяя концепцию.

Проблемы, которые закаляют усыновление

Несмотря на свои преимущества, FPGA сталкиваются с препятствиями для широкого внедрения в автомобильных платформах.

• Стоимость разработки и разрыв в талантах: Квалифицированных инженеров FPGA мало. Цикл разработки сложных конструкций FPGA может быть на месяцы длиннее, чем для программного обеспечения, а инструменты синтеза высокого уровня, при улучшении, по-прежнему требуют аппаратного опыта для достижения оптимальных результатов.
• Теплоуправление: Высокопроизводительные FPGA могут рассеивать 50-100 Вт, что требует радиаторов и вентиляторов, которые повышают стоимость и снижают надежность в автомобильной среде. Продвинутые методы упаковки, такие как интерпостеры и жидкостное охлаждение, изучаются, но добавляют сложности.
• Степень зрелости интеграционных процессов FPGA с автомобильными рабочими процессами (AUTOSAR, ROS 2, RTOS, сертифицированные по безопасности) остается сложной задачей. Слои промежуточного программного обеспечения часто необходимы для соединения аппаратных ускорителей и прикладного программного обеспечения. Однако такие инициативы, как Унифицированная программная платформа Vitis , начинают предоставлять стандартные API.
• Проблемы безопасности: По мере того, как FPGA становятся сетевыми, они становятся мишенями для атак по боковым каналам и манипуляций с битовым потоком.