Использование Dsp-процессоров с поддержкой ИИ в автономных транспортных средствах

Автономные транспортные средства трансформируют транспорт, позволяя автомобилям ориентироваться и работать без вмешательства человека. Ключевой технологией этой революции является использование цифровых процессоров сигналов с поддержкой ИИ (DSPs). Эти специализированные процессоры обрабатывают сложный анализ данных в режиме реального времени, делая автономное вождение более безопасным и эффективным. По мере того, как автомобильная промышленность стремится к полной автономии, интеграция искусственного интеллекта с высокопроизводительными DSP стала краеугольным камнем систем восприятия, принятия решений и управления. В этой статье исследуется архитектура, приложения, преимущества, проблемы и будущая траектория процессоров DSP с поддержкой ИИ в автономных транспортных средствах.

Что такое DSP-процессоры с поддержкой AI?

Цифровые процессоры сигналов (DSP) - это специализированные микропроцессоры, оптимизированные для быстрой обработки реальных сигналов, таких как аудио, видео, температура, давление и радар. Традиционные DSP преуспевают в математических операциях, таких как свертка, фильтрация и быстрые преобразования Фурье (FFT) с высокой эффективностью и низкой задержкой. При расширении возможностей искусственного интеллекта эти процессоры получают возможность выполнять алгоритмы машинного обучения - особенно глубокие нейронные сети - непосредственно на данных сигнала. Этот синтез создает мощный вычислительный блок, который может интерпретировать потоки датчиков, распознавать шаблоны и принимать обоснованные решения автономно.

Архитектура и ключевые компоненты

DSP с поддержкой ИИ обычно интегрируют обычное ядро DSP с выделенными ускорителями нейронной сети, встроенной памятью и интерфейсами для входов датчиков. Нейронный ускоритель может быть блоком умножения матрицы, систолическим массивом или конфигурируемым сверточным двигателем. Многие современные процессоры также включают блоки векторной обработки и поддержку арифметики смешанной точности (например, INT8, FP16) для баланса скорости и точности. Твердая связь между блоками DSP и AI позволяет данным течь непосредственно из портов датчиков в вычислительные двигатели без прохождения процессора общего назначения, сводя к минимуму задержку.

Чем они отличаются от CPU и GPU

Центральные процессоры (ЦП) предлагают гибкость, но потребляют больше энергии на операцию для задач обработки сигналов. Графические процессоры (ГПУ) превосходят параллельные рабочие нагрузки, но часто требуют внешней полосы пропускания памяти, которая может вводить штрафы за мощность и размер. DSP с поддержкой ИИ обеспечивают уникальный баланс: они обеспечивают детерминированную обработку с низкой задержкой для потоковых данных при достижении высокой пропускной способности для вывода нейронных сетей - часто на долю бюджета мощности графического процессора. Это делает их идеальными для встроенных автомобильных сред, где тепловые и энергетические ограничения имеют первостепенное значение.

Роль в автономных транспортных средствах

Процессоры DSP с поддержкой ИИ занимают центральное место в нескольких критических функциях автономных транспортных средств. Они выступают в качестве моста между исходными данными датчиков и действующими командами вождения. В следующих подразделах подробно описаны их основные обязанности.

Обработка данных сенсора

Автономные транспортные средства полагаются на набор датчиков: lidar для 3D-облаков точек, radar для скорости и расстояния, cameras для визуального распознавания и для близости на коротком расстоянии. Каждый датчик производит непрерывный поток цифровых сигналов. DSP с поддержкой AI выполняют фронтальную фильтрацию, калибровку и извлечение признаков на этих потоках. Например, радар DSP может запускать алгоритмы анализа Доплера и обнаружения цели, в то время как камера DSP может выполнять обработку сигналов изображения (ISP) для улучшения контрастности и снижения шума перед подачей кадров в нейронную сеть.

Обнаружение и распознавание объектов

Используя сверточные нейронные сети (CNN) и модели на основе трансформаторов, DSP с поддержкой ИИ идентифицируют пешеходов, велосипедистов, другие транспортные средства, дорожные знаки, разметку полосы движения и препятствия. Интеграция AI позволяет этим процессорам классифицировать объекты с высокой точностью даже в сложных условиях - при слабом освещении, неблагоприятной погоде или частичной окклюзии. Производительность в реальном времени имеет решающее значение; типичная система должна обрабатывать 30-60 кадров в секунду от нескольких камер одновременно. Например, процессор TDA4VM Texas Instruments объединяет DSP с выделенным ускорителем глубокого обучения для достижения до 8 ТОП (триллион операций в секунду), оставаясь в пределах 20-ваттной энергетической оболочки.

Принятие решений и планирование пути

Помимо восприятия, DSP с поддержкой ИИ помогают в принятии решений. Они могут запускать модели обучения с подкреплением или логику на основе правил для оценки сценариев вождения, прогнозирования поведения других участников дорожного движения и планирования безопасных траекторий. В некоторых архитектурах DSP обрабатывает низкоуровневый цикл управления - выполнение команд рулевого управления, торможения и ускорения - на основе результатов от планировщика более высокого уровня. Детерминированный характер DSP гарантирует, что эти сигналы управления доставляются с точным временем, что необходимо для критически важных функций безопасности.

Реакция в реальном времени и слияние датчиков

Слияние датчиков — это процесс объединения данных от нескольких датчиков для создания единого представления окружающей среды. DSP с поддержкой ИИ превосходят это, потому что они могут одновременно обрабатывать лидарные, радарные, камеры и ультразвуковые сигналы с использованием общей временной базы. Например, DSP может выровнять облако точек лидара с изображением камеры, а затем запустить мультимодальную нейронную сеть для обнаружения объектов с большей уверенностью, чем любой из датчиков. Это уменьшает ложные срабатывания и повышает надежность в непредсказуемых условиях, таких как туннели или плотный трафик.

Преимущества DSP с поддержкой AI

По сравнению с традиционными процессорами и даже некоторыми ускорителями ИИ, DSP с поддержкой ИИ предлагают несколько преимуществ, которые особенно подходят для приложений автономного вождения.

Высокоскоростная обработка с детерминированной задержкой

Автономные транспортные средства должны реагировать на опасности в миллисекундах. DSP с поддержкой ИИ достигают низкой и предсказуемой задержки, потому что они предназначены для потоковой передачи данных и могут выполнять трубопроводы без накладных расходов, вызванных прерыванием. Например, типичный конвейер обработки лидара - от необработанных данных до обнаружения объектов - может выполняться менее чем за 10 миллисекунд на оптимизированном DSP по сравнению с 30-50 миллисекундами на процессоре общего назначения. Этот запас скорости может означать разницу между безопасной остановкой и столкновением.

Энергоэффективность

Потребление энергии является основным ограничением в электрических и гибридных транспортных средствах. DSP с поддержкой ИИ обычно потребляют 5-15 Вт для полной автономной рабочей нагрузки, тогда как система на основе GPU может потребовать 150-300 Вт. Эта эффективность расширяет диапазон вождения и снижает требования к управлению температурой. Например, процессор S32V NXP объединяет DSP и нейронный процессор (NPU), который обеспечивает 1,1 ТОП на ватт при типичных условиях работы - показатель, который превосходит многие встроенные GPU.

Повышение точности посредством обучения на устройстве

В то время как большинство выводов делается с предварительно обученными моделями, некоторые DSP с поддержкой ИИ поддерживают постепенное обучение или тонкую настройку на краю. Это позволяет транспортному средству адаптироваться к своей собственной среде вождения - изучению моделей движения, конкретных дорожных разметок или привычных препятствий. Наследие обработки сигналов DSP также улучшает качество данных, что непосредственно влияет на точность модели. Более чистые входные данные означают меньше ложных срабатываний и меньшую вероятность неправильной классификации.

Компактный дизайн и надежность

DSP с поддержкой ИИ часто упаковываются в виде системных чипов (SoC), которые включают память, интерфейсы и функции безопасности в одном чипе. Эта интеграция уменьшает пространство на плате и количество компонентов, что жизненно важно для производственных транспортных средств, где важен каждый кубический миллиметр. Кроме того, DSP построены для долгосрочной надежности в суровых условиях (температура колеблется от -40 ° C до +125 ° C) и соответствуют стандартам автомобильного класса, таким как AEC-Q100 и ISO 26262 (функциональная безопасность).

Проблемы и ограничения

Несмотря на свои преимущества, DSP с поддержкой ИИ сталкиваются с рядом проблем, которые необходимо решить для широкого внедрения в автономные транспортные средства.

Сложность программирования

Оптимизация нейронных сетей для архитектур DSP требует специальных знаний арифметики с фиксированной точкой, иерархий памяти и параллелизма на уровне инструкций. Многие инженеры автомобильного программного обеспечения более знакомы с программированием GPU или CPU. Такие компании, как Texas Instruments и Qualcomm разработали SDK и инструменты преобразования моделей, но кривая обучения остается крутой. Стандартные фреймворки, такие как ONNX runtime и TensorFlow Lite, постепенно добавляют DSP бэкэнды, но покрытие по-прежнему неполное.

Масштабируемость для более высоких уровней автономности

Большинство современных DSP с поддержкой ИИ могут обрабатывать рабочие нагрузки уровня 2+ (частичная автоматизация) и уровня 3 (условная автоматизация). Для уровней 4 (высокая автоматизация) и 5 (полная автоматизация) вычислительные требования стремительно растут. Обработка данных с 10-20 камер, нескольких лидаров высокого разрешения и радаров 4D-изображения может потребовать массива DSP или комбинации с другими ускорителями. Балансирование стоимости, мощности и производительности для этих экстремальных сценариев остается инженерной задачей.

Сертификация безопасности и охраны

Обе безопасности и функциональная безопасность не подлежат обсуждению. DSP с поддержкой ИИ должны быть сертифицированы на ASIL-D (Automotive Safety Integrity Level D), чтобы использоваться в системах с проводным управлением или тормозным приводом. Для достижения этой сертификации требуется значительная документация, избыточное оборудование и память кода, исправляющего ошибки (ECC). Кроме того, состязательные атаки на нейронные сети могут вызывать неправильные обнаружения; системы на основе DSP должны включать защиту, такую как валидация ввода и моделирование, чтобы защитить от эксплойтов.

Ключевые игроки и технологии

Несколько компаний находятся на переднем крае разработки DSP-процессоров с поддержкой ИИ для автомобильного использования. Их продукция демонстрирует разнообразие подходов в этом пространстве.

  • Техасские приборы (TI): Соцсети TDA4VM и TDA4VH объединяют DSP, ускоритель глубокого обучения и двухъядерный ARM Cortex-A72. Они используются в продвинутых системах помощи водителю (ADAS) от поставщиков первого уровня.
  • NXP Полупроводники: Семейство S32V интегрирует четырехъядерный DSP (на основе ядра VisioN) с процессором распознавания изображений и радарным ускорителем.
  • Qualcomm: Платформа Snapdragon Ride включает в себя движок ИИ с векторными DSP (Qualcomm Hexagon), работающий на оптимизированных нейронных сетях. Он поддерживает масштабируемые решения от уровня 1 до уровня 4.
  • Renesas:] В R-Car V3U и V4H SoCs есть эффективное ядро DSP в сочетании с аппаратным ускорителем CNN, с акцентом на маломощные системы объемного обзора.
  • Каденция: Предлагает настраиваемые DSP Tensilica Vision, которые могут быть адаптированы с расширениями нейронной обработки. Они часто лицензируются автомобильными чип-компаниями для интеграции в проприетарные SoC.

Эти платформы подчеркивают отраслевую тенденцию встраивания ИИ непосредственно в конвейер DSP, а не рассматривать их как отдельные процессоры. Для более глубокого анализа того, как эти процессоры сравниваются, всесторонний анализ EDN обеспечивает ориентиры по пропускной способности и энергоэффективности.

Будущие перспективы

Ожидается, что интеграция DSP-процессоров с поддержкой ИИ в автономные транспортные средства ускорится.По мере того, как алгоритмы ИИ станут более эффективными, а аппаратное обеспечение продолжит сокращаться, несколько тенденций будут формировать следующее поколение автомобильных вычислительных платформ.

Достижения в поиске нейронной архитектуры (NAS)

Исследователи используют NAS для проектирования нейронных сетей, специально оптимизированных для аппаратного обеспечения DSP — балансировки операций, доступа к памяти и точности. Эти сети могут достигать более высокой точности с меньшим количеством вычислений, обеспечивая производительность в реальном времени на меньших ядрах DSP. Это означает, что будущие DSP с поддержкой ИИ не должны быть такими же мощными для выполнения тех же задач, что еще больше снижает затраты и энергопотребление.

Интеграция с Edge и Cloud

DSP с поддержкой ИИ будут все чаще работать в тандеме с облачным обучением и обновлениями по воздуху. В то время как DSP обрабатывает вывод в реальном времени, транспортное средство может загружать крайние случаи (например, необычные шаблоны трафика) на облачный сервер для переподготовки. Обновленная модель затем может быть сжата и загружена обратно в DSP. Это симбиотическое соотношение позволяет постоянно улучшаться без замены оборудования.

5-й уровень автономности

Для полной автономии при любых условиях транспортным средствам потребуется обрабатывать на порядок больше данных. Новые технологии, такие как память с 3D-стеклением, кремниевая фотоника для сенсорных интерфейсов и расширенная упаковка (например, чиплетные архитектуры) позволят масштабировать DSP с поддержкой ИИ. Например, несколько чиплетов DSP могут быть объединены через интерпозитор для создания массива процессора, который обеспечивает более 100 ТОП при сохранении управляемого теплового следа. Автомобильная промышленность также изучает датчики на основе событий (например, датчики динамического видения), которые выдают разреженные кадры данных - они естественным образом подходят для обработки DSP и могут резко снизить вычислительную нагрузку.

Стандартизация и открытые экосистемы

Чтобы снизить барьер для входа, органы стандартизации, такие как Automotive Grade Linux (AGL) и Robot Operating System for Automotive (ROS 2), работают над созданием абстракций, которые позволяют нейронным сетям прозрачно работать на DSP. Такие компании, как FLT:0]Arm, разрабатывают открытые расширения набора инструкций для DSP, которые поддерживают общие операции ИИ. Более открытая экосистема ускорит разработку программного обеспечения и будет способствовать более широкому внедрению DSP с поддержкой ИИ на различных платформах транспортных средств.

Заключение

Цифровые процессоры сигналов с поддержкой ИИ являются критическим фактором автономной технологии транспортных средств. Объединив детерминизм традиционных DSP в реальном времени с мощью распознавания образов искусственного интеллекта, они обеспечивают скорость, эффективность и точность, необходимые для безопасного самостоятельного вождения. В то время как проблемы остаются в сложности программного обеспечения, масштабируемости и сертификации, быстрый прогресс в проектировании процессоров, оптимизации нейронных сетей и поддержке экосистем указывает на будущее, где эти чипы станут стандартом в каждом автономном транспортном средстве. По мере того, как отрасль движется к автоматизации уровня 4 и уровня 5, DSP с поддержкой ИИ останутся в центре стека датчиков и вычислений, тихо обрабатывая миллионы сигналов каждую секунду, чтобы сделать автономный транспорт реальностью.

Для дальнейшего чтения о технической эволюции автомобильных процессоров обратитесь к обзору IEEE по архитектурам DSP для автономного вождения и Embedded.com руководство по системам искусственного интеллекта в реальном времени .