Достижения в технологии датчиков для улучшения производительности автопилота

Эволюция датчиков автопилота

Путь к полностью автономному вождению был продвигаем серией прорывов в сенсорной технологии. Всего десять лет назад большинство систем помощи водителю полагались на базовые радары и ультразвуковые датчики для простых задач, таких как адаптивный круиз-контроль и помощь при парковке. Сегодня сложный набор датчиков работает согласованно, чтобы обеспечить богатое представление в реальном времени о среде автомобиля & #8217. Эта эволюция не только улучшила производительность автопилота, но и открыла дверь к более высоким уровням автоматизации вождения, как определено Обществом автомобильных инженеров (SAE). От систем уровня 2, которые сочетают центрирование полосы движения и адаптивный круиз к платформе 4-го уровня, работающей в геозонированных районах, каждый шаг вперед зависит от датчиков, которые являются более точными, более устойчивыми и более экономичными. Следующие разделы исследуют ключевые сенсорные технологии и то, как последние инновации меняют свои возможности.

Лидар: от вращения к твердому состоянию

Лидар (Light Detection and Ranging) стал краеугольным камнем высокоточного картирования окружающей среды. Ранние лидарные блоки, такие как используемые Waymo и Velodyne, использовали вращающиеся массивы лазеров и детекторов для генерации 360-градусных точечных облаков. В то время как эффективные, эти механические системы были громоздкими, дорогими и склонными к износу. Последние достижения сместились в сторону твердотельного лидара, который использует фиксированный чип для управления лазерными лучами в электронном виде. Такие компании, как Luminar, Innoviz и Ouster, теперь предлагают лидарные датчики, которые меньше, более долговечны и значительно дешевле. Например, лидар Iris Luminar & #8217 массово производится для интеграции в серийные автомобили, такие как Volvo EX90, обеспечивая разрешение сотен точек на квадратный градус на расстояниях, превышающих 250 метров.

В дополнение к повышению стоимости и размера, современные лидарные датчики включают в себя частотно-модулированную технологию непрерывных волн (FMCW). В отличие от традиционного лидара времени полета, FMCW измеряет расстояние и скорость непосредственно от доплеровского сдвига света, позволяя мгновенно обнаруживать движущиеся объекты и уменьшая помехи от солнечного света или других лидарных блоков. Это делает лидар FMCW особенно ценным для систем автопилота на скоростных шоссе, где быстрая реакция на медленно движущиеся или остановленные транспортные средства имеет решающее значение. Такие компании, как Aeva, являются пионерами этого подхода, и их датчики были выбраны для использования в автономных платформах для грузовых автомобилей.

Системы камер: Видеть невидимое

Камеры остаются наиболее универсальным датчиком для визуального понимания. Изображения высокого разрешения в сочетании с передовыми процессорами сигналов изображения теперь захватывают такие детали, как разметка полосы движения, дорожные знаки и пешеходные жесты даже в условиях низкой освещенности. Последнее поколение автомобильных камер использует датчики CMOS с широким динамическим диапазоном (WDR), превышающим 140 дБ, что позволяет им обрабатывать внезапные изменения яркости, такие как выход из туннеля в яркий солнечный свет, без потери критических деталей.

Помимо необработанного разрешения, алгоритмы, которые интерпретируют каналы камеры, значительно продвинулись вперед. Сверточные нейронные сети (CNN) и трансформаторные архитектуры теперь могут сегментировать каждый пиксель изображения в категории (дорога, транспортное средство, пешеход, животное) и оценивать глубину с помощью монокулярных или стереотехнологий. Такие компании, как Mobileye, Nvidia и Tesla, подтолкнули эти возможности к тому, что одна камера может обеспечить богатое 3D-понимание сцены. В подходе Tesla «Vision-Only» восемь каналов камеры обрабатываются нейронной сетью, которая выводит представление векторного пространства, позволяя поддерживать полосу движения, адаптивный круиз и даже изменения полосы движения на шоссе. Хотя все еще спорные по сравнению с системами, оснащенными лидаром, автопилоты только камеры продемонстрировали замечательную надежность, используя массивные тренировочные наборы данных, собранные из миллионов миль реального вождения.

Еще одним нововведением стало внедрение камер на основе событий. В отличие от обычных рамочных камер, которые фиксируют изображения с фиксированными интервалами, камеры событий фиксируют только изменения интенсивности пикселей, предлагая временное разрешение микросекундного уровня. Это делает их идеальными для обнаружения быстро движущихся препятствий или внезапных событий торможения, которые обычные камеры могут пропустить из-за размытия движения. Исследователи из Цюрихского университета и такие компании, как Prophesee, интегрируют камеры событий в прототип автономных транспортных средств, показывая многообещающие результаты для предотвращения столкновений на перекрестках.

Радар: надежен при любой погоде

Радар (радиообнаружение и ранжирование) давно ценится за его способность работать в дождь, туман, снег или прямой солнечный свет - условия, которые ухудшают производительность лидара и камеры. Традиционный автомобильный радар работает на частоте 24 ГГц или 77 ГГц и обеспечивает данные о дальности, углу и скорости с умеренным разрешением. Однако недавний прогресс привел к разработке 4D-радиолокатора с высоким разрешением. Эти датчики используют несколько каналов передачи и приема (архитектура MIMO) для создания облака точек, которое приближается к плотности недорогого лидара, а также измерение угла возвышения («4-е измерение»). Например, ARS540 Continental может разрешать объекты на расстоянии до 0,2 метра и обнаруживать пешеходов на 150 метров, все при отделении стационарных объектов от дорожной поверхности.

4D-радар изображения особенно эффективен для систем автопилота, потому что он заполняет пробелы, оставленные другими датчиками. В сильный дождь, когда рассеиваются лидарные лучи, радар продолжает обеспечивать надежное обнаружение. Он также может видеть через распыление, поднятое грузовиками на влажных дорогах - сценарий, который часто ослепляет камеры. Объединив несколько радиолокационных сканирований с течением времени, современные алгоритмы могут даже создать виртуальное изображение дорожной компоновки, обнаруживая ограждения, барьерные стены и другую статичную инфраструктуру. Это «радарное картирование» уже используется такими компаниями, как Waymo и Zoox, для локализации своих транспортных средств в районах, где GPS ухудшается. Поскольку радиолокационные чипсеты сокращаются и стоимость падает, ожидается, что каждый серийный автомобиль с возможностями автопилота уровня 2 будет включать по крайней мере один перспективный радар изображения.

Ультразвуковые датчики: точность близкого расстояния

Хотя часто упускается из виду, ультразвуковые датчики играют жизненно важную роль в маневрировании на низкой скорости. Эти датчики излучают звуковые волны около 40 кГц и измеряют время, необходимое для возвращения эха. Они дешевы, надежны и идеально подходят для обнаружения препятствий в течение нескольких метров, что делает их технологией автоматической парковки, мониторинга слепых точек и обнаружения бордюров. Недавние улучшения расширили диапазон обнаружения автомобильных ультразвуков до более чем 8 метров и улучшили их иммунитет к шуму окружающей среды. Некоторые поставщики, такие как Bosch и Valeo, теперь внедряют процедуры температурной компенсации и самокалибровки, которые обеспечивают постоянную производительность в экстремальных температурах.

В системах автопилота ультразвуковые датчики часто используются в качестве защитной сетки. Когда камера или радар могут быть не уверены в точном расстоянии до стены или другого автомобиля во время плотного параллельного маневра парковки, ультразвуковые данные заполняют зазор с точностью до сантиметра. Кроме того, новые «умные» ультразвуковые датчики могут обнаруживать движущиеся объекты и классифицировать их (например, человек, идущий за автомобилем), анализируя доплеровское смещение эха. Эта возможность интегрируется в оповещения о дорожном движении спереди и сзади, позволяя автоматические экстренные торможения даже при выходе из парковочного места.

Слияние датчиков: сила комбинированных данных

Ни один тип датчика не идеален. Лидар борется с сильными осадками, камеры могут быть ослеплены бликами, радар не имеет деталей текстуры, а ультразвуковая аппаратура работает только на близком расстоянии. Магия современной производительности автопилота заключается в слиянии датчиков - алгоритмах, которые объединяют данные из нескольких модальностей датчиков для создания консолидированного, надежного представления окружающей среды.

В ранних подходах к синтезу использовались простые фильтры Калмана для отслеживания объектов. Сегодня методы синтеза на основе глубокого обучения подают сырые или предварительно обработанные данные со всех датчиков в единую нейронную сеть. Например, DriveWorks от Nvidia обеспечивает основу для раннего синтеза (объединение сырых пикселей камеры с лидарными облаками точек) и позднего синтеза (объединение списков объектов с каждого датчика). Самые передовые системы используют «средний синтез», где промежуточные функции от каждого датчика выровнены и сцеплены перед дальнейшей обработкой. Это позволяет сети изучать кросс-модальные отношения - такие как признание того, что размытая форма камеры такая же, как движущаяся точка радара - приводит к более надежному обнаружению объектов с меньшим количеством ложных срабатываний.

Одним из заметных примеров слияния датчиков в действии является система Mobileye EyeQ, которая объединяет данные камеры, радара и лидара для обеспечения 360-градусного слоя восприятия окружающего обзора. Модель Mobileye Responsibility-Sensitive Safety (RSS) затем использует это слитое восприятие для принятия безопасных решений о вождении, гарантируя, что автономная система никогда не вызывает столкновение. Аналогичным образом, Driver пятого поколения Waymo включает в себя специально разработанный набор датчиков, который объединяет лидар, камеры и радар на аппаратном уровне с перекрывающимися полями зрения для устранения слепых зон. Результатом является система восприятия, которая проехала миллионы миль по дорогам общего пользования с чрезвычайно низкой скоростью разъединения.

Машинное обучение и ИИ в восприятии

В то время как аппаратное обеспечение датчиков продвинулось вперед, программное обеспечение, которое интерпретирует данные, видело, возможно, еще более драматические улучшения. Машинное обучение, особенно глубокое обучение, стало незаменимым для обнаружения объектов, классификации и прогнозирования. Свёрточные нейронные сети могут распознавать светофоры, знаки остановки и пешеходов с точностью, превышающей 99% в контролируемых тестах. Рекуррентные нейронные сети (RNN) и трансформаторы моделируют временное поведение объектов, предсказывая их будущие траектории второй за второй.

Критическим нововведением последнего времени является использование трансформаторов зрения (ViT) для восприятия мультисенсорами. ViTs делят данные датчиков на патчи и применяют механизмы внимания для изучения отношений в пространстве и времени, опережая традиционные CNN в сложных городских сценах. Такие компании, как Tesla, Wayve и Waabi, продемонстрировали, что сквозное обучение — когда исходные данные датчиков подаются в нейронную сеть, которая непосредственно выводит команды рулевого управления, дросселя и тормоза — может справиться с трудными ситуациями, такими как переговоры о круговых развязках или уступка аварийным транспортным средствам.

Тем не менее, восприятие, основанное на ИИ, не лишено проблем. Нейронные сети можно обмануть с помощью враждебных примеров, таких как наклейки на знаках остановки, и они часто страдают от сдвига распределения при столкновении со сценариями, которые были редки в данных обучения. Для решения этой проблемы компании, занимающиеся автономным вождением, вкладывают значительные средства в симуляционные среды (например, NVIDIA Isaac Sim, Microsoft AirSim) для генерации миллионов синтетических миль, которые охватывают крайние случаи. Они также используют методы непрерывного обучения, обновляя модели по воздуху по мере появления новых данных. Сочетание передового оборудования датчиков и надежного программного обеспечения ИИ является ключом к разблокированию более высоких уровней автономии.

Влияние на показатели эффективности автопилота

Описанные выше сенсорные инновации непосредственно приводят к измеримым улучшениям в производительности автопилота.

Проблемы и будущие направления

Несмотря на впечатляющий прогресс, остаются несколько проблем. Стоимость является основным препятствием для массового внедрения: в то время как цены на твердотельные лидары упали ниже 1000 долларов, они по-прежнему слишком дороги для бюджетных производственных автомобилей. Угловое разрешение радара, хотя и улучшается, все еще отстает от лидара и камер в различении близко расположенных объектов, таких как велосипеды на велосипедной дорожке. Калибровка датчиков, как на заводе, так и в Интернете, остается сложной инженерной проблемой, особенно по мере того, как количество датчиков на транспортное средство приближается к 20 или более.

Заглядывая в будущее, тенденция к большей интеграции и миниатюризации. Мы, вероятно, увидим мультимодальные датчики, которые сочетают лидар, радар и камеру в одном корпусе, упрощая упаковку и снижая затраты. Первые коммерческие примеры, такие как лидар Valeo SCALA 3, уже включают камеру и обрабатывающую электронику. Еще одним перспективным направлением является использование фотонных интегральных схем (PIC) для лидара, которые могут сжать датчик до чипа размером с ногтей. С точки зрения программного обеспечения исследователи изучают «нейросимволический» ИИ, который сочетает глубокое обучение с рассуждениями на основе правил для улучшения интерпретируемости и безопасности.

По мере того, как сенсорная технология обеспечивает более высокий уровень автоматизации, правительства должны установить стандарты производительности, избыточности и кибербезопасности. Европейская комиссия и NHTSA уже работают над новыми правилами, которые потребуют от датчиков соблюдения минимальных диапазонов обнаружения и отказоустойчивости. Эти правила ускорят инновации, установив четкие требования к производителям.

В ближайшем будущем сближение недорогих высокопроизводительных датчиков с мощными моделями машинного обучения выдвинет системы автопилота за пределы их нынешних пределов. В течение пяти лет мы можем ожидать, что автономия 4-го уровня будет доступна в десятках городов по всему миру, с наборами датчиков, которые достаточно надежны для обработки сложных городских условий без водителя безопасности. Путь к полной автономии все еще может быть долгим, но траектория ясна: сенсорная технология продвигается быстрее, чем когда-либо, и с ней мечта о безопасном, широко распространенном автономном транспорте становится все более достижимой.

Для дальнейшего чтения изучите последние разработки Luminar Technologies, Радарные инновации Continental и NVIDIA Drive Platform. Дополнительные сведения можно найти в SAE J3016 таксономии автоматизации вождения.