Достижения в алгоритмах автопилота для сложных городских условий

Последние достижения в алгоритмах автопилота резко изменили возможности автономных транспортных средств, работающих в сложных городских условиях. По мере того, как города становятся все более плотными, более динамичными и все более мультимодальными, спрос на автономные системы, которые могут безопасно и эффективно перемещаться по переполненным улицам, непредсказуемым пешеходам и сложным дорожным схемам, никогда не был выше. За последние несколько лет прорывы в области слияния датчиков, глубокого обучения и планирования в режиме реального времени переместили автономное вождение из ограниченных испытаний шоссе в более требовательные городские развертывания. В этой статье рассматриваются ключевые проблемы, алгоритмические инновации, направленные на них, и более широкое влияние на городскую мобильность, а также взгляд в будущее на следующий рубеж развития.

Сложность городского вождения для автономных систем

Городское вождение представляет собой принципиально более сложную проблему, чем автомобильное движение. Окружающая среда богата движущимися агентами, неоднозначными сигналами и быстро меняющимися условиями, которые подчеркивают каждый компонент автономной системы. В отличие от автомагистралей, где разметка полос движения ясна и транспортные потоки в одном направлении, городские улицы требуют постоянных переговоров с велосипедистами, пешеходами, пешеходами, роботами доставки, припаркованными автомобилями и аварийными службами. Каждый из этих субъектов ведет себя таким образом, что часто зависит от контекста и трудно моделировать простыми правилами.

Непредсказуемые пешеходы и уязвимые участники дорожного движения

Пешеходы остаются одним из самых сложных элементов для алгоритмов восприятия и прогнозирования. Их движения не регулируются строго правилами дорожного движения; человек может внезапно сойти с обочины, изменить направление в середине пешеходного перехода или выйти из-за припаркованного фургона. Дети и домашние животные особенно неустойчивы. Продвинутые модели прогнозирования должны предвидеть несколько возможных намерений одновременно, используя такие сигналы, как ориентация головы, осанка и зрительный контакт. Кроме того, уязвимые участники дорожного движения, такие как велосипедисты и водители электронных скутеров, добавляют еще один уровень сложности, потому что они разделяют дорогу с транспортными средствами, но движутся с разными скоростями и траекториями.

Плотный трафик и переговоры о пересечении

Городские перекрестки являются зонами наибольшего риска для автономных транспортных средств. При пересечении нескольких полос движения, повороте движения, светофоре, знаках остановки и незащищенных левых поворотах транспортное средство должно принимать решения с раздельной секундой, которые являются безопасными и социально приемлемыми. Задача состоит не только в том, чтобы соблюдать правила дорожного движения, но и ориентироваться в неоднозначных ситуациях, таких как, когда водитель машет пешеходом, чтобы пересечь или когда велосипедист делает неожиданный сигнал рукой. Алгоритмы должны интерпретировать тонкие социальные сигналы и уступать соответствующим образом, не вызывая затор.

Неблагоприятные погодные и световые условия

Дождь, снег, туман и блики ухудшают работу датчиков. Возврат лидаров может быть рассеян осадками, камеры теряют контраст при слабом освещении или прямом солнечном свете, а радар может быть спутан металлическими объектами. Ненастная погода также изменяет трение поверхности дороги, изменяет поведение пешеходов и снижает видимость. Системы автопилота должны надежно справляться с этими условиями, часто требуя избыточных датчиков и эвристических моделей, которые учитывают погодные воздействия. Последние работы по генерации синтетических данных и адаптации домена помогли улучшить производительность модели в неблагоприятных условиях.

Строительные зоны и временные изменения дорог

Строительные зоны являются движущейся целью: они могут появляться в одночасье, изменять конфигурации полосы движения и вводить новые вывески или барьеры. Разработка обобщаемого трубопровода восприятия, который правильно интерпретирует временные оранжевые бочки, работников в отражающих жилетах и измененную разметку полосы, остается значительной исследовательской проблемой. Многие автономные системы поддерживают карту высокой четкости, которая регулярно обновляется, но неожиданное строительство требует рассуждений и перепланировки в реальном времени. Именно здесь способность обнаруживать и реагировать на новые объекты становится критической.

Основные алгоритмические улучшения

Недавние скачки в производительности городского автопилота связаны с несколькими взаимосвязанными алгоритмическими достижениями. Эти улучшения касаются каждого этапа стека автономии, от обработки данных необработанных датчиков до принятия решений на высоком уровне.

Слияние датчиков: за пределами простого объединения данных

Ранние трубопроводы синтеза датчиков просто комбинировали выходы от лидара, радара и камер на уровне функций. Современные подходы интегрируют данные на нескольких уровнях, часто используя трансформаторные архитектуры, которые могут учитывать пространственные и временные паттерны в модальностях. Например, трансформатор может выровнять облака точек лидара с изображениями камеры для создания единого представления, а затем использовать кросс-модальное внимание, чтобы узнать, что тень в изображении камеры соответствует возврату лидара с низкой степенью достоверности. Некоторые исследовательские группы теперь используют сквозной дифференцируемый синтез, где сеть учится взвешивать вклад датчиков на основе контекста. Это позволяет системе изящно ухудшаться, когда один датчик выходит из строя, поддерживая безопасную работу.

Глубокое обучение для восприятия и прогнозирования

Свёрточные нейронные сети остаются рабочей лошадкой для восприятия на основе изображений, но последние архитектуры, такие как Vision Transformers и ConvNeXt, повысили точность обнаружения, особенно для небольших или частично закупоренных объектов. На стороне предсказания нейронные сети графов и модели на основе внимания используются для моделирования взаимодействий между агентами. Например, модель может представлять сцену в виде графа, где каждый автомобиль, пешеход и велосипедист является узлом, а края захватывают пространственно-временные отношения. Это позволяет системе предсказывать, что пешеход, ожидающий на пешеходном переходе, может начать ходить, когда автомобиль замедляется, или что велосипедист сольется влево, когда открывается дверь припаркованного автомобиля.

Планирование и контроль маршрута в реальном времени

Планирование городских путей должно быть как реактивным, так и совещательным. Иерархические планировщики могут выбирать маршрут для долгосрочного маршрутизации и краткосрочного маневрирования. Например, планировщик высокого уровня может выбирать маршрут, чтобы избежать перегруженного пересечения, в то время как планировщик низкого уровня обрабатывает изменения полосы движения и предотвращение препятствий. Методы, основанные на выборке, такие как быстрое исследование случайных деревьев (RRT), популярны для местного планирования, потому что они могут быстро генерировать осуществимые траектории. Совсем недавно планировщики на основе оптимизации, использующие квадратичное программирование или нелинейное модельное предиктивное управление (MPC), предоставили более плавные, более эффективные пути. Они могут включать ограничения комфорта, топливную эффективность и запас прочности в единую проблему оптимизации. В сочетании с изученными функциями затрат из данных о вождении человека, эти планировщики производят поведение, которое кажется естественным для пассажиров и других участников дорожного движения.

Ведущие подходы промышленности и исследований

Несколько компаний, занимающихся автономным вождением, и исследовательских групп разработали различные технические стратегии для городской навигации. Понимание их подходов раскрывает широту алгоритмических инноваций, которые в настоящее время реализуются.

Конечный курс обучения против модульных трубопроводов

Долгое время в автономии ведутся споры о том, следует ли строить модульный трубопровод (восприятие → прогнозирование → планирование → управление) или сквозную нейронную сеть, которая отображает необработанные входы датчиков непосредственно в команды рулевого управления и дросселя. Модульные трубопроводы более интерпретируемы и легче отлаживать, но ручные промежуточные представления могут потерять информацию. Сквозные методы, примером которых является PilotNet NVIDIA и более поздняя работа, могут изучать неявные корреляции, но они требуют огромного количества меченых данных и бороться с редкими крайними случаями. Многие современные системы сочетают оба: они сохраняют модульную основу, но используют изученные модули для конкретных подзадач, таких как изученный кодер сцены, который подается в планировщик на основе правил. Тенденция к изученным компонентам, которые все более тесно интегрированы.

Оригинальное название: Waymo's Urban Driving

Waymo, пионер в автономном вождении, управлял полностью беспилотным сервисом по вождению в частях Феникса и Сан-Франциско. Их подход опирается на карты высокой четкости с чрезвычайно подробными аннотациями - высота бордюра, границы полосы движения, пешеходные переходы, линии остановки. Стек восприятия автомобиля использует ансамбль лидара, камеры и радара с основой глубокого обучения, которая выводит обнаружение объектов, скорости и предсказания движения. Планировщик Waymo использует подход «объема затрат», который оценивает многие траектории кандидатов параллельно, оценивая каждую из них по безопасности, законности и комфорту. Система также использует модель прогнозирования поведения, которая выводит вероятностные тепловые карты для других агентов, что позволяет планировщику рассматривать несколько фьючерсов. Эта комбинация оказалась надежной даже в сложных пересечениях Сан-Франциско с канатными дорогами, трамваями и крутыми холмами. Официальный блог Waymo иногда детализирует эти технические компоненты.

Пример: подход Tesla, основанный на видении

Tesla выбрала совершенно другой путь: ее программное обеспечение Full Self-Driving (FSD) полагается исключительно на камеры, без лидара или радара. Система использует нейронную сеть HydraNet, которая обрабатывает восемь просмотров камеры одновременно, проецируя функции в пространство «птичьего зрения». Прогнозирование и планирование обрабатывается другой сетью, которая работает на этом слитом представлении. Подход Tesla подчеркивает масштабируемость и быстрое обучение от миллионов транспортных средств в парке. Однако отсутствие прямого зондирования глубины на его более старых поколениях аппаратного обеспечения было предметом критики. Недавние бета-релизы FSD показали впечатляющие возможности городского вождения, но система по-прежнему требует постоянного наблюдения за водителем. Продолжаются дебаты о том, может ли зрение только соответствовать избыточности систем лидар-плюс-камера во всех условиях.

Влияние на городскую мобильность и безопасность

Описываемые алгоритмические усовершенствования начинают приносить ощутимые выгоды городам и жителям. Хотя широко распространенной полностью автономной мобильности пока нет, ранние развертывания и пилотные программы дают представление о потенциальном воздействии.

Снижение аварийности и эффективности дорожного движения

Предварительные данные по автономным транспортным средствам в Сан-Франциско свидетельствуют о том, что беспилотные транспортные средства имеют более низкие показатели столкновений при неисправности по сравнению с водителями-людьми, хотя они могут быть вовлечены в более мелкие инциденты заднего вида из-за осторожного вождения. Алгоритмы, которые последовательно подчиняются ограничениям скорости, избегают отвлекающих факторов и поддерживают безопасное следование расстояниям, могут снизить тяжесть аварий. С точки зрения транспортного потока автономные транспортные средства, которые могут общаться друг с другом (через V2V или через инфраструктуру), были показаны в моделировании для уменьшения волн остановки и движения, сокращения потребления топлива и увеличения пропускной способности на перекрестках. Например, исследование моделирования 2021 года , продемонстрировало, что даже небольшое проникновение подключенных автономных транспортных средств может сгладить трафик и уменьшить задержки.