Использование жест-контролируемого Hmi в современных автомобильных кабинах

Эволюция взаимодействия в автомобиле

За последние два десятилетия автомобильная кабина претерпела радикальные изменения. То, что начиналось как ландшафт физических ручек, нажимных кнопок и механических ползунок, постепенно сместилось в сторону цифровых интерфейсов — сначала с резистивными сенсорными экранами, затем емкостными дисплеями, а теперь с голосовыми помощниками и управлением жестами. Каждое поколение HMI было направлено на одну основную цель: сокращение времени, которое глаза водителя проводят вдали от дороги, сохраняя или увеличивая доступ к функциям автомобиля. HMI с жестовым управлением представляет собой последний логический шаг в этой эволюции, выходя за рамки прямого касания к бесконтактной команде.

Ранние системы жестов в потребительских автомобилях дебютировали около 2015 года, впервые появившись в роскошных моделях от BMW и Mercedes-Benz. Эти первоначальные реализации были ограничены простым распознаванием заранее определенных движений рук - круг пальца для настройки громкости, движение пальца, чтобы отклонить вызов. Сегодня камеры с глубинным датчиком и инфракрасные массивы созрели до такой степени, что щелчок запястья может контролировать увеличение навигации, просмотр медиа и настройки климата без какого-либо физического контакта. Эта эволюция отражает более широкие тенденции в потребительской электронике, где устройства, такие как смарт-телевизоры и игровые консоли, нормализовали входы на основе жестов в течение многих лет.

Согласно опросу JD Power по новым автомобильным технологиям, управление жестами среди владельцев функций находит наиболее интригующим, но удовлетворение часто отстает от первоначального интереса из-за несоответствий распознавания. Этот разрыв подчеркивает, что, хотя концепция привлекательна, исполнение остается первостепенным. Автомобильная промышленность теперь сосредоточена на закрытии этого разрыва посредством слияния датчиков, лучших алгоритмов и более интуитивных словарей жестов.

Основные технологии, связанные с HMI, контролируемым жестами

Современные системы HMI с жестовым управлением полагаются на комбинацию аппаратной и программной обработки датчиков. Наиболее распространенными датчиками являются камеры времени полета (ToF), инфракрасные (IR) излучатели в паре с фотоприемниками и традиционные RGB-камеры с классификаторами машинного обучения. Датчики времени полета измеряют расстояние до объекта путем синхронизации отражения светового импульса, создавая карту глубины в реальном времени руки водителя. Эта информация глубины затем сегментируется из фона и передается в механизм распознавания жестов, который отображает положения рук, движения и траектории к конкретным командам.

Инфракрасные системы работают аналогичным образом, но часто используют структурированные световые узоры, проецируемые в салон. Деформация этих узоров на руке водителя захватывается ИК-камерой и анализируется для реконструкции форм рук и положений пальцев. Эти датчики особенно эффективны в условиях низкой освещенности - критическое требование для ночного вождения. Датчики автомобильного класса также должны выдерживать экстремальные температурные диапазоны, вибрацию и прямые помехи солнечного света, которые намного более требовательны, чем среды потребительской электроники.

С точки зрения программного обеспечения, распознавание жестов перешло от эвристики на основе правил к нейронным сетям глубокого обучения, обученным тысячам часов данных вождения. Эти модели могут различать преднамеренные жесты и случайные движения, такие как достижение держателя чашки или настройка рулевого колеса. Например, технический документ SAE о распознавании жестов водителя ] подробно описывает, как сверточные нейронные сети достигают более 95% точности в контролируемых условиях, хотя производительность в реальном мире немного падает при окклюзии рук или быстром движении.

Большинство производственных систем устанавливают «зону жеста» в области центральной консоли, обычно в пределах 30–50 сантиметров от датчика. Конкретные позы рук — такие как щипцы с двумя пальцами, плоский толчок ладони или поворот по часовой стрелке — отображаются на действия. Система должна отфильтровать ложные триггеры от движений пассажиров или собственных непреднамеренных движений рук водителя. Эта фильтрация достигается с помощью контекстно-осознанной логики: например, жест свайпа распознается только тогда, когда информационно-развлекательный экран активен, а жесты громкости игнорируются во время взаимодействий экстренного вызова.

Реальные мировые реализации

BMW Gesture Control

BMW была пионером, представившей управление жестами в серии 2016 7. Их система использует датчик ToF, расположенный в верхней консоли, указывающий вниз в центре кабины. Первоначальный словарь включал пять жестов: круг пальца (объем вверх/вниз), смахивание влево/вправо (снижение или принятие вызовов), смахивание двумя пальцами (пропускная дорожка), двухпальцевая точка (настраиваемая функция) и ручная волна над датчиком (открытое главное меню). В течение последующих поколений BMW расширила словарь дополнительными жестами для настройки аудио предустановок и управления панорамным люком. Система предназначена для быстрого изучения: большинство пользователей осваивают жесты в течение нескольких дней владения, но автопроизводитель признает, что учебные материалы и экранные подсказки необходимы для принятия .

Mercedes-Benz MBUX

Mercedes-Benz применил другой подход к своей системе MBUX (Mercedes-Benz User Experience), дебютировавшей в A-Class 2018 года. MBUX интегрирует управление жестами с голосом и прикосновением, позволяя водителям выбирать предпочитаемый режим взаимодействия. Датчик жестов сидит на сенсорной панели центральной консоли, а не на потолке, обнаруживая подходы к руке и предопределенные движения. Mercedes сделал сильный акцент на тактильную обратную связь в качестве дополнения к управлению жестами : когда жест распознается, сенсорная панель мягко вибрирует, чтобы подтвердить действие, уменьшая когнитивную нагрузку при взгляде на экран для подтверждения. Этот мультимодальный подход был хорошо принят, с исследованиями пользователей, показывающими более быстрое время выполнения задач по сравнению с интерфейсами только для прикосновений в определенных сценариях.

Другие автопроизводители и поставщики Tier-One

Hyundai представила управление жестами в Genesis G90, используя комбинацию жестов ручной волны для настройки громкости и карт. Volkswagen экспериментировал с управляемым жестами окружающим освещением и операциями на крыше в своих электромобилях серии ID. Между тем, поставщики первого уровня, такие как Continental и Valeo, разработали модульные платформы для распознавания жестов, которые небольшие автопроизводители могут интегрировать, не создавая решение с нуля. Эти платформы часто включают в себя слияние датчиков, сочетающее ИК, ультразвуковые и емкостные датчики близости для повышения надежности в различных макетах кабины.

Сравнительный пользовательский опыт

Как происходит сложение жестов с альтернативами? В таблице ниже (представленной в виде повествовательного резюме) выделены ключевые компромиссы. Голосовое управление превосходит сложные команды, такие как «Навигат до 123 Main Street», но борется с окружающим шумом и социально навязчиво, когда пассажиры разговаривают. Сенсорные экраны предлагают точное управление для вложенных меню, но требуют визуального внимания. Физические кнопки тактичны и надежны, но добавляют вес и ограничения дизайна. Управление жестами занимает промежуточную позицию: оно быстрее, чем касание для определенных повторяющихся действий (объем, пропуск трека) и может выполняться с помощью глаз на дороге, но оно страдает от кривой обучения и случайного неузнавания. Исследование, опубликованное в журнале Sensors (MDPI) , сравнивает жесты и сенсорные интерфейсы в тренажере вождения и обнаружило, что управление жестами сокращает время взгляда на дорогу до 30% для простых задач, хотя время выполнения задач в среднем увеличилось на 15%.

Безопасность и эргономика: главный водитель

Главным оправданием для жест-контролируемого HMI является безопасность. Национальная администрация безопасности дорожного движения (NHTSA) оценивает, что отвлеченное вождение вызывает почти 400 000 травм ежегодно только в Соединенных Штатах. Традиционные сенсорные экраны заставляют водителей отводить глаза от дороги на 1,5-2,5 секунды за взаимодействие — достаточно времени, чтобы проехать от 30 до 50 метров на скорости шоссе. Управление жестами, при хорошей конструкции, позволяет водителю удерживать визуальное внимание вперед, делая простые движения руками. Однако это преимущество безопасности зависит от низкого когнитивного спроса . Если словарь жестов слишком велик или неинтуитивен, умственная нагрузка, необходимая для запоминания правильного движения, сама может стать отвлекающим фактором.

Эргономичные соображения также приводят в движение систему дизайна. Оптимальная зона руки должна быть достижима без наклона вперед или растяжения, что может поставить под угрозу позу вождения. В идеале жесты выполняются с предплечьем, опирающимся на центральный подлокотник или обод рулевого колеса, уменьшая мышечную усталость. Автопроизводители часто используют камеры мониторинга водителя, чтобы определить, находится ли рука водителя в зоне распознавания и обеспечить тонкие визуальные индикаторы, когда доступны жесты. Правильное размещение датчика жестов имеет решающее значение ; слишком высокое и система может ложно вызвать движения головы; слишком низкое и может потребовать от водителя опустить руку, вызывая кратковременную потерю управления рулевым управлением.

Еще одним измерением безопасности является предотвращение непреднамеренного управления. Непреднамеренный жест может изменить радиостанцию или отменить навигационное руководство, вызывая путаницу. Для смягчения этого большинству производственных систем требуется «готовое» состояние — водитель должен сначала зависнуть рукой возле датчика в течение доли секунды, чтобы активировать режим жеста перед выполнением команды. Это двухэтапное взаимодействие резко уменьшает ложные срабатывания, но добавляет небольшой штраф за время. Некоторые производители также комбинируют ввод жеста с голосовым подтверждением: жест для отклонения вызова вызывает голосовую подсказку с просьбой «отклонить вызов?» перед выполнением.

Ключевые вызовы

Несмотря на обещание, HMI, контролируемый жестами, сталкивается с рядом постоянных проблем, с которыми автопроизводители продолжают сталкиваться.

  • Экологическая изменчивость:] Солнечный свет может перегружать ИК-датчики, в то время как тяжелые перчатки или толстые зимние куртки снижают точность обнаружения рук. Системы должны адаптироваться к тонам кожи разных пользователей, ювелирным изделиям и различным размерам рук.
  • Проблема «Midas touch»: Термин, заимствованный из сенсорных интерфейсов, относится к сложности различения преднамеренного жеста и естественного движения руки. Например, достижение к передатчику может быть неправильно истолковано как команда свайпа. Модели динамического распознавания жестов, которые рассматривают позу всего тела водителя, помогают, но добавляют сложность.
  • Ожидания пользователей и кривая обучения: Ранние пользователи ожидают, что управление жестами будет вести себя как сенсорный экран или мышь — точно и немедленно. На самом деле, восприятие жестов имеет присущую задержку (50-150 мс) и может потребовать точной ориентации рук. Последовательной производительности в разных культурах и условиях вождения трудно достичь. Некоторые водители отказываются от функции после нескольких разочаровывающих попыток.
  • Интеграция дизайна интерьера: Датчики должны быть продуманно размещены, не загромождав салон. Некоторые автопроизводители прячут датчики за сетчатой панелью, но это может снизить точность. Другие интегрируют их в информационно-развлекательную рамку дисплея, что ограничивает варианты размещения автомобилей с плавающими экранами.
  • Проблемы с конфиденциальностью: Камеры в салоне, даже датчики глубины, поднимают проблемы с конфиденциальностью данных. Водителям может быть неудобно знать, что камера наблюдает за движениями их рук. Автопроизводители должны хранить данные жестов в зашифрованной встроенной памяти с четкими опциями отказа и без передачи на облачные серверы без согласия.

Роль ИИ и машинного обучения

Искусственный интеллект является ключом к преодолению многих из этих проблем. Модели машинного обучения могут быть обучены на огромных наборах данных записанных взаимодействий с водителем, чтобы распознавать не только двадцать наиболее распространенных жестов, но и контекст, в котором они происходят. Например, нейронная сеть может узнать, что, когда рука водителя движется вверх от центральной консоли, в то время как транспортное средство находится в обратном направлении, это, вероятно, охват зеркала заднего вида, а не жест для открытия меню мультимедиа. Эта контекстная осведомленность уменьшает ложные срабатывания и заставляет систему чувствовать себя более «человеческой».

Персонализация - еще одно продвижение, основанное на ИИ. Система может изучать привычные движения каждого водителя и соответствующим образом регулировать пороги распознавания жестов. Водитель с тенденцией к жестам в более широком смысле может иметь расширенную зону активации, в то время как другой, который использует меньшие движения, может быть распознан с более жесткими допусками. Некоторые исследовательские платформы даже экспериментируют с прогнозным завершением жестов , где система предвосхищает предполагаемую команду до того, как жест будет полностью выполнен, уменьшая задержку до нуля. Audi и другие премиальные бренды изучают это с помощью радарных датчиков миллиметровой волны, которые могут обнаруживать микродвижения рук.

ИИ также позволяет постоянно обновляться в воздухе. Так же, как Tesla улучшает свое программное обеспечение Autopilot с помощью обновлений OTA, несколько автопроизводителей теперь продвигают улучшенные модели распознавания жестов к существующим автомобилям. Это означает, что автомобиль, купленный в 2023 году, может получать улучшения производительности жестов на протяжении всего жизненного цикла без каких-либо изменений оборудования. Согласно отчету Automotive News об обновлениях OTA для программного обеспечения жестов , BMW предоставил несколько таких обновлений, каждое из которых снижает уровень ошибок на 10-15%.

Будущие направления и интеграция

Заглядывая вперед, HMI с жестовым управлением не будет существовать изолированно. Следующее поколение автомобильных кабин будет включать в себя слияние датчиков , которое сочетает в себе жест, голос, взгляд глаз и даже биометрические сигналы в унифицированную модель взаимодействия. Например, водитель может взглянуть на навигационный экран и сказать «zoom in» при защемлении двух пальцев в воздухе — система интерпретирует комбинированные входы для увеличения точно там, где смотрит водитель. Это мультимодальное взаимодействие обеспечивает естественную избыточность: если один канал шумный (голос неясен), другой может подтвердить намерение.

Дисплеи с дополненной реальностью (AR) будут дополнительно трансформировать управление жестами. Вместо жестов в пустом пространстве водители увидят виртуальные кнопки или меню, плавающие перед лобовым стеклом. Точечный жест в сторону виртуальной кнопки «вызов ответа» вызовет действие. Эта концепция, уже показанная в концепт-карах от Jaguar Land Rover и BMW, устраняет необходимость для водителя даже знать, где физически расположен датчик жестов. Вся кабина становится отзывчивой средой.

Большую роль также сыграет тактильная обратная связь. Современные системы обычно полагаются на визуальное подтверждение (краткий значок на приборном скоплении) или звуковой сигнал. Будущие системы будут использовать локализованные тактильные устройства, такие как ультразвуковые преобразователи, которые проецируют силу на руку водителя в воздухе. Это обеспечивает тактильное ощущение при распознавании жеста, что делает взаимодействие более удовлетворительным и уменьшает необходимость проверки экрана. Такие системы все еще находятся на стадии исследований в таких местах, как Токийский университет и инновационные лаборатории Daimler.

Наконец, доступность может извлечь огромную пользу из инноваций в области управления жестами. Водители с ограниченной подвижностью рук могут использовать жесты на основе одного пальца или ладони, в то время как те, кто использует протезы рук, могут быть размещены с помощью инфракрасных отражательных сигнатур. Будущие правила могут потребовать от автопроизводителей предоставить альтернативные методы управления для доступности, а управление жестами - наряду с голосом - будет краеугольным камнем инклюзивного дизайна HMI.

Заключение

HMI с жестовым управлением эволюционировал от роскошной новинки до значимого вклада в безопасность и удобство водителя. В то время как проблемы точности, принятия и интеграции пользователей сохраняются, траектория ясна: современная автомобильная кабина станет все более бесконтактной. Автопроизводители и поставщики вкладывают значительные средства в сенсорные технологии, ИИ и мультимодальное взаимодействие, чтобы сделать управление жестами надежным и интуитивно понятным. По мере того, как эти системы созревают, водители получат выгоду от сокращения отвлечения, более быстрого доступа к основным элементам управления и более захватывающего опыта вождения. Рука, которая сегодня меняет песню, может завтра направить весь интерфейс автомобиля с помощью щелчка запястья.