Будущее Bluetooth в гарнитурах дополненной реальности и носимых устройствах

Текущее состояние Bluetooth в AR и носимых устройствах

Технология Bluetooth, особенно Bluetooth Low Energy (BLE), остается доминирующим беспроводным протоколом ближнего действия для подключения гарнитур дополненной реальности (AR), умных очков и носимых устройств к смартфонам, контроллерам и другим периферийным устройствам. Bluetooth Special Interest Group (SIG) сообщает, что ежегодные поставки устройств Bluetooth в настоящее время превышают 5 миллиардов, причем носимые устройства и гарнитуры AR / VR представляют собой один из самых быстрорастущих сегментов. ток бездействия BLE делает его выбором по умолчанию для устройств, которые должны работать в течение нескольких часов или дней на небольших батареях - критическое требование для легких очков AR, которые весят всего 30-80 граммов.

В продуктах текущего поколения, таких как Meta Ray-Ban Stories, Apple AirPods с пространственным аудио, и Microsoft HoloLens 2 контроллеры, BLE обрабатывает базовую связь: сопряжение, обмен данными для жестов и потоковую передачу аудио с низкой задержкой.Однако оригинальный стандарт Bluetooth Classic (BR/EDR) по-прежнему появляется в некоторых задачах с высокой пропускной способностью, таких как обновления прошивки или передача файлов, где энергопотребление меньше беспокоит во время коротких всплесков.Сосуществование обоих режимов Bluetooth создает сложность в дизайне чипсетов и программных стеков, но большинство современных SoC интегрируют контроллеры с двумя режимами.

Одной из самых больших болевых точек сегодня является задержка . В то время как BLE может достичь сквозной задержки до 3-5 миллисекунд в идеальных условиях, сценарии реального мира, связанные с синхронизацией аудио, отслеживанием рук или пространственным отображением, часто вводят задержки 20–100 мс. Для приложений AR, таких как удаленная помощь или совместная работа в режиме реального времени, даже умеренная задержка нарушает погружение. Вот где предстоящий Bluetooth 5.2 и LE Audio обещают значительные улучшения.

Новые тенденции и инновации

Bluetooth 5.2 и LE Audio: скачок в производительности аудио

Bluetooth 5.2, ратифицированный в начале 2020 года, представил LE Audio — новую аудиоархитектуру, которая заменяет классические профили A2DP и HFP. LE Audio приносит LC3 (Кодекс связи с низкой сложностью), который обеспечивает более высокое качество звука при более низких битрейтах по сравнению с SBC (кодек по умолчанию в течение десятилетий). Для гарнитур AR, которые полагаются на пространственные звуковые сигналы (например, направленные оповещения в навигации, иммерсивные саундтреки к игре), способность LC3 поддерживать качество при 160-320 кбит/с означает более длительное время автономной работы и больше одновременных потоков.

Многопотоковая аудиоспособность LE Audio позволяет AR-гарнитуры передавать отдельные аудиоканалы в левую и правую наушники без соединения двух устройств по отдельности. Это уменьшает дрейф синхронизации и позволяет считывать звук с низкой задержкой для режимов AR. Несколько ранних реализаций, таких как платформы Qualcomm S5 и S3 Gen 2 , уже поддерживают LE Audio с широковещательным аудио для сценариев один-ко-многим (например, музейные аудиогиды).

Auracast, новая функция трансляции на основе LE Audio, позволяет гарнитуре AR делиться своим аудио с близлежащими слушателями — например, позволяя пользователю молча смотреть фильм на публике, в то время как другие слышат его через подключенные наушники. Для корпоративного использования это может упростить групповые тренировки, где комментарий руководителя транслируется на гарнитуры нескольких обучаемых без соединения каждой из них.

Более высокие скорости передачи данных и пропускная способность

Bluetooth 5.0 поднял скорость передачи данных до 2 Мбит/с (PHY), но практическая пропускная способность редко превышает 1,2 Мбит/с из-за накладных расходов по протоколу. Для приложений AR, которым необходимо передавать видео фрагменты, карты высокого разрешения или обновления 3D-модели, это все еще ограничивает. Продолжающаяся эволюция Bluetooth SIG в сторону версии 6.0 (ожидается 2024-2025) предлагает режимы высокой скорости, высокой пропускной способности данных [FLT: 1]], которые могут развивать скорость до 10-20 Мбит/с через более широкую полосу пропускания канала или новые схемы модуляции (например, 8DPSK или улучшенная 2M PHY с уменьшенной ретрансляцией).

Такие улучшения позволили бы гарнитурам AR загружать сетки окружения или пакеты активов за секунды, а не минуты, сокращая время ожидания пользователей. Они также облегчили бы облачный рендеринг в реальном времени, где легкие очки получают сжатые видеокадры по Bluetooth вместо Wi-Fi, упрощая сетевые конфигурации в развертываниях предприятия.

Энергоэффективность за пределами BLE

В то время как BLE уже потребляет от 1/10 до 1/100 мощности Bluetooth Classic, предстоящие функции в Bluetooth 5.3 и 5.4 снижают мощность. Периодическая реклама с ответом (PAwR) позволяет устройствам просыпаться только для запланированных передач, улучшая срок службы батареи для датчиков, таких как IMU, мониторы сердечного ритма или модули GPS, интегрированные в AR-очки. Для носимых устройств, которые отслеживают движение для ввода жестов, это может означать недели работы от батареи монетного элемента.

Функция зондирования каналов (ранее известная как измерение расстояния высокой точности), которая используется в Bluetooth 6.0, позволит точно измерять расстояние (точность субметра) между устройствами. Для AR это означает, что умные часы или кольцо могут действовать как пространственный указатель: гарнитура знает не только направление руки пользователя, но и его точное расстояние, что позволяет более естественно взаимодействовать с лучами без специального контроллера.

Проблемы и возможности

Вмешательство и сосуществование

Диапазон ISM 2,4 ГГц переполнен: Wi-Fi (802.11b/g/n/ax), Zigbee, Thread и другие устройства Bluetooth конкурируют. В плотных средах, таких как офисы с 50 носимыми Bluetooth на человека, столкновения пакетов увеличиваются, что приводит к ретрансляциям, джиттеру и ухудшению качества обслуживания. Адаптивный частотный переход (AFH) в Bluetooth Classic помогает, но BLE использует более простой алгоритм перехода (37 каналов в 2,4 ГГц), который может быть перегружен каналами Wi-Fi 1, 6 и 11.

Bluetooth 5.4 вводит LE Enhanced Power Control и LE Channel Classification Enhancement, чтобы динамически избегать помех. AR-гарнитуры в паре со смартфоном могут использовать большую антенну телефона и обработку для централизованного управления решениями по прыжкам. Для корпоративных сценариев развертывание Bluetooth 6.0 с Coordinated Coexistence будет иметь важное значение для поддержания надежных соединений для критически важных приложений безопасности, таких как перевод в реальном времени в промышленных гарнитурах.

Безопасность и конфиденциальность

Bluetooth-соединения в AR представляют уникальные риски для конфиденциальности. Злоумышленник может взаимодействовать с гарнитурой пользователя, пока он носит ее, получая доступ к датчикам (камера, микрофон) или впрыскивая вредоносное аудио. Bluetooth SIG усилил сопряжение в 5.2 + с LE Secure Connections (Elliptic Curve Diffie-Hellman для обмена ключами) и Нумерическое сравнение для защиты MITM. Однако проблемы UX остаются — пользователи часто пропускают проверку на небольших дисплеях.

Bluetooth 5.4 Privacy Feature Enhancements (как и LE Privacy v2) позволяют устройствам чаще поворачивать свои разрешимые частные адреса, что затрудняет отслеживание пользователей по локациям. Для AR-очков, которые постоянно транслируют рекламные пакеты для служб на основе местоположения, это имеет решающее значение. Производители также должны внедрить надежную аутентификацию на основе сертификатов для развертываний предприятий, как видно в Apple's Find My network и Tile's ecosystem.

Существуют возможности интеграции Bluetooth с аппаратными модулями безопасности (например, Apple Secure Enclave, Qualcomm Secure Processing Unit) для биометрической аутентификации, что позволяет пользователям с первого взгляда подтверждать транзакции или получать доступ к конфиденциальным данным.

Battery Life vs. особенности

Добавление дисплеев с высоким разрешением, камер и всегда включенных соединений истощает даже самые эффективные батареи. В то время как мощность BLE idle составляет ~10 мкА, потоковое видео или работающее вычислительно-интенсивные AR-приложения быстро истощают батареи 300-500 мАч, типичные для умных очков. Возникает компромисс: пользователи хотят более длительных сессий (4-8 часов), но также требуют богатой функциональности. Будущие чипы Bluetooth с интегрированным управлением питанием и адаптивными состояниями мощности ble - такими как те из (] (nRF5340) и Silicon Labs - могут динамически масштабировать потребление тока от 100 мкА до 20 мА на основе активности.

Другая возможность — это сбор энергии с использованием Bluetooth. Новые стандарты, такие как Bluetooth 5.4, включают LE рекламные расширения с поиском направления , которые позволяют устройствам просыпаться при обнаружении конкретного сигнала — даже если сам приемник питается от окружающей RF-сборки. Для носимых устройств AR, которые проводят большую часть времени в режиме ожидания (например, ожидая триггера от телефона), это может продлить практическое время автономной работы до нескольких дней.

Завтрашний опыт AR, вероятно, будет включать в себя несколько устройств одновременно: очки, телефон, умные часы, наушники и, возможно, кольцо или стилус. Управление соединениями между 5+ периферийными устройствами с задержкой до 10 мс требует архитектуры Bluetooth Mesh или , ориентированной на соединение . Bluetooth SIG уже определил сетевые профили сетки для освещения и IoT, но адаптация для взаимодействия AR в реальном времени находится в стадии разработки.

Представьте себе, что вы входите в комнату, где гарнитура AR автоматически подключается к беспроводному проектору, пространственной аудиосистеме и тактильному браслету — все через Bluetooth-мешок. Гарнитура может выступать в качестве сетчатого узла, который передает команды, уменьшая нагрузку на смартфон. ARCore от Google и Apple RealityKit оба уже используют Bluetooth для обмена якорями и сеансов с несколькими устройствами; будущие версии, вероятно, будут использовать сетку для координации десятков устройств в месте.

Совместимость через платформы

Сегодня большое разочарование заключается в том, что многие гарнитуры AR полагаются на проприетарные профили Bluetooth для расширенных функций (например, отслеживание рук через IMU на пользовательском контроллере). Для достижения широкого распространения индустрия должна сблизиться на общих службах Bluetooth GATT для AR: Generic AR Controller Service (жесты, кнопки), Пространственная якорная служба (данные о позе), Audio Stream Service (многоканальный пространственный аудио). Рабочая группа Bluetooth SIG AR / VR активно стандартизирует эти профили, с черновиками, опубликованными в 2023 году.

Когда стандартизация созреет, пользователи будут смешивать и сопоставлять аппаратное обеспечение: любой смартфон может соединяться с любой гарнитурой AR для базовых уведомлений, любой датчик обуви может обеспечить ввод локомоции для любой гарнитуры. Эта открытость будет стимулировать сторонние вспомогательные экосистемы, подобные тому, как USB трансформировал периферийные устройства.

Инновационные варианты использования, доступные по Bluetooth

Реально-временный перевод языка: Очки AR с микрофонами костной проводимости захватывают речь пользователя; Bluetooth-потоки на телефон для облачного перевода; в объективе появляется переведенный текст или субтитры. Задержка должна быть менее 200 мс, чтобы чувствовать себя естественно. Путь Bluetooth LE Audio с низкой задержкой (5-10 мс) в сочетании с выделенным аудиоканалом делает это возможным. Microsoft Azure Kinect DK уже использует Bluetooth для отслеживания тела, и аналогичные трубопроводы для перевода тестируются в пилотах предприятий.

Погружение в игровые процессы: Такие гарнитуры, как Meta Quest 3, полагаются на Bluetooth для подключения контроллеров движения. Будущие системы будут использовать каналы с высокой скоростью передачи данных Bluetooth для передачи параметров тактильной обратной связи от гарнитуры к перчаткам, что позволит точно синхронизировать обратную связь с визуальными событиями.Haptic BLE Profile, находящийся в стадии разработки, стандартизирует управление приводом.

Здравоохранение и промышленность: Хирурги, носящие гарнитуры AR, могут получать жизненно важные данные пациента через Bluetooth с носимых мониторов (скорость сердечных сокращений, SpO2). На заводах инструменты с поддержкой Bluetooth (отвертки, гаечные ключи) передают телеметрию в гарнитуру AR, которая подчеркивает правильную последовательность крепления. Функция «Координация» Bluetooth 5.4 для высокоточного синхронизации позволяет синхронизировать сбор данных с 500 датчиков, что имеет решающее значение для отслеживания качества сборочной линии.