Проектирование цифровых электронных систем для носимых устройств дополненной реальности

Носимые устройства дополненной реальности (AR) быстро развиваются от экспериментальных прототипов до повседневных инструментов, которые накладывают цифровую информацию на физический мир. Проектирование цифровых электронных систем, которые питают эти носимые устройства, требует тщательного баланса производительности обработки, энергоэффективности, управления температурой и ультраминиатюризации. В отличие от смартфонов или привязных гарнитур, носимые AR-устройства должны быть удобными для использования в течение всего дня, обеспечивая при этом захватывающий опыт с низкой задержкой. В этом расширенном руководстве рассматриваются основные компоненты, критические компромиссы дизайна, новые инженерные подходы и будущие направления для цифровых электронных систем в носимой AR.

Основные электронные подсистемы в носимых устройствах AR

Цифровая система современного носимого AR-устройства объединяет несколько специализированных электронных подсистем, которые работают вместе, чтобы чувствовать окружающую среду, визуализировать графику, управлять мощностью и общаться по беспроводной сети.Каждая подсистема накладывает уникальные ограничения на размер, бюджет мощности и тепловое рассеивание.

Процессоры и вычислительная архитектура

Вычислительная сердцевина носимого AR-устройства должна одновременно обрабатывать слияние датчиков, компьютерное зрение, рендеринг и логику приложений. Обычно это достигается с помощью гетерогенной архитектуры, которая включает в себя:

• Центральный процессор (CPU) — ядра общего назначения для задач операционной системы, кода приложения и обработки данных датчиков. Современные конструкции используют ядра серии ARM Cortex-A (например, Cortex-A78, X1) в конфигурации big.LITTLE для балансировки пиковой производительности с эффективностью простоя.
• Графический процессор (GPU) — выделенное оборудование для рендеринга 3D-контента, композитирования цифровых объектов с реальным представлением и ускорения вычислительных нагрузок. Высокопроизводительные AR-чипы используют пользовательские архитектуры GPU с отложенным рендерингом на основе плитки, чтобы минимизировать пропускную способность памяти и энергопотребление.
• Neural Processing Unit (NPU) — Специализированные ускорители для задач вывода машинного обучения, таких как отслеживание рук, оценка взгляда глаз, семантическая сегментация окружающей среды и распознавание голоса. NPU предлагают экономию мощности по порядку мощности по сравнению с выполнением этих рабочих нагрузок на CPU или GPU.
• Цифровые процессоры сигналов (DSP) и процессоры Vision — ядра малой мощности, предназначенные для обработки данных датчиков в реальном времени (IMU термоядерный синтез, конвейеры пикселей камеры, генерация карт глубины).

Ведущие производители чипсетов, такие как Qualcomm с его платформами Snapdragon XR, MediaTek и пользовательским кремнием от Apple и Meta, расширяют границы вычислительной плотности, оставаясь в тепловой оболочке 2-5 ватт. Передовые технологии упаковки, такие как 3D-стекленные чиплеты и интеграция в пакет (SiP), позволяют нескольким процессорным матрицам, памяти и ИС управления питанием занимать площадь меньше ногтя.

Память и хранение

Пропускная способность и емкость памяти напрямую влияют на качество AR. Обычно используются носимые AR-системы:

• LPDDR5/LPDDR5X DRAM — маломощная высокоширотная память, сложенная непосредственно на пакете процессора (пакет-на-пакете) для экономии пространства на плате и уменьшения задержки сигнала. Требования к пропускной способности могут превышать 50 ГБ/с для пропускной способности с высоким разрешением 120 Гц.
• UFS 3.1 или UFS 4.0 Storage — для быстрой загрузки приложений, потоковой передачи активов и локального хранения пользовательских данных. Мощности хранения варьируются от 64 ГБ до 512 ГБ, что сопоставимо с современными смартфонами.
• SRAM в On-Chip Memory — встроенные кэши SRAM и плотно связанная память для критически важных задач с задержкой, таких как буферы контроллера дисплея и временные данные датчика.

Новые технологии памяти, такие как магниторезистивная ОЗУ (MRAM), могут предлагать неволатильность с меньшей мощностью в режиме ожидания, но LPDDR остается основным выбором для вычисления DRAM в носимых AR.

Sensor Suite и приобретение данных

Носимые AR-устройства полагаются на широкий спектр датчиков, чтобы понять среду пользователя, отслеживать движение головы и тела и управлять взаимодействием. Цифровая система должна эффективно отбирать, фильтровать и сплавлять данные из нескольких типов датчиков:

• Инерциальные измерительные блоки (IMU) — Комбинируя акселерометры, гироскопы и иногда магнитометры, IMU обеспечивают высокоскоростную (1 кГц +) ориентацию и данные о движении для оптической стабилизации изображения (OIS), 6-градусное отслеживание головы (6DoF) и обнаружение жестов. Современные IMU от Bosch, TDK InvenSense и STMicroelectronics имеют сверхнизкий шум и встроенную прошивку для синтеза датчиков.
• Камеры — Для сквозного видео, ручного слежения, слежения за глазами и визуальной инерциальной одометрии (VIO) используются несколько камер. Каждая камера требует выделенного интерфейса MIPI CSI и часто конвейера процессора сигналов изображения (ISP). Датчики глобального затвора минимизируют размытие движения, в то время как высокий динамический диапазон (HDR) позволяет работать на открытом воздухе.
• Датчики глубины — Камеры с структурированным светом или стерео глубиной в реальном времени предоставляют 3D-карты окружающей среды для окклюзии, обнаружения столкновений и пространственного картирования. Цифровые системы должны обрабатывать потоки данных глубины с низкой задержкой (менее 10 мс), чтобы избежать артефактов задержки движения по фотону.
• Отслеживание глаз — Инфракрасные камеры и иллюминаторы отслеживают положение зрачка и движение глаз, чтобы включить замотанный рендеринг (снижение нагрузки GPU путем рендеринга только там, где смотрит пользователь), взаимодействие на основе взгляда и сигналы социального контакта глаз в аватарах. Данные отслеживания глаз должны обрабатываться с задержкой до миллисекунды.
• Экологические датчики — Датчики окружающего света, датчики близости, датчики температуры и барометрического давления помогают устройству адаптировать яркость дисплея, обнаруживать, когда оно находится на голове или вне ее, и компенсировать изменения высоты в пространственной привязке.

Алгоритмы синтеза датчиков работают на выделенных DSP или NPU для создания унифицированной модели движения и мира со скоростью, превышающей 1000 Гц. Цифровая система должна управлять несколькими потоковыми интерфейсами, синхронизировать временные метки между датчиками и обеспечивать детерминированную доставку данных в конвейер рендеринга.

Управление питанием и подсистема батареи

Управление питанием, возможно, является наиболее ограниченным аспектом носимой конструкции AR. Система должна работать в течение нескольких часов от емкости батареи, как правило, от 500 мАч до 2000 мАч, в зависимости от форм-фактора (умные очки против полной гарнитуры). Ключевые элементы включают:

• Батареи высокой плотности — Литий-полимерные (Li-Po) сумочные элементы с плотностью энергии выше 700 Втч/л являются общими. Появляющиеся твердотельные батареи обещают еще более высокую плотность и улучшенную безопасность, что может разблокировать меньшие форм-факторы.
• Интегральные схемы управления питанием (PMIC) — Пользовательские PMIC от таких компаний, как Texas Instruments, Analog Devices и Qualcomm, интегрируют несколько конвертеров баксов / бустов, регуляторы с низким уровнем выпадения (LDO), схемы зарядки аккумуляторов и измерения расхода топлива. Динамическое масштабирование напряжения и частоты (DVFS) контролируется PMIC в ответ на нагрузку CPU / GPU.
• Уборка энергии — Некоторые экспериментальные проекты включают в себя небольшие солнечные элементы, термоэлектрические генераторы или пьезоэлектрические комбайны для дополнения батареи, хотя выходы энергии остаются низкими для типичного внутреннего износа.
• Управление батареями — Точный мониторинг состояния заряда (SoC) с использованием алгоритмов подсчета кулонов и на основе напряжения необходим для предотвращения внезапных отключений. Беспроводная зарядка (Qi) является общей функцией удобства.

Теплоуправление тесно связано с мощностью: избыточное тепло должно рассеиваться через пассивное охлаждение (графитовые листы, распредители тепла, материалы с фазовым изменением), потому что вентиляторы редко приемлемы в носимых конструкциях. Цифровая система должна замедлять рабочие нагрузки для поддержания безопасных температур поверхности ниже 40-45 ° C.

Беспроводные модули связи

Носимые AR-устройства требуют надежного подключения с низкой задержкой для разгрузки вычислений, потокового контента, взаимодействия со смартфонами или доступа к облачным сервисам. Современные модули связи включают в себя:

• Bluetooth Low Energy (BLE) 5.x — для подключения к сопутствующим устройствам (телефон, клавиатура, трекер) и обмена данными с периферийных устройств с низкой пропускной способностью. Аудиопоток для пространственного аудио также использует BLE с поддержкой кодека LC3.
• Wi-Fi 6/6E или Wi-Fi 7 - обеспечивает высокую пропускную способность (несколько Гбит/с) и низкое время ожидания (< 5 мс) ссылки для потокового видео, облачных игр и больших загрузок активов.
• Ультраширокополосная (UWB) — обеспечивает точное пространственное позиционирование относительно других устройств UWB, полезное для многопользовательского AR-опыта и определения местоположения устройств «умного дома».
• 5G NR Sub-6 и mmWave — Для всегда подключенных автономных AR-гарнитур модемы 5G позволяют в режиме реального времени сотрудничать и получать доступ к удаленным серверам рендеринга. Однако модули mmWave требуют тщательного размещения антенны из-за ограничений формирования луча.

Цифровые системы интегрируют эти радиостанции в виде отдельных чипов или комбинированных модулей. Конструкция антенны является сложной из-за небольшого физического пространства и близости к ткани человека, часто требующей активной настройки импеданса и соблюдения определенной скорости поглощения (SAR).

Критические соображения дизайна для носимой AR-электроники

Помимо выбора компонентов, общий дизайн системы должен решать несколько взаимосвязанных задач, которые непосредственно влияют на принятие и опыт пользователей.

Миниатюризация и механическая интеграция

Носимые AR-устройства требуют беспрецедентного уровня миниатюризации. Вся цифровая система - процессоры, память, датчики, антенны, аккумулятор - должна помещаться в раму из очков или тонкую повязку на голове. Ключевые методы включают:

• Система в пакете (SiP) — Несколько штампов интегрированы внутри одной упаковки с использованием проводного соединения или сквозных кремниевых сквозных сред (TSV), уменьшая площадь платы на 40% или более по сравнению с дискретными компонентами.
• Встроенные пассивные компоненты — резисторы, конденсаторы и индукторы встроены в подложку ПХБ для освобождения площади поверхности для активных устройств.
• Гибкие и жесткие гибкие ПХД — Эти платы могут изгибаться вокруг височных досок или носового мостика владельца, соответствуя форме головы при сохранении электрической связи.
• Оптическая интеграция — Дисплейные панели (микро-OLED, LCoS или лазерное сканирование луча) часто сочетаются с волноводными комбинаторами и коллимирующей оптикой. Цифровая система должна точно выровнять выходы драйвера дисплея с оптическим путем, чтобы избежать неправильной регистрации на уровне пикселей.

Несоответствия теплового расширения между несходными материалами и потребность в коррозионностойких разъемах во влажных условиях добавляют дополнительную сложность. Инструменты моделирования (CFD, FEA) используются на ранних этапах цикла проектирования для прогнозирования теплового и структурного поведения.

Эффективность питания и срок службы батареи

Расширенные сеансы использования (4-8 часов) требуют агрессивного управления питанием. Стратегии, используемые в современных проектах, включают:

• Асимметричная многопроцессорная обработка — Вычислительные задачи динамически перемещаются между высокопроизводительными и маломощными кластерами. Фоновый синтез датчиков работает на небольшом микроконтроллере, пока основной процессор приложения спит.
• Адаптивные скорости обновления — частота обновления дисплея падает со 120 Гц до 30 Гц во время неподвижных сцен, контролируемых вводом отслеживания глаз (закачанный рендеринг) и анализом контента.
• Часы и питание — Неиспользуемые блоки внутри SoC полностью отключены, с быстрым временем пробуждения (менее 1 мкс для некоторых доменов).
• Оптическое смотрение-пропуск по сравнению с видеопропуск — Оптические системы сквозного просмотра потребляют меньше энергии, потому что дисплей отображает только цифровые наложения, в то время как видеопропуск требует непрерывного использования камеры и графического процессора.

Технология аккумуляторов продолжает совершенствоваться: кремниево-анодные ячейки и литий-серные химические соединения находятся на горизонте, но еще не коммерчески жизнеспособны для массового производства. Оптимизация программного обеспечения, такая как адаптивная яркость и агрессивная подвеска фонового приложения, одинаково важна для достижения номинального срока службы батареи.

Задержка и производительность в реальном времени

Задержка движения к фотону - время от движения головы до стабильного обновления изображения - должна быть ниже 20 мс, чтобы предотвратить дискомфорт и тошноту пользователя.

• Time Warp — GPU визуализирует кадры с меньшей скоростью (например, 60 кадров в секунду), в то время как специальный контроллер дисплея деформирует последний визуализированный кадр на основе последнего образца IMU (при 1000 Гц). Это уменьшает воспринимаемую задержку на 10-15 мс.
• Прогнозное отслеживание — Система предсказывает положение головы в 10–30 мс в будущее с помощью фильтров Калмана или нейронных сетей, а затем отображает прогнозируемую точку зрения.
• Атомные операции — низкоуровневое системное программное обеспечение гарантирует, что данные датчиков, команды рендеринга и обновления дисплея синхронизируются на аппаратном уровне, часто с использованием аппаратных семафоров и буферов FIFO.

Сетевая задержка для беспроводных линий связи (например, Wi-Fi 6E) добавляет еще 2-5 мс. Краевые вычислительные серверы, расположенные на базовых станциях 5G, могут сократить время в оба конца до 10 мс для рендеринга с помощью облака.

Термический менеджмент

При рассеивании тепла, ограниченном примерно 3-5 ваттами в форм-факторе стаканов, необходимо учитывать каждый милливатт.

• Расширители тепла графита — тонкие, анизотропные листы, которые проводят тепло от горячих точек до более холодных областей рамы.
• Вапорные камеры — двухфазные охлаждающие устройства, которые могут распространять тепло на большую площадь, используемые в гарнитурах большей мощности.
• Материалы с изменением фазы (PCM) — Материалы, которые поглощают тепло во время плавления, буферизируя переходные всплески от коротких всплесков высокой производительности (например, при загрузке сложной сцены).
• Управление дроссельной заслоной — Программное обеспечение снижает частоту CPU/GPU и отключает задачи NPU, когда температура приближается к пределам безопасности. Термические индикаторы, ориентированные на пользователя, редко приемлемы, поэтому тепловой запас должен быть адекватным для типичного использования.

Контакт с кожей человека обеспечивает максимальную комфортную температуру около 42 ° C. Тепловое моделирование во время проектирования необходимо для предотвращения горячих точек на руках или носовых подушечках.

Hardware-Software Co-Design и Firmware Challenges

Цифровые электронные системы для носимых AR неотделимы от прошивки и программных стеков, которые их контролируют.

• Sensor Fusion Engine — Слияние в реальном времени IMU, камеры и данных глубины выполняется на выделенном MCU или DSP для разгрузки основного процессора. Выход синтеза должен быть доставлен в графический движок с детерминированным временем.
• Конфигурация дисплея драйвера — драйверы Micro-OLED требуют точного времени для сканирования ряд за рядом, затемнения шириной импульса (PWM) и глобальной синхронизации затвора.
• Программное обеспечение для управления питанием — прошивка PMIC обрабатывает DVFS, профили зарядки и тепловое дросселирование в машине состояния, которая реагирует на триггеры на основе датчиков (например, обнаружение состояния «изношенности»).
• Безопасные обновления загрузки и перегрузки воздуха — Аппаратные корневые доверия гарантирует, что только подписанное прошивка может работать, предотвращая вредоносное вмешательство.

Эти модули прошивки разрабатываются параллельно с аппаратным дизайном, часто с использованием тестирования аппаратного обеспечения в цикле (HIL) для проверки времени и энергопотребления.

Последствия безопасности и конфиденциальности

Носимые устройства AR захватывают непрерывные видео, аудио, местоположение и биометрические данные (движение глаз, жесты рук). Цифровая система должна обеспечивать изоляцию и шифрование на уровне аппаратного обеспечения:

• Доверенная среда исполнения (TEE) — Безопасный анклав для обработки чувствительных данных, таких как выражения лица или образы взгляда, отдельно от основного процессора приложения.
• Затвор конфиденциальности камеры — физический или электронный затвор, который блокирует датчики изображения, когда они явно не включены, с визуальным индикатором для пользователя.
• Шифрование данных — Все данные датчиков, хранящиеся в памяти или передаваемые по беспроводным каналам связи, должны быть зашифрованы с использованием AES-256 или аналогичных.

Регуляторное соответствие (GDPR, CCPA, FDA, если используется в качестве медицинского устройства) добавляет требования к политике хранения данных и управлению согласием пользователей, часто реализуемым в защищенном уровне прошивки.

Тестирование и валидация цифровых систем для носимых AR

Для того чтобы убедиться, что цифровая система соответствует требованиям к производительности, мощности и безопасности, необходимо провести тщательное тестирование:

• Профилирование мощности — Использование высокоскоростных датчиков тока / напряжения и журналирования программного обеспечения для измерения энергопотребления в подсистеме в разных вариантах использования (бездействия, просмотр, игры).
• Тестирование тепловой камеры — Устройства работают в контролируемых температурных камерах для проверки термического управления и границ дросселирования.
• Измерение задержки — высокоскоростные камеры (1000 кадров в секунду) захватывают задержку движения к фотону с использованием фотодиодов, прикрепленных к дисплею, и эталонных импульсов IMU.
• EMI/EMC Compliance — Излучаемые выбросы от высокочастотных процессоров и беспроводных радиостанций должны оставаться в пределах FCC/CE.
• Прочность и испытание на падение — Носимые устройства сбрасываются с 1,5 м на бетон, чтобы гарантировать, что припои и соединители выдерживают повторяющиеся удары.

Автоматизированное испытательное оборудование (ATE) используется для проверки производственной линии каждого блока, проверки версий прошивки, параметров калибровки и беспроводной производительности.

Будущие тенденции формирования цифровой электроники для носимых AR

Несколько новых технологий обещают значительно улучшить возможности и комфорт носимых цифровых систем дополненной реальности:

Гибкая и растяжимая электроника

Исследователи разрабатывают гибкие логические схемы, датчики и батареи, которые могут изгибаться вокруг головы человека. Тонкие пленочные транзисторы (ТФТ) на основе полупроводников из оксида металла и органических материалов могут в конечном итоге обеспечить полностью гибкие SoC. Хотя в настоящее время они ограничены простыми схемами, достижения в производстве могут вывести гибкие цифровые системы на рынок в течение следующего десятилетия.

Интегрированная фотоника для отображения и восприятия

Кремниевая фотоника может интегрировать лазерные источники, волноводы и фотоприемники на одном чипе, устраняя громоздкую дискретную оптику. Это может сжать всю подсистему дисплея (включая сканер луча и комбинатор) в монолитный пакет, уменьшая размер и мощность на порядок.

Edge AI и On-Device Learning

Будущие NPU будут поддерживать обучение на устройстве и тонкую настройку нейронных сетей, позволяя устройствам AR адаптироваться к поведению и среде отдельных пользователей без отправки данных в облако. Это одновременно улучшает задержку и конфиденциальность. Graphcore, Intel и ARM настаивают на чипах, которые могут обрабатывать адаптивные модели в рамках бюджета в 1 ватт.

Расширенное слияние датчиков с нейроморфными камерами

Нейроморфные (событийные) камеры только выводят изменения в сцене, резко снижая скорость передачи данных и энергопотребление по сравнению с обычными камерами на основе кадров. В сочетании с пиковыми нейронными сетями, работающими на нейроморфных процессорах (таких как Intel Loihi или BrainChip Akida), задержка отслеживания движения может упасть ниже 5 мс при энергопотреблении субмилливатт.

Беспроводная электроэнергия и оптическая передача данных

Для действительно стройных очков полное устранение батареи или использование носимого кулончика для питания может быть возможным благодаря беспроводной передаче мощности среднего диапазона (Qi-like или резонансной). Оптические каналы передачи данных с использованием Li-Fi могут заменить Wi-Fi в чувствительных ко времени AR приложениях, предлагая низкую задержку и высокую безопасность.

Заключение

Проектирование цифровых электронных систем для носимых устройств дополненной реальности является многодисциплинарной инженерной задачей, которая расширяет границы кремниевых технологических процессов, силовой электроники, интеграции датчиков и тепловой инженерии. Основные подсистемы - процессоры, память, датчики, управление питанием и беспроводная связь - должны быть тщательно спроектированы для достижения необходимой производительности в рамках строгих размеров, веса и бюджета мощности. Поскольку отрасль движется к меньшим, более удобным форм-факторам, инновации в гибкой электронике, фотонной интеграции и искусственного интеллекта на устройстве будут продолжать переопределять то, что возможно. Принятые сегодня решения по дизайну цифровой системы будут формировать следующее поколение носимых AR-устройств, которые плавно сочетают цифровой контент с физическим миром.

• Внешняя ссылка: Qualcomm Snapdragon XR Platforms
• Внешняя ссылка: Решения для управления электропитанием Texas Instruments
• Внешняя ссылка: Bosch Sensortec MEMS IMUs for Wearables
• Внешняя ссылка: IEEE Explore — Research on Wearable AR Electronics