Проблема цифровой обработки сигналов в современных слуховых СПИД

Цифровые слуховые аппараты — это сложные медицинские устройства, которые выполняют обработку звука в реальном времени в форм-факторе меньше, чем ногтей. В основе каждого современного слухового аппарата лежит цифровой сигнальный процессор (DSP), отвечающий за выполнение сложных алгоритмов, которые анализируют, фильтруют и усиливают звук. Требования, предъявляемые к этим процессорам, существенны: они должны обрабатывать снижение шума, улучшение речи, отмену обратной связи, направленную обработку микрофона и часто беспроводную потоковую передачу, все время работая на крошечной батарее, которая должна работать в течение нескольких дней или даже недель. В этом тематическом исследовании рассматриваются стратегии, технические подходы и измеримые результаты проекта, ориентированного на оптимизацию использования процессора DSP в новом поколении цифровых слуховых аппаратов.

Справочная информация: Обработка бремени слуховой СПИД

Фундаментальной проблемой в дизайне слуховых аппаратов является напряжение между возможностями обработки и энергопотреблением. В отличие от смартфонов или ноутбуков, слуховые аппараты не могут вмещать большие батареи или активное охлаждение. Все устройство должно удобно вписываться в ухо или за ухом, с емкостью батареи, обычно измеряемой в миллиампер-часах. Тем не менее пользователи ожидают все более сложных функций: автоматическое обнаружение окружающей среды, алгоритмы распознавания речи в шуме, управление шумом и подключение Bluetooth к смартфонам и телевизорам.

Современные DSP слуховых аппаратов, как правило, основаны на архитектурах сверхнизкой мощности, часто используют специализированные ядра, разработанные специально для обработки звука. Эти чипы работают на тактовых частотах намного ниже, чем процессоры общего назначения, иногда в диапазоне 5-50 МГц, и должны выполнять каждую инструкцию с максимальной эффективностью. Нагрузка обработки резко варьируется в зависимости от акустической среды: тихая гостиная требует гораздо меньшей обработки, чем шумный ресторан или ветреная наружная обстановка.

Основные функции обработки

Чтобы понять, где усилия по оптимизации приносят наибольшую отдачу, полезно изучить основные блоки обработки в слуховом аппарате DSP:

  • Отмена обратной связи — Этот алгоритм обнаруживает и подавляет акустическую обратную связь (свист), не снижая желаемого усиления сигнала.
  • Снижение шума — Многодиапазонные алгоритмы оценки шума и спектрального вычитания анализируют входящий звук, чтобы отличать речь от фонового шума.Эти функции являются вычислительно интенсивными, особенно в сложных акустических сценах.
  • Динамическое сжатие диапазона — Слуховой аппарат должен отображать широкий диапазон уровней входного звука в уменьшенном динамическом диапазоне пользователя.Многоканальные системы сжатия требуют тщательных расчетов усиления для каждой полосы частот.
  • Направленная обработка — Алгоритмы формирования луча объединяют сигналы от нескольких микрофонов, чтобы сосредоточиться на звуке, исходящем из конкретных направлений. Эта обработка необходима для понимания речи в шуме, но потребляет значительные MIPS (миллионы инструкций в секунду).
  • Экологическая классификация — Модели машинного обучения классифицируют акустическую среду (тихую, речевую, музыкальную, ветровую, транспортную) и соответствующим образом корректируют параметры обработки.

Проект оптимизации: Сфера и методология

Оптимизация проекта, описанного в данном тематическом исследовании, была инициирована производителем слуховых аппаратов среднего размера, целью которого был запуск новой линейки продуктов с расширенными функциями без увеличения размера батареи или сокращения срока службы батареи. Ключевыми целями производительности были снижение среднего энергопотребления на 20%, поддержание или улучшение показателей качества звука и отсутствие увеличения тактовой частоты процессора или объема памяти.

Базовые измерения

На первом этапе проекта была установлена полная базовая линия текущего использования DSP. Используя аппаратные средства профилирования и программные приборы, инженерная группа измерила потребление MIPS для каждого блока обработки по ряду типичных акустических сценариев. Базовые данные выявили несколько критических идей:

  • Отмена обратной связи потребляла около 28% от общего количества MIPS DSP в ситуациях с высокой прибылью.
  • Многоканальное сжатие составляло 22% от нагрузки обработки.
  • Алгоритмы снижения шума потребляют 18% MIPS.
  • Направленная обработка потребовала 15% от всех доступных циклов.
  • Накладные расходы на экологическую классификацию и систему составили оставшиеся 17%.

Эти измерения показали, что отмена обратной связи и сжатие являются самыми дорогими блоками, но также и то, что ни один алгоритм не доминирует в бюджете обработки.

Стратегии оптимизации, реализуемые

Улучшение алгоритмической эффективности

Инженерная группа провела систематический обзор всех алгоритмов обработки сигналов для выявления возможностей для сокращения вычислений без ущерба для производительности. Несколько методов оказались особенно эффективными.

Сокращение операций банка фильтров — В первоначальной реализации использовался единый 32-канальный банк фильтров для всей обработки. Переходя на неоднородный банк фильтров с более широкими полосами на более высоких частотах (где слуховое разрешение человека ниже) и более узкие полосы на критических речевых частотах, команда сократила общее количество каналов фильтров до 24. Это изменение само по себе снизило потребление MIPS примерно на 12% во всех блоках обработки, которые полагались на выход банка фильтров.

Упрощенные арифметические операции — Алгоритм отмены обратной связи первоначально использовал арифметику с плавающей точкой двойной точности для адаптивных обновлений фильтров. Анализ показал, что арифметика с одноточным масштабированием в сочетании с тщательным масштабированием обеспечивала эквивалентную производительность в подавляющем большинстве реальных условий. Переход на одноточность снизил вычислительную стоимость отмены обратной связи почти на 35% без измеримой деградации при подавлении обратной связи.

Утилизация ускорения аппаратного обеспечения — Платформа DSP включала аппаратный многоаккумулятивный (MAC) блок, который исходная прошивка не использовала полностью. Переписав критические циклы в коде сборки для использования блока MAC, команда достигла 3-кратного ускорения в операциях свертки, используемых для цифровой фильтрации. Это улучшение особенно помогло снизить шум и блоки направленной обработки.

Адаптивное и динамическое распределение процессов

Одной из наиболее мощных стратегий оптимизации был переход от фиксированного распределения обработки к динамической модели, которая настраивала глубину обработки на основе текущей акустической среды и активности пользователя.

Контекстно-осознанные уровни обработки — Классификатор окружающей среды был улучшен для вывода не только метки (тихой, речь, шум, музыка), но и уровня уверенности и оценки сложности обработки. В спокойных средах, классифицированных с высокой степенью уверенности, система могла снизить скорость обновления отменителя обратной связи и алгоритмов снижения шума на 50%. В сложных средах, таких как шумные рестораны, была восстановлена полная глубина обработки. Этот адаптивный подход уменьшил среднее потребление MIPS в тихих условиях на 30% при сохранении полной производительности в сложных условиях.

Переменные размеры кадров — Оригинальная система обрабатывала аудио в фиксированных кадрах размером 2 мс. Команда реализовала схему с переменным размером кадра, где большие кадры (4-8 мс) использовались в стабильных акустических средах, а меньшие кадры (1-2 мс) использовались при необходимости быстрой адаптации. Это изменение уменьшило накладные расходы, связанные с обработкой кадров, примерно на 20% в среднем, без ощутимого влияния на качество звука.

Батарейно-ориентированное планирование — Планировщик DSP был модифицирован для учета оставшегося заряда батареи при принятии решений о распределении обработки. При падении напряжения батареи ниже заданного порога система постепенно снижала глубину обработки для некритических алгоритмов, продлевая срок службы батареи до 15% в последние часы работы батареи. Пользователи сообщали, что постепенное снижение было незаметно в большинстве условий.

Программное обеспечение и аппаратное обеспечение Co-Design

Проект оптимизации также включал тесное сотрудничество между командами аппаратного и прошивочного оборудования для выявления возможностей для разгрузки обработки от программно-управляемого DSP к выделенным аппаратным блокам.

Аппаратные средства отмены обратной связи — Специальный механизм отмены обратной связи был реализован в виде аппаратного блока на чипе DSP. Этот аппаратный ускоритель обрабатывал наиболее вычислительно интенсивные части адаптивного обновления фильтра, уменьшая нагрузку MIPS на основной DSP на 40% для этого алгоритма. Аппаратный блок потреблял менее 5% мощности, необходимой для реализации программного обеспечения.

Программный сжатый движок — Многоканальное сжатие динамического диапазона было частично выгружено на специализированную аппаратную машину состояния. Аппаратное обеспечение обрабатывало вычисление и применение коэффициента усиления, в то время как DSP сохранял контроль над обновлениями параметров и адаптацией. Это разделение труда сократило DSP MIPS для сжатия почти на 60%.

Оптимизация памяти — Команда провела тщательный анализ шаблонов доступа к памяти и переработала макет данных, чтобы минимизировать промахи кэша. Организовав коэффициенты фильтра и аудиоданные в смежных блоках памяти, которые соответствовали размеру кэш-линии DSP, они сократили связанные с памятью киоски на 25%. Это улучшение перевело непосредственно в более низкие эффективные MIPS, потому что DSP потратил меньше циклов ожидания данных.

Измеренные результаты и прирост производительности

Проект оптимизации достиг результатов, превысивших первоначальные цели. После реализации всех описанных выше стратегий инженерная команда провела комплексную оценку с использованием как объективных измерений, так и субъективных тестов прослушивания.

MIPS и энергопотребление

Наиболее значительными достижениями были в эффективности обработки:

  • Пик потребления MIPS в сложных акустических средах снизился с 42 MIPS до 33 MIPS, что на 21% меньше, чем в других странах.
  • Среднее потребление MIPS во всех средах снизилось на 27%, с 31 MIPS до 22,6 MIPS.
  • Общее энергопотребление устройств снизилось на 23% по сравнению с исходным уровнем, превысив целевой показатель в 20%.
  • Срок службы батареи в обычном использовании увеличился с 5,2 до 6,8 дней, что на 31% больше.

Качество звука и пользовательский опыт

Критически важно, что эти показатели эффективности не были достигнуты за счет качества звука. Объективные меры, включая Индекс качества речи слуховой аппаратуры (HASQI) и Индекс качества звука слуховой аппаратной аппаратуры (HASPI), не показали статистически значимого ухудшения. Фактически, некоторые меры немного улучшились благодаря более последовательной обработке:

  • Оценки HASQI оставались в пределах 0,02 от исходного уровня (не клинически значимого).
  • Маржа отмены обратной связи улучшилась на 3 дБ, что указывает на более стабильный прирост до обратной связи.
  • Опросы удовлетворенности пользователей, проведенные с группой из 40 пользователей слуховых аппаратов, показали 12% улучшение показателей удовлетворенности жизнью батареи и 8% улучшение общей удовлетворенности.

Торговля и ограничения

Команда задокументировала несколько ограничений и областей, где новый дизайн требовал тщательного управления:

  • Аппаратные ускорители добавили около 8% к площади кристалла чипа, что немного увеличило стоимость производства.
  • Алгоритмы распределения динамических процессов требовали более обширной настройки и проверки в более широком диапазоне акустических сред.
  • В редких сценариях с быстро меняющимися акустическими условиями схема переменного размера кадра вызывала случайные слышимые артефакты, для решения которых требовались дополнительные сглаживающие фильтры.

Отраслевой контекст и более широкие последствия

Результаты этого тематического исследования согласуются с более широкими тенденциями в отрасли слуховых аппаратов. По мере того, как глобальный рынок слуховых аппаратов продолжает расти, что обусловлено старением населения и повышением осведомленности о здоровье слуха, производители сталкиваются с неустанным давлением, чтобы предоставить больше функций в небольших устройствах с более длительным сроком службы батареи. Оптимизирующие стратегии, описанные здесь, предлагают воспроизводимую основу для достижения этих целей.

По данным Всемирной организации здравоохранения, более 1,5 миллиарда человек во всем мире испытывают некоторую степень потери слуха, что подчеркивает огромное потенциальное влияние более эффективных и доступных решений для слуха. Достижения в эффективности DSP напрямую способствуют улучшению результатов пользователей, поскольку устройства могут обеспечить более четкий звук в более сложных условиях без ущерба для времени автономной работы или комфорта ношения.

Кроме того, принципы оптимизации алгоритмов, адаптивного распределения ресурсов и совместной разработки аппаратного и программного обеспечения, продемонстрированные здесь, имеют применимость за пределами слуховых аппаратов. Инженеры, работающие на других устройствах с питанием от батареи с требованиями обработки сигналов в реальном времени, такими как беспроводные наушники, интеллектуальная защита слуха и медицинские устройства мониторинга, могут опираться непосредственно на эти методы. Принципы оптимизации кода DSP для встраиваемых систем с низким энергопотреблением хорошо известны, но их применение в слуховых аппаратах особенно требовательно, учитывая сочетание размера, мощности и ограничений в реальном времени.

Рекомендации для будущей работы

По итогам проекта команда определила несколько перспективных направлений для дальнейшей оптимизации и инноваций:

Ускорение машинного обучения

Используемый в нынешней системе классификатор окружающей среды был основан на относительно простом дереве решений. Команда считает, что развертывание небольшой нейронной сети на выделенном аппаратном ускорителе может повысить точность классификации на 15-20%, что позволит еще более агрессивно распределять динамические процессы. Ранняя работа по моделированию предполагает, что квантованная нейронная сеть может работать на аппаратном ускорителе, потребляющем менее 50 микроватт, что вполне в рамках бюджета мощности.

Пользовательская оптимизация

В нынешней системе используется подход, который подходит для всех. Изучая типичные акустические среды и модели использования отдельных пользователей, слуховой аппарат может оптимизировать свой бюджет обработки для условий, которые наиболее важны для этого пользователя. Например, пользователь, который проводит большую часть своего времени в тихой офисной среде, может извлечь выгоду из более агрессивной экономии энергии в этом контексте, в то время как пользователь, который часто посещает рестораны, выиграет от полной глубины обработки в шумной среде.

Беспроводная разгрузка

Поскольку слуховые аппараты все чаще подключаются к смартфонам через Bluetooth, есть возможность выгрузить некоторую обработку на парный телефон. Сложные вычисления, такие как полный вывод нейронной сети или расширенная бинауральная обработка, могут быть выполнены на более мощном процессоре телефона, с результатами, передаваемыми обратно на слуховой аппарат. Такой подход потребует тщательного управления задержкой и надежностью, но он может значительно расширить возможности обработки будущих слуховых аппаратов.

Заключение

Оптимизация использования процессора DSP в цифровых слуховых аппаратах является многогранной инженерной задачей, которая лежит на пересечении проектирования алгоритмов, аппаратной архитектуры, управления питанием и пользовательского опыта.Это исследование показывает, что систематический подход, сочетающий повышение эффективности алгоритма, адаптивное распределение обработки и совместное проектирование аппаратного и программного обеспечения, может принести существенный выигрыш как в сроке службы батареи, так и в способности обработки.

23%-ное снижение энергопотребления и 31%-ное улучшение срока службы батареи, достигнутое в этом проекте, представляют собой значительные достижения в технологии слуховых аппаратов. Возможно, что более важно, разработанная здесь структура оптимизации обеспечивает масштабируемую методологию, которая может быть применена к будущим поколениям продуктов. По мере развития технологии DSP и роста ожиданий пользователей в отношении производительности слуховых аппаратов методы, описанные в этом тематическом исследовании, останутся важными инструментами для инженеров, работающих над улучшением решений для слуха.

Результаты также подчеркивают важный принцип: в ограниченных встроенных системах оптимизация является не просто техническим упражнением, но и непосредственным вкладом в качество жизни пользователей. Каждый милливатт, каждый цикл устраняется, и каждый усовершенствованный алгоритм превращается в слуховой аппарат, который более удобно носить, более естественный в использовании и более эффективный в реальных акустических средах, которые имеют наибольшее значение для людей с потерей слуха.