Инновационные подходы к сжатию нейронных сигналов для систем с ограниченной пропускной способностью

Растущий спрос на эффективную передачу нейронных данных

Поскольку нейрокомпьютерные интерфейсы (BCI) и имплантаты для записи нейронов высокой плотности перемещаются из исследовательских лабораторий в клинические и потребительские приложения, огромный объем данных, генерируемых этими устройствами, стал центральной инженерной задачей. Одна 1024-канальная запись нейронного зонда на частоте 30 кГц может производить более 30 миллионов образцов в секунду. Без интеллектуального сжатия поток необработанных данных будет подавлять ограниченную полосу пропускания беспроводной телеметрии, увеличивать потребление энергии и ограничивать количество каналов, которые можно контролировать в режиме реального времени. Сжатие нейронных сигналов, следовательно, не просто удобство, но критический фактор для нейротехнологии следующего поколения.

Компрессия должна сохранять тонкую пиковую активность отдельных нейронов, потенциалы локального поля и другие биологически релевантные функции при агрессивном снижении битрейтов. Алгоритмы сжатия, приемлемые для видео или аудио, часто непригодны, потому что малейшее искажение может повредить сортировку шипов или стереть нейронное событие клинического значения. В этой статье исследуются уникальные ограничения нейронных систем с ограниченной пропускной способностью и рассматриваются самые инновационные стратегии сжатия - от традиционного кодирования преобразования до современных подходов к глубокому обучению, которые раздвигают границы того, что возможно.

Основные проблемы при сжатии нейронных сигналов

Data Fidelity vs. коэффициент сжатия

Каждый метод сжатия вносит компромисс между тем, насколько данные уменьшены и насколько точно может быть восстановлен исходный сигнал. В нейронной записи требуемая точность чрезвычайно высока. Соотношение сжатия 10:1 может быть приемлемым для определенных полевых потенциалов, но то же самое соотношение может разрушить способность обнаруживать потенциалы действия от отдельных нейронов. Задача состоит в разработке алгоритмов, которые адаптивно распределяют биты к наиболее информативным частям сигнала, таким как формы волн шипа и шаблоны всплесков, позволяя более агрессивное сжатие в периоды покоя.

Ограничения и ограничения власти в реальном времени

Системы с ограниченными пропускными способностями — будь то беспроводные BCI для парализованных пациентов, портативные гарнитуры ЭЭГ или имплантируемая нервная пыль — работают при строгом бюджете мощности. Алгоритмы сжатия должны работать на маломощных цифровых сигнальных процессорах или пользовательских ASIC, которые потребляют микроватты, а не милливатты. Сложные вычисления, такие как итеративная оптимизация или повторяющиеся нейронные сети, часто неосуществимы. Следовательно, исследователи ищут энергоэффективное сжатие , которое может быть выполнено с минимальной задержкой, в идеале за один проход по потоку данных.

Шумовая надежность и обработка артефактов

Нейронные записи, как известно, шумные. Тепловой шум, артефакты движения и электрические помехи от других устройств могут повредить сигнал. Алгоритмы сжатия, которые не знают шума, могут усиливать артефакты или не кодировать основную нейронную информацию. Современные подходы должны включать этапы предварительной обработки, такие как фильтрация, отказ от артефактов или надежное извлечение признаков перед сжатием, при соблюдении пропускной способности и бюджета мощности.

Новые технологии сжатия нейронных данных

Автокодеры для эффективного нейронного кодирования

Автокодеры, класс нейронных сетей, обученных реконструировать свои собственные входы через слой узкого места, стали мощным инструментом для сжатия нейронных сигналов. Изучая компактное латентное представление необработанных данных, автокодеры могут достигать высоких коэффициентов сжатия при сохранении форм шипа и информации о времени. Вариационные автокодеры (VAE) дополнительно предлагают вероятностную структуру, которая количественно определяет неопределенность, что ценно для задач декодирования по потоку. Недавние исследования показали, что VAE с несколькими сотнями латентных измерений может реконструировать многоканальные записи при коэффициентах сжатия 20:1 или более с минимальной потерей точности сортировки шипа. Однако вычислительная стоимость сетей кодера и декодера остается барьером для имплантируемого использования в реальном времени, толкая исследования к квантовым и бинарным вариантам автокодера, которые могут работать на FPGA или нейроморфном оборудовании.

Спаренное кодирование и сжатое восприятие

Спарсовое кодирование основывается на наблюдении, что нейронные сигналы являются редкими в некоторой области представления — т.е. большинство коэффициентов близки к нулю. Найдя словарь базовых функций (например, вейвлеты или изученные атомы), каждый сегмент сигнала может быть представлен как линейная комбинация только нескольких словарных элементов. Эта редкость может быть использована в больших преимуществах: вместо передачи всех образцов система передает только индексы и коэффициенты активных атомов. Сжатое восприятие (CS) идет на один шаг дальше, непосредственно приобретая сжатое представление из небольшого числа случайных измерений, минуя необходимость выборки в беспроводных нейронных системах записи, где имплантат выполняет простое умножение матрицы для получения сжатых проекций, и базовая станция реконструирует полный сигнал с использованием l1-минимизация решатель. В то время как CS может достичь впечатляющих коэффициентов сжатия (до 50:1) для сигналов, которые достаточно редки, задержка реконструкции и вычислительные накладные расходы могут быть высокими, и CS уязвим для неспаренных

Вейвлет-сжатие с адаптивным порогом

Волновые преобразования уже давно являются основным элементом сжатия сигнала (например, JPEG 2000), поскольку они локализуют информацию как во времени, так и на частоте. Для нейронных сигналов дискретное вейвлет-преобразование (DWT) может разлагать запись на поддиапазоны, а коэффициенты ниже определенного порога могут быть отброшены. Ключевое новшество в недавней работе — адаптивный выбор порога , основанный на местной статистике — например, использование беговой оценки уровня шума для установления порога, чтобы шипы сохранялись при подавлении шума. Этот подход дает коэффициенты сжатия 10-30x с минимальным воздействием на обнаружение шипов. Кроме того, сжатие на основе вейвлета может быть реализовано в аппаратном обеспечении с низким энергопотреблением, что делает его привлекательным для имплантируемых устройств. Некоторые системы объединяют DWT с кодированием длины потока или кодированием Хаффмана для дальнейшего уменьшения размера потока битов.

Трансформатор и сжатие на основе внимания

Архитектура трансформатора, которая произвела революцию в обработке естественного языка и компьютерном зрении, в настоящее время адаптируется для сжатия нейронных сигналов. Используя механизмы самовнимания, трансформаторные кодеры могут захватывать временные зависимости на большие расстояния, такие как связь между всплеском и последующим рефрактерным периодом, которые пропускают более простые модели. Предварительные исследования показывают, что легкий трансформатор с причинной маскировкой может сжимать одноканальные нейронные данные в соотношениях, превышающих 40:1, сохраняя при этом высокое качество реконструкции. Проблема заключается в том, что трансформаторы являются вычислительно дорогими; Операция самовнимания масштабируется квадратически с длиной последовательности. Для решения этой проблемы исследователи изучают линейные варианты внимания и , которые уменьшают сложность. Несмотря на эти препятствия, основанные на внимании модели могут стать основой нейронного сжатия следующего поколения, потому что они могут одновременно изучать статистику сигналов и оптимальную стратегию квантования.

Гибридное сжатие домена: комбинирование времени и частоты

Ни один домен не является оптимальным для всех типов нейронных сигналов. Недавняя тенденция - это гибридное сжатие, которое разделяет сигнал на компоненты: один, содержащий широкополосную активность шипа, а другой, содержащий более медленные локальные потенциалы поля (LFPs). Каждый компонент сжимается с использованием домена, который соответствует его характеристикам. Например, шипы могут быть закодированы с использованием триггера обнаружения шипа и небольшого фрагмента формы волны (совпадение шаблонов), в то время как LFP трансформируются с использованием вейвлетов или автокодера. Этот подход иерархический или многорежимный подход может достичь лучшей общей эффективности, потому что он выделяет биты, пропорциональные информационному содержанию каждого компонента сигнала. Некоторые системы даже используют петлю обратной связи, где декодер сигнализирует, достаточно ли качества реконструкции, что позволяет кодеру адаптировать свои параметры в режиме реального времени.

Практические соображения для ограниченных по пропускной способности систем

On-Chip против Off-Chip компрессия

Решение о том, где происходит сжатие, является критическим выбором для проектирования системы. Сжатие на чипе уменьшает количество данных, которые должны передаваться по беспроводной линии связи, снижая потребление энергии и помехи. Однако оно возлагает тяжелое вычислительное бремя на имплантат, который должен быть крошечным, маломощным и биосовместимым. Сжатие на чипе, выполняемое на базовой станции после передачи необработанных данных, сдвигает сложность от имплантата, но увеличивает потребность в полосе пропускания. Многие современные системы используют подход сплит-обработка : имплантат выполняет легкое сжатие без потерь или почти без потерь (например, дельта-кодирование или простое пороговое сжатие) для уменьшения необработанных данных в 2-5 раз, и базовая станция применяет более сложный алгоритм потери для достижения более высокого сжатия для долгосрочного хранения или передачи на облачный сервер.

Беспроводная телеметрия ограничения

Ограничения пропускной способности диктуются беспроводным протоколом — обычно Bluetooth Low Energy (BLE), который предлагает около 1-2 Мбит / с, или пользовательские ультраширокополосные (UWB) линии связи, которые могут достигать десятков Мбит / с, но потребляют больше энергии. Для имплантатов с высоким счетом каналов даже UWB может быть недостаточным без агрессивного сжатия. Некоторые исследователи обратились к индуктивной связи ближнего поля или оптической телеметрии, чтобы повысить скорость передачи данных, но эти подходы накладывают серьезные ограничения на размер и выравнивание имплантата. Алгоритм сжатия должен быть выбран на основе доступного бюджета связи: более низкие коэффициенты сжатия требуют более высокой пропускной способности, в то время как более высокие коэффициенты требуют больше вычислений на чипе и потери информации о риске.

Обеспечение надежности ошибок канала

Беспроводная передача подвержена потере пакетов и битовым ошибкам. Для несжатых нейронных данных одна битовая ошибка может повлиять только на один образец, но сжатые битовые потоки часто используют кодирование переменной длины или арифметическое кодирование, где одна ошибка может повредить целый блок. Коды, корректирующие ошибки (ECC), могут защитить сжатые данные, но они добавляют накладные расходы. Более интегрированный подход - это совместное кодирование исходных каналов , где алгоритм сжатия предназначен для того, чтобы быть устойчивым к ошибкам - например, путем встраивания маркеров синхронизации или с использованием квантования с фиксированной скоростью, чтобы ошибки не распространялись. Некоторые системы принимают многоуровневый подход: критическая информация (время пика) отправляется с более высокой защитой, в то время как менее критические функции переносят больше ошибок.

Будущие направления и приложения

Закрытый цикл в реальном времени BCI

Эффективное сжатие имеет важное значение для BCI с замкнутым контуром, которые должны обрабатывать нейронные сигналы и обеспечивать стимуляцию или управление курсором с задержкой менее 100 миллисекунд. Расширенные методы сжатия позволят передавать более высокие количества каналов (тысячи электродов) по беспроводной сети, что позволит более естественное и ловкое управление протезами. Уже ведутся исследования по интеграции сжатия в платформы Blackrock Neurotech и Neuralink , где цель состоит в достижении производительности в реальном времени с задержкой менее 10 мс при коэффициентах сжатия выше 30:1.

Беспроводной нейронный мониторинг для клинической диагностики

При эпилепсии или исследованиях сна пациенты носят колпачки ЭЭГ или подкожные имплантаты в течение нескольких дней или недель. Сжатие данных на устройстве позволяет длительно записывать без частых изменений батареи или громоздких внешних компьютеров. Адаптивные алгоритмы сжатия, которые корректируют их скорость на основе обнаруженной нейронной активности (например, меньшее сжатие во время эпилептического припадка), могут продлить срок службы батареи на порядки величины, обеспечивая при этом, что клинически соответствующие события захватываются с высокой точностью.

Высокопроизводительная нейронная запись в фундаментальных исследованиях

Для нейробиологов возможность одновременно записывать от десятков тысяч нейронов у свободно ведущих себя животных — это святой Грааль. Сжатие — ключ к преодолению узкого места полосы пропускания в беспроводных системах, установленных на голове. Передовые платформы, такие как Neuralynx и Intan, изучают интеграцию автокодеров на чипе и скудное зондирование для достижения необходимой скорости передачи данных. В будущем мы можем увидеть нейронные записывающие устройства, которые сжимают данные с помощью машин жидкого состояния или других нейроморфных процессоров, имитирующих собственные эффективные механизмы кодирования мозга.

Адаптивные и самообучающиеся алгоритмы сжатия

Наиболее захватывающим направлением является разработка алгоритмов сжатия, которые непрерывно адаптируются к статистике нейронного сигнала. Например, дрейф в импедансе электродов или появление нового шаблона стрельбы может заставить автокодер переквалифицировать небольшое подмножество весов, поддерживая оптимальное сжатие без необходимости полного внешнего обновления. Такие системы самообучения будут особенно ценны для хронических имплантатов, где нейронный сигнал медленно меняется в течение нескольких месяцев. Ранняя работа по обучению на чипе для нейронного сжатия показала, что простые правила обновления Hebbian могут поддерживать скудный словарь кодирования эффективным даже по мере развития сигнала.

Заключение

Спектр подходов — от классического порогового уровня вейвлетов и сжатого зондирования до современных автокодеров и трансформаторов — предлагает богатый инструментарий для решения ограничений полосы пропускания беспроводных BCI и систем нейронной записи. Каждый метод имеет свои собственные компромиссы между коэффициентом сжатия, точностью реконструкции, вычислительной сложностью и энергопотреблением. Ключ к успеху заключается в выборе правильной техники для конкретного применения и часто в объединении нескольких методов в гибридном конвейере. По мере того, как имплантируемые устройства становятся все более сложными и растет спрос на нейронные данные с высоким каналом, инновационное сжатие останется критическим фактором. Будущие прорывы, вероятно, будут исходить от аппаратно-осведомленного проектирования алгоритмов, кооптимизации сжатия и беспроводной передачи и адаптивных систем, которые учатся на самих нейронных сигналах. Для инженеров и исследователей, входящих в эту область, глубокое понимание как обработки сигналов, так и машинного обучения будет иметь важное значение для раздвигания границ того, что могут достичь системы с ограниченной полосой пропускания.

  • Адаптивное сжатие в реальном времени с использованием моделей на основе внимания на аппаратном обеспечении малой мощности.
  • Совместное кодирование исходных каналов для повышения надежности в шумных беспроводных средах.
  • Обучение на чипе для поддержания производительности в течение срока службы устройства.
  • Многомодальное сжатие, которое объединяет нейронные сигналы с акселерометрией или другими данными датчиков.
  • Фреймворки сжатия с открытым исходным кодом (например, Neural Compression Toolkit) для ускорения воспроизводимости и совместной работы.

Для дальнейшего чтения см. обзор Musk et al. по беспроводным вызовам BCI и последние достижения в интеллектуальных нейронных системах записи .