Инновации в обнаружении нейронных сигналов для обратной связи интерфейса мозга и компьютера

Понимание интерфейсов мозг-компьютер

Интерфейсы мозг-компьютер представляют собой сдвиг парадигмы в том, как люди взаимодействуют с технологией, устанавливая прямой путь связи между нейронной активностью и внешними устройствами. Эти системы обнаруживают, интерпретируют и переводят электрические или химические сигналы из мозга в команды, управляющие протезами, компьютерами, роботизированными системами или средствами связи. Фундаментальная архитектура BCI включает в себя три основных этапа: получение сигнала, обработку сигнала и извлечение признаков и выход устройства или обратную связь. Достоверность каждого этапа в значительной степени зависит от качества обнаружения нейронного сигнала, которое исторически было ограничено шумом, ограниченным пространственным разрешением и инвазивным характером размещения электродов.

Ранние системы BCI полагались в первую очередь на датчики электроэнцефалографии (ЭЭГ), размещенные на коже головы, которые захватывают совокупную электрическую активность от миллионов нейронов. В то время как неинвазивная и безопасная, ЭЭГ страдает от низкого отношения сигнал-шум и плохой пространственной специфичности, что затрудняет мелкое управление двигателем. Напротив, инвазивные методы, такие как внутрикортикальные микроэлектродные массивы, обеспечивают записи высокого разрешения непосредственно от отдельных нейронов, но несут хирургические риски и долгосрочные проблемы стабильности. Напряжение между качеством сигнала и инвазивностью привело к десятилетиям исследований новых технологий обнаружения, которые могут преодолеть этот разрыв.

Современное развитие BCI ускоряется благодаря прорывам в материаловедении, обработке сигналов и машинном обучении. Инновации в области обнаружения позволяют системам не только считывать нейронную активность с более высокой детализацией, но и адаптироваться к естественной пластичности мозга. Эта адаптивность необходима для создания петлей обратной связи, которые чувствуют себя интуитивно понятными и отзывчивыми, переходя от простого управления на основе сигналов к жидкому взаимодействию с замкнутым контуром.

Критическая роль обнаружения нейронных сигналов в петлях обратной связи

Сетки обратной связи — это механизм, с помощью которого система BCI информирует пользователя об исходе его нейронной команды, позволяя мозгу регулировать его выход в реальном времени. В замкнутом цикле BCI нейронные сигналы обнаруживаются, декодируются и транслируются в действие устройства, а полученная сенсорная обратная связь (визуальная, тактильная, проприоцептивная) доставляется обратно пользователю. Скорость, точность и богатство этой обратной связи определяют, как естественно пользователь может управлять устройством. Плохое обнаружение сигнала вводит задержку, дрожь или неправильное толкование, разрывая цикл и разочаровывая пользователя.

Например, пользователь, управляющий роботизированной рукой через BCI, должен получать почти мгновенную визуальную и тактильную обратную связь для выполнения таких задач, как захват чашки. Если обнаружение нейронного сигнала вводит задержку более 100 миллисекунд, внутренние модели времени мозга нарушаются, что приводит к неуклюжему, напряженному контролю. Аналогично, в коммуникационных BCI, где пользователи выбирают буквы или слова, модулируя свою мозговую активность, замедленное или неоднозначное обнаружение сигнала замедляет скорость набора текста и увеличивает когнитивную нагрузку. Поэтому инновации в обнаружении нейронного сигнала напрямую приводят к улучшению качества обратной связи, делая интерфейс более прозрачным и менее обременительным.

Петля обратной связи также выполняет нейропластическую роль: последовательная, точная обратная связь позволяет мозгу изучать новые модели активности, которые легче обнаружить и расшифровать. Этот коадаптивный процесс, в котором и пользователь, и система учатся работать вместе, опирается на интерфейс обнаружения, который может фиксировать тонкие изменения нейронных сигнатур с течением времени. Без обнаружения высокой точности система не может вознаграждать или исправлять пользователя соответствующим образом, препятствуя обучению.

Последние инновации в обнаружении нейронных сигналов

За последнее десятилетие был отмечен значительный прогресс в материалах, архитектурах и алгоритмах, используемых для обнаружения нейронных сигналов. Эти инновации направлены на улучшение пространственного и временного разрешения, снижение инвазивности, повышение долгосрочной стабильности и обеспечение бесконтактной бессвязной работы. В следующих разделах подробно описаны ключевые технологические прорывы, меняющие ландшафт циклов обратной связи BCI.

Электродные массивы высокой плотности с гибкими субстратами

Традиционные внутрикортикальные электродные массивы, такие как массив Юты, состоят из жестких кремниевых игл, которые проникают в ткани мозга. Несмотря на эффективность, эти массивы вызывают хроническое воспаление, глиальные рубцы и деградацию сигнала в течение нескольких месяцев до нескольких лет. Недавние инновации в гибкой электронике произвели электродные массивы, которые соответствуют механическому соответствию ткани мозга, снижая реакцию инородного тела и сохраняя качество сигнала в течение длительных периодов времени. Исследователи из таких учреждений, как Калифорнийский университет, Сан-Франциско и Центр Висса, разработали тонкопленочные полимерные массивы с сотнями участков записи, расположенных в сетках высокой плотности. Эти массивы могут соответствовать изогнутой поверхности коры или быть вставлены в более глубокие структуры с минимальной травмой.

Более высокая плотность сайтов записи позволяет одновременно отбирать нейронную активность из многих нейронов, позволяя более сложные алгоритмы декодирования, которые могут извлекать намерение движения, речь или когнитивные состояния с большей точностью. Например, исследование 2021 года в Природа продемонстрировало, что гибкий массив высокой плотности может декодировать движения рук от активности моторной коры с точностью, достаточной для управления высокоразмерной роботизированной рукой. Этот уровень точности сигнала является прямым результатом улучшенного интерфейса электрод-ткань и увеличенной пространственной выборки.

Беспроводной нейронный мониторинг и телеметрия

Проводные соединения между имплантированными электродами и внешними обрабатывающими устройствами накладывают физические ограничения, ограничивают мобильность пользователей и создают пути заражения через кабельные провода. Беспроводные нейронные системы мониторинга устраняют эти недостатки, передавая оцифрованные нейронные данные через радиочастоту, инфракрасное излучение или ультразвук через неповрежденный кожу головы и череп. Последние системы работают на чрезвычайно низком энергетическом бюджете, используя связь ближнего поля или сбор энергии, чтобы избежать громоздких батарей, которые требуют хирургической замены.

Brown Wireless Device (BWD) и его преемники представляют собой значительную веху, передающую до 10 мегабит в секунду от мозга к внешнему приемнику. Эта пропускная способность достаточна для поддержки сотен одновременных каналов, что позволяет в режиме реального времени передавать потоки шиповых поездов и локальные потенциалы поля. Для циклов обратной связи BCI беспроводная работа позволяет пользователям свободно перемещаться во время реабилитации, навигации или управления устройством, обеспечивая натуралистические условия обучения, которые улучшают обобщение и удовлетворенность пользователей. Более того, обзор 2023 года в Neuron отметил, что беспроводные системы снижают риск заражения и позволяют вести хроническую запись в свободно ведении животных моделей, ускоряя доклинические исследования.

Алгоритмы машинного обучения для деноизации и декодирования

Необработанные нейронные сигналы, захваченные любым электродным массивом, содержат смесь потенциалов действия, потенциалов локального поля, электрического шума от мышц и помех окружающей среде.Отделение соответствующей нейронной информации от шума традиционно опиралось на методы извлечения свойств ручной работы, такие как пороговое пересечение или анализ основных компонентов. Современные подходы машинного обучения, особенно глубокое обучение, резко улучшили как скорость, так и точность этого процесса.

Свёрточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN) могут быть обучены сквозным образом на необработанных нейронных данных для декодирования предполагаемых движений, речи или визуальных изображений без явной инженерии функций. Эти модели учатся подавлять артефакты, адаптироваться к нестационарному шуму и извлекать тонкие шаблоны, которые могут пропустить инженеры-люди. Например, в клиническом исследовании BrainGate2 использовались декодеры глубокого обучения, которые обеспечивают непрерывный, многоуровневый контроль над роботизированными руками и компьютерными курсорами, с производительностью, которая медленно ухудшается с течением времени, потому что модели могут быть переобучены для учета постепенных изменений нейронного сигнала из-за дрейфа электродов.

Декодирование в реальном времени имеет решающее значение для циклов обратной связи, и недавние достижения в модели сжатия и аппаратного ускорения позволили этим глубоким сетям работать на встроенных процессорах с низким энергопотреблением в беспроводной гарнитуре. Эта обработка на устройстве уменьшает задержку до миллисекундного диапазона, делая управление замкнутым контуром возможным даже со сложными моделями. Кроме того, методы обучения передачи позволяют моделям, подготовленным на больших наборах данных, быть точно настроенными для отдельных пользователей с минимальным временем калибровки, ускоряя клиническое развертывание систем BCI.

Оптические и оптогенетические нейронные ощущения

Методы на основе электродов обнаруживают электрическую активность, но оптические методы предлагают дополнительные возможности с потенциально более высоким пространственным разрешением и специфичностью клеточного типа. Кальциевая визуализация, используя генетически закодированные показатели кальция, такие как GCaMP, позволяет исследователям контролировать активность сотен-тысяч нейронов одновременно с разрешением одной клетки. В сочетании с миниатюрными флуоресцентными микроскопами, установленными на голове свободно движущихся мышей, визуализация кальция обеспечивает окно в нейронную динамику на уровне популяции, что невозможно только с электродами.

Оптогенетика, использующая свет для активации или ингибирования специфических популяций нейронов, экспрессирующих фоточувствительные белки (опсины), может быть объединена с оптическим зондированием для создания полностью оптических замкнутых систем. В таких системах свет используется как для считывания нейронной активности (через индикаторы кальция или чувствительные к напряжению красители) так и для записи управляющих сигналов в мозг. Этот подход использовался для восстановления визуальных реакций у слепых мышей и подавления эпилептических припадков в моделях грызунов. Хотя эти методы остаются в значительной степени доклиническими, они указывают на будущее, где петли обратной связи BCI работают со скоростью света, преодолевая ограничения пропускной способности электрических интерфейсов.

Чувствительные к напряжению флуоресцентные белки являются еще одной формирующейся модальностью оптического обнаружения. Эти белки изменяют свою флуоресценцию в ответ на изменения мембранного потенциала, обеспечивая прямое считывание активности подпорогов и скачков времени с субмиллисекундным временным разрешением. Хотя в настоящее время ограничено фотоотбеливанием и необходимостью хронической доставки света, продолжающиеся улучшения в белковой инженерии и оптике быстро продвигают их полезность как для фундаментальных исследований, так и для возможного клинического перевода.

Неинвазивные и минимально инвазивные альтернативы

Многие из наиболее высокопроизводительных систем BCI требуют краниотомии и электродной имплантации, что ограничивает их использование пациентам с тяжелыми двигательными нарушениями. Существует большой интерес к разработке методов обнаружения, которые обеспечивают хорошую производительность без операции на открытом мозге. Функциональная ультразвуковая (fUS) визуализация, которая обнаруживает изменения объема и потока мозговой крови с использованием сверхбыстрых ультразвуковых импульсов, появилась в качестве многообещающей неинвазивной альтернативы. fUS достигает субмиллиметрового пространственного разрешения и может проникать глубоко в мозг через неповрежденный череп, в отличие от оптических методов, которые ограничены корковыми поверхностями. Недавние работы продемонстрировали декодирование движений конечностей на основе fUS и визуальных стимулов у нечеловеческих приматов.

На минимально инвазивном фронте эндоваскулярные электродные массивы, такие как Stentrode, доставляются через катетер через яремную вену и располагаются в кровеносных сосудах, прилегающих к моторной или сенсорной коре. Такой подход позволяет избежать открытия черепа, при этом обеспечивая запись, которая ближе к нейронам, чем ЭЭГ кожи головы. Stentrode использовался у пациентов с кожей головы для беспроводного управления компьютерной таблеткой для связи и просмотра, представляя собой практическую промежуточную точку между инвазивными и неинвазивными методами. Продолжение развития этих технологий расширит популяцию, которая может извлечь выгоду из обратной связи BCI с замкнутым контуром.

Влияние на петли обратной связи: скорость, точность и адаптивность

Описанные выше инновации коллективно усиливают петли обратной связи по трем измерениям: скорость, точность и адаптивность. Улучшения скорости происходят от снижения задержки на каждом этапе сигнальной цепи: более быстрое аналого-цифровое преобразование, параллельная обработка данных с несколькими сайтами и эффективные алгоритмы декодирования, которые избегают буферизации или задержек агрегации. Низкая задержка обратной связи необходима для задач, требующих точной временной координации, таких как захват движущихся объектов или поддержание баланса в ходячем экзоскелете. Клинические исследования показали, что снижение задержки системы с 200 мс до 50 мс значительно улучшает субъективные оценки управляемости пользователя и снижает частоту непреднамеренных движений.

Точность улучшений обусловлена более высоким пространственным и временным разрешением новых методов обнаружения в сочетании с передовыми алгоритмами деноизации. Более точное обнаружение означает, что декодированная команда более точно соответствует намерению пользователя, уменьшая необходимость в корректирующих подкомандах и сглаживая взаимодействие. Это особенно важно для устройств высокой степени свободы, таких как антропоморфные руки с несколькими независимо управляемыми пальцами. В недавнем клиническом испытании участник, использующий массив электродов высокой плотности с декодером глубокого обучения, достиг контроля уровня пальцев роботизированной руки, позволяя выполнять такие задачи, как сбор отдельных сортов винограда без их дробления.

Адаптивность относится к способности системы отслеживать и компенсировать изменения в нейронном сигнале с течением времени, вызванные дрейфом электродов, ремоделированием тканей или изменениями в поведении пользователя. Модели машинного обучения, которые обновляются онлайн с помощью обучения подкреплению или алгоритмов коррекции ошибок, могут адаптировать свои параметры декодирования на лету, поддерживая постоянную производительность в течение дней и недель. Эта адаптивность снижает нагрузку на пользователя, чтобы постоянно перекалибровать свою нейронную стратегию, делая BCI более надежным и удобным для пользователя. Кроме того, адаптивные петли обратной связи могут использовать нейропластичность, выборочно усиливая нейронные паттерны, которые приводят к успешным результатам, ускоряя приобретение навыков.

Интеграция этих трех свойств создает петли обратной связи, которые ощущаются прозрачными: пользователю не нужно сознательно думать о BCI, но он может сосредоточиться на поставленной задаче. Эта прозрачность является конечной целью для вспомогательных технологий, поскольку она восстанавливает чувство действия и снижает когнитивную усталость.

Применение, преобразующее медицину и за ее пределами

Восстановление двигательной функции при параличе

Наиболее непосредственное воздействие улучшенного обнаружения нейронных сигналов наблюдается в нейропротезировании у лиц с травмой спинного мозга, амиотрофическим боковым склерозом или инсультом ствола мозга. Системы BCI замкнутого цикла, которые контролируют функциональные электрические стимулирующие блоки или роботизированные экзоскелеты, теперь позволяют пациентам выполнять такие действия, как достижение, захват и ходьба. Например, исследование BrainGate2 показало, что участники могут контролировать роботизированную руку, чтобы пить кофе из бутылки, задача, которая требует скоординированного достижения, хватания, подъема и подведения соломы ко рту. В петлю обратной связи входят визуальное руководство, проприоцептивные сигналы от движения руки и ощущение контакта, когда рука захватывает бутылку.

Недавние испытания также изучают использование внутрикортикальной микростимуляции для доставки искусственной сенсорной обратной связи непосредственно в мозг, создавая соматосенсорный компонент в петле. Стимулируя сенсорную кору в паттернах, которые кодируют давление, текстуру или положение сустава, исследователи могут восстановить чувство осязания у пользователей, которые потеряли ощущение. Этот двунаправленный BCI, сочетающий моторное декодирование с сенсорным кодированием, критически зависит от точного обнаружения двигательного намерения пользователя и одинаково точной доставки сенсорной обратной связи. Обсуждаемые ранее инновации обнаружения сигнала обеспечивают пропускную способность и разрешение, необходимые для поддержки обоих направлений информационного потока.

Коммуникация для пациентов, находящихся в запертом состоянии

Индивиды с синдромом запертого включения сохраняют когнитивную функцию, но не могут двигаться или говорить. BCI, которые декодируют попытку речи непосредственно из нейронной активности в таких областях, как верхняя височная извилина, премоторная кора или первичная моторная кора, достигли поразительного прогресса. В 2023 году исследователи из Калифорнийского университета, Сан-Франциско и Калифорнийского университета в Беркли сообщили о BCI, который декодировал попытку речи у участника с тяжелой дизартрией, выводя текст со скоростью 78 слов в минуту с частотой ошибок символов 25,5%. Система использовала массив электродов высокой плотности, охватывающий вентральную сенсомоторную кору и рекуррентную нейронную сеть, обученную на большом корпусе речевых нейронных данных.

В петлю обратной связи в такой системе входит визуальное подтверждение каждого декодированного слова, позволяющее пользователю самостоятельно исправлять ошибки. Прогресс в обнаружении сигнала позволил декодировать, что достаточно быстро для поддержки разговора в режиме реального времени, резкое улучшение по сравнению с более ранними системами, что требовало нескольких секунд на слово. Дальнейшие достижения в области беспроводного обнаружения и миниатюризации позволят заблокированным пользователям взаимодействовать со своей средой и близкими, не привязываясь к прикроватному компьютеру.

Мониторинг психического состояния и нейрофидбэк

Помимо восстановления и связи, инновации в области обнаружения нейронных сигналов позволяют создавать системы обратной связи с замкнутым циклом для психического здоровья и когнитивного улучшения. ЭЭГ высокой плотности в сочетании с машинным обучением в реальном времени может обнаруживать такие состояния, как внимание, усталость, стресс или эмоциональная валентность, и обеспечивать слуховую или визуальную обратную связь, чтобы помочь пользователю саморегулироваться. Например, протоколы обратной связи с дефицитом внимания и гиперактивностью обучают пользователей увеличивать определенные ритмы ЭЭГ, связанные с фокусом, с обратной связью, представленной как видеоигра, которая вознаграждает внимательные состояния.

Оптические и неинвазивные методы обнаружения расширяют репертуар контролируемых состояний. Функциональная ближняя инфракрасная спектроскопия, которая обнаруживает изменения в оксигенации коры головного мозга, используется в нейрофидбэке для тревоги и депрессии. По мере того, как технология обнаружения становится более портативной и удобной, эти приложения могут стать доступными за пределами клиники, что позволяет ежедневно проводить когнитивные тренировки или управлять стрессом.

Сотрудничество и расширение человека и машины

В промышленных и военных условиях BCI с расширенными петлями обратной связи могли бы позволить операторам управлять роботизированными помощниками, беспилотниками или экзоскелетами без помощи рук, получая при этом информацию, соответствующую задаче, посредством сенсорной замены. Например, инспектор контроля качества на заводе мог бы контролировать несколько каналов проверки с помощью BCI, который помечает дефектные предметы на основе их нейронной подписи к визуальным стимулам, что позволяет быстрее, чем сознательно, обнаруживать аномалии. Хотя эти приложения являются спекулятивными, основные технологии обнаружения быстро развиваются, и этические рамки для их развертывания активно обсуждаются.

Будущие направления: к полностью автономным замкнутым системам

Траектория обнаружения нейронных сигналов указывает на системы, которые полностью автономны, постоянно адаптируются и минимально навязчивы. Будущие BCI, вероятно, интегрируют множественные методы обнаружения для компенсации индивидуальных слабостей: электрическое зондирование для временной точности, оптическое зондирование для пространственного разрешения и специфичности типа клетки и ультразвук для неинвазивного глубокого доступа к мозгу. Алгоритмы синтеза датчиков объединят эти потоки в единую нейронную репрезентацию, которая является более надежной, чем любая одна модальность.

Миниатюризация и энергоэффективность будут стимулировать разработку инъекционных или глотаемых нейронных датчиков, которые могут записывать со многих распределенных участков без необходимости больших хирургических разрезов. Эти датчики будут обмениваться данными по беспроводной сети с зоной тела, позволяя осуществлять мониторинг всего мозга без нагрузки на пользователя. Достижения в области беспроводной передачи энергии и сбора энергии из биологических источников могут полностью устранить потребность в батареях.

С алгоритмической стороны, самоконтролируемые и мета-подходы обучения позволят декодерам адаптироваться к новым задачам и средам с минимальным вмешательством человека. Масштабные нейронные наборы данных, собранные у многих пользователей, могут быть использованы для обучения базовых моделей декодирования BCI, которые затем могут быть точно настроены для отдельных пользователей за минуты, а не дни. Это значительно снизит барьер для входа, делая технологию BCI доступной для гораздо более широкой популяции.

Наконец, интеграция с системами дополненной и виртуальной реальности создаст иммерсивные замкнутые среды, где граница между намерением пользователя и ответом системы является бесшовной. Например, пользователь, носящий неинвазивный BCI, может искать информацию в Интернете, просто представляя запрос, с результатами, наложенными на их визуальное поле в режиме реального времени. Хотя этот сценарий футуристичен, основные технологии обнаружения развиваются с темпами, которые делают его правдоподобным в течение следующего десятилетия. A статья 2022 года в Frontiers in Neuroscience описывает дорожную карту для таких интегрированных систем, подчеркивая необходимость непрерывных инвестиций в оборудование обнаружения и алгоритмы декодирования.

Заключение

Инновации в обнаружении нейронных сигналов превращают петли обратной связи интерфейса мозг-компьютер из медленных, подверженных ошибкам систем в плавные, интуитивные взаимодействия. Гибкие электродные массивы высокой плотности, беспроводная телеметрия, машинное обучение, денозирование и декодирование, оптическое зондирование и неинвазивные альтернативы способствуют более быстрому, более точному и адаптивному управлению замкнутым контуром. Эти улучшения позволяют практические применения в восстановлении двигателя, коммуникации, психическом здоровье и сотрудничестве человека-машины, с потенциалом радикально улучшить качество жизни для людей с серьезными неврологическими нарушениями. Будущее указывает на интегрированные, автономные и широко доступные системы, которые размывают грань между мыслью и действием, делая обещание интерфейсов мозг-компьютер реальностью для большего числа людей, чем когда-либо прежде.