Table of Contents

Понимание мультимодальной нейровизуализации

Мультимодальная нейровизуализация представляет собой сдвиг парадигмы в исследованиях мозга путем объединения данных из нескольких технологий визуализации для получения более полной картины нейронной активности. Каждая модальность предлагает уникальные сильные стороны - fMRI обеспечивает высокое пространственное разрешение в миллиметровом масштабе, ЭЭГ и МЭГ обеспечивают миллисекундную временную точность, а NIRS предлагает портативное, недорогое окно в кортикальную гемодинамику. Интегрируя эти сигналы, исследователи могут реконструировать динамику мозга с беспрецедентными деталями, связывая, где активность происходит, с тем, когда это происходит. Эта синергия имеет решающее значение для интерфейсов мозг-компьютер (BCIs), где декодирование намерения от нейронных сигналов требует как пространственной точности, так и временной отзывчивости.

Функциональная магнитно-резонансная томография (fMRI)

fMRI измеряет сигналы, зависящие от уровня кислорода в крови (BOLD), отражая региональную нейронную активность. Его пространственное разрешение позволяет точно отображать функциональные области - двигательную кору, языковые области и визуальные центры. Однако временное разрешение ограничено гемодинамическим ответом, обычно отстающим на несколько секунд. Для приложений BCI fMRI часто используется в автономном режиме для локализации целей для стимуляции или для обучения декодирующим моделям, но редко используется в системах реального времени из-за его объемной и медленной реакции. Недавние достижения в области фМРТ в реальном времени и быстрые последовательности изображений начинают изменять эту картину, позволяя почти онлайн обратную связь в исследовательских условиях.

Электроэнцефалография (ЭЭГ)

ЭЭГ записывает электрические потенциалы от кожи головы с точностью до миллисекунды, что делает ее идеальной для захвата быстрых нейронных событий, таких как потенциалы, связанные с событиями (ERPs) и колебательные ритмы. Ее переносимость и относительно низкая стоимость сделали ЭЭГ рабочей лошадкой неинвазивного BCI. Однако ЭЭГ страдает от низкого пространственного разрешения и чувствительности к мышечным артефактам. Мультимодальная интеграция компенсирует путем слияния ЭЭГ с данными МРТ или NIRS, позволяя исследователям идентифицировать корковые источники, лежащие в основе сигналов кожи головы - метод, известный как визуализация источника ЭЭГ. Этот синтез значительно повышает точность декодирования BCI, особенно для таких задач, как моторные изображения или на основе P300.

Магнитоэнцефалография (MEG)

MEG захватывает магнитные поля, создаваемые нейронными токами, предлагая лучшее пространственное разрешение, чем ЭЭГ и сопоставимое временное разрешение. Его основное преимущество — снижение искажений черепом и кожей головы, обеспечение более чистой локализации источника. Однако системы МЭГ требуют магнитно экранированных комнат и криогенного охлаждения, ограничивая переносимость. Для BCI МЭГ используется в элегантных офлайн-исследованиях для картирования ритмов мозга и разработки алгоритмов декодирования, которые позже переводят в системы ЭЭГ. Мультимодальные исследования, сочетающие МЭГ с одновременной ЭЭГ, продемонстрировали превосходную классификацию движений рук и речевых изображений.

Инфракрасная спектроскопия (NIRS)

NIRS измеряет изменения в кислородсодержащем и дезоксигенированном гемоглобине с использованием света в ближнем инфракрасном спектре. Он неинвазивный, портативный и устойчивый к электрическому шуму, что делает его пригодным для носимых прототипов BCI. Основным недостатком является его неглубокая глубина проникновения (около 1-2 см в кору) и более медленное временное разрешение по сравнению с ЭЭГ. Однако в сочетании с ЭЭГ NIRS обеспечивает дополнительную гемодинамическую информацию, которая стабилизирует декодирование в шумных средах. Например, гибридные системы BCI с использованием ЭЭГ + NIRS достигли более высокой точности для оценки умственной нагрузки и моторных изображений, чем любая из модальностей.

Сила интеграции

Ни одна модальность не может обеспечить одновременно высокое пространственное и высокое временное разрешение. fMRI предлагает субмиллиметровые пространственные карты, но отстает во времени; ЭЭГ обеспечивает субмиллисекундное время, но плохую локализацию. Путем слияния данных из нескольких модальностей - процесс, называемый мультимодальным слиянием данных - исследователи могут достичь лучшего из обоих миров. Методы, такие как совместный независимый анализ компонентов (jICA) и связанные сигналы разложения тензора, выравнивают сигналы по модальностям, выявляя последовательные шаблоны активации. Этот интегрированный вид необходим для точной разработки BCI, где небольшие ошибки в декодировании могут сделать систему непригодной для заблокированного пациента или пилота беспилотника.

Ключевые достижения в мультимодальной нейровизуализации для BCI

Недавние технологические и алгоритмические прорывы ускорили применение мультимодальной нейровизуализации в BCI. Эти достижения охватывают аппаратные инновации, конвейеры обработки в реальном времени и методы машинного обучения, которые извлекают смысл из сложных наборов данных.

Усиление пространственного и временного разрешения посредством слияния

Традиционные методы синтеза, объединенные fMRI и EEG ретроспективно. Современные подходы синхронизируют получение данных в реальном времени, выравнивая сигнал BOLD с потенциалами EEG по образцу. Например, алгоритмы, которые используют высокое временное разрешение EEG для информирования пространственных априоров fMRI, могут создавать карты активации коры, которые обновляются каждые 100 миллисекунд — намного быстрее, чем одна только fMRI. Это позволило системам BCI, которые могут отслеживать воображаемые движения с отставанием всего в несколько сотен миллисекунд, по сравнению с несколькими секундами для одномодальных систем. Исследования показали, что такая гибридная визуализация может улучшить классификацию изображений левой и правой руки на 10-15 процентных пунктов по сравнению с одной только ЭЭГ.

Обработка данных в реальном времени и онлайн-отзывы

Переход от офлайн-анализа к обработке в реальном времени меняет правила игры. Достижения в программируемых в полевых условиях массивах ворот (FPGA) и графических процессорах (GPU) теперь позволяют одновременно получать, фильтровать, извлекать функции и классифицировать мультимодальные данные в течение десятков миллисекунд. Системы BCI могут обеспечить немедленную визуальную или тактильную обратную связь для пользователей, позволяя тренировать нейрофидбэк для реабилитации инсульта или повышения внимания. Например, система нейрофидбэка в реальном времени ЭЭГ-фМРТ в режиме реального времени используется, чтобы помочь пациентам с хронической болью научиться регулировать переднюю поясную активность коры головного мозга, уменьшая их восприятие боли. Интеграция нескольких модальностей гарантирует, что обратная связь основана на надежных, шумоустойчивых нейронных сигналах.

Машинное обучение и интеграция глубокого обучения

Мультимодальные данные генерируют высокоразмерные наборы признаков, требующие сложных моделей. Поддерживающие векторные машины и линейный дискриминантный анализ уступили место архитектурам глубокого обучения, таким как сверточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN), которые автоматически изучают пространственно-временные особенности из необработанных или минимально предварительно обработанных сигналов. Заметным шагом вперед является использование нейронных сетей графов для моделирования связи между областями мозга, захваченными различными модальностями. Эти модели могут декодировать предполагаемые движения, речь или даже когнитивные состояния, такие как извлечение памяти с более высокой точностью, чем традиционные классификаторы. Трансферное обучение дополнительно уменьшает количество калибровочных данных, необходимых для пользователя, что делает мультимодальные BCI более практичными для повседневного использования.

Неинвазивные и носимые гибридные системы

В то время как фМРТ и МЭГ остаются в значительной степени лабораторными, достижения в области сухих электродов ЭЭГ и миниатюрных датчиков NIRS позволили создать гибридные носимые системы. Исследователи разработали колпачки, которые сочетают 64-канальную ЭЭГ с оптодами для NIRS, подключенными к усилителю размером с рюкзак и планшету для обработки в режиме реального времени. Эти системы были протестированы для управления курсором, написания текста и даже пилотирования дрона с помощью умственных команд. Ключевое новшество - способность автоматически обнаруживать и отвергать артефакты движения путем перекрестного обращения с сигналами ЭЭГ и NIRS, поддерживая высокую производительность BCI во время естественных движений. Такая портативность расширяет BCI за пределы клинических настроек в вспомогательную технологию для повседневной жизни.

Алгоритмы слияния данных и локализации источников

Передовые методы обработки сигналов появились специально для мультимодального синтеза. Байесовские иерархические модели могут комбинировать пространственные априоры из фМРТ с временной динамикой ЭЭГ, производя точные оценки активности коркового источника с миллисекундным разрешением. Другие подходы, такие как функциональное соединение, исследуют, как различные области мозга взаимодействуют в временных масштабах. Для BCI эти алгоритмы позволяют идентифицировать надежные биомаркеры - такие как потенциал готовности или сенсомоторный ритм - которые обобщаются между сеансами и субъектами. Это снижает калибровочную нагрузку и повышает надежность BCI в реальных средах, где качество сигнала ухудшается.

Последствия для развития интерфейса мозг-компьютер

Интеграция мультимодальной нейровизуализации превратила BCI из нишевого исследовательского инструмента в жизнеспособную технологию для клинических и вспомогательных применений.Способность декодировать нейронное намерение с высокой точностью открывает новые возможности для восстановления функции и общения у лиц с тяжелыми двигательными нарушениями.

Восстановление связи для пациентов, находящихся в запертом состоянии

Пациенты с амиотрофическим боковым склерозом (ALS), инсультом ствола мозга или прогрессирующей мышечной дистрофией часто теряют способность говорить или двигаться. BCI на основе ЭЭГ позволили некоторым пациентам писать слова, используя P300 вызванных потенциалов или устойчиво-статусные визуальные вызванные потенциалы (SSVEP). Однако эти системы страдают от высоких частот ошибок и усталости. Мультимодальные подходы, которые сочетают ЭЭГ с NIRS или fMRI, могут повысить точность, подтверждая умственное намерение с гемодинамическими сигналами. В знаковом исследовании пациент с заблокированным доступом смог общаться со скоростью 2-3 символа в минуту с использованием гибридной ЭЭГ-fNIRS BCI, значительное улучшение по сравнению с унимодальными системами. По мере улучшения обработки в реальном времени эти системы могут вскоре поддерживать скорость разговорной речи.

Точный контроль протезных конечностей и экзоскелетов

Для тех, у кого травма спинного мозга или ампутация, BCI могут декодировать моторные изображения для управления роботизированными конечностями. Задача состоит в том, чтобы надежно декодировать сложные многосвязные движения. Мультимодальная визуализация обеспечивает более богатые нейронные данные: ЭЭГ фиксирует намерение двигаться, в то время как NIRS подтверждает устойчивое моторное планирование в дополнительной моторной области. В экспериментах гибридные пользователи BCI добились более плавного управления роботизированной рукой и даже научились выполнять несколько захватов. Добавление данных MEG в автономные тренировки помогло усовершенствовать модели декодирования, которые позже работают только на ЭЭГ, улучшая классификацию шести различных поз рук. Это прокладывает путь для нейронных протезов, которые чувствуют себя более интуитивно понятными и требуют меньше обучения пользователей.

Нейрореабилитация и индукция пластичности

BCI все чаще используются в нейрореабилитации после инсульта или черепно-мозговой травмы. Связав моторные образы с движением виртуальной руки или экзоскелета, они активируют те же нейронные цепи, участвующие в реальном движении, способствуя пластичности Геббиана. Мультимодальная визуализация позволяет терапевтам контролировать как электрические, так и гемодинамические реакции поврежденного полушария в режиме реального времени. Системы замкнутого цикла могут регулировать сложность задачи на основе состояния мозга пациента, максимизируя вовлеченность и восстановление. Например, исследование с использованием нейрофидбэка ЭЭГ-фМРТ показало, что пациенты с хроническим инсультом восстановили значительную степень моторной функции рук после 12 сеансов. Мультимодальная обратная связь помогла пациентам научиться набирать перилезионные области, ключевой фактор восстановления.

Новые приложения в виртуальной реальности и играх

Помимо медицины, мультимодальные BCI позволяют создавать новые формы взаимодействия человека и компьютера. В виртуальной реальности (VR) BCI может обнаруживать намерение пользователя перемещать или выбирать объекты, создавая более захватывающий опыт. Комбинирование ЭЭГ с NIRS позволяет системе отличать команды волевого движения от непроизвольных реакций на визуальные стимулы. Компании изучают гарнитуры потребительского класса, которые интегрируют сухие датчики ЭЭГ с VR-очками, позволяя пользователям перемещаться по меню или управлять аватарами своими мыслями. Мультимодальный синтез гарантирует, что система работает надежно даже тогда, когда пользователь движется естественно, уменьшая ложные срабатывания. Эта технология может революционизировать доступность для игровых и производительных инструментов.

Проблемы и существующие ограничения

Несмотря на значительный прогресс, мультимодальные ИПП сталкиваются с препятствиями, которые необходимо преодолеть до широкого внедрения. Эти проблемы охватывают технические, экономические и эргономические области.

Высокая стоимость оборудования и техническое обслуживание

fMRI и MEG-системы стоят свыше миллиона долларов и требуют выделенных средств с электромагнитным экранированием, жидкостным гелиевым охлаждением и специализированным персоналом. Даже гибридные системы EEG-NIRS, хотя и дешевле, могут стоить несколько десятков тысяч долларов для высококанальных исследовательских подразделений. Это ограничивает мультимодальную разработку BCI хорошо финансируемыми лабораториями и больницами. По мере развития технологий мы можем видеть более дешевые интегрированные решения, но современные экономические барьеры замедляют перевод исследований в клиническую практику. Сотрудничество между академическими центрами и промышленностью имеет важное значение для снижения затрат за счет миниатюризации и массового производства.

Сигнальные артефакты и качество данных

Мультимодальные данные восприимчивы к целому ряду артефактов: моргание глаз и мышечная активность повреждают ЭЭГ, движение нарушает NIRS и даже незначительные движения головы ухудшают фМРТ. При объединении модальностей артефакты могут распространяться и вводить в заблуждение алгоритмы синтеза. Улучшаются методы отторжения артефактов в реальном времени, которые совместно анализируют все каналы, но они добавляют вычислительную нагрузку и могут вводить задержку. Кроме того, одновременные записи ЭЭГ-фМРТ сталкиваются с внутренними проблемами, потому что сигнал ЭЭГ загрязнен сильным магнитным полем и переключением градиента. Существуют методы коррекции после обработки, но могут искажать нейронный сигнал. Текущие исследования адаптивной фильтрации и денозирования глубокого обучения направлены на то, чтобы сделать мультимодальные записи надежными за пределами лаборатории.

Обучение пользователей и удобство использования

Многие BCI требуют обширной подготовки пользователей для создания согласованных нейронных паттернов. При мультимодальных настройках пользователю может потребоваться носить несколько датчиков, гелей для ЭЭГ, колпачков и оптических волокон для NIRS - все это может быть неудобно и отнимает много времени для настройки. Системы сухих электродов улучшают комфорт, но они все еще страдают от более высокого импеданса и большего количества артефактов. Когнитивная нагрузка при работе с BCI при одновременном выполнении других задач является еще одним барьером. Исследования адаптивных интерфейсов, которые корректируют параметры в режиме реального времени на основе состояния пользователя, могут уменьшить умственные усилия. Кроме того, протоколы обучения пользователей, которые используют нейрообратную связь от нескольких модальностей, могут ускорить обучение и снизить показатели отсева в клинических исследованиях.

Сложность данных и их интерпретация

Многомодальные данные генерируют тысячи временных рядов в секунду, что требует мощной вычислительной инфраструктуры для хранения и анализа. Высокая размерность позволяет легко перестраивать модели машинного обучения, особенно с ограниченными данными от каждого пользователя. Методы регуляризации, стратегии перекрестной валидации и увеличение данных (например, синтетическая генерация данных ЭЭГ) являются активными областями исследования. Кроме того, интерпретация биологического значения слитых сигналов остается сложной. Корреляции между сигналами ЭЭГ и BOLD не всегда просты, и могут привести к вводящим в заблуждение выводам. Сообщество BCI работает над стандартизированными эталонами и открытыми наборами данных, чтобы обеспечить справедливое сравнение методов и способствовать воспроизводимым исследованиям.

Будущие направления и новые тенденции

Будущее мультимодальной нейровизуализации для BCIs заключается в миниатюризации, интеллектуальных алгоритмах и бесшовной интеграции в повседневную жизнь.Из текущих исследований вытекают несколько перспективных направлений.

Портативные и доступные гибридные устройства

Достижения в области микроэлектроники, фотоники и гибких материалов стимулируют развитие носимых, недорогих мультимодальных систем. Исследователи уже продемонстрировали прототип, который интегрирует 32-канальную сухую повязку на ЭЭГ с миниатюрным модулем NIRS, который зажимается на висок, весом менее 200 грамм. Эти устройства могут передавать данные через Bluetooth на смартфон для обработки в режиме реального времени. В производственных масштабах такие системы могут стать такими же распространенными, как фитнес-трекеры. Будущие итерации могут включать как MEG (с использованием оптически накачанных магнитометров), так и fNIRS в одном носимом колпачке, предлагая разрешение лабораторного класса в переносном форм-факторе. Это позволит BCI для повседневных вспомогательных и развлекательных целей, от управления устройствами умного дома до облегчения запоминания памяти.

Искусственный интеллект для адаптивного BCI

Машинное обучение станет более автономным, способным адаптироваться к уникальным нейронным сигнатурам каждого пользователя с минимальной калибровкой. Глубокое обучение подкреплению может позволить BCI изучать оптимальные стратегии стимуляции или обратной связи с течением времени, персонализируя взаимодействие. Например, BCI для реабилитации инсульта может регулировать уровень помощи экзоскелета на основе развивающихся моделей активации мозга пациента, максимизируя восстановление двигателя. Модели на основе ИИ также будут более изящно обрабатывать временные артефакты и нестационарные сигналы, поддерживая производительность во время сеансов. Интеграция объясняемых методов ИИ поможет клиницистам и пользователям понять, какие функции мозга влияют на решения BCI, укрепляя доверие и обеспечивая лучшую коррекцию ошибок.

Закрытые системы и зависимая от мозга стимуляция

Будущие ИПП не только расшифровывают намерения, но и модулируют активность мозга в замкнутом цикле. Объединив нейровизуализацию с неинвазивной стимуляцией мозга (например, tDCS, TMS, сфокусированное УЗИ), исследователи могут создать системы, которые одновременно читают и пишут нейронную активность. Например, ИПП, который обнаруживает эпилептиформную активность от ЭЭГ и вызывает короткий всплеск транскраниальной электрической стимуляции, может предотвратить судороги. Мультимодальная визуализация обеспечивает необходимую точность: ЭЭГ фиксирует начало аномальной активности, в то время как ФМРТ точно определяет фокус припадка. Такие вмешательства с замкнутым циклом обещают лечение неврологических и психических расстройств, включая депрессию, беспокойство и зависимость.

Совместные исследования и открытые стандарты

Сложность мультимодального BCI требует тесного сотрудничества между нейробиологами, инженерами, компьютерными учеными и клиницистами. Крупномасштабные инициативы, такие как NIH BRAIN Initiative и Европейский проект человеческого мозга, способствовали разработке программных инструментов с открытым исходным кодом (например, FieldTrip, MNE-Python, Brainstorm), которые поддерживают мультимодальный анализ данных. Создание общих форматов данных (BIDS) и платформ обмена (OpenNeuro) ускоряет прогресс, позволяя исследователям сравнивать алгоритмы со стандартизированными данными. Партнёры отрасли также объединяют усилия с такими компаниями, как NeuroSky и Emotiv , выпуская наборы разработчиков, которые объединяют ЭЭГ с другими биосенсорами. Эти совместные экосистемы будут иметь решающее значение для превращения исследовательских прототипов в надежные продукты, которые улучшают жизнь.

Этические соображения и конфиденциальность

По мере того, как BCI становятся более способными, возникают этические вопросы, связанные с конфиденциальностью нейронных данных, согласием и когнитивным улучшением. Мультимодальные системы могут захватывать множество информации, включая эмоциональные состояния, неявные предпочтения и следы памяти. Обеспечение того, чтобы пользователи имели полный контроль над своими нейронными данными и чтобы они не использовались в коммерческих целях или целях наблюдения, имеет первостепенное значение. Регулирующие рамки, такие как предлагаемая инициатива NeuroRights в Чили, направлены на защиту психической конфиденциальности. Сообщество BCI должно принять этические руководящие принципы и прозрачную политику данных на раннем этапе, чтобы предотвратить неправильное использование. Открытый дискурс с участием этиков, политиков и групп пользователей будет формировать ответственное развитие мультимодальной технологии нейровизуализации.

Заключение

Сближение мультимодальных нейровизуализационных и нейрокомпьютерных интерфейсов открыло новые границы в точном нейронном декодировании. Объединив сильные стороны фМРТ, ЭЭГ, МЭГ и NIRS - как в аппаратном, так и в алгоритмическом синтезе - исследователи теперь могут создавать BCI, которые являются более точными, быстрыми и более удобными для пользователя, чем когда-либо прежде. Эти достижения уже восстанавливают связь для парализованных людей, совершенствуют протезное управление и ускоряют нейрореабилитацию. В то время как проблемы стоимости, артефакта и удобства использования сохраняются, траектория указывает на портативные, управляемые ИИ, замкнутые системы, которые легко интегрируются в повседневную жизнь. Продолжение междисциплинарного сотрудничества и ответственных инноваций обеспечит выполнение мультимодальных BCIs их обещание в качестве преобразующих инструментов для медицины, доступности и человеческого увеличения.

Для дальнейшего чтения о технических основах мультимодального синтеза см. всеобъемлющий обзор, опубликованный в NeuroImage. Для клинического взгляда на применение BCI в реабилитации инсульта, обратитесь к этой Журнал нейронной инженерии. Новые тенденции в портативной нейровизуализации обсуждаются в Научные отчеты.