Инновационные подходы к нейродекодированию для восстановления речи и языка

Введение: Обещание нейродекодирования для восстановления связи

Нейронное декодирование появилось как преобразующее поле, которое устраняет разрыв между активностью мозга и выходом языка. Для людей с тяжелыми двигательными нарушениями, такими как те, которые возникают в результате амиотрофического бокового склероза (ALS), инсульта ствола мозга или синдрома запертого в нем, неспособность говорить представляет собой одну из самых изнурительных потерь независимости. Традиционные вспомогательные коммуникационные устройства, такие как глазные трекеры или активированные переключателями системы, часто медленные, изнурительные и требуют некоторой сохраненной двигательной функции. Нейронное декодирование предлагает принципиально другой путь: оно интерпретирует сигналы мозга напрямую, минуя поврежденные пути производства речи для генерации в реальном времени, понятной речи. Последние достижения в нейровизуализации, микроэлектронике и искусственном интеллекте ускорили прогресс, приведя клинически жизнеспособные системы ближе к реальности. Цель состоит не просто в восстановлении базовой коммуникации, но в обеспечении естественной, беглой и эмоционально выразительной речи, которая может значительно улучшить качество жизни. В этой статье рассматриваются основополагающие методы, новые инновации, клинические вехи

Основы нейронного декодирования: от сигналов к речи

Запись активности мозга

Первый шаг в любой системе нейронного декодирования — захват нейронных сигналов с достаточной точностью, чтобы различать предполагаемые фонемы, слова или предложения. Регистрационные модальности падают по спектру от неинвазивных до полностью инвазивных. Электроэнцефалография (ЭЭГ) широко используется в исследованиях из-за ее низкой стоимости и переносимости, но ее плохое пространственное разрешение и восприимчивость к шуму ограничивают ее полезность для высокопроизводительного декодирования речи. Функциональная магнитно-резонансная томография (fMRI) предлагает отличную пространственную точность, но является громоздкой, медленной и несовместимой с использованием в реальном времени. Инвазивные подходы, хотя и более рискованные, обеспечивают высокое отношение сигнал-шум, необходимое для точного декодирования. Электрокортикография (ECoG) размещает электродные массивы непосредственно на корковой поверхности, захватывая потенциалы поля из больших нейронных популяций с высоким временным разрешением. Микроэлектродные массивы (MEA) проникают в нейронную ткань для записи одно- или много-едини

Обработка сигналов и извлечение признаков

Сырые нейронные данные по своей сути шумные, нестационарные и высокоразмерные. Эффективное декодирование требует надежных конвейеров предварительной обработки, которые фильтруют артефакты, отклоняют эпохи, поврежденные движением или электрическими помехами, и нормализуют сигналы в сеансах записи. Общие шаги включают фильтрацию полосового прохода (например, 0,5-200 Гц для ECoG), общую среднюю ссылку для удаления глобального шума и спектральное разложение с использованием кратковременных преобразований Фурье или вейвлет-анализа. Такие функции, как высокогамма-диапазон (70-150 Гц), оказались особенно информативными для декодирования речи, потому что они сильно коррелируют с локальной корковой активацией во время артикуляции. Более продвинутые методы, такие как [FLT: 1] (PCA) и [FLT: 2] автокодеры [[FLT: 3]], уменьшают размерность при сохранении дискриминационной информации. Эти векторы признаков служат в качестве входа в модели машинного обучения, которые отображают нейронные паттерны в лингвистические единиц

Картирование нейронных шаблонов в язык

Декодирование обычно оформляется как задача последовательности к последовательности: учитывая ряд нейронных признаков с течением времени, система должна производить соответствующую последовательность фонем, слов или текста. Ранние подходы опирались на скрытые модели Маркова и линейные классификаторы, но они боролись со сложностью и изменчивостью естественной речи. Современные системы используют глубокие нейронные сети, которые могут изучать иерархические представления непосредственно из данных. Общая архитектура включает в себя сверточную нейронную сеть (CNN) для извлечения локальных временных паттернов, за которой следует рекуррентную нейронную сеть (RNN) (например, LSTM для захвата зависимостей дальнего действия. Совсем недавно Трансформаторные модели, первоначально разработанные для обработки естественного языка, были адаптированы для нейронного декодирования с впечатляющими результатами. Эти модели используют механизмы самовнимания для эффективного взвешивания важности различных временных точек, что позволяет им эффективно обрабатывать входные данные переменной длины и контекст модели. Выходом могут быть

Режущие технологии вождения Последние достижения

Алгоритмы глубокого обучения для декодирования сложности

Глубокое обучение было единственным наиболее эффективным техническим драйвером в нейронном декодировании речи. Традиционные подходы машинного обучения требовали обширной ручной разработки функций и боролись с межсубъектной изменчивостью. Глубокие нейронные сети, напротив, могут автоматически обнаруживать соответствующие особенности из сырых или слегка предварительно обработанных нейронных сигналов. Например, сверточные нейронные сети (CNN), применяемые к спектрограммам ECoG, могут обнаруживать пространственно-временные паттерны, связанные с конкретными артикуляционными жестами. Рекурентные нейронные сети (RNN), особенно такие варианты, как закрытые рекуррентные единицы (GRU) и LSTM, хорошо подходят для моделирования последовательной природы речевого производства. Веховое исследование лаборатории Чанга в UCSF продемонстрировало рекуррентную нейронную сеть, которая декодировала сигналы ECoG из сенсомоторной коры для синтеза речи со скоростью, приближающейся к 150 словам в минуту.

Мозговычислительные интерфейсы: от скамейки до кровати

Интерфейс мозг-компьютер (BCI) является аппаратной платформой, которая соединяет нейронную запись с внешними декодерами. Недавние инновации были сосредоточены на улучшении качества сигнала, снижении инвазивности и повышении комфорта пользователя. Традиционные BCI требовали проводных соединений, которые привязывали пациентов к громоздкому оборудованию, ограничивая мобильность и увеличивая риск заражения. Беспроводные BCI теперь передают данные через радиочастотную телеметрию, позволяя пользователям свободно перемещаться и в некоторых случаях даже управлять системой из дома. Минимально инвазивные конструкции, такие как Stentrode (Synchron Inc.), доставляются через кровеносные сосуды в моторную кору, избегая открытой операции на мозге и сокращая время восстановления. Другие подходы включают гибкие электродные массивы , которые соответствуют кривизне мозга человека-участника. Недавняя демонстрация Neuralink беспроводного, высококанального имплантата в человеке-участнике представляет собой ве

Интеграция с речевым синтезом и языковыми моделями

Расшифровка нейронных сигналов в тексте — это только половина решения; восстановление разговорной коммуникации требует генерации слышимой, естественно звучащей речи. Ранние системы, используемые синтезаторы форманта или конкатенация на основе единичного отбора, которые производили роботизированные и неестественные голоса. нейронные вокодеры — такие как WaveNet или HiFi-GAN — которые генерируют высокоточные звуковые волны из акустических функций. Эти вокодеры могут быть обусловлены декодированными артикуляторными параметрами (например, положение челюсти, форма языка, напряжение голосового шнура) или непосредственно на нейронных функциях. Параллельно большие языковые модели (LLM), такие как GPT-4 и BERT, интегрируются в качестве слоя постобработки для повышения беглости и исправления ошибок декодирования. Например, шумный вывод декодера «Я хотел бы съесть суп» может быть неправильно декодирован как «Я хотел бы увидеть суп»; языковая модель может вывести предполагаемый смысл и произвести правильное

Клинические применения и тематические исследования

Восстановление речи при синдроме запертого

Наиболее драматичными демонстрациями нейродекодирования являются пациенты с синдромом запертого вставания, которые сохраняют полную когнитивную функцию, но не могут двигать никакими мышцами, кроме, возможно, глаз. В знаковом исследовании 2019 года исследователи из Калифорнийского университета в Сан-Франциско использовали сетки ECoG, имплантированные участнику с тяжелой эпилепсией (временной), для декодирования попытки речи с 93% точностью на 50-словном наборе. Совсем недавно в исследовании 2023 года группа Уиллетта в Стэнфорде сообщила, что участник с БАС достиг скорости текстового декодирования 62 слова в минуту с использованием 96-канального микроэлектродного массива. Эти системы еще не готовы к неконтролируемому домашнему использованию; они требуют ежедневной перекалибровки, и точность ухудшается, если массив слегка смещается. Однако они показывают, что высокопроизводительное декодирование возможно даже при ограниченных данных обучения. Впервые люди, которые годами не могли говорить, могут генерировать предложения в реальном времени просто пытаясь сказать их.

Афазия и реабилитация инсульта

Нейронная декодировка также исследуется для людей с афазией, вызванной инсультом или черепно-мозговой травмой. Здесь проблема заключается в другом: языковые сети мозга могут быть частично повреждены, создавая непоследовательные нейронные паттерны. Исследователи изучают, могут ли BCI служить нейропротезным мостом, который обходит поврежденные области, все еще используя сохраненные языковые области. Предварительные исследования показывают, что пациенты с афазией [FLT: 2] Брока могут активировать неповрежденные двигательные области для создания попыток речи, и что декодирование этих попыток может помочь в коммуникационной терапии. Сочетание нейронной декодировки с речевой терапией может ускорить восстановление, обеспечивая немедленную обратную связь и усиливая правильные нейронные пути. Однако в настоящее время основное внимание остается на сильно нарушенных популяциях, где альтернативная коммуникация наиболее остро необходима.

Замена функции потери голосового шнура

Некоторые условия, такие как рак гортани или двусторонний паралич голосового связка, предотвращают фонирование при оставлении речевых центров неповрежденными. В этих случаях нейронное декодирование может использоваться для управления электроларингом или синтезатором речи непосредственно от попыток вокализационных паттернов. Ранние данные имплантированных систем ECoG показывают, что пациенты могут генерировать предложения с приемлемой разборчивостью после короткого периода обучения. Синтезированный голос может даже быть персонализирован, чтобы соответствовать голосу пользователя перед травмой, используя записи их предшествующей речи для обучения пользовательских вокодеров. Сочетание декодирования и текста к речи особенно привлекательно, потому что оно не требует от пользователя переучивания сложного моторного навыка - просто пытаться говорить нормально.