理解神经可塑性和预测模型的必要性

神经可塑性与mdash; 大脑在应对经验、学习或伤害与mdash时重组其结构和功能的能力是现代神经科学的基石。 它支撑了从童年语言获取到中风后运动恢复的一切。 然而,准确预测个人大脑如何重新连接自己仍然是该领域最难以实现的目标之一。 传统的统计模型和单结构神经网络在面对可塑性特征的多模式高维数据时往往会不足。 这一差距促使人们关注[] 神经网络模型,这些模型将多种深层学习框架结合起来,以捕捉神经弹性变化的复杂动态。

混合模型将神经网络(CNN)和反复出现的神经网络(RNN)或注意力机制结合起来,从而可以同时分析空间和时间特征。 这种结构独一无二地适合预测可塑性结果和mdash;无论是在康复治疗、脑刺激还是自发恢复之后。

塑性预测混合神经网络建筑基础

CNN-RNN混合型: Spatiotemporal 特性提取器

使用最广泛的混合结构配对CNN与RN(通常是LSTM或GRU). CNN在从神经成像数据和mdash(如fMRI激活图),扩散的拉氏成像(DTI)道片或结构核磁共振片中提取空间模式方面表现得非常出色。 与此同时,RNNs模型依次依赖,使它们最理想地跟踪这些空间模式随时间演变。 在可塑性背景下,CNN可以处理基线脑扫描以确定损伤边界,而RNN则学习如何在修复过程中围绕这些损伤进行功能连接。

研究表明,CNN-LSTM混合体在预测中风后运动恢复分数(参见a 2020年科学报告[)中的构思证明)方面超越了独立模型. 通过联合编码结构损害和时间补偿模式,这些模型的精度高于CNN或RNNs本身.

关注机制和变形器混合体

最近,关注机制和变压器架构被移植到CNN和RNN骨干上。 自觉让模型能够动态地权衡不同时点或脑区域的相关性,在可塑性显示非线性轨迹时,这一点至关重要。 比如,将3D CNN与变压器连接在一起的混合体可以突出哪个皮层区域在厌食后最能预测语言恢复,提供预测和解释。

位于Athinoula A. Martinos生物医学成像中心[的研究人员为纵向fMRI数据探索了这种架构,显示变压器增强的CNN能够捕捉LSTM错过的功能连接变化中的长距离依赖性.

与CNN整合的图神经网络(GNN)

由于大脑本质上是一个网络,图神经网络已经进入了混合环境. 混合模型可以使用CNN从区域脑量中提取节点特征,然后将这些特征输入到一个模拟结构或功能连接体的GNN中. 这种方法对于预测网络中断等疾病中的可塑性结果特别有希望,如创伤性脑损伤或多重硬化. 早期结果显示CNN-GNN的混合体可以预测哪些患者将从特定的神经刺激协议中受益(,参见NeuroImage: Clinical 中的2022研究).

数据模式驱动混合模型性能

混合模型的力量源于它们将不同数据流连接起来的能力. 研究人员通常将以下类型的数据输入混合结构: 混合模型的功能是: 混合模型的功能,其功能是将不同数据流融合到不同数据流中.

  • 结构核磁共振[(T1,T2,DTI)–提供形态学和白色物质完整性特征.
  • 功能核磁共振[(resting-states and tisk) –捕获动态功能连接.
  • 电脑学和磁性脑电图[MEG] –提供可塑性相关振荡活动的毫秒分辨率时间动态.
  • 遗传学和转录学数据 – 多源风险分数,与可塑性相关的基因(如BDNF,COMT)的基因表达水平.
  • 行为/临床分数[ –在跨越多个会话的认知或运动测试上的性能.

一个设计良好的混合模型可以学习跨模式的对应,而单网络方法是看不见的。 例如,双流结构可以将DTI 道处理在一个流中,而EEG谱系处理在另一个流中,在最后预测层之前将潜在表达式合并起来。

培训混合模式:挑战和解决办法

数据稀缺和不平衡

神经科学数据集是众所周知的小型和mdash; 通常有数百个,而不是数千个学科。 混合模型,有数百万个参数,容易过度适应。 诸如转移学习(为CNN组件对ImageNet等大型通用图像数据集进行预训)、数据增强(模拟损伤口罩、时间分裂)和常规化培训(抛出、重量衰减)等技术至关重要。 基因对抗网络(GANs)也被用于合成现实的fMRI时间序列,以强化培训数据。

计算要求

在4D fMRI数据上培训CNN-RNN-Transformer混合体需要大量的GPU内存和处理时间. 研究人员经常诉诸模型平行和混合精度训练. 云基解决方案(AWS,Google Cloud TPU)和开源框架(PyTorch,TensorFlow)降低了障碍,但高成本仍然是许多实验室的障碍.

解释性和临床信任

临床医生们要求做出解释性预测。 混合模型可以包含显著的地图(通过CNN部分的Grad-CAM)和注意力重可视化(从变压器),此外,分层相关传播(LRP)可以追踪哪些输入特征最有助于输出。 自然机器智能[[ 2023年的论文展示了一个解释性CNN-LSTM,其中强调在脊髓损伤后,将营养素连接变化作为可塑性的关键预测器,这一发现与已知神经切除术一致。

关键临床应用

中弦修复

预测中风后的运动或语言恢复是最活跃的应用领域. 混合模型结合了急性阶段核磁共振,在尝试移动时的EEG,基线临床分数可以预测恢复程度为3,6或12个月. 这使得临床医生可以将患者分解成高响应和低响应群,从而调整治疗强度. 正在进行的若干临床试验正在对这些模型进行预期验证.

神经刺激反应预测

跨螺旋磁激发(TMS)和跨螺旋直流刺激(tDCS)诱导可塑性,但单个反应差异很大. 受刺激前连接(fMRI)和皮质形态(MRI)培训的混合模型可以预测谁将表现出强力的长期强力。 这很快可以指导基于预测的可塑性轨迹实时调整参数的闭环刺激系统。

小儿神经发育

在儿童中,可塑性是早期脑侮辱后学习和康复的基础。 已经开发了使用纵向核磁共振和认知测试的混合模型,以预测患有阅读障碍的儿童的阅读结果以及脑瘫痪的运动结果。 早期发现不良反应者可以及早干预。

神经病

即使在阿尔茨海默氏病等变性情况下,补偿性可塑性也早年出现。 混合模型可以检测到临床衰落前的微妙网络重组,有可能成为改变疾病疗法的生物标志。

未来方向

接下来的十年里,可能会看到一些进步,使混合神经网络模型更加实用和具有影响力:

  • 自学,以杠杆作用无标签的脑扫描,减少对昂贵的注释数据集的依赖.
  • 多式联运基模型在大规模神经科学数据(如英国生物库,人类连接体项目)上预先训练,可以进行可塑性预测的微调.
  • 巴耶斯混合模型,输出不确定性估计与预测,对临床决策至关重要.
  • 与神经调制设备结合,以创建可适应预测可塑性状态的闭锁-loop脑-计算机接口.
  • Causal 推论嵌入混合结构,以区分真正的可塑性与自发恢复或练习效果.

混合神经网络模型并不是万能药,而是必要的演化。 通过将CNN的空间精度、RNN的时态模型、GNN的关系推理以及变压器的远距离注意力结合起来,这些模型可以捕捉神经可塑性的多方面性质。 随着数据集的不断增长和计算成本的萎缩,混合模型将成为基本神经科学发现和临床翻译的有机组成部分。 对研究人员和临床医生来说,目标不再仅仅是观察可塑性,而是预测、引导甚至增强可塑性。