Présentation

L'électroencéphalographie (EEG), la magnétoencéphalographie (MEG), l'imagerie par résonance magnétique fonctionnelle (IRMF) et l'électrocorticographie (EcoG) produisent des flux de données haute dimensionnels, bruyants et non stationnaires. Le décryptage du code neuronal à partir de ces signaux peut révolutionner les diagnostics cliniques, les interfaces cerveau-ordinateur (IBC) et la neuroréadaptation. Au cours de la dernière décennie, l'apprentissage profond – et en particulier les nouvelles architectures de réseaux neuronaux – a considérablement amélioré la précision, la robustesse et la généralisation des systèmes de décodage des signaux du cerveau. Cet article examine les avancées architecturales clés, des premiers perceptrons multicouches aux transformateurs modernes, et examine comment chaque paradigme répond aux défis uniques des données neurales.

Les signaux cérébrales se caractérisent par de faibles rapports signal-bruit, une grande variabilité inter-sujets et une dynamique spatio-temporelle complexe. Les pipelines traditionnels d'apprentissage des machines nécessitent une extraction étendue des caractéristiques artisanales, comme les densités spectrales de puissance ou les modèles spatiaux communs. Les modèles d'apprentissage profond, par contre, peuvent apprendre les hiérarchies des caractéristiques pertinentes directement à partir d'enregistrements bruts ou peu pré-traités.

Approches traditionnelles des réseaux neuraux

Les premiers essais d'application des réseaux neuronaux aux signaux du cerveau ont été effectués sur perceptrons multicouches (MLPs). Ces réseaux de flux entièrement connectés prennent un vecteur de caractéristiques – généralement conçues à partir du signal brut – et apprennent une cartographie non linéaire à une sortie souhaitée. Pour les IBC basés sur EEG, les caractéristiques communes comprenaient des estimations de puissance de bande à partir de bandes de fréquences multiples (delta, theta, alpha, bêta, gamma) et des filtres spatiaux dérivés d'algorithmes de patrons spatiaux communs (CSP).

D'abord, les PLM traitent les caractéristiques d'entrée comme indépendantes, ignorant la topologie spatiale des électrodes et l'ordre temporel des échantillons.D'autre part, le nombre de paramètres augmente rapidement avec la dimensionnalité des entrées, ce qui entraîne un risque élevé de suradaptation sur les ensembles de données relativement petits typiques des expériences de BCI (souvent moins de mille essais par sujet).D'autre part, les PLM sont sensibles au bruit et ont une capacité limitée pour modéliser la dynamique élevée et non stationnaire des signaux du cerveau.

Limitations des réseaux entièrement connectés

Au-delà des questions ci-dessus, les couches entièrement connectées ignorent la localité de l'information. Dans un montage EEG, les électrodes adjacentes enregistrent souvent l'activité corrélée de sources corticales voisines. Une couche convolutionnelle qui respecte cette connectivité locale peut tirer parti de cette structure spatiale beaucoup plus efficacement. De même, la succession temporelle des échantillons contient des informations critiques sur les potentiels liés aux événements (ERP) et la dynamique de phase oscillatoire, qu'un MLP standard ne peut saisir sans ingénierie de fonctionnalités de séries chronologiques explicites.

Réseaux neuronaux convolutionnels (RCN) pour l'extraction de caractéristiques spatiales

Les réseaux neuronaux convolutionnels sont devenus une pierre angulaire du décodage des signaux du cerveau, en particulier pour les données EEG et EcoG. Les CNN appliquent des filtres apprenants sur les dimensions spatiales ou spatio-temporelles de l'entrée, préservant les relations locales tout en réduisant considérablement le nombre de paramètres par rapport à un réseau entièrement connecté. Deux familles principales d'architectures CNN sont apparues : celles utilisant des convolutions 1D au fil du temps (convolutions temporelles) et celles utilisant des convolutions 2D sur des canaux électrodes disposés dans une grille 2D (convolutions spatiales).

EEGNet et les réseaux convaux peu profonds/profondes

L'une des architectures les plus influentes est EEGNet, un CNN compact conçu spécifiquement pour la classification EEG. EEGNet utilise des convolutions en profondeur et séparables pour apprendre des filtres spatiaux spécifiques à un sujet tout en gardant la lumière du modèle assez pour former sur de petits ensembles de données. L'architecture consiste en une convolution temporelle (pour apprendre des filtres de fréquence), suivie d'une convolution en profondeur entre les canaux (pour apprendre des modèles spatiaux), puis d'une convolution séparable pour combiner des cartes de fonctionnalités. EEGNet a été montré pour atteindre des performances compétitives sur plusieurs paradigmes BCI (imagerie moteur, P300, négativité liée aux erreurs) avec seulement quelques milliers de paramètres.

Parmi les autres variantes de CNN largement utilisées, on peut citer Shallow ConvNet et [Deep ConvNet[, proposé par Schirrmeister et al. (2017). La variante peu profonde traite l'EEG brute avec une seule convolution temporelle, un regroupement spatial entre les canaux et une couche dense finale. Elle est efficace pour les tâches d'imagerie moteur où les changements de puissance de bande de fréquence sont importants. La variante profonde empile plusieurs blocs convolutionnels avec normalisation par lots, obtenant une plus grande précision sur des tâches de discrimination plus complexes, mais nécessitant plus de données pour la formation.

CNN pour la détection de saisies et au-delà

En traitant le signal multicanal comme une image 2D (canaux × temps), un CNN peut apprendre à reconnaître les signatures spatio-temporelles de l'activité ictale et interictale. Des études à grande échelle, comme celles utilisant le jeu de données EEG de l'hôpital universitaire Temple, ont montré que les détecteurs basés sur le CNN peuvent atteindre une sensibilité et une spécificité dépassant 90 % en temps réel. De même, des CNN ont été appliqués pour détecter le sommeil à ondes lentes, prédire la réponse aux médicaments et identifier les biomarqueurs pour des troubles comme la schizophrénie et la maladie d'Alzheimer.

Réseaux neuronaux récurrents (RNN) et LSTM pour la dynamique temporelle

Les signaux cérébrales sont intrinsèquement séquentiels : l'état du cerveau à la fois t est fortement influencé par son histoire récente. Les réseaux neuronaux récurrents (RNN) sont conçus pour traiter les séquences en maintenant un état caché qui est mis à jour à chaque étape. Les RNN précoces ont eu du mal à résoudre le problème du gradient , qui les a empêchés d'apprendre les dépendances à longue distance – exactement le type de structure présente dans les potentiels liés aux événements, les oscillations lentes et l'activité de planification moteur. L'introduction de Mémoire longue à court terme (LSTM) et plus tard ]Unités de courants d'émission[ (GRU) a abordé cette question en intégrant des mécanismes de gant qui contrôlent le flux d'information.

Les MTSL pour la classification continue des EEG

Les LSTM ont été utilisés pour des tâches où le contexte temporel est primordial, comme la classification de la charge cognitive, des stades de sommeil ou de la parole imaginée à partir de micro-états EEG. Par exemple, dans le cadre de la mise en scène du sommeil, un segment de 8 secondes de données polysomnographiques peut contenir des schémas caractéristiques qui évoluent en minutes; un LSTM peut encoder ces dépendances à plus longue portée.

Pour atténuer cette situation, de nombreuses architectures ont d'abord réduit le signal brut ou appliqué une façade convolutionnelle pour réduire la résolution temporelle avant d'alimenter les fonctions des couches récurrentes. La combinaison de CNN et de LSTM – un convLSTM[ – a été particulièrement efficace pour des tâches comme l'imagerie moteur, où le CNN extrait des modèles spatiaux de chaque fenêtre de temps court et le LSTM suit leur évolution sur plusieurs secondes. Une revue complète du décodage EEG basé sur LSTM se trouve dans cette enquête 2021 dans la reconnaissance de motifs.

GRU et RNN avec attention

Les GRU offrent un mécanisme de gage plus simple que les LSTM, avec moins de paramètres, et ont montré des performances comparables sur de nombreux ensembles de données EEG. Les chercheurs ont également augmenté les RNN avec attention, permettant au réseau de se concentrer sur les étapes de temps les plus informatives. Par exemple, dans une tâche go-/no-go, le modèle peut apprendre à assister au moment de la présentation de stimulus plutôt que le point de départ qui l'a précédé.

Transformateurs et mécanismes d'attention

L'architecture du transformateur, développée à l'origine pour le traitement du langage naturel, a été adaptée pour le décodage des signaux du cerveau avec des résultats impressionnants. Au cœur du transformateur remplace la récurrence par un mécanisme d'auto-attention [ qui calcule des sommes pondérées de toutes les positions d'entrée, permettant au modèle de saisir directement les dépendances à longue distance sans goulot d'étranglement séquentiel des RNN. Pour les signaux EEG et MEG, les transformateurs peuvent s'occuper à la fois des relations spatiales (entre canaux) et temporelles (entre points de temps), ce qui les rend très expressifs.

EEG-Transformateur et Variants

Une des premières adaptations est le EEG‐Transformer, qui marque les séries chronologiques multicanaux en patchs (p. ex., fenêtres 1‐seconde) et applique ensuite un transformateur standard avec intégration positionnelle. Cette architecture a obtenu des résultats de pointe sur les repères d'imagerie moteur et de reconnaissance des émotions. Pour réduire la complexité computationnelle, de nombreuses œuvres appliquent une façade convolutionnelle pour réduire la longueur de séquence avant les couches du transformateur.

Une autre variante notable est le Vision Transformer (ViT) adapté pour EEG en traitant l'image EEG 2D (canaux × temps) comme une grille de patch. L'approche ViT a été utilisée pour la détection de saisie croisée des sujets et la classification des stades de sommeil. Des modèles plus récents, tels que SPEECH‐TCNet[ et EEG‐Conformer, combinent des modules convolutionnels avec des têtes de transformateur pour équilibrer l'extraction locale et globale des fonctionnalités.

Transformateurs multimodaux et cross-Attention

Le décodage des signaux cérébrales est souvent avantageux par la fusion de multiples modalités, telles que l'EEG et l'EGRF, ou l'EEG et le suivi oculaire. Les transformateurs prennent naturellement en charge les entrées multimodales en utilisant des encodeurs séparés pour chaque modalité, puis les recoupent. Par exemple, une étude récente sur la reconnaissance des émotions a utilisé un transformateur pour fusionner les signaux EEG et les signaux physiologiques périphériques (ECG, GSR) par une attention modalisée, obtenant une précision significativement supérieure à celle des valeurs de référence à une seule modalité.

Architectures hybrides : Combiner les CNN, les RNN et les transformateurs

Les modèles contemporains les plus efficaces sont souvent des hybrides qui exploitent les forces de chaque bloc de construction. Un pipeline hybride typique applique d'abord un ensemble de couches convolutionnelles pour extraire des caractéristiques spatiales locales (p. ex., des montages d'électrodes) et des modèles temporels à court terme (p. ex., des bandes de fréquences). La sortie du CNN est ensuite alimentée dans un module récurrent ou axé sur l'attention qui capture des dépendances à plus longue portée. Enfin, une couche globale de mise en commun ou de densité produit la sortie de classification ou de régression.

CNN‐LSTM et CNN‐Transformer

L'un des cadres hybrides les plus réussis est le CNN‐LSTM. Par exemple, dans l'ensemble de données public BCI Competition IV (2a), un CNN avec des convolutions séparables en profondeur, suivi d'un Bi‐LSTM, a obtenu une valeur kappa supérieure à 0,70, ce qui dépasse de façon significative la valeur de référence du CNN. De même, le CNN‐Transformer (parfois appelé le Conformer) a été appliqué à l'EEG brut pour le décodage de la parole. La façade convolutionnelle réduit la longueur de séquence et enrichit les caractéristiques locales, tandis que le transformateur capture le contexte global.

Approches d'ensemble et multi-échelle

Les modèles hybrides peuvent aussi intégrer un traitement à plusieurs échelles. Par exemple, un modèle peut traiter le signal à trois résolutions temporelles (p. ex., en utilisant un échantillonnage par des facteurs de 2 et 4) et combiner les caractéristiques par l'attention. Cela imite la façon dont le cerveau traite l'information à plusieurs échelles de temps, de l'épiclage rapide à la lenteur des rythmes corticaux.

Orientations futures et défis à relever

Malgré les progrès impressionnants, plusieurs défis subsistent avant que le décodage des signaux du cerveau ne soit cliniquement et commercialement viable.

Transfert d'apprentissage et généralisation

La plupart des modèles d'apprentissage approfondi sont formés et évalués sur des données provenant d'un seul sujet (ou d'une petite cohorte) et échouent lorsqu'ils sont appliqués à un nouvel utilisateur. ]Les méthodes d'apprentissage par transfert visent à adapter un modèle pré-formé à un nouveau sujet avec un réglage minimal. Les approches comprennent l'adaptation du domaine (par exemple, l'alignement des distributions de fonctions par la formation contradictoire ou la différence moyenne maximale) et l'ajustement fin et efficace des paramètres à partir de modèles de grande fondation.

Apprentissage sans supervision et auto-surveillant

Les données de signaux cérébraux étiquetés sont coûteuses et prennent du temps à acquérir.Des méthodes non supervisées et autosupervisées apprennent des représentations significatives à partir de signaux non étiquetés, qui peuvent ensuite être transférés à des tâches en aval avec moins d'étiquettes.L'apprentissage contrastif, le codage prédictif et le codage automatique masqué ont toutes été appliqués à EEG et MEG. Par exemple, le cadre SimCLR‐EEG apprend les invariances aux déplacements de bruit et d'électrodes, permettant ainsi des caractéristiques robustes pour la classification des stades de sommeil avec moins de 10 % des données originales étiquetées.

Décodage en temps réel et en faible latence

Pour de nombreuses applications BCI, comme le contrôle des curseurs ou les membres neuroprothétiques, le décodage doit se faire en temps réel avec une latence minimale. Les grands modèles de transformateurs peuvent être exigeants en calcul. Les chercheurs explorent des architectures efficaces, y compris réseaux neuronaux piquants qui imitent les neurones biologiques et fonctionnent sur des données basées sur des événements, et distillation de la connaissance[ pour comprimer les grands modèles en versions légères adaptées au matériel mobile ou embarqué.

Explicabilité et confiance

Les cliniciens et les utilisateurs finaux doivent faire confiance à un système de décodage, surtout lorsqu'il influence les décisions médicales. Les modèles d'apprentissage profond sont souvent appelés boîtes noires, mais les récents travaux en matière d'AI explicable (XAI) pour les signaux du cerveau ont produit des cartes de saliabilité, de propagation de la pertinence par couche (LRP) et de visualisation de l'attention qui mettent en évidence les points de temps ou les électrodes sur lesquels le modèle se concentre.

Modélisation multitâches et multisujets

Les modèles actuels sont habituellement formés pour une seule tâche (p. ex., l'imagerie motrice ou la détection de saisie). L'apprentissage multitâches, où une représentation partagée est formée simultanément à plusieurs tâches connexes, a montré des promesses d'amélioration du rendement individuel des tâches. De même, les modèles multi-sujets qui apprennent une représentation anatomique et fonctionnelle commune à tous les sujets pourraient permettre un transfert zéro-shot : décoder un sujet nouveau sans données d'étalonnage.

Conclusion

Les architectures réseau neuronales pour le décodage des signaux du cerveau sont passées de réseaux simples entièrement connectés à des hybrides sophistiqués de conceptions convolutionnelles, récurrentes et axées sur l'attention. Les CNN excellent pour saisir les modèles spatiaux; les RNN et les LSTM modèlent des dépendances temporelles; les transformateurs fournissent un contexte mondial puissant et soutiennent la fusion multimodale. Les modèles modernes les plus efficaces combinent ces éléments, souvent avec des transferts et des apprentissages autosupervisés pour surmonter la pénurie de données. Des défis tels que la généralisation, la performance en temps réel et l'interprétation peuvent encore se poursuivre, mais le rythme de l'innovation s'accélère.