Article de méthode

Fusion d'électroencéphalographie et d'imagerie par résonance magnétique fonctionnelle basée sur un mélange d'experts pour le diagnostic interprétable et assisté par ordinateur des troubles cérébraux

89 vues

⸱

DOI :

10.3791/73432

⸱

25 septembre 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

Dans cet article

Résumé

Ce protocole présente Brain Mixture-of-Experts, un cadre de fusion adaptatif et interprétable d'électroencéphalographie et d'imagerie par résonance magnétique fonctionnelle destiné au diagnostic assisté par ordinateur des troubles cérébraux. La méthode intègre des représentations hétérogènes d'EEG et d'IRMf à l'aide d'experts spécifiques aux modalités, d'un expert commun d'état neuronal et d'un routage adaptatif, tout en conservant l'interprétabilité et l'inférence dans des conditions simulées de modalité manquante.

Résumé

L'électroencéphalographie (EEG) et l'imagerie par résonance magnétique fonctionnelle (fMRI) fournissent des informations complémentaires sur le fonctionnement cérébral et ont montré un potentiel significatif pour détecter des anomalies fonctionnelles dans divers troubles cérébraux. Toutefois, les caractéristiques distinctes des signaux et les espaces de représentation différents de l'EEG et de la fMRI posent de graves difficultés à une fusion multimodale efficace, entravant ainsi un diagnostic assisté par ordinateur précis des troubles cérébraux à l’aide de modèles fixes classiques. Cette étude présente Brain Mixture-of-Experts (BrainMoE), un cadre de fusion adaptatif et interprétable de l'EEG et de la fMRI pour le diagnostic assisté par ordinateur des troubles cérébraux, qui intègre des caractéristiques cérébrales multimodales grâce à des experts spécifiques aux modalités, un expert commun d’état neuronal et un mécanisme de routage adaptatif. BrainMoE projette d'abord les signaux EEG et fMRI dans un espace commun de régions d’intérêt (ROI) selon l’atlas Desikan-Killiany (DK), puis utilise des encodeurs de graphes pour extraire des représentations spécifiques aux modalités des réseaux cérébraux. Le module de routage souple produit une représentation de routage, et la porte d’expert dans le module de fusion génère des poids spécifiques à l’échantillon afin de combiner les représentations de l’EEG, de la fMRI et de l’expert d’état neuronal commun. Pour gérer les scénarios d’acquisition incomplets, des masques d’état de modalité et des jetons de modalité manquante sont intégrés, permettant au même modèle entraîné d’effectuer des inférences complètes EEG-fMRI, ainsi que des inférences EEG-seul ou fMRI-seul. Enfin, une analyse par occlusion de nœuds fournit des cartes d’attribution au niveau des ROI pour les prédictions issues de l’EEG et de la fMRI. Le cadre a été évalué sur le jeu de données Healthy Brain Network (HBN) dans le cadre de cinq tâches de classification binaire de troubles cérébraux, incluant le trouble dépressif majeur, le trouble anxieux, le trouble de la lecture, le trouble du spectre autistique et le trouble du déficit de l’attention avec hyperactivité. BrainMoE a surpassé les algorithmes comparatifs à l’état de l’art, atteignant une AUC moyenne de 86,9 ± 3,0 %, et des expériences d’ablation ont confirmé la contribution des composants de routage et de fusion d’experts. En outre, l’analyse d’interprétabilité identifie des contributions au niveau des ROI cohérentes avec les résultats d’imagerie cérébrale rapportés précédemment. Cette méthode soutient le diagnostic assisté par ordinateur des troubles cérébraux en surmontant le défi de l’intégration de représentations neuronales hétérogènes EEG-fMRI tout en préservant l’interprétabilité et la capacité d’inférence dans des conditions simulées de modalité manquante.

Introduction

Les troubles cérébraux impliquent des changements complexes de l'activité neuronale et de l'organisation des réseaux cérébraux, difficiles à caractériser à l'aide d'une seule modalité d'imagerie1. Après la reconstruction des sources2, l'EEG fournit une activité électrophysiologique (EEG) au niveau des régions, tandis que l'imagerie par résonance magnétique fonctionnelle (IRMf) capte la connectivité fonctionnelle au niveau régional, offrant ainsi des points de vue complémentaires du fonctionnement cérébral. Pour faciliter leur intégration, les travaux multimodaux antérieurs ont associé les deux modalités à l'atlas de Desikan-Killiany (DK) à 68 régions3. Bien que cette correspondance spatiale n'implique pas une équivalence en résolution temporelle ou en origine physiologique, elle fournit un indice anatomique unifié pour la fusion de graphes au niveau des nœuds, des dimensions de graphe fixes et une interprétation cohérente au niveau des régions d'intérêt (ROI), tout en préservant les informations spécifiques à chaque modalité. L'intégration de ces représentations spécifiques aux modalités mais alignées sur le plan anatomique peut enrichir les représentations des signaux cérébraux liés aux maladies et soutenir le diagnostic assisté par ordinateur des troubles cérébraux3,4.

Malgré le potentiel de la fusion EEG-fIRM pour le diagnostic assisté par ordinateur des troubles cérébraux, l'hétérogénéité entre les deux modalités pose un défi technique en ce qui concerne leur intégration efficace. Les méthodes classiques d'apprentissage automatique, telles que SVM et MLP, peuvent fournir des modèles de classification de base, mais elles ont une capacité limitée à capturer les interactions non linéaires intermodales. Les modèles génériques d'apprentissage profond, notamment les architectures GNN5, ResNet6 et Transformer7, offrent un apprentissage de représentations plus puissant, mais ne sont pas spécifiquement conçus pour les graphes cérébraux au niveau des régions d'intérêt (ROI) ou pour la modélisation des états modaux. Des modèles récents plus avancés3,8,9 ont accru la complexité non linéaire afin de mieux modéliser les réseaux cérébraux. BrainNetCNN8 a été introduit pour adapter les opérations de convolution aux matrices de connectivité cérébrale ; BrainGNN9 a approfondi la modélisation de la topologie des graphes au niveau des ROI à l'aide de réseaux neuronaux graphiques et de regroupement (pooling) ; et BNT10 a par la suite renforcé l'analyse des réseaux cérébraux fonctionnels grâce à une attention multiniveau basée sur les transformeurs. Toutefois, ces avancées ont été principalement conçues pour des contextes à une seule modalité. MultiEpilepsyNet11 a ensuite étendu l'apprentissage multimodal à la détection des crises EEG-IRM via un cadre hybride fédéré, et son module EpiSkullNet++ côté IRM a amélioré la segmentation cérébrale et le prétraitement. SZAtt-Net12 a ensuite développé un modèle de classification multimodal de la schizophrénie en combinant des blocs CNN, BiGRU et MLP avec des mécanismes d'attention canal, auto, spatiale et temporelle. Cependant, ces méthodes restaient spécifiques à une tâche donnée et s'appuyaient sur des schémas de fusion relativement fixes, sans prendre explicitement en charge un routage adaptatif dans les cas de modalités complètes ou manquantes.

Les modèles à mélange d'experts (MoE)13,14 sont de plus en plus utilisés dans l'apprentissage multimodal car ils permettent de traiter des sources d'information hétérogènes par des modules experts spécialisés et de les combiner dynamiquement grâce à des mécanismes de routage. La porte de sortie de type softmax fournit des poids normalisés pour les experts dépendants de l'entrée et a été caractérisée théoriquement en termes de taux de convergence15. Des architectures multi-portes connexes ont en outre démontré que des portes distinctes peuvent apprendre des combinaisons dépendantes des tâches à partir d'experts partagés dans l'apprentissage multi-tâche à grande échelle16. En recherche neuroscientifique et en études cérébrales, des variantes de MoE17,18,19 sont de plus en plus utilisées pour faciliter la fusion de caractéristiques hétérogènes. dFCExpert17 a utilisé des experts basés sur la modularité et les états pour modéliser les schémas de connectivité fonctionnelle dynamique à partir de l'IRMf. EvoMoE18 a en outre utilisé un réseau de routage pour sélectionner les experts adaptés à la classification SSVEP-EEG indépendante des utilisateurs. NeuroMoE++19 a exploré une fusion multimodale adaptative au patient pour la classification des troubles neurologiques. Malgré leurs succès, ces modèles reposent généralement sur un mélange grossier et un routage discret qui ignorent la nature fortement synchronisée des états neuronaux intermodaux, ce qui entrave la détection de motifs subtils mais informatifs, essentiels au diagnostic des troubles cérébraux. De plus, en l'absence d'un mécanisme dédié permettant de dissocier les nuances spécifiques à chaque modalité d'un état neuronal partagé unifié, ces modèles offrent une interprétabilité limitée et subissent une dégradation des performances lorsque l'une des modalités cruciales (IRMf ou EEG) est manquante.

Pour pallier ces limitations, cette étude présente Brain Mixture-of-Experts (BrainMoE), un cadre de fusion adaptatif et interprétable de l'EEG et de l'IRMf pour le diagnostic assisté par ordinateur de cinq catégories de troubles cérébraux, notamment le trouble dépressif majeur (TDM), le trouble anxieux (ANX), le trouble spécifique des apprentissages avec déficit de la lecture (DL), le trouble du spectre autistique (TSA) et le trouble du déficit de l'attention avec hyperactivité (TDAH). Le protocole commence par aligner les caractéristiques de l'EEG reconstruites à la source et celles de l'IRMf sur l'espace des régions d'intérêt (ROI) de l'atlas DK20, puis construit des représentations modales basées sur des graphes pour les deux modalités. BrainMoE utilise un expert EEG, un expert IRMf et un expert d'état neural partagé, qui sont intégrés par un module de routage souple afin de combiner les informations spécifiques à chaque modalité et les informations partagées. Des masques d'état modal et des jetons de modalité manquante sont intégrés pour permettre une inférence complète combinant EEG et IRMf, ou utilisant uniquement l'EEG ou uniquement l'IRMf, au sein d'un seul modèle entraîné. Pour favoriser l'interprétabilité biologique, le protocole applique une analyse par occlusion des nœuds, dans laquelle chaque ROI de l'atlas DK est masquée sélectivement, et la variation résultante de la probabilité de prédiction de la maladie est utilisée pour estimer les contributions régionales dérivées de l'EEG et de l'IRMf. Ce protocole décrit l'ensemble du flux de travail pour l'alignement des données, la construction du modèle, l'entraînement, l'évaluation et l'interprétation des ROI basée sur l'occlusion des nœuds, offrant ainsi une stratégie adaptative et interprétable pour le diagnostic assisté par ordinateur des troubles cérébraux par fusion hétérogène de signaux cérébraux EEG-IRMf. Pour faciliter la reproductibilité et les développements futurs, le dépôt public sur GitHub met à disposition le modèle BrainMoE ainsi que le code d'entraînement et d'évaluation, tandis que le prétraitement de l'EEG et de l'IRMf a été réalisé à l'aide de logiciels tiers accessibles publiquement. Le dépôt est disponible à l'adresse https://github.com/zhongruizhe123/BrainMoE.

Protocole

Cette étude a utilisé des données anonymisées provenant de la base de données Healthy Brain Network (HBN)21, en se concentrant sur cinq troubles cliniques distincts pour des tâches de classification diagnostique ultérieures. L'approbation éthique et le consentement éclairé écrit avaient déjà été obtenus par l'initiative HBN auprès de tous les sites et participants impliqués. Les enregistrements EEG et IRMf ont été réalisés lors de séances distinctes et non simultanément, puis appariés à l'aide des identifiants des participants et des séances disponibles dans HBN.

1. Préparer l'environnement de calcul et les données d'entrée

  1. Configurer l'environnement de calcul
    1. Créer et activer un environnement virtuel Python 3.12.4 : python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Installer les packages requis et leurs versions fixes à l'aide du fichier requirements.txt fourni dans le dépôt GitHub public : pip install -r requirements.txt
    3. Vérifier la configuration de PyTorch et de CUDA avant l'entraînement : python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available()).". Confirmer que la sortie indique PyTorch 2.6.0+cu124, CUDA 12.4, et que la disponibilité de CUDA est True. Effectuer l'entraînement du modèle à l'aide d'un GPU compatible CUDA.
  2. Examiner tous les fichiers d'entrée H5 avant l'entraînement du modèle.
    1. Confirmer que chaque fichier contient sLORETA_mean_func pour les caractéristiques des nœuds EEG, sLORETA_mean_CorrMatrix pour le graphe EEG, fMRI-DK68-node-mat pour les caractéristiques des nœuds IRMf, fMRI-DK68-edge-mat pour le graphe IRMf, et une étiquette pour le diagnostic. Exclure les fichiers comportant des clés manquantes, des entrées non numériques, des étiquettes invalides ou des dimensions incompatibles avec l'atlas Desikan-Killiany à 68 régions. Exécuter le script de vérification des entrées H5 comme suit : python checkH5.py (Fichier supplémentaire 1).

2. Aligner les caractéristiques EEG et IRMf sur un espace anatomique commun

  1. Prétraiter les données d'IRMf.
    1. Traiter les données d'IRMf à l'aide de C-PAC (version 1.8.7). Exécuter le script de prétraitement C-PAC comme suit : bash run_cpac_brainmoe.sh (Fichier Supplémentaire 2). Éliminer les cinq premiers volumes afin de réduire les effets initiaux liés aux signaux non stabilisés.
    2. Effectuer la correction temporelle par coupe, la correction des mouvements, la correction des distorsions, l'inscription, la normalisation vers l'espace anatomique MNI152, et le lissage spatial. Régresser 24 paramètres indésirables liés aux mouvements.
    3. Appliquer un filtrage temporel passe-bande entre 0,01 et 0,08 Hz.
  2. Générer des caractéristiques d'IRMf alignées sur un atlas.
    1. Traiter l'IRM structurelle correspondante à l'aide de FreeSurfer (version 7.4.1). Exécuter les scripts comme suit : bash Step01_mgz_2_nifti.sh. Réaliser la co-inscription de la parcellisation corticale Desikan-Killiany résultante vers l'espace IRMf natif du participant. Exécuter les scripts comme suit : python Step02_CoRegistration.py. Calculer le signal moyen par voxel dans chacune des 68 régions corticales. Exécuter les scripts comme suit : python Step03_fMRI_Signal_Extraction.py (Fichier Supplémentaire 3).
    2. Conserver 370 points temporels IRMf consécutifs sans remplissage temporel pour obtenir une matrice de caractéristiques de nœud IRMf de dimension 68 × 370, où 68 représente les régions corticales DK et 370 les points temporels IRMf conservés.
  3. Construire le graphe IRMf.
    1. Calculer les corrélations de Pearson entre les séries temporelles de 370 points des 68 régions DK. Stocker la matrice de connectivité fonctionnelle résultante de dimension 68 × 68 comme matrice d'arêtes IRMf.
  4. Prétraiter les données d'EEG.
    1. Traiter les enregistrements EEG à 129 canaux à l'aide de la boîte à outils EEGLAB (version 2022.1) dans MATLAB (version R2022a). Exécuter séquentiellement les deux scripts de prétraitement EEGLAB comme suit : matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Fichier Supplémentaire 4). Conserver une fréquence d'échantillonnage de 500 Hz et appliquer un filtre passe-bande de 0,2 à 40 Hz. Identifier les segments bruités et les électrodes défectueuses, puis interpoler les mauvais canaux à l'aide du signal moyen des électrodes adjacentes.
    2. Utiliser l'analyse en composantes indépendantes avec le plugin ICLabel pour classifier les composantes indépendantes. Supprimer les composantes dont la probabilité de classification comme artefacts oculaires ou musculaires est supérieure à 0,90. Appliquer un référencement moyen. Exclure les enregistrements contenant moins de 250 s de données exploitables après prétraitement et rejet des artefacts.
  5. Générer des caractéristiques EEG alignées sur un atlas.
    1. Construire un modèle individuel de tête à trois couches selon la méthode des éléments frontières (BEM) à partir de l'IRM structurelle de chaque participant. Définir l'espace source sur la surface corticale individuelle de chaque participant. Inscrire les positions des électrodes EEG à la surface BEM et calculer la matrice de champ de conduction.
    2. Appliquer un opérateur inverse régularisé à l'aide de la matrice de covariance du bruit de fond. Régler le rapport signal sur bruit à 3,0, ce qui donne λ2 = 1/SNR2 = 1/9 (environ 0,1111), puis effectuer la localisation des sources à l'aide de la tomographie électromagnétique à faible résolution normalisée (sLORETA) implémentée dans MNE-Python (version 1.9).
    3. Agréger les estimations de sources par vertex au sein de chaque parcelle Desikan-Killiany par moyenne arithmétique afin d'obtenir 68 séries temporelles au niveau des régions d'intérêt (ROI). Conserver le premier segment continu de 250 s et diviser chaque série temporelle ROI en 250 époques consécutives et non superposées de 1 s.
    4. Calculer la puissance dans la bande alpha (8–12 Hz) pour chaque époque afin d'obtenir une matrice de caractéristiques de nœud EEG de dimension 68 × 250, où 68 représente les régions corticales DK et 250 les 250 époques consécutives et non superposées de 1 s.
  6. Construire le graphe EEG et vérifier l'alignement intermodal.
    1. Calculer les corrélations de Pearson entre les séries temporelles de puissance alpha (8–12 Hz) sur 250 époques des 68 régions DK. Stocker la matrice résultante de dimension 68 × 68 comme graphe EEG.
    2. Vérifier que les matrices EEG et IRMf utilisent le même ordre de régions DK et utiliser le même fichier d'index de régions DK pour l'entrée du modèle, l'attribution et la visualisation. Exécuter le script de localisation des sources et d'extraction des caractéristiques MNE-Python comme suit : python "Extract features - templates.py" (Fichier Supplémentaire 5).
  7. Normaliser les caractéristiques des nœuds au sein de chaque échantillon.
    1. Appliquer une normalisation par score z par nœud aux matrices de caractéristiques des nœuds EEG et IRMf. Conserver les matrices de graphe comme entrées de connectivité et appliquer une normalisation du graphe à l'intérieur du modèle BrainMoE.
    2. Effectuer le prétraitement EEG et IRMf indépendamment pour chaque participant à l'aide de paramètres fixes, sans utiliser d'informations provenant des plis de validation croisée pour déterminer les paramètres de prétraitement.

3. Construire des tâches de classification binaire spécifiques à une maladie

  1. Définir cinq tâches de classification binaire spécifiques à une maladie.
    1. Encoder les sujets témoins sains (HC) comme la classe 0 dans toutes les tâches, et encoder uniquement le groupe de maladie sélectionné comme la classe 1 dans sa propre tâche.
    2. Construire des tâches distinctes sains versus malades pour la dépression, le trouble anxieux, le trouble du développement neurologique avec trouble spécifique de l'apprentissage et troubles de la lecture, le trouble du spectre autistique, et le trouble déficitaire de l'attention avec hyperactivité.
  2. Caractériser les cohortes d'étude et examiner les effets potentiels liés au sexe et au site d'acquisition.
    1. Pour chaque tâche spécifique à une maladie, inclure les participants du projet HBN disposant de données complètes d'EEG, d'IRMf et d'imagerie par résonance magnétique structurale (sMRI), ainsi qu'une étiquette diagnostique valide. Exclure les participants présentant des diagnostics comorbides des cohortes positives à la maladie. Exclure les enregistrements EEG contenant moins de 250 s de données exploitables après prétraitement et rejet des artefacts, et conserver uniquement les fichiers d'entrée ayant satisfait aux critères de contrôle qualité décrits à la section 1.2.
    2. Résumer les nombres d'enregistrements multimodaux conservés et de participants uniques, les rapports malades/témoins, les tranches d'âge, les répartitions par sexe et les répartitions par site d'acquisition pour la cohorte commune de témoins sains et chaque cohorte de maladie dans le Tableau 4.
      REMARQUE : La même cohorte de témoins sains a été réutilisée comme classe 0 dans les cinq tâches, de sorte que les estimations de performance au niveau des tâches ne sont pas statistiquement indépendantes. Cette dépendance provient de la cohorte de témoins sains commune, et non d'un chevauchement entre les groupes de malades.
    3. Stratifier la performance selon le sexe et le site d'acquisition, puis comparer les valeurs obtenues à l'aide de tests t de Welch bilatéraux sur les répétitions de la validation croisée en 5 plis.
  3. Sélectionner les fichiers H5 spécifiques à chaque tâche et définir les divisions pour la validation croisée.
    1. Pour chaque tâche, conserver uniquement les sujets témoins sains (HC) et le groupe cible de maladie. Générer 10 répétitions d'une validation croisée en 5 plis au niveau des participants. Stratifier les participants uniques selon l'étiquette binaire (témoins sains versus maladie cible) afin de préserver la distribution des classes entre les plis.
    2. Utiliser l'identifiant unique du participant comme variable de regroupement, et affecter toutes les sessions et enregistrements multimodaux d'un même participant au même pli. Utiliser respectivement les graines aléatoires 1 à 10 pour générer les 10 partitions répétées de validation croisée. Utiliser une graine aléatoire fixe égale à 1 pour l'initialisation et l'entraînement du modèle.
    3. Réserver le pli mis de côté exclusivement pour l'évaluation finale, et sauvegarder les identifiants des participants, les listes de fichiers et les indices de partition pour chaque pli avec le point de contrôle correspondant. Pour chaque pli d'entraînement, calculer les poids de classe à partir des étiquettes d'entraînement et les utiliser dans la perte d'entropie croisée afin de réduire les biais dus au déséquilibre des classes.

4. Construire l'architecture BrainMoE pour le diagnostic assisté par ordinateur des troubles cérébraux

REMARQUE : L'architecture BrainMoE a été conçue comme un cadre compact de fusion d'EEG et d'IRMf en cas de modalité manquante, combinant un encodeur de graphes, un routage souple d'état neuronal partagé et une intégration de caractéristiques basée sur des experts pour un diagnostic binaire spécifique à une maladie. L'architecture générale est présentée dans la Figure 1, et le code de mise en œuvre est fourni dans le Fichier Supplémentaire 6.

  1. Définir les entrées de BrainMoE et les états de modalité. Utilisez la modalité EEG et la modalité IRMf après alignement dans l'espace source comme entrées de graphes appariés. Ici, X désigne une matrice de caractéristiques régionales, A désigne un graphe cérébral propre à chaque modalité, et chaque ligne correspond à l'une des 68 régions de Desikan-Killiany.
    Équilibre statique, ΣFx=0, représentation matricielle mathématique, équations pour l'analyse de l'équilibre.
    Équations des données IRM, X_IRM ∈ R^(68×370), A_IRM ∈ R^(68×68), formule pour la représentation matricielle.
    Définir le masque de disponibilité de la modalité comme m = [mEEG, mIRMf]. Utiliser m = [1,1] pour une entrée EEG-fMRI complète, m = [1,0] pour une entrée EEG uniquement, et m = [0,1] pour une entrée fMRI uniquement.
  2. Encodeur de graphe : Pour chaque modalité q, où q est l'EEG ou l'IRMf, transmettre la matrice de caractéristiques Xq et graphique Aq dans son encodeur de graphe propre à chaque modalité. L'encodeur est un module neuronal entraînable qui comprend une projection des nœuds, un passage de messages sur le graphe, une normalisation, une activation et une suppression aléatoire (p=0,3).
    Équation de codage de graphe pour l'intégration de données neurologiques avec des paramètres EEG, IRMf
    REMARQUE : Dans cette notation, Zq est la représentation latente au niveau des régions d'intérêt (ROI) produite par l'encodeur de graphes EEG ou l'encodeur de graphes IRMf. L'encodeur de graphes EEG transforme chaque matrice d'entrée de dimensions 68 × 250 en une représentation latente de dimensions 68 × 128, tandis que l'encodeur de graphes IRMf transforme chaque matrice d'entrée de dimensions 68 × 370 en une représentation latente de dimensions 68 × 128. Chaque encodeur utilise une projection d'entrée suivie de deux couches de convolution sur graphes résiduelles avec 128 dimensions cachées, une activation GELU, une normalisation par couche et une suppression aléatoire (dropout).
  3. Jetons entraînables pour modalités manquantes : Soit Tq être le jeton pour la modalité q et mq être l'indicateur de disponibilité correspondant. Cette étape produit une représentation tenant compte de l'état, qui préserve la même configuration de 68 régions pour des entrées complètes et pour des entrées unimodales.
    Équation dans le schéma de fusion de données neuronales ; formule d'intégration de l'analyse EEG et IRMf avec facteur de pondération.
    REMARQUE : Chaque jeton modulaire manquant entraînable est un vecteur de 128 dimensions et est étendu sur les 68 lignes de la ROI lorsque la modalité correspondante n'est pas disponible.
  4. Module logiciel de routage souple selon l'état neuronal partagé : premièrement, combiner la représentation EEG sensible à l'état ZEEG, la représentation IRMf sensible à l'état ZIRMf, et le masque d'accessibilité des modalités intégré. Le masque d'accessibilité des modalités est intégré à l'aide d'un MLP de dimensions 2 → 128, d'activation GELU et de normalisation de couche. Le routeur comprend deux couches de convolution unidimensionnelles aux dimensions de canal 384 → 128 → 128, de taille de noyau 3 et de remplissage 1. Une activation GELU est appliquée après chaque convolution, avec une désactivation aléatoire (p=0,3) après la première convolution.
    Équation mathématique pour la concaténation des données EEG et IRM dans une analyse par perceptron multicouche.
    Notation de l'équilibre statique Π=Router(U) ; visualisation de formules mathématiques.
  5. Expert en état neuronal partagé
    1. Concaténer la représentation EEG tenant compte de l'état ZEEG, la représentation IRMf sensible à l'état ZIRMf, et la représentation par routage souple R le long de la dimension des caractéristiques. Appliquer une couche de fusion entièrement connectée (384 à 128), suivie d'une normalisation de couche, d'une activation GELU et d'une désactivation aléatoire (p = 0,3), puis appliquer une moyenne sur les 68 régions d'intérêt (ROI) afin d'obtenir la représentation fusionnée au niveau du sujet, de dimension 128 zfusionné:
      Équation : Z_fused = MeanPool(Fusion(Cat[Z_EEG, Z_MRI, Π])) ; schéma de la méthode d'intégration des données.
    2. Passer zfusionné via l'expert d'état neuronal partagé, qui comprend une couche entièrement connectée (128 à 128), une normalisation par couche, une activation GELU et une désactivation aléatoire (p=0,3). On note la représentation partagée de l'expert résultante, de dimension 128, par Epartagé:
      Équation de la transformation par l'expert partagé, E_partagé = ExpertPartagé(z_utilisateur).
  6. Experts en EEG et IRMf
    1. Pour chaque modalité, appliquer une moyenne sur les représentations tenant compte de l'état dans les 68 régions d'intérêt (ROI) et transmettre la représentation résultante de dimension 128 à l'Expert spécifique à la modalité correspondante :
      analyse de données EEG, IRMf ; équation ; Expert_q(MoyennePool(Z_q)) ; neurosciences, recherche cérébrale
    2. Chaque expert spécifique à une modalité est composé d'une couche entièrement connectée (128 à 128), d'une normalisation par couche, d'une activation GELU et d'une désactivation aléatoire (p = 0,3). On note les représentations résultantes de l'expert spécifique à la modalité, de dimension 128, par EEEG et EIRMfrespectivement.
  7. Module de fusion
    1. Pour calculer les poids des experts, concaténer la représentation fusionnée au niveau du sujet de dimension 128 zfusionné avec le masque de disponibilité de modalité en deux dimensions m, produisant une entrée de porte de dimension 130. Le module de fusion contient une porte d'expert qui génère les poids spécifiques à l'échantillon utilisés pour la fusion des experts. La porte d'expert est constituée d'une couche entièrement connectée (130 à 128), suivie d'une activation GELU et d'une désactivation aléatoire (dropout) (p = 0,3) et une couche entièrement connectée de sortie (128 à 3). Appliquer la fonction softmax aux trois logits de sortie afin d'obtenir les poids spécifiques aux experts pour chaque échantillon :Diagramme de formule d'apprentissage profond ; Fonction Softmax ; équation de réseau neuronal ; concept d'algorithme.
    2. Les poids obtenus sont non négatifs et leur somme est égale à 1 pour chaque échantillon :
      Équation de distribution pondérée, W_EEG + W_fMRI + W_partagée = 1, pour l'analyse d'imagerie cérébrale.
    3. Multiplier chaque représentation experte de 128 dimensions par son poids de porte correspondant et additionner les trois représentations pondérées :
      Équation d'équilibre statique, formule : Z final = w EEG E EEG + w IRM E IRM + w partagée E partagée
      REMARQUE : Cette opération met en œuvre une fusion dense de type MoE souple.
    4. Transmettre la représentation finale de l'expert en 128 dimensions résultante efusionné à la classification des diagnostics des troubles cérébraux présentée à la section 4.8.
  8. Classification pour le diagnostic des troubles cérébraux tête : Faire passer la représentation finale de l'expert en 128 dimensions à travers une tête de classification composée d'une normalisation de couche, d'une désactivation aléatoire (dropout)p = 0,3) et une couche entièrement connectée projetant 128 dimensions vers 2 logits de sortie. Appliquer la fonction softmax pour obtenir la probabilité de HC et la probabilité de la maladie cible. Affecter l'échantillon à la classe maladie lorsque la probabilité de la maladie cible est d'au moins 0,5.
    Équation de classification Softmax, formule de prédiction de sortie du réseau de neurones en apprentissage automatique.
  9. Vérifiez la cohérence de l'implémentation avant l'apprentissage. Effectuez un passage direct factice avec m = [1,1], m = [1,0] et m = [0,1]. Confirmez que les représentations EEG, IRMf, prenant en compte l'état cérébral, de routage et fusionnées conservent 68 lignes de ROI sauf regroupement explicite, et vérifiez que les poids des experts s'additionnent à 1 dans l'ordre suivant : Expert EEG, Expert IRMf et Expert commun relatif à l'état neuronal.

5. Entraîner les cinq modèles BrainMoE pour le diagnostic des troubles cérébraux

  1. Entraîner un modèle BrainMoE pour chaque tâche binaire spécifique à une maladie.
    1. Utiliser la même architecture et les hyperparamètres par défaut pour toutes les tâches : 30 époques, taille de lot 16, taux d'apprentissage 0,001, décroissance du poids 0,0001. Fixer l'architecture du modèle et les hyperparamètres avant l'évaluation sur le jeu de test réservé, et les conserver inchangés pour tous les plis, répétitions et tâches spécifiques à une maladie.
    2. Ne pas utiliser les performances sur le jeu de test réservé pour la sélection du modèle ou l'ajustement des hyperparamètres. Pour chaque mini-lot, effectuer trois passes avant en utilisant les masques complet, EEG uniquement et IRMf uniquement, avec des poids de modèle partagés. Lancer l'entraînement de BrainMoE comme suit : python train.py --config configs/brain_moe.json --task --data_dir (Fichier Supplémentaire 6). Définir comme étant depression, anxiety, reading_disorder, autism ou adhd.
  2. Optimiser la perte moyenne de classification à trois états. Calculer la perte d'entropie croisée pondérée par classe Ls pour chaque état selon
    Formule d'équilibre statique en neurosciences ; équation décrivant une méthode d'intégration de données cérébrales multimodales.
    et faire la moyenne des pertes selon
    Équation de perte d'entraînement L_train=(L_complet+L_EEG_uniquement+L_IRMf_uniquement)/3 ; équation de l'étude.
  3. Réinitialiser les gradients, rétropropager et mettre à jour tous les paramètres entraînables avec AdamW.

6. Évaluer les états d'inférence complets et avec modalités manquantes

  1. Méthode d'évaluation : Charger le point de contrôle pour la tâche de maladie sélectionnée et utiliser la liste de fichiers de test enregistrée à partir du même point de contrôle. Utiliser m = [1,1] pour l'inférence complète EEG-fIRM, m = [1,0] pour l'inférence EEG uniquement, et m = [0,1] pour l'inférence fIRM uniquement. Enfin, appliquer la fonction softmax pour obtenir la probabilité de la maladie cible et attribuer la classe de maladie lorsque la probabilité est d'au moins 0,5.
  2. Métriques d'évaluation : Calculer les métriques d'évaluation à partir de la matrice de confusion, où VP désigne les échantillons positifs à la maladie correctement classés comme malades, VN désigne les cas témoins correctement classés comme sains, FP désigne les cas témoins incorrectement classés comme malades, et FN désigne les échantillons positifs à la maladie incorrectement classés comme sains.
    Formule d'équilibre statique, calcul de la précision, équation pour l'analyse des vrais/faux positifs et négatifs.
    Formule de calcul de la sensibilité, équation pour l'analyse du taux de vrais positifs en recherche.
    Formule de spécificité, \( \text{Specificity} = \frac{TN}{TN + FP} \), équation, analyse statistique.
    Formule du score F1 : moyenne harmonique de la précision et de la sensibilité, utilisée en analyse statistique.
    Formule de la précision équilibrée ; équation pour évaluer les performances d'un modèle de classification.
  3. Utiliser la précision pour indiquer le taux global de classification correcte. Utiliser la sensibilité pour quantifier la détection des cas positifs à la maladie et la spécificité pour quantifier l'identification des cas témoins.
  4. Utiliser le score F1 pour résumer l'équilibre entre précision et sensibilité. Utiliser la précision équilibrée pour réduire l'influence du déséquilibre des classes. En outre, calculer l'AUC pour évaluer la discrimination indépendante du seuil à travers différents seuils de décision.
  5. Pour chaque répétition, faire la moyenne de chaque métrique de performance sur les cinq partitions réservées. Présenter les résultats finaux sous forme de la moyenne et de l'écart type des 10 moyennes au niveau des répétitions.
  6. Comparer BrainMoE avec les méthodes de référence. Toutes les méthodes de référence ont utilisé les mêmes partitions au niveau des participants et les mêmes entrées complètes EEG-fIRM que BrainMoE, avec des configurations fixées avant l'évaluation sur les données réservées. BrainMoE a été comparé à chaque méthode de référence à l'aide de tests t appariés bilatéraux avec correction de Holm.

7. Réaliser une attribution par occlusion de nœuds au niveau des groupes pour cinq troubles cérébraux

  1. Définir la cohorte d'attribution. Charger le point de contrôle entraîné de BrainMoE et le fichier contenant les noms des régions DK. Sélectionner les échantillons tests positifs à la maladie qui sont correctement classés dans l'état complet EEG-fMRI avec m = [1,1]. Utiliser cette cohorte pour l'analyse d'attribution au niveau du groupe et enregistrer la probabilité de maladie cible de chaque échantillon à la baseline.
  2. Calculer les scores d'occlusion spécifiques à chaque modalité. Pour l'attribution dérivée de l'EEG, occlure une région d'intérêt (ROI) de l'EEG à la fois en fixant à zéro le vecteur de caractéristiques du nœud EEG sélectionné ainsi que la ligne et la colonne correspondantes du graphe EEG, tout en maintenant inchangé l'entrée fMRI. Pour l'attribution dérivée de la fMRI, appliquer la même opération à la matrice de caractéristiques des nœuds fMRI et au graphe fMRI, tout en maintenant inchangée l'entrée EEG. Répéter cette procédure pour l'ensemble des 68 régions DK. Exécuter l'analyse d'attribution par occlusion des nœuds à l'aide du code fourni dans Supplementary File 7.
  3. Calculer et visualiser les contributions des ROI au niveau du groupe. Pour chaque ROI et chaque modalité, calculer le score de contribution comme la diminution moyenne de la probabilité de maladie cible après occlusion, calculée sur tous les échantillons sélectionnés. Classer les scores dérivés de l'EEG et ceux dérivés de la fMRI séparément, exporter les 10 premiers ROI pour chaque modalité, et indiquer le ROI le mieux classé sur la figure.

Résultats

Performance de BrainMoE selon les troubles et les états de modalité
Le protocole a généré cinq classificateurs BrainMoE spécifiques aux maladies et produit des tableaux de prédiction pour les états d'inférence EEG-fMRI complet, EEG seul et fMRI seul. L'état complet EEG-fMRI a fourni une discrimination constamment élevée dans les cinq tâches, avec des valeurs d'AUC allant de 84,4 ± 3,2 % pour le TI à 88,4 ± 3,8 % pour le TSA (Tableau 1). La performance moyenne pondérée de l'état complet sur les cinq tâches a atteint une AUC de 86,9 ± 3,0 %, une exactitude de 81,4 ± 3,1 %, une exactitude équilibrée de 81,4 ± 2,5 % et un score F1 de 81,2 ± 3,0 %.

Dans les conditions simulées de modalité manquante, BrainMoE a conservé des performances exploitables lorsqu'une modalité d'entrée était masquée. Dans l'état EEG seul, le modèle a atteint une AUC moyenne macro de 83,1 ± 3,7 %, la valeur AUC la plus élevée en mode EEG seul étant observée pour le TDAH, avec 87,9 ± 2,8 %. Dans l'état fMRI seul, l'AUC moyenne macro était de 80,0 ± 3,9 %. Ces plages de performance ainsi que l'avantage attendu en performance dans l'état complet servent de références pratiques pour une mise en œuvre réussie, indiquant que le cadre BrainMoE entraîné peut effectuer des inférences complètes, uniquement à partir de l'EEG ou uniquement à partir de la fMRI, sans nécessiter de modèles distincts pour chaque modalité.

Un résultat sous-optimal typique est l'incapacité à reproduire l'avantage attendu de performance en condition complète, par exemple lorsque la surface sous la courbe (AUC) combinée EEG-fMRI est inférieure à celle de l'EEG seul ou du fMRI seul. En revanche, une mise en œuvre réussie doit reproduire l'avantage de la condition complète ainsi que les plages de performance de référence indiquées dans Tableau 1. Lorsqu'un profil sous-optimal est observé, vérifiez les dimensions d'entrée H5, l'ordre des régions DK, l'attribution du masque de disponibilité des modalités et les partitions sauvegardées de la validation croisée avant d'interpréter la sortie du modèle.

Comparaison comparative
Le modèle BrainMoE proposé a été comparé à des méthodes classiques d'apprentissage automatique (machine à vecteurs de support (SVM) et perceptron multicouche (MLP)), à des méthodes générales d'apprentissage profond (Transformer7, 3D-CNN22 et ResNet6), à des méthodes avancées d'apprentissage profond (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12) et à des méthodes d'apprentissage profond basées sur MoE (dFCExpert17, EvoMoE18, et NeuroMoE++19) (Tableau 2). BrainMoE a obtenu la plus haute AUC moyenne parmi toutes les méthodes comparées, avec 86,9 ± 3,0 %.

Les méthodes classiques d'apprentissage automatique ont montré des performances moyennes inférieures, la SVM atteignant une AUC moyenne de 66,7 ± 4,5 % et le MLP de 64,6 ± 6,3 %. Les méthodes générales d'apprentissage profond ont présenté des performances variables, avec ResNet obtenant une AUC moyenne de 71,0 ± 3,3 % et Transformer de 63,8 ± 4,7 %. Parmi les modèles avancés d'apprentissage profond de référence, BNT, BrainGNN, MultiEpilepsyNet et SZAtt-Net ont surpassé la plupart des méthodes classiques et générales d'apprentissage profond, mais leurs AUC moyennes sont restées inférieures à celle de BrainMoE.

Afin d'apporter un soutien statistique à la comparaison de référence, BrainMoE a été comparé au modèle de base le plus performant pour chaque métrique (Tableau 3). BrainMoE a surpassé NeuroMoE++ en AUC et en précision équilibrée (BA), et SZAtt-Net en score F1 et en précision. Toutes les comparaisons sont restées significatives après ajustement de Holm.

Analyse par sous-groupes selon le sexe et le site d'acquisition
Les caractéristiques propres à chaque cohorte selon la tâche, incluant le nombre d'enregistrements multimodaux conservés, les rapports maladie-témoin, les effectifs uniques de participants, les résumés d'âge, les répartitions selon le sexe et les répartitions selon le site d'acquisition, sont présentés dans le tableau des caractéristiques de la cohorte (Tableau 4). Les rapports maladie-témoin sont calculés à partir du nombre d'enregistrements multimodaux, tandis que les caractéristiques démographiques et celles relatives au site d'acquisition sont résumées au niveau des participants uniques.

Afin d'évaluer les effets potentiels du sexe et du lieu de recrutement, la performance de BrainMoE a été stratifiée selon ces facteurs (Tableau 5). Le sous-groupe masculin présentait une AUC moyenne, une BA, un score F1 et une exactitude plus élevés que le sous-groupe féminin, tandis que les valeurs-p de Welch non ajustées correspondantes variaient entre 0,089 et 0,321. De même, le sous-groupe RUBIC présentait une performance moyenne supérieure à celle du sous-groupe de Staten Island, avec des valeurs-p comprises entre 0,055 et 0,309. Aucune différence significative entre sous-groupes n'a été détectée dans ces analyses.

Analyse d'ablation des composants de BrainMoE
Des expériences d'ablation ont été réalisées afin d'évaluer la contribution du masque d'accessibilité des modalités, du routeur convolutif, de l'expert partagé et de la conception de fusion des experts MoE (Tableau 6). La suppression de l'incorporation du masque a réduit la AUC moyenne à 79,2 ± 3,1 %, et le remplacement du routeur convolutif par un routeur MLP l'a réduite à 79,3 ± 3,7 %. La suppression de l'expert partagé a abaissé la AUC fMRI-exclusive à 73,5 ± 3,3 %, la valeur la plus faible parmi les variantes testées. La suppression de tous les experts MoE a également réduit la précision équilibrée globale à 74,2 ± 3,0 %. Ces résultats d'ablation ont montré que la conception complète de BrainMoE atteignait les performances globales les plus élevées, tant dans les états complets que dans les états avec modalités manquantes, tandis que l'incorporation du masque, le routeur convolutif, l'expert partagé et la fusion des experts MoE contribuaient chacun au comportement final du modèle.

Résultats d'interprétabilité au niveau des régions d'intérêt pour cinq troubles cérébraux
Afin d'examiner les contributions régionales sous-jacentes aux prédictions de BrainMoE, une attribution par occlusion de nœud a été réalisée sur les échantillons correctement classifiés comme positifs pour la maladie dans l'état complet EEG-fMRI. Les contributions des régions d'intérêt (ROI) dérivées de l'EEG et du fMRI ont été classées séparément en mesurant la diminution de la probabilité de la maladie cible après l'occlusion de chaque région de l'atlas DK. L'analyse a révélé des profils de contribution spécifiques à chaque modalité à travers les cinq tâches de maladie (Figure 2). Pour l'attribution dérivée du fMRI, les régions les mieux classées étaient la circonvolution cingulée postérieure gauche dans le TDM, le cortex péri-calcariné droit dans l'ANX, le cortex parahippocampique gauche dans le RI, le pars triangularis droit dans le TSA, et le cortex entorhinal gauche dans le TDAH. Pour l'attribution dérivée de l'EEG, les régions les mieux classées étaient les régions latérales du sillon temporal supérieur gauche dans le TDM, le cortex précentral gauche dans l'ANX, le cunéus gauche dans le RI, le cortex lingual gauche dans le TSA, et l'insula droite dans le TDAH. Les ROI dérivées de l'EEG et du fMRI ayant obtenu les classements les plus élevés pour chaque trouble sont visualisées sur les surfaces corticales dans Figure 3. Ces résultats montrent que BrainMoE fournit une interprétabilité au niveau des ROI tout en conservant des profils d'attribution distincts pour les représentations dérivées de l'EEG et du fMRI. Pour les échantillons correctement classifiés comme positifs pour la maladie, la stabilité inter-plis a été évaluée à l'aide de la fréquence du Top-1 ROI sur 50 plis tenus à l'écart (Table 7). Les fréquences observées variaient entre 36 % et 68 %, dépassant ainsi la référence théorique de sélection aléatoire de 1/68 (1,47 %) et soutenant l'interprétation fondée sur les classements relatifs plutôt que sur les amplitudes absolues des contributions. Des comparaisons avec des résultats neuroimagés antérieurs ont été effectuées a posteriori et utilisées uniquement pour contextualiser les résultats d'attribution, sans servir de validation indépendante.

Schéma de fusion des modalités EEG/fIRM ; expert commun d'état neuronal ; classification du diagnostic des troubles cérébraux.
Figure 1 : Aperçu du cadre BrainMoE avec fusion adaptative EEG-fIRM pour le diagnostic assisté par ordinateur des troubles cérébraux. Les caractéristiques des régions d'intérêt (ROI) EEG et fIRM alignées selon la source sont traitées par des encodeurs de graphes distincts. Les représentations obtenues sont transmises aux experts EEG et fIRM, ainsi qu’au module de routage souple partagé, conjointement avec le masque de disponibilité des modalités. Les représentations modales et la représentation de routage sont fusionnées puis traitées par l'expert commun d'état neuronal. Les trois sorties des experts sont ensuite combinées dans le module de fusion et transmises à la tête de classification du diagnostic afin de produire les probabilités de sujet sain (HC) et de la maladie cible. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Graphiques en barres des contributions des zones d'intérêt cérébrales ; analyse EEO par IRMf pour les troubles : dépression, anxiété, TDAH.
Figure 2 : Analyse des contributions des zones d'intérêt basée sur l'occlusion de nœuds. Les 10 principales contributions des zones d'intérêt (ZI) dérivées de l'EEG et de l'IRMf ont été visualisées pour chaque tâche liée à une maladie, dans l'état complet d'inférence combinant EEG et IRMf. Les panneaux (A–E) montrent respectivement les résultats dérivés de l'IRMf pour le trouble dépressif majeur (TDM), l'anxiété (ANX), l'insomnie résistante (RI), le trouble du spectre de l'autisme (TSA) et le trouble du déficit de l'attention avec hyperactivité (TDAH), tandis que les panneaux (F–J) présentent les résultats correspondants dérivés de l'EEG, dans le même ordre. Seule la ZI classée en première position a été identifiée sur chaque graphique. La contribution d'une ZI est définie comme la diminution de la probabilité de la maladie cible après occlusion de la région correspondante de l'atlas DK. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Schémas d'activation des régions cérébrales ; troubles mentaux TDM, ANX, IR, TSA, TDAH ; analyse cérébrale par IRM.
Figure 3 : Cartes d'interprétabilité au niveau des régions d'intérêt corticales à travers cinq troubles cérébraux. Les panneaux (A–E) montrent respectivement le TDM, l'ANX, l'IR, le TSA et le TDAH. Chaque panneau affiche la région d'intérêt (ROI) dérivée de l'EEG la plus élevée en rouge et la région d'intérêt (ROI) dérivée de l'IRMf la plus élevée en orange sur la surface corticale de Desikan-Killiany. Les couleurs indiquent la modalité plutôt que l'ampleur de la contribution ; par conséquent, aucune échelle quantitative de couleur n'est appliquée. Les préfixes lh et rh désignent respectivement les hémisphères gauche et droit. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Tâche de maladieÉtatAUCPrécisionBAF1SensibilitéSpécificité
MDDComplet88,0 ± 3,2 %84,8 ± 3,7 %82,0 ± 2,3 %76,2 ± 4,1 %72,7 ± 3,0 %91,3 ± 4,7 %
MDDEEG uniquement83,4 ± 3,4 %81,8 ± 4,5 %77,9 ± 3,0 %73,7 ± 3,9 %68,2 ± 2,8 %87,6 ± 4,2 %
MDDfIRM uniquement82,1 ± 3,3 %78,5 ± 4,7 %74,0 ± 4,1 %71,8 ± 4,9 %66,6 ± 3,5 %81,3 ± 5,6 %
ANXComplet85,5 ± 2,5 %76,1 ± 2,4 %78,2 ± 2,0 %79,4 ± 3,3 %78,1 ± 3,6 %78,2 ± 3,1 %
ANXEEG uniquement81,7 ± 3,9 %73,2 ± 3,2 %75,6 ± 3,1 %78,1 ± 3,9 %76,6 ± 3,8 %74,6 ± 4,0 %
ANXfIRM uniquement74,8 ± 4,1 %74,4 ± 3,7 %72,8 ± 3,6 %76,4 ± 4,2 %72,6 ± 3,9 %73,0 ± 4,4 %
RIComplet84,4 ± 3,2 %76,5 ± 3,0 %77,3 ± 2,9 %76,7 ± 2,8 %77,9 ± 3,1 %76,7 ± 3,3 %
RIEEG uniquement80,2 ± 4,0 %71,5 ± 4,4 %73,4 ± 3,5 %73,0 ± 3,4 %73,8 ± 3,9 %72,9 ± 3,3 %
RIfIRM uniquement81,3 ± 4,5 %71,1 ± 3,9 %67,9 ± 3,7 %68,5 ± 3,2 %69,4 ± 4,5 %66,3 ± 4,2 %
ASDComplet88,4 ± 3,8 %79,5 ± 3,5 %81,4 ± 3,0 %81,0 ± 2,8 %83,4 ± 2,9 %79,4 ± 3,0 %
ASDEEG uniquement82,5 ± 4,3 %77,3 ± 4,1 %78,2 ± 3,7 %78,6 ± 3,5 %79,3 ± 3,4 %77,1 ± 4,1 %
ASDfIRM uniquement81,3 ± 4,4 %73,8 ± 3,7 %74,4 ± 3,4 %75,0 ± 3,2 %76,1 ± 4,2 %72,6 ± 4,5 %
TDHAComplet88,2 ± 2,2 %90,3 ± 2,7 %88,4 ± 2,5 %92,8 ± 1,9 %87,0 ± 2,4 %89,7 ± 2,5 %
TDHAEEG uniquement87,9 ± 2,8 %88,1 ± 2,6 %86,4 ± 3,1 %90,2 ± 3,4 %85,1 ± 3,1 %87,7 ± 3,0 %
TDHAfIRM uniquement80,5 ± 3,2 %85,7 ± 3,0 %84,7 ± 3,5 %87,9 ± 4,1 %83,2 ± 3,6 %86,2 ± 3,4 %

Tableau 1 : Performances de la classification BrainMoE sur différentes tâches liées aux maladies et selon la disponibilité des modalités. Performances de BrainMoE pour cinq tâches de classification sain versus maladie, dans des conditions d'inférence combinant EEG et IRMf, EEG seul ou IRMf seul. Les métriques sont indiquées sous forme de moyenne ± écart type et comprennent l'aire sous la courbe de la caractéristique de fonctionnement du récepteur (AUC), la précision, la précision équilibrée (BA), le score F1, la sensibilité et la spécificité.

MéthodeGroupe de méthodeAUC moyenneBA moyenneF1 moyennePrécision moyenne
SVMML classique66,7 ± 4,5 %70,6 ± 3,4 %61,7 ± 5,8 %70,7 ± 4,6 %
MLPML classique64,6 ± 6,3 %63,5 ± 8,2 %64,5 ± 6,1 %64,2 ± 6,2 %
TransformerDL générique63,8 ± 4,7 %64,4 ± 4,8 %65,2 ± 5,1 %66,1 ± 4,9 %
3D-CNNDL générique65,3 ± 4,3 %65,2 ± 4,0 %64,8 ± 4,5 %60,0 ± 4,2 %
ResNetDL générique71,0 ± 3,3 %70,2 ± 3,6 %67,5 ± 3,8 %69,3 ± 3,0 %
BrainNetCNNDL avancé70,2 ± 3,6 %70,9 ± 3,1 %69,2 ± 3,6 %71,2 ± 3,1 %
BNTDL avancé73,6 ± 3,1 %76,4 ± 2,7 %74,7 ± 2,3 %76,6 ± 2,6 %
BrainGNNDL avancé72,4 ± 2,8 %72,7 ± 2,3 %71,0 ± 3,4 %72,3 ± 2,5 %
MultiEpilepsyNetDL avancé78,3 ± 3,7 %75,2 ± 3,5 %76,5 ± 3,6 %77,2 ± 3,3 %
SZAtt-NetDL avancé78,7 ± 3,2 %76,1 ± 3,8 %77,4 ± 3,9 %78,1 ± 3,4 %
dFCExpertDL basé sur MoE80,1 ± 3,2 %77,3 ± 2,9 %76,7 ± 3,1 %77,6 ± 2,9 %
EvoMoEDL basé sur MoE79,6 ± 3,6 %76,2 ± 3,1 %76,2 ± 3,3 %76,5 ± 3,2 %
NeuroMoE++DL basé sur MoE81,5 ± 2,8 %77,9 ± 2,7 %77,1 ± 3,4 %78,0 ± 2,7 %
BrainMoE (nôtre)DL basé sur MoE86,9 ± 3,0 %81,4 ± 2,5 %81,2 ± 3,0 %81,4 ± 3,1 %

Tableau 2 : Performance moyenne de classification de BrainMoE comparée à celle des méthodes classiques d'apprentissage automatique, des modèles génériques d'apprentissage profond et des architectures avancées d'apprentissage profond en imagerie cérébrale. Les résultats sont regroupés selon les tâches d'attribution diagnostique évaluées et présentés comme moyenne ± écart type pour l'AUC, le BA, le score F1 et la précision.

ComparaisonAUC moyenneBA moyenneF1 moyennePrécision moyenne
Meilleure référenceNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
Performance de la meilleure référence81,5 ± 2,8 %77,9 ± 2,7 %77,4 ± 3,9 %78,1 ± 3,4 %
BrainMoE86,9 ± 3,0 %81,4 ± 2,5 %81,2 ± 3,0 %81,4 ± 3,1 %
Différence+5,4+3,5+3,8+3,3
p du test t0,00060,00650,01870,0276
p ajusté par Holm*p < 0,01p < 0,05p < 0,05p < 0,05
dz de Cohen1,631,110,910,83

Tableau 3 : Comparaison de BrainMoE avec le meilleur modèle de référence pour chaque métrique de performance. Les valeurs de p ont été calculées à l'aide de tests t appariés bilatéraux et ajustées selon la procédure de Holm. Cohen's dz désigne la différence appariée standardisée.

CohorteEnregistrements multimodaux (n)Ratio maladie/contrôleParticipants uniques (n)Tranche d'âge (années)Sexe (Homme/Femme)Lieu de recrutement (Staten Island/RUBIC)
HC115--755,02–21,9035/4026/49
MDD520,45:1338,36–19,7314/1915/18
ANX1561,36:1985,53–21,0046/5245/53
RI1411,23:1855,75–19,6647/3839/46
ASD820,71:1515,66–19,7945/627/24
ADHD5554,83:13385,04–21,72241/97136/202

Tableau 4 : Caractéristiques des cohortes d'étude utilisées dans les cinq tâches de classification spécifiques à chaque maladie. Le tableau indique le nombre d'enregistrements multimodaux conservés, les rapports entre maladie et témoins, les effectifs uniques de participants, les caractéristiques démographiques et les répartitions selon les sites d'acquisition.

Sous-groupeNombreAUC moyenneBA moyenneF1 moyennePrécision moyenne
Sexe
Homme70587,2 ± 3,783,4 ± 3,282,1 ± 3,582,5 ± 3,8
Femme39685,6 ± 3,381,2 ± 4,079,7 ± 3,879,6 ± 3,4
Différence+1,6+2,2+2,4+2,9
p de Welch--0,3210,1920,1590,089
Site d'acquisition
RUBIC67487,6 ± 4,083,3 ± 3,182,3 ± 3,783,4 ± 3,5
Staten Island42785,2 ± 3,681,7 ± 3,779,4 ± 3,480,1 ± 3,7
Différence+2,4+1,6+2,9+3,3
p de Welch--0,1760,3090,0850,055

Tableau 5 : Performances de BrainMoE stratifiées par sexe et par site d'acquisition. Les résultats sont exprimés en moyenne ± écart type sur 10 répétitions d'une validation croisée à 5 plis. La différence correspond au premier sous-groupe moins le second, et les valeurs de P ont été obtenues à l'aide de tests t de Welch bilatéraux.

VarianteAUC complèteAUC EEG uniquementAUC IRMf uniquementAUC moyenneBA moyenne
sans intégration de masque83,2 ± 2,9 %79,5 ± 3,9 %76,4 ± 3,7 %79,2 ± 3,1 %76,1 ± 3,4 %
sans routeur Conv84,6 ± 3,6 %80,7 ± 3,5 %78,2 ± 4,2 %81,6 ± 3,3 %75,7 ± 3,1 %
Routeur MLP82,8 ± 2,7 %80,1 ± 4,1 %76,6 ± 4,4 %79,3 ± 3,7 %74,1 ± 3,8 %
sans expert partagé83,3 ± 3,6 %80,8 ± 4,0 %73,5 ± 3,3 %80,1 ± 3,6 %75,5 ± 3,2 %
sans experts MoE81,9 ± 3,3 %78,7 ± 3,6 %78,0 ± 3,8 %80,8 ± 4,1 %74,2 ± 3,0 %
BrainMoE (nôtre)86,9 ± 3,0 %83,1 ± 3,7 %80,0 ± 3,9 %86,9 ± 3,0 %81,4 ± 2,5 %

Tableau 6 : Analyse d'ablation des composants clés de BrainMoE. Résultats d'ablation montrant la contribution du masque de disponibilité des modalités, du routeur convolutif, de l'expert partagé et de la conception de fusion d'experts MoE. Chaque variante est évaluée dans des conditions d'inférence complètes EEG-fIRM, EEG uniquement et fIRM uniquement, la moyenne de l'AUC et la moyenne du BA résumant la performance globale.

MaladieEEG : ROI le plus élevéEEG : fréquence Top-1, n/N (%)fMRI : ROI le plus élevéfMRI : fréquence Top-1, n/N (%)Référence aléatoire (%)
MDDbanche gauche du sillon temporal supérieur22/50 (44 %)cortex cingulaire postérieur gauche25/50 (50 %)1,47
ANXcortex prémoteur gauche18/50 (36 %)cortex péricalcarinien droit21/50 (42 %)1,47
RIcunéus gauche26/50 (52 %)cortex parahippocampique gauche29/50 (58 %)1,47
ASDcortex lingual gauche27/50 (54 %)pars triangularis droit28/50 (56 %)1,47
ADHDinsula droite31/50 (62 %)cortex entorhinal gauche34/50 (68 %)1,47

Tableau 7 : Stabilité inter-plis des régions d'intérêt (ROI) dérivées des EEG et de l'IRMf classées en tête. La fréquence « Top-1 » indique le nombre et le pourcentage d'analyses sur 50 plis pour lesquelles la ROI indiquée a été classée première. La référence théorique de sélection aléatoire était de 1/68 (1,47 %).

Fichier supplémentaire 1 : Script de vérification d'entrée H5. Script Python permettant de vérifier les clés d'entrée H5 requises, les types de données, les étiquettes diagnostiques et les dimensions d'entrée compatibles avec l'atlas DK avant l'entraînement de BrainMoE. Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 2 : script de prétraitement IRMf. Fichiers de configuration et d'exécution de C-PAC utilisés pour le prétraitement des IRMf, incluant la suppression des volumes initiaux, la correction des mouvements et des distorsions, l'inscription et la normalisation, la régression des nuisances, le filtrage temporel et le lissage spatial. Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 3 : Scripts de traitement FreeSurfer. Scripts pour le traitement des données d'IRM structurelle, la coregistration de la parcellisation corticale Desikan-Killiany dans l'espace natif de l'IRMf et l'extraction des signaux d'IRMf au niveau des régions d'intérêt (ROI). Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 4 : Scripts de prétraitement EEG. Scripts MATLAB/EEGLAB utilisés pour le prétraitement des EEG, incluant le filtrage, l'identification et la suppression des composantes d'artefact, ainsi que la re-référence. Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 5 : Script de localisation des sources et d'extraction des caractéristiques sous MNE-Python. Script Python pour la localisation des sources EEG, l'extraction des régions d'intérêt (ROI) selon l'atlas DK, et la génération des caractéristiques EEG au niveau des ROI utilisées comme entrées pour BrainMoE. Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 6 : Code de mise en œuvre de BrainMoE. Code Python et fichiers de configuration pour l'architecture BrainMoE, les encodeurs de graphes, la gestion des modalités-états, le routage et la fusion des experts, l'entraînement du modèle, l'évaluation et les variantes d'ablation. Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 7 : Code d'attribution par occlusion des nœuds. Code Python pour l'analyse d'occlusion des nœuds spécifique aux modalités, le calcul des scores de contribution des zones d'intérêt (ROI), le classement des ROI issues de l'EEG et de l'IRMf, et la génération des résultats d'attribution. Veuillez cliquer ici pour télécharger ce fichier.

Discussion

L'analyse multimodale des signaux cérébraux est devenue une direction importante pour le diagnostic assisté par ordinateur des troubles neurologiques, car l'EEG et l'IRMf fournissent des informations complémentaires sur l'activité neuronale. Dans la comparaison de référence, les méthodes classiques d'apprentissage automatique telles que le SVM et le MLP ont offert des performances diagnostiques de base, mais avaient une capacité limitée à modéliser les interactions hiérarchiques, structurées en graphes et intermodales des caractéristiques. Les modèles génériques d'apprentissage profond, notamment le 3D-CNN, ResNet et le Transformer, offraient une meilleure capacité de modélisation non linéaire, mais ces architectures n'ont pas été spécifiquement conçues pour la fusion EEG-IRMf ou pour les représentations de réseaux cérébraux. Les méthodes avancées d'apprentissage profond ont obtenu de meilleures performances que la plupart des modèles classiques et génériques, mais beaucoup reposent encore sur des stratégies fixes d'intégration des caractéristiques et ne séparent pas explicitement l'information propre à chaque modalité de l'information partagée relative à l'état neuronal.

Cette étude propose BrainMoE pour résoudre ce problème de fusion en combinant des encodeurs de modalités basés sur des graphes, des experts spécifiques à chaque modalité, un expert commun pour l'état neuronal et un mécanisme de routage adaptatif. Cette conception permet de modéliser séparément les représentations dérivées de l'EEG et celles dérivées de l'IRMf, puis de les intégrer par une fusion au niveau des experts. En introduisant des masques d'état de modalité et des jetons pour les modalités manquantes, le même modèle entraîné peut également effectuer des inférences uniquement à partir de l'EEG ou uniquement à partir de l'IRMf, sans avoir à construire des modèles distincts pour chaque condition de modalité manquante. Les résultats expérimentaux montrent que BrainMoE atteint les meilleures performances globales sur les cinq tâches de classification binaire de maladies, tout en conservant des performances exploitables dans les états EEG-seul et IRMf-seul. L'analyse par ablative soutient davantage la contribution de l'intégration des masques, du routeur convolutif, de l'expert partagé et de la fusion d'experts MoE. Ces résultats indiquent que l'amélioration des performances n'est pas due à un composant unique, mais à la conception coordonnée de l'encodage par graphes, de la modélisation de l'état de modalité, du routage adaptatif et de la fusion d'experts.

Étapes critiques du protocole et dépannage
Les étapes critiques du protocole comprennent le maintien du même ordre des 68 régions de DK dans les matrices de nœuds et de graphes pour l'EEG et l'IRMf, l'application des paramètres de prétraitement prédéfinis indépendamment pour chaque participant, et l'application d'une validation croisée au niveau du participant afin que tous les enregistrements d'un même participant restent dans un seul sous-groupe. Le masque de disponibilité des modalités doit également correspondre aux entrées fournies pour chaque état d'inférence.

Si l'inférence échoue ou si l'avantage attendu en termes de performance à état complet n'est pas reproduit, vérifiez d'abord les clés H5 requises, les dimensions des matrices EEG et IRMf, l'ordre des régions DK, l'affectation du masque de disponibilité des modalités et les partitions de validation croisée enregistrées. Les fichiers comportant des clés manquantes, des dimensions non valides ou un ordre de régions incohérent doivent être exclus avant l'entraînement ou l'évaluation. Le cadre peut être adapté à d'autres parcellisations corticales ou représentations de caractéristiques EEG/IRMf, à condition que les deux modalités soient mappées selon un ordre cohérent des régions d'intérêt et que les dimensions d'entrée du modèle correspondantes soient ajustées. La tête de classification spécifique à une maladie peut également être adaptée à d'autres tâches de classification binaire tout en conservant le cadre de codage par graphes et de fusion d'experts. De telles modifications nécessitent un nouvel entraînement et une nouvelle validation, plutôt qu'une application directe des modèles décrits ici.

Analyse d'interprétabilité basée sur l'occlusion de nœuds
L'analyse par occlusion de nœuds a permis une interprétabilité au niveau des régions d'intérêt (ROI), mettant en évidence les ROI les plus fortement associées aux maladies, comme illustré dans la Figure 3. La ROI postérieure gauche dérivée de l'EEG identifiée par BrainMoE est conforme à des preuves antérieures issues d'une méta-analyse basée sur les voxels23, qui signalaient une activité cérébrale intrinsèque altérée dans les régions corticales postérieures chez les patients souffrant de trouble dépressif majeur (MDD). Les ROI précentrale gauche dérivée de l'EEG/fIRM et péri-calcarinée droite sont cohérentes avec des données neuroimagées antérieures concernant les troubles anxieux : une méta-analyse sur l'épaisseur corticale24 a rapporté une augmentation de l'épaisseur corticale dans le gyrus précentral gauche chez les patients présentant des troubles anxieux, tandis qu'une étude sur les réseaux de covariance structurelle25 dans le trouble d'anxiété sociale a mis en évidence une centralité nodale anormale impliquant le cortex péri-calcariné droit. Pour le trouble de la lecture, la ROI de la cuuneus gauche dérivée de l'EEG est conforme à une étude sur la connectivité cérébrale globale26 qui signalait une connectivité altérée de la cuuneus gauche chez les personnes dyslexiques, tandis que la ROI para-hippocampique gauche dérivée de l'IRMf est cohérente avec une autre étude27 rapportant un couplage anormal entre le cortex para-hippocampique et l'hippocampe chez des adolescents présentant des déficits spécifiques de compréhension en lecture. Dans la tâche portant sur le trouble du spectre de l'autisme, la ROI linguale gauche mise en évidence par l'attribution dérivée de l'EEG rejoint des preuves antérieures d'IRMf en état de repos28 montrant une homogénéité réduite des régions locales (ReHo) dans le gyrus linguale gauche chez des garçons prépubères atteints de TSA. La ROI pars triangularis droite dérivée de l'IRMf est également biologiquement plausible, puisqu'une activité fractionnelle à basse fréquence (ALFF) altérée dans la pars triangularis droite du gyrus frontal inférieur a déjà été rapportée29 chez des enfants autistes. Pour le TDAH, la ROI de l'insula droite dérivée de l'EEG est en accord avec des preuves d'IRM structurelle30 montrant un volume réduit de l'insula antérieure chez les jeunes atteints de TDAH, en particulier au niveau du gyrus court insulaire droit. La ROI entorhinale gauche dérivée de l'IRMf pourrait refléter une découverte plus spécifique à un sous-type, une étude distincte publiée dans Psychological Medicine31 ayant rapporté un volume réduit du cortex entorhinal gauche dans un sous-groupe TDAH-C après correction FDR. Ces résultats doivent néanmoins être interprétés en tenant compte de la dépendance interrégionale, car des signaux ROI corrélés peuvent empêcher l'occlusion d'un seul nœud d'isoler complètement la contribution d'une région individuelle et conduire à des estimations conservatrices.

Limites et perspectives futures
Bien qu'une validation croisée répétée 5 fois ait été utilisée pour obtenir des estimations internes de performance, des études futures utilisant une validation croisée imbriquée ou une validation externe indépendante renforceraient davantage l'évaluation de la stabilité de la sélection du modèle et de sa généralisabilité. Étant donné que les sorties EEG seul et IRMf seul ont été générées en masquant une modalité dans des enregistrements multimodaux complets et n'ont pas été évaluées sur une cohorte externe de validation, des études futures devraient inclure des cohortes externes de validation à modalité unique afin d'évaluer la généralisabilité. Une autre limitation réside dans le fait que la conception saine versus maladie unique ne tient pas compte des présentations comorbides, ce qui limite la généralisabilité clinique et justifie des études futures sur la classification multi-étiquette et le diagnostic différentiel. Des travaux futurs pourraient également évaluer la robustesse des associations au niveau source de l'EEG en utilisant des estimateurs de connectivité sensibles aux fuites. Bien que la parcellisation commune de DK fournisse une interface anatomiquement fondée pour la fusion multimodale, il s'agit d'une hypothèse de modélisation qui pourrait ne pas rendre pleinement compte des différences spécifiques à chaque modalité en termes de résolution temporelle et d'origine physiologique. Au-delà des cinq troubles évalués ici, ce cadre pourrait être adapté à d'autres tâches de classification neurologique ou psychiatrique impliquant des données cérébrales multimodales anatomiquement alignées, et étendu à des applications multi-étiquette ou de diagnostic différentiel.

Conclusion
En résumé, BrainMoE fournit un cadre pratique et interprétable pour la fusion EEG-fIRM dans le diagnostic assisté par ordinateur des troubles cérébraux. Son principal avantage réside dans l'intégration adaptative des caractéristiques multimodales, pilotée par une architecture multi-experts et un mécanisme de routage souple qui équilibre dynamiquement les informations spécifiques à chaque modalité et les informations partagées. De plus, en intégrant de manière transparente des masques d'état de modalité et des jetons pour modalités manquantes, le même modèle entraîné atteint des performances robustes lors de l'inférence avec modalités incomplètes, sans nécessiter de configurations distinctes. De façon cruciale, le cadre interprétable fournit des voies d'attribution régionales transparentes au niveau du groupe pour cinq troubles cérébraux distincts, transformant ainsi l'architecture traditionnelle de type « boîte noire » en un outil fondé sur des bases physiologiques pour le diagnostic assisté par ordinateur. Ceci est important pour les futurs flux de travail en neuroimagerie computationnelle, dans lesquels des sources de données hétérogènes, la disponibilité partielle des modalités et la nécessité de sorties explicables des modèles sont des considérations centrales.

Déclarations de divulgation

Les auteurs déclarent qu’ils n’ont aucun conflit d’intérêts. Les auteurs déclarent qu’aucun outil d’intelligence artificielle générative n’a été utilisé pour la préparation de ce manuscrit, de son code, de l’analyse des données ou de la création des graphiques.

Remerciements

Cette recherche a été financée par la Fondation nationale des sciences naturelles de Chine dans le cadre des subventions nos 62433002, 62277001 et U25A20446, par le projet de construction et de soutien pour des équipes innovantes de haut niveau des institutions municipales de Pékin dans le cadre de la subvention no BPHR20220104, et par le programme Beijing Scholars dans le cadre de la subvention no 099.

Matériaux

Liste des matériaux utilisés dans cet article
NomEntrepriseNuméro de catalogueCommentaires
BashProjet GNU5.1.16(1)-releaseLogiciel
C-PACFCP-INDIVersion 1.8.7 ; étiquette du conteneur release-v1.8.7.dev1Logiciel
CUDA ToolkitSociété NVIDIAVersion 12.4Logiciel
GPU compatible CUDASociété NVIDIAGeForce RTX 4060 Laptop GPUÉquipement
Atlas cortical de Desikan-KillianyFreeSurfer, Centre Athinoula A. Martinos pour l’imagerie biomédicale, Hôpital général du Massachusettsaparc ; 68 régions corticales (RRID:SCR_001847)Atlas/ressource
EEGLABSwartz Center for Computational Neuroscience, Université de Californie à San DiegoVersion 2022.1 (RRID:SCR_007292)Logiciel
FreeSurferCentre Athinoula A. Martinos pour l’imagerie biomédicale, Hôpital général du MassachusettsVersion 7.4.1 (RRID:SCR_001847)Logiciel
FSLFMRIB, Université d’OxfordInclus dans C-PAC 1.8.7 ; version exacte non précisée (RRID:SCR_002823)Logiciel
Jeu de données Healthy Brain Network (HBN)Institut Child MindRRID:SCR_016989Jeu de données
MATLABMathWorksR2022a (RRID:SCR_001622)Logiciel
MNE-PythonÉquipe de développement de MNE-PythonVersion 1.9 (RRID:SCR_005972)Logiciel/bibliothèque
PythonFondation Python Software FoundationVersion 3.12.4 (RRID:SCR_008394)Logiciel
PyTorchFondation PyTorchVersion 2.6.0+cu124 (RRID:SCR_018536)Bibliothèque

Références

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Réimpressions et autorisations

Explorer plus d’articles

Fusion EEG-IRMfimagerie cérébrale multimodalediagnostic assisté par ordinateurencodeurs de graphescartes d'attribution des ROIexpert d'état neuralmasques d'état de modalitéanalyse d'occlusion de nœuds

Cet article a été publié

Vidéo bientôt disponible

Contactez-nous
Recommander à la bibliothèque

Confidentialité

Conditions d’utilisation

Politiques

Copyright © 2026 MyJoVE Corporation. Tous droits réservés.