Methodenartikel

Mixture-of-Experts elektro-encefalografie-functionele magnetische resonantiebeeldvorming fusie voor interpreteerbare computerondersteunde diagnose van hersenaandoeningen

89 weergaven

⸱

DOI:

10.3791/73432

⸱

25 september 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

In dit artikel

Samenvatting

Dit protocol presenteert Brain Mixture-of-Experts, een adaptief en interpreteerbaar fusiekader voor elektro-encefalografie en functionele magnetische resonantiebeeldvorming (EEG-fMRI) voor computerondersteunde diagnose van hersenaandoeningen. De methode integreert heterogene EEG- en fMRI-representaties via modaliteitsspecifieke experts, een gedeelde neurale-toestandsexpert en adaptieve routering, terwijl de interpreteerbaarheid en inferentie onder gesimuleerde omstandigheden van ontbrekende modaliteiten behouden blijven.

Samenvatting

Elektro-encefalografie (EEG) en functionele magnetische resonantie-imaging (fMRI) bieden complementaire informatie over de hersenfunctie en hebben aanzienlijke potentie getoond bij het detecteren van functionele abnormaliteiten bij diverse hersenaandoeningen. De verschillende signaalkenmerken en uiteenlopende representatieruimtes van EEG en fMRI vormen echter ernstige uitdagingen voor een effectieve multimodale fusie, waardoor een nauwkeurige computerondersteunde diagnose van hersenaandoeningen met conventionele vaste modellen wordt belemmerd. Deze studie presenteert Brain Mixture-of-Experts (BrainMoE), een adaptief en interpreteerbaar EEG-fMRI-fusieframe-werk voor computerondersteunde diagnose van hersenaandoeningen, dat multimodale hersenkenmerken integreert via modaliteitsspecifieke experts, een gedeelde neurale-status-expert en een adaptief routeringsmechanisme. BrainMoE projecteert EEG- en fMRI-signalen eerst in een uniforme Desikan-Killiany (DK) atlas region-of-interest (ROI) ruimte, en gebruikt vervolgens graaf-encoders om modaliteitsspecifieke representaties van hersennetwerken te extraheren. De soft-routingmodule produceert een routeringsrepresentatie, en de Expert Gate in de Fuse Module genereert monster-specifieke gewichten om de representaties van de EEG-, fMRI- en gedeelde neurale-status-expert te combineren. Om scenario's met onvolledige acquisitie te behandelen, zijn modaliteits-statusmasks en tokens voor ontbrekende modaliteiten geïntegreerd, waardoor hetzelfde getrainde model volledige EEG-fMRI-, alleen-EEG- en alleen-fMRI-inferentie kan uitvoeren. Ten slotte biedt node-occlusieanalyse ROI-niveau attributiekaarten voor zowel EEG- als fMRI-afgeleide voorspellingen. Het raamwerk werd geëvalueerd op de Healthy Brain Network (HBN) dataset over vijf binaire classificatietaken voor hersenaandoeningen, waaronder een depressieve stoornis, angststoornis, leesstoornis, autismespectrumstoornis en attention-deficit/hyperactivity disorder. BrainMoE presteerde beter dan state-of-the-art vergelijkingsalgoritmen, met een gemiddelde AUC van 86,9 ± 3,0%, en ablatie-experimenten ondersteunden de bijdrage van de routerings- en expert-fusiecomponenten. Bovendien identificeert de interpreteerbaarheidsanalyse ROI-bijdragen op groepsniveau aan de ziekteclassificatie die consistent zijn met eerder gerapporteerde neuro-imagingbevindingen. Deze methode ondersteunt de computerondersteunde diagnose van hersenaandoeningen door de uitdaging van het integreren van heterogene EEG-fMRI neurale representaties aan te pakken, terwijl de interpreteerbaarheid en inferentie onder gesimuleerde omstandigheden van ontbrekende modaliteiten behouden blijven.

Inleiding

Hersenaandoeningen gaan gepaard met complexe veranderingen in de neurale activiteit en de organisatie van hersennetwerken die moeilijk te karakteriseren zijn met een enkele beeldgevingsmodaliteit1. Na bronreconstructie2 biedt EEG elektrofysiologische (EEG) activiteit op regioniveau, terwijl functionele magnetische resonantiebeeldvorming (fMRI) functionele connectiviteit op regioniveau vastlegt, wat complementaire inzichten in de hersenfunctie biedt. Om hun integratie te vergemakkelijken, is in eerder multimodaal werk beide modaliteiten in kaart gebracht op de 68-regio Desikan-Killiany (DK) atlas3. Hoewel deze ruimtelijke correspondentie geen equivalentie in temporele resolutie of fysiologische oorsprong impliceert, biedt het een uniforme anatomische index voor graph-fusie op knooppuntniveau, vaste graph-dimensies en een consistente interpretatie op region-of-interest (ROI) niveau, terwijl modaliteitsspecifieke informatie behouden blijft. Het integreren van deze anatomisch uitgelijnde maar modaliteitsspecifieke representaties kan de ziektegerelateerde representaties van hersensignalen verrijken en computerondersteunde diagnose van hersenaandoeningen ondersteunen3,4.

Ondanks het potentieel van EEG-fMRI-fusie voor computerondersteunde diagnose van hersenaandoeningen, vormt de heterogeniteit tussen de twee modaliteiten een technische uitdaging voor hun effectieve integratie. Klassieke methoden voor machine learning, zoals SVM en MLP, kunnen baseline-classificatiemodellen leveren, maar hebben een beperkt vermogen om niet-lineaire cross-modale interacties vast te leggen. Generieke deep learning-modellen, waaronder GNN5, ResNet6 en Transformer7 architecturen, bieden een sterker representatie-leren, maar zijn niet specifiek ontworpen voor hersengrafen op ROI-niveau of modaliteitsstatus-modellering. Recente geavanceerde modellen3,8,9 hebben de niet-lineaire complexiteit verhoogd om hersennetwerken beter te modelleren. BrainNetCNN8 werd geïntroduceerd om convolutionele operaties aan te passen aan connectiviteitsmatrices van de hersenen; BrainGNN9 modelleerde vervolgens de graftopologie op ROI-niveau met behulp van graph neural networks en pooling; en BNT10 versterkte later de functionele analyse van hersennetwerken met transformer-gebaseerde multi-level attention. Deze vorderingen werden echter nog hoofdzakelijk ontwikkeld voor single-modality instellingen. MultiEpilepsyNet11 breidde vervolgens multimodaal leren uit naar EEG-MRI-detectie van epileptische aanvallen via een gefedereerd hybride framework, waarbij de EpiSkullNet++ module aan de MRI-zijde de hersensegmentatie en preprocessing verbeterde. SZAtt-Net12 ontwikkelde vervolgens een multimodaal classificatiemodel voor schizofrenie door CNN-, BiGRU- en MLP-blokken te combineren met kanaal-, zelf-, ruimtelijke en temporele attention-mechanismen. Deze methoden bleven echter taakspecifiek en vertrouwden op relatief vaste fusie-ontwerpen, zonder expliciete ondersteuning voor adaptieve routing over volledige en ontbrekende modaliteitsstatussen.

Mixture-of-Experts (MoE)-modellen13,14 worden in toenemende mate toegepast in multimodaal leren, omdat ze het mogelijk maken om heterogene informatiebronnen te verwerken via gespecialiseerde expertmodules en deze dynamisch te combineren door middel van routingmechanismen. Softmax-gating levert input-afhankelijke genormaliseerde expertgewichten en is theoretisch gekenmerkt in termen van convergentiesnelheden15. Verwante multi-gate architecturen hebben verder aangetoond dat afzonderlijke gates taakafhankelijke combinaties van gedeelde experts kunnen leren bij grootschalig multi-task leren16. In neurowetenschappelijk onderzoek en hersenstudies zijn MoE-varianten17,18,19 steeds vaker gebruikt om heterogene featurefusie te faciliteren. dFCExpert17 maakte gebruik van modulariteit en statusgebaseerde experts om dynamische functionele connectiviteitspatronen uit fMRI te modelleren. EvoMoE18 gebruikte daarnaast een gating-netwerk om geschikte experts te selecteren voor gebruiker-onafhankelijke SSVEP-EEG-classificatie. NeuroMoE++19 onderzocht patiënt-adaptieve multimodale fusie voor de classificatie van neurologische aandoeningen. Ondanks hun succes vertrouwen deze modellen over het algemeen op grofmazige menging en discrete routing die de sterk gesynchroniseerde aard van cross-modale neurale toestanden negeren, wat de detectie van subtiele maar informatieve patronen die cruciaal zijn voor de diagnose van hersenaandoeningen belemmert. Bovendien bieden deze modellen, zonder een specifiek mechanisme om modaliteitspecifieke nuances te ontwarren van een uniforme gedeelde neurale toestand, beperkte interpreteerbaarheid en lijden ze onder prestatievermindering wanneer een cruciale modaliteit (fMRI of EEG) ontbreekt.

Om deze beperkingen aan te pakken, presenteert deze studie Brain Mixture-of-Experts (BrainMoE), een adaptief en interpreteerbaar EEG-fMRI-fusiekader voor computerondersteunde diagnostiek van vijf categorieën hersenaandoeningen, waaronder depressieve stoornis (MDD), angststoornis (ANX), specifieke leerstoornis met leesproblemen (RI), autismespectrumstoornis (ASD) en attention-deficit/hyperactivity disorder (ADHD). Het protocol lijnt eerst bron-gereconstrueerde EEG- en fMRI-kenmerken uit met de ROI-ruimte van de DK-atlas20 en construeert vervolgens op grafen gebaseerde modaliteitsrepresentaties voor beide modaliteiten. BrainMoE maakt gebruik van een EEG-expert, een fMRI-expert en een gedeelde neurale-toestands-expert, die worden geïntegreerd door een soft routing-module om modaliteitsspecifieke en gedeelde informatie te combineren. Modaliteitstoestandsmaskers en tokens voor ontbrekende modaliteiten zijn opgenomen om volledige EEG-fMRI, alleen-EEG en alleen-fMRI inferentie binnen één getraind model mogelijk te maken. Om biologische interpreteerbaarheid te ondersteunen, past het protocol verder node-occlusieanalyse toe, waarbij elke DK-atlas ROI selectief wordt gemaskeerd en de resulterende verandering in de waarschijnlijkheid van ziektevoorspelling wordt gebruikt om de regionale bijdragen afgeleid van EEG en fMRI te schatten. Dit protocol beschrijft de volledige workflow voor data-uitlijning, modelconstructie, training, evaluatie en ROI-interpretatie op basis van node-occlusie, waardoor een adaptieve en interpreteerbare strategie wordt geboden voor computerondersteunde diagnostiek van hersenaandoeningen via heterogene EEG-fMRI-hersensignaalfusie. Om reproduceerbaarheid en toekomstige uitbreidingen te faciliteren, biedt de openbare GitHub-repository de BrainMoE-model-, trainings- en evaluatiecode, terwijl de EEG- en fMRI-preprocessing werden uitgevoerd met publiek beschikbare software van derden. De repository is beschikbaar op https://github.com/zhongruizhe123/BrainMoE.

Protocol

Deze studie maakte gebruik van gedeïdentificeerde gegevens uit de Healthy Brain Network (HBN) database21, waarbij de focus lag op vijf verschillende klinische stoornissen voor stroomafwaartse diagnostische classificatietaken. Ethische goedkeuring en schriftelijke geïnformeerde toestemming waren vooraf verkregen door het HBN-initiatief van alle deelnemende locaties en proefpersonen. EEG- en fMRI-opnames werden verzameld in afzonderlijke sessies in plaats van simultaan en werden gekoppeld met behulp van de deelnemer- en sessie-identificatoren die beschikbaar zijn in HBN.

1. Bereid de computationele omgeving en de inputgegevens voor

  1. Configureer de computeromgeving
    1. Maak een virtuele Python 3.12.4-omgeving aan en activeer deze: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Installeer de vereiste pakketten en hun vaste versies met behulp van het bijgevoegde requirements.txt-bestand in de openbare GitHub-repository: pip install -r requirements.txt
    3. Verifieer de PyTorch- en CUDA-configuratie vóór het trainen: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Bevestig dat de uitvoer PyTorch 2.6.0+cu124, CUDA 12.4 rapporteert en dat de CUDA-beschikbaarheid True is. Voer de modeltraining uit met een CUDA-compatibele GPU.
  2. Inspecteer alle H5-invoerbestanden vóór de modeltraining.
    1. Bevestig dat elk bestand sLORETA_mean_func bevat voor EEG-knooppuntkenmerken, sLORETA_mean_CorrMatrix voor de EEG-graaf, fMRI-DK68-node-mat voor fMRI-knooppuntkenmerken, fMRI-DK68-edge-mat voor de fMRI-graaf en een label voor de diagnose. Sluit bestanden uit met ontbrekende sleutels, niet-numerieke invoeren, ongeldige labels of dimensies die inconsistent zijn met de 68-regio Desikan-Killiany-atlas. Voer het H5-invoercontrolescript als volgt uit: python checkH5.py (Aanvullend Bestand 1).

2. EEG- en fMRI-kenmerken uitlijnen in een gedeelde anatomische ruimte

  1. Voorbewerking van fMRI-gegevens.
    1. Verwerk de fMRI-gegevens met C-PAC (versie 1.8.7). Voer het C-PAC-preprocessing-script als volgt uit: bash run_cpac_brainmoe.sh (Aanvullend bestand 2)Verwerp de eerste vijf volumes om de initiële effecten van het niet-stationaire signaal te verminderen.
    2. Voer slice-timing correctie, bewegingscorrectie, distortiecorrectie, registratie, normalisatie naar de MNI152 anatomische ruimte en ruimtelijke smoothing uit. Regresseer 24 bewegingsgerelateerde nuisance parameters.
    3. Pas temporele banddoorlaatfiltratie toe bij 0,01-0,08 Hz.
  2. Genereer atlas-uitgelijnde fMRI-kenmerken.
    1. Verwerk de overeenkomstige structurele MRI met FreeSurfer (versie 7.4.1). Voer de scripts als volgt uit: bash Step01_mgz_2_nifti.sh. Coregistreer de resulterende Desikan-Killiany corticale parcellatie naar de eigen fMRI-ruimte van de deelnemer. Voer de scripts als volgt uit: python Step02_CoRegistration.py. Bereken het gemiddelde voxelgewijze signaal binnen elk van de 68 corticale regio's. Voer de scripts als volgt uit: python Step03_fMRI_Signal_Extraction.py (Aanvullend bestand 3).
    2. Behoud 370 opeenvolgende fMRI-tijdspunten zonder temporele padding om een fMRI-node-featurematrix van 68 x 370 te verkrijgen, waarbij 68 staat voor de corticale regio's van DK en 370 staat voor de behouden fMRI-tijdspunten.
  3. Construeer de fMRI-graaf.
    1. Bereken de Pearson-correlaties tussen de tijdreeksen van 370 punten van de 68 DK-regio's. Sla de resulterende 68 x 68 functionele connectiviteitsmatrix op als de fMRI-edge-matrix.
  4. Voorbewerking van EEG-gegevens.
    1. Verwerk de EEG-opnames met 129 kanalen met behulp van de EEGLAB-toolbox (versie 2022.1) in MATLAB (versie R2022a). Voer de twee EEGLAB-preprocessing-scripts sequentieel als volgt uit: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Aanvullend bestand 4)Houd de bemonsteringsfrequentie van 500 Hz aan en pas een banddoorlaatfilter van 0,2–40 Hz toe. Identificeer ruisige segmenten en defecte elektroden, en interpoleer slechte kanalen met behulp van het gemiddelde signaal van aangrenzende elektroden.
    2. Gebruik onafhankelijke componentanalyse met de ICLabel-plugin om onafhankelijke componenten te classificeren. Verwijder componenten met een classificatiekans voor oog- of spierartefacten die groter is dan 0,90. Pas gemiddelde herreferentie toe. Sluit opnamen uit die na voorbewerking en artefactverwijdering minder dan 250 s bruikbare gegevens bevatten.
  5. Genereer atlas-uitgelijnde EEG-kenmerken.
    1. Construeer een geïndividualiseerd drie-laags Boundary Element Method (BEM) hoofdmodel op basis van de structurele MRI van elke deelnemer. Definieer de bronruimte op het individuele corticale oppervlak van elke deelnemer. Registreer de posities van de EEG-elektroden op het BEM-oppervlak en bereken de lead-field matrix.
    2. Pas een inverse operator toe die is geregulariseerd met behulp van de baseline ruiscovariantie-matrix. Stel de signaal-ruisverhouding in op 3,0, wat resulteert in λ2 = 1/SNR2 = 1/9 (approximately 0,1111), en voer bronlokalisatie uit met behulp van standardized low-resolution electromagnetic tomography (sLORETA), geïmplementeerd in MNE-Python (versie 1.9).
    3. Aggregateer de bronschattingen per vertex binnen elk Desikan-Killiany-perceel middels rekenkundig middelen om 68 tijdreeksen op ROI-niveau te verkrijgen. Behoud het eerste continue segment van 250 s en verdeel elke ROI-tijdreeks in 250 opeenvolgende, niet-overlappende epochs van 1 s.
    4. Bereken het vermogen van de alfaband bij 8–12 Hz binnen elke epoch om een EEG-knooppuntkenmerkenmatrix van 68 x 250 te verkrijgen, waarbij 68 staat voor de corticale regio's van DK en 250 staat voor de 250 opeenvolgende, niet-overlappende epochs van 1 s.
  6. Construeer de EEG-graaf en verifieer de cross-modale uitlijning.
    1. Bereken de Pearson-correlaties tussen de 250 epoch 8–12 Hz alfa-vermogensreeksen van de 68 DK-regio's. Sla de resulterende 68 x 68 matrix op als de EEG-graaf.
    2. Bevestig dat de EEG- en fMRI-matrices dezelfde volgorde van DK-regio's gebruiken en dat hetzelfde DK-regio-indexbestand wordt gebruikt voor modelinput, attributie en visualisatie. Voer het MNE-Python-script voor bronlokalisatie en kenmerkextractie als volgt uit: python "Extract features - templates.py" (Aanvullend bestand 5).
  7. Normaliseer de node-kenmerken binnen elk monster.
    1. Pas knoopgewijze z-score normalisatie toe op de feature-matrices van de EEG- en fMRI-knopen. Behoud de graafmatrices als connectiviteitsinputs en pas graafnormalisatie toe binnen het BrainMoE-model.
    2. Voer de preprocessing van EEG en fMRI onafhankelijk uit voor elke deelnemer met vaste instellingen, zonder informatie uit de cross-validatiefolds te gebruiken voor het bepalen van de preprocessingparameters.

3. Ziekte-specifieke binaire classificatietaken construeren

  1. Definieer vijf ziekte-specifieke binaire classificatietaken.
    1. Codeer gezonde controles (HC) als klasse 0 in alle taken en codeer alleen de geselecteerde ziektegroep als klasse 1 binnen de eigen taak.
    2. Stel afzonderlijke taken op voor gezond-versus-ziekte voor depressie, angststoornis, neuro-ontwikkelingsstoornis met specifieke leerstoornis en leesproblemen, autisme spectrumstoornis en aandachtstekortstoornis met hyperactiviteit (ADHD).
  2. Karakteriseer de onderzoekscohorten en onderzoek potentiële effecten van geslacht en acquisitieplaats.
    1. Neem voor elke ziekte-specifieke taak HBN-deelnemers op met volledige EEG-, fMRI- en structurele magnetische resonantiebeelden (sMRI) en een geldig diagnostisch label. Sluit deelnemers met comorbide diagnoses uit de ziekte-positieve cohorten uit. Sluit EEG-opnamen uit die na preprocessing en artefactverwijdering minder dan 250 s bruikbare gegevens bevatten, en behoud alleen de invoerbestanden die voldeden aan de kwaliteitscontrolecriteria beschreven in sectie 1.2.
    2. Vat het aantal behouden multimodale dossiers en unieke deelnemers, de ziekte-controleverhoudingen, leeftijdstermijnen, geslachtsverdelingen en de verdeling van acquisitieplaatsen voor de gedeelde HC-cohort en elke ziektecohort samen in Tabel 4.
      OPMERKING: Dezelfde HC-cohort is hergebruikt als klasse 0 in alle vijf de taken, waardoor schattingen van de prestaties op taakniveau statistisch niet onafhankelijk zijn. Deze afhankelijkheid komt voort uit de gedeelde HC-cohort en niet uit overlap tussen ziektegroepen.
    3. Stratificeer de prestaties naar geslacht en acquisitieplaats en vergelijk de resulterende waarden met tweezijdige Welch t-toetsen over de herhaalde 5-voudige cross-validatierondes.
  3. Selecteer taakspecifieke H5-bestanden en definieer cross-validatie-splitsingen.
    1. Behoud voor elke taak alleen de HC en de doelziektegroep. Genereer 10 herhalingen van 5-voudige cross-validatie op deelnemerniveau. Stratificeer unieke deelnemers op basis van het binaire klasselabel, HC versus de doelziekte, om de klassedistributie over de folds te behouden.
    2. Gebruik de unieke deelnemer-identificatie als groeperingsvariabele en wijs alle sessies en multimodale dossiers van dezelfde deelnemer toe aan dezelfde fold. Gebruik respectievelijk random seeds 1–10 om de 10 herhaalde cross-validatiepartities te genereren. Gebruik een vaste random seed van 1 voor modelinitialisatie en training.
    3. Reserveer de uitgesloten fold exclusief voor de uiteindelijke evaluatie en sla de deelnemer-identificaties, bestandslijsten en partitie-indices voor elke fold op bij het bijbehorende checkpoint. Bereken voor elke trainingsfold klassengewichten uit de trainingslabels en gebruik deze in de cross-entropy loss om bias veroorzaakt door klasse-onbalans te verminderen.

4. Bouw de BrainMoE-architectuur voor computerondersteunde diagnose van hersenaandoeningen

OPMERKING: De BrainMoE-architectuur is ontworpen als een compact fusie-framework voor EEG-fMRI bij ontbrekende modaliteiten, dat een graafencoder, gedeelde neurale-toestand soft routing en expertgebaseerde kenmerkintegratie combineert voor ziektespecifieke binaire diagnostiek. De algehele architectuur wordt getoond in Figuur 1, en de implementatiecode is beschikbaar in Aanvullend bestand 6.

  1. Definieer de BrainMoE-inputs en modaliteitsstatussen. Gebruik de EEG-modaliteit en fMRI-modaliteit na source-space alignment als gepaarde graaf-inputs. Hierbij staat X voor een regionale kenmerkmatrix, A voor een modaliteitsspecifieke hersengraaf, en elke rij correspondeert met een van de 68 Desikan-Killiany regio's.
    Statisch evenwicht, ΣFx=0, wiskundige matrixrepresentatie, vergelijkingen voor balansanalyse.
    MRI-datavergelijkingen, X_MRI ∈ R^(68×370), A_MRI ∈ R^(68×68), formule voor matrixrepresentatie.
    Definieer het Modaliteitsbeschikbaarheidsmasker als m = [mEEG, mfMRI]. Gebruik m = [1,1] voor volledige EEG-fMRI input, m = [1,0] voor enkel EEG-input, en m = [0,1] voor enkel fMRI-input.
  2. Graaf-encoder: Voer voor elke modaliteit q, waarbij q EEG of fMRI is, de kenmerkmatrix Xq en graaf Aq in de bijbehorende modaliteitsspecifieke Graaf-Encoder. De encoder is een trainbare neurale module die node-projectie, graph message passing, normalisatie, activatie en dropout (p=0,3) bevat.
    Graafcoderingvergelijking voor neurologische dataintegratie met EEG, fMRI-parameters.
    OPMERKING: In deze notatie is Zq de latente representatie op ROI-niveau, geproduceerd door de EEG Graaf-Encoder of de fMRI Graaf-Encoder. De EEG Graaf-Encoder mapt elke 68 x 250 inputmatrix naar een 68 x 128 latente representatie, terwijl de fMRI Graaf-Encoder elke 68 x 370 inputmatrix mapt naar een 68 x 128 latente representatie. Elke encoder maakt gebruik van een input-projectie gevolgd door twee residuele graaf-convolutielagen met 128 verborgen dimensies, GELU-activatie, laagnormalisatie en dropout.
  3. Trainbare tokens voor ontbrekende modaliteiten: Laat Tq de token voor modaliteit q zijn en mq de overeenkomstige beschikbaarheidsindicator. Deze stap produceert een statusbewuste representatie die dezelfde layout van 68 regio's behoudt bij zowel volledige als enkelvoudige modaliteitsinputs.
    Vergelijking in neuraal datafusiediagram; EEG, fMRI-analyse integratieformule met wegingsfactor.
    OPMERKING: Elke trainbare token voor ontbrekende modaliteiten is een 128-dimensionale vector en wordt uitgebreid over de 68 ROI-rijen wanneer de betreffende modaliteit niet beschikbaar is.
  4. Gedeelde Neurale Status Soft-Routing Module: Combineer eerst de statusbewuste EEG-representatie ZEEG, de statusbewuste fMRI-representatie ZfMRI en het ingebedde Modaliteitsbeschikbaarheidsmasker. Het Modaliteitsbeschikbaarheidsmasker wordt ingebed door een MLP met dimensies 2 → 128, GELU-activatie en laagnormalisatie. De Router bestaat uit twee eendimensionale convolutielagen met kanaaldimensies 384 → 128 → 128, een kernelgrootte van 3 en padding 1. GELU-activatie wordt toegepast na elke convolutie, met dropout (p=0,3) na de eerste convolutie.
    Wiskundige vergelijking voor het concateneren van EEG, MRI-data in multilayer perceptron analyse.
    Statische evenwichtnotatie Π=Router(U); wiskundige formule visualisatie.
  5. Gedeelde neurale status-expert.
    1. Concateneer de statusbewuste EEG-representatie ZEEG, de statusbewuste fMRI-representatie ZfMRI en de soft-routing representatie R langs de kenmerkdimensie. Pas een volledig verbonden fusielaag toe (384 naar 128), gevolgd door laagnormalisatie, GELU-activatie en dropout (p=0,3), en voer een mean-pooling uit op de resulterende representatie over de 68 ROI's om de 128-dimensionale gefuseerde representatie op subjectniveau zfused te verkrijgen:
      Vergelijking: Z_fused=MeanPool(Fusion(Cat[Z_EEG,Z_MRI,Π])); diagram van dataintegratiemethode.
    2. Voer zfused door de Gedeelde neurale status-expert, die bestaat uit een volledig verbonden laag (128 naar 128), laagnormalisatie, GELU-activatie en dropout (p=0,3). De resulterende 128-dimensionale shared-expert representatie wordt aangeduid als Eshared:
      Vergelijking voor gedeelde expert transformatie, E_shared = SharedExpert(z_user).
  6. EEG- en fMRI-experts.
    1. Voer voor elke modaliteit een mean-pooling uit op de statusbewuste representatie over de 68 ROI's en voer de resulterende 128-dimensionale representatie door de bijbehorende modaliteitsspecifieke Expert:
      EEG, fMRI data-analyse; vergelijking; Expert_q(MeanPool(Z_q)); neurowetenschap, hersenonderzoek
    2. Elke modaliteitsspecifieke Expert bestaat uit een volledig verbonden laag (128 naar 128), laagnormalisatie, GELU-activatie en dropout (p=0,3). De resulterende 128-dimensionale modaliteitsspecifieke expert-representaties worden respectievelijk aangeduid als EEEG en EfMRI.
  7. Fusiemodule.
    1. Om de expertgewichten te berekenen, concateneer de 128-dimensionale gefuseerde representatie op subjectniveau zfused met het 2-dimensionale Modaliteitsbeschikbaarheidsmasker m, wat resulteert in een 130-dimensionale Gate-input. De Fusiemodule bevat een Expert Gate die de monster-specifieke gewichten genereert die worden gebruikt voor expertfusie. De Expert Gate bestaat uit een volledig verbonden laag (130 naar 128), gevolgd door GELU-activatie, dropout (p = 0,3) en een output volledig verbonden laag (128 naar 3). Pas softmax toe op de drie output-logits om de monster-specifieke expertgewichten te verkrijgen:Deep learning formule diagram; Softmax-functie; neuraal netwerk vergelijking; algoritme concept.
    2. De resulterende gewichten zijn non-negatief en tellen voor elk monster op tot 1:
      Gewogen distributievergelijking, W_EEG + W_fMRI + W_shared = 1, voor hersenbeeldanalyse.
    3. Vermenigvuldig elke 128-dimensionale expertrepresentatie met het bijbehorende Gate-gewicht en sommeer de drie gewogen representaties:
      Statische evenwichtvergelijking, formule: Z final = w EEG E EEG + w MRI E MRI + w shared E shared
      OPMERKING: Deze operatie implementeert dense soft MoE-fusie.
    4. Voer de resulterende 128-dimensionale uiteindelijke expertrepresentatie efused in de classificatiekop voor de diagnose van hersenaandoeningen, zoals beschreven in sectie 4.8.
  8. Classificatiekop voor diagnose van hersenaandoeningen: Voer de 128-dimensionale uiteindelijke expertrepresentatie door een classificatiekop bestaande uit laagnormalisatie, dropout (p = 0,3) en een volledig verbonden laag die 128 dimensies mapt naar 2 output-logits. Pas softmax toe om de HC-waarschijnlijkheid en de waarschijnlijkheid van de doelaandoening te verkrijgen. Wijs het monster toe aan de ziekteklasse wanneer de waarschijnlijkheid van de doelaandoening ten minste 0,5 is.
    Softmax classificatievergelijking, formule voor neuraal netwerk outputvoorspelling in machine learning.
  9. Verifieer de consistentie van de implementatie vóór het trainen. Voer een test-forward pass uit onder m = [1,1], m = [1,0] en m = [0,1]. Bevestig dat de EEG-, fMRI-, statusbewuste, routing- en gefuseerde representaties 68 ROI-rijen behouden tenzij expliciet gepoold, en bevestig dat de expertgewichten optellen tot 1 in de volgorde: EEG Expert, fMRI Expert en Gedeelde neurale status-expert.

5. Train de vijf BrainMoE-modellen voor de diagnose van hersenaandoeningen

  1. Train één BrainMoE-model voor elke ziekte-specifieke binaire taak.
    1. Gebruik dezelfde architectuur en standaard hyperparameters voor alle taken: 30 epochs, batchgrootte 16, learning rate 0,001, weight decay 0,0001. Fixeer de modelarchitectuur en hyperparameters vóór de evaluatie van de test-fold en houd deze ongewijzigd over alle folds, herhalingen en ziekte-specifieke taken.
    2. Gebruik de prestaties van de apart gehouden test-fold niet voor modelselectie of het afstemmen van hyperparameters. Voer voor elke mini-batch drie forward passes uit met de volledige, EEG-only en fMRI-only masks met gedeelde modelgewichten. Voer de BrainMoE-training als volgt uit: python train.py --config configs/brain_moe.json --task --data_dir (Aanvullend Bestand 6). Stel in op depression, anxiety, reading_disorder, autism of adhd.
  2. Optimaliseer het gemiddelde classificatieverlies van de drie toestanden. Bereken het klasse-gewogen cross-entropy verlies Ls voor elke toestand als
    Formule voor statisch evenwicht in de neurowetenschappen; vergelijking die de methode voor integratie van multimodale hersendaten weergeeft.
    en bereken het gemiddelde van de verliezen als
    Vergelijking trainingsverlies L_train=(L_full+L_EEG-only+L_MRI-only)/3; onderzoekvergelijking.
  3. Reset de gradiënten, voer backpropagation uit en update alle trainbare parameters met AdamW.

6. Evalueer inferentietoestanden met volledige en ontbrekende modaliteiten

  1. Evaluatiemethode: Laad het checkpoint voor de geselecteerde ziektaak en gebruik de opgeslagen testbestandlijst van hetzelfde checkpoint. Gebruik m = [1,1] voor volledige EEG-fMRI-inferentie, m = [1,0] voor EEG-only-inferentie en m = [0,1] voor fMRI-only-inferentie. Pas tot slot softmax toe om de waarschijnlijkheid van de doelziekte te verkrijgen en wijs de ziekteklasse toe wanneer de waarschijnlijkheid ten minste 0,5 is.
  2. Evaluatiemetrieken: Bereken de evaluatiemetrieken op basis van de conjunctiematrix, waarbij TP staat voor ziekte-positieve monsters die correct als ziek zijn geclassificeerd, TN staat voor HC die correct als gezond zijn geclassificeerd, FP staat voor HC die onjuist als ziek zijn geclassificeerd en FN staat voor ziekte-positieve monsters die onjuist als gezond zijn geclassificeerd.
    Formule voor statisch evenwicht, berekening van de nauwkeurigheid, vergelijking voor analyse van waar/onjuist positieven/negatieven.
    Berekeningsformule voor sensitiviteit, vergelijking voor analyse van de true positive rate in onderzoek.
    Specificiteitsformule, \( \text{Specificity} = \frac{TN}{TN + FP} \), vergelijking, statistische analyse.
    F1-scoreformule: harmonisch gemiddelde van precisie en sensitiviteit, gebruikt in statistische analyse.
    Formule voor gebalanceerde nauwkeurigheid; vergelijking voor het evalueren van de prestaties van classificatiemodellen.
  3. Gebruik nauwkeurigheid om de algemene correcte classificatiegraad te rapporteren. Gebruik sensitiviteit om de detectie van ziekte-positieven te kwantificeren en specificiteit om de identificatie van HC te kwantificeren.
  4. Gebruik de F1-score om het evenwicht tussen precisie en sensitiviteit samen te vatten. Gebruik gebalanceerde nauwkeurigheid om de invloed van klasse-onbalans te verminderen. Bereken daarnaast de AUC om de drempelonafhankelijke discriminatie over verschillende beslissingsdrempels te evalueren.
  5. Bereken voor elke herhaling het gemiddelde van elke prestatiemetriek over de vijf uitgesloten folds. Rapporteer de uiteindelijke resultaten als het gemiddelde en de standaarddeviatie van de 10 gemiddelden op herhalingsniveau.
  6. Vergelijk BrainMoE met basismethoden. Alle baselines gebruikten dezelfde partities op deelnemersniveau en volledige EEG-fMRI-inputs als BrainMoE, met configuraties die vóór de held-out-evaluatie waren vastgesteld. BrainMoE werd met elke baseline vergeleken met behulp van tweezijdige gepaarde t-toetsen met Holm-correctie.

7. Voer groepsniveau-node-occlusie-attributie uit over vijf hersenziekten

  1. Definieer de attributiecohort. Laad het getrainde BrainMoE-checkpoint en het bestand met de namen van de DK-regio's. Selecteer ziekte-positieve testmonsters die correct zijn geclassificeerd onder de volledige EEG-fMRI-toestand met m = [1,1]. Gebruik deze cohort voor attributieanalyse op groepsniveau en sla de baseline-waarschijnlijkheid van de doeltarget-ziekte voor elk monster op.
  2. Bereken modaliteitspecifieke scores voor node-occlusie. Voor EEG-afgeleide attributie wordt één EEG-ROI tegelijk geoccludeerd door de geselecteerde EEG-node-featurevector en de overeenkomstige rij en kolom van de EEG-graaf op nul te zetten, terwijl de fMRI-input ongewijzigd blijft. Voor fMRI-afgeleide attributie wordt dezelfde bewerking toegepast op de fMRI-node-featurematrix en de fMRI-graaf, terwijl de EEG-input ongewijzigd blijft. Herhaal deze procedure voor alle 68 DK-regio's. Voer de node-occlusie-attributieanalyse uit met de code die is verstrekt in Aanvullend Bestand 7.
  3. Bereken en visualiseer ROI-bijdragen op groepsniveau. Bereken voor elke ROI en elke modaliteit de bijdragescore als de gemiddelde afname in de waarschijnlijkheid van de doeltarget-ziekte na occlusie over alle geselecteerde monsters. Rangschik de EEG-afgeleide en fMRI-afgeleide scores afzonderlijk, exporteer de top 10 ROI's voor elke modaliteit en label de hoogst gerangschikte ROI in de figuur.

Resultaten

Prestaties van BrainMoE bij verschillende aandoeningen en modaliteitstoestanden
Het protocol genereerde vijf ziekte-specifieke BrainMoE-classificaties voor gezond versus ziek en leverde voorspellingstabellen voor volledige EEG-fMRI-, enkel EEG- en enkel fMRI-inferentietoestanden. De volledige EEG-fMRI-toestand produceerde consequent een hoge discriminatie over de vijf taken, met AUC-waarden variërend van 84,4 ± 3,2% voor RI tot 88,4 ± 3,8% voor ASD (Tabel 1). De macro-gemiddelde prestatie van de volledige toestand over de vijf taken bereikte een AUC van 86,9 ± 3,0%, een nauwkeurigheid van 81,4 ± 3,1%, een gebalanceerde nauwkeurigheid van 81,4 ± 2,5% en een F1-score van 81,2 ± 3,0%.

Onder de gesimuleerde omstandigheden van ontbrekende modaliteiten behield BrainMoE bruikbare prestaties wanneer één inputmodaliteit werd gemaskeerd. In de EEG-only status behaalde het model een macro-gemiddelde AUC van 83,1 ± 3,7%, waarbij de sterkste EEG-only AUC werd waargenomen voor ADHD met 87,9 ± 2,8%. In de fMRI-only status was de macro-gemiddelde AUC 80,0 ± 3,9%. Deze prestatiebereiken en het verwachte voordeel bij volledige statusprestaties dienen als praktische benchmarks voor een succesvolle implementatie, wat aangeeft dat het getrainde BrainMoE-framework volledige, EEG-only en fMRI-only inferentie kan uitvoeren zonder aparte modellen voor elke modaliteit.

Een representatief suboptimaal resultaat isHet uitblijven van het verwachte prestatievoordeel van de volledige status, bijvoorbeeld wanneer de volledige EEG-fMRI AUC lager is dan de AUC van alleen EEG of alleen fMRI. In tegenstelling hiermee moet een succesvolle implementatie het voordeel van de volledige status en de benchmark-prestatiebereiken reproduceren die zijn gerapporteerd in Tabel 1. Wanneer er een suboptimaal patroon wordt waargenomen, verifieer dan de H5-ingangsdimensies, de volgorde van de DK-regio's, de toewijzing van het masker voor modaliteitsbeschikbaarheid en de opgeslagen cross-validatiepartities voordat de modeluitvoer wordt geïnterpreteerd.

Benchmarkvergelijking
Het voorgestelde BrainMoE-model werd vergeleken met klassieke methoden voor machine learning (support vector machine (SVM) en multilayer perceptron (MLP)), algemene deep learning-methoden (Transformer7, 3D-CNN22 en ResNet6), geavanceerde deep learning-methoden (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12) en MoE-gebaseerde deep learning-methoden (dFCExpert17, EvoMoE18 en NeuroMoE++19) (Tabel 2). BrainMoE behaalde de hoogste gemiddelde AUC van alle vergeleken methoden, namelijk 86,9 ± 3,0%.

Klassieke methoden voor machine learning vertoonden een lagere gemiddelde prestatie, waarbij SVM een gemiddelde AUC van 66,7 ± 4,5% behaalde en MLP 64,6 ± 6,3%. Algemene deep learning-methoden vertoonden variabele prestaties, waarbij ResNet een gemiddelde AUC van 71,0 ± 3,3% behaalde en Transformer 63,8 ± 4,7%. Onder de geavanceerde deep learning-baselines presteerden BNT, BrainGNN, MultiEpilepsyNet en SZAtt-Net beter dan de meeste klassieke en algemene deep learning-methoden, maar hun gemiddelde AUC's bleven lager dan die van BrainMoE.

Om statistische ondersteuning te bieden voor de benchmarkvergelijking, werd BrainMoE vergeleken met de sterkste baseline voor elke prestatiemetriek (Tabel 3). BrainMoE presteerde beter dan NeuroMoE++ wat betreft AUC en gebalanceerde accuratesse (BA), en presteerde beter dan SZAtt-Net wat betreft de F1-score en accuratesse. Alle vergelijkingen bleven significant na Holm-correctie.

Subgroepanalyse naar geslacht en acquisitielocatie
De taakspecifieke cohortkenmerken, waaronder het aantal behouden multimodale dossiers, de ratio's ziekte-ten-opzichte-van-controle, het aantal unieke deelnemers, leeftijdssamenvattingen, geslachtsverdelingen en de verdelingen per acquisitielocatie, zijn samengevat in de tabel met cohortkenmerken (Tabel 4). De ratio's ziekte-ten-opzichte-van-controle zijn berekend op basis van het aantal multimodale dossiers, terwijl de demografische kenmerken en de kenmerken van de acquisitielocatie zijn samengevat op het niveau van de unieke deelnemer.

Om de potentiële effecten van geslacht en acquisitieplaats te beoordelen, werd de BrainMoE-prestatie gestratificeerd naar deze factoren (Tabel 5). De mannelijke subgroep vertoonde een hogere gemiddelde AUC, BA, F1-score en nauwkeurigheid dan de vrouwelijke subgroep, terwijl de bijbehorende niet-gecorrigeerde Welch p-waarden varieerden van 0,089 tot 0,321. Op soortgelijke wijze vertoonde de RUBIC-subgroep een hogere gemiddelde prestatie dan de Staten Island-subgroep, met p-waarden variërend van 0,055 tot 0,309. In deze analyses werd geen statistisch significant verschil tussen de subgroepen gedetecteerd.

Ablatieanalyse van BrainMoE-componenten
Ablatie-experimenten werden uitgevoerd om de bijdrage van het masker voor modaliteitsbeschikbaarheid, de convolutionele router, de gedeelde expert en het MoE-expertfusie-ontwerp te beoordelen (Tabel 6). Het verwijderen van de masker-embedding verlaagde de gemiddelde AUC naar 79,2 ± 3,1%, en het vervangen van de convolutionele router door een MLP-router verlaagde deze naar 79,3 ± 3,7%. Het verwijderen van de gedeelde expert verlaagde de AUC voor uitsluitend fMRI naar 73,5 ± 3,3%, de laagste waarde van de geteste varianten. Het verwijderen van alle MoE-experts verlaagde bovendien de totale gebalanceerde nauwkeurigheid naar 74,2 ± 3,0%. Deze ablatieresultaten toonden aan dat het volledige BrainMoE-ontwerp de sterkste algehele prestaties behaalde in zowel volledige als ontbrekende modaliteitstoestanden, terwijl de masker-embedding, de convolutionele router, de gedeelde expert en de MoE-expertfusie elk bijdroegen aan het uiteindelijke modelgedrag.

Interpreteerbaarheidsresultaten op ROI-niveau voor vijf hersenstoornissen
Om de regionale bijdragen ten grondslag aan de BrainMoE-voorspellingen te onderzoeken, werd node-occlusion attributie uitgevoerd op correct geclassificeerde ziekte-positieve monsters in de volledige EEG-fMRI-toestand. De bijdragen van ROI's afgeleid van EEG en fMRI werden afzonderlijk gerangschikt door de afname in de waarschijnlijkheid van de doelsekte te meten na het occluderen van elke DK-atlasregio. De analyse identificeerde modaliteitspecifieke bijdragepatronen over de vijf ziekte-taken (Figuur 2). Voor de fMRI-afgeleide attributie waren de hoogst gerangschikte regio's de linker posterior cingulate bij MDD, de rechter pericalcarine cortex bij ANX, de linker parahippocampale cortex bij RI, de rechter pars triangularis bij ASD en de linker entorhinale cortex bij ADHD. Voor de EEG-afgeleide attributie waren de hoogst gerangschikte regio's de linker banks of the superior temporal sulcus bij MDD, de linker precentrale cortex bij ANX, de linker cuneus bij RI, de linker linguale cortex bij ASD en de rechter insula bij ADHD. De hoogst gerangschikte EEG- en fMRI-afgeleide ROI's voor elke stoornis zijn gevisualiseerd op corticale oppervlakken in Figuur 3. Deze resultaten toonden aan dat BrainMoE interpreteerbaarheid op ROI-niveau bood, terwijl afzonderlijke attributieprofielen voor EEG-afgeleide en fMRI-afgeleide representaties werden behouden. Voor correct geclassificeerde ziekte-positieve monsters werd de cross-fold stabiliteit beoordeeld met behulp van de Top-1 ROI-frequentie over 50 held-out folds (Tabel 7). De waargenomen frequenties varieerden van 36% tot 68%, wat de theoretische referentie voor willekeurige selectie van 1/68 (1,47%) overtrof en interpretatie op basis van relatieve rangschikkingen in plaats van absolute bijdragegrootten ondersteunde. Vergelijkingen met eerdere neuroimaging-bevindingen werden post hoc uitgevoerd en uitsluitend gebruikt om de attributieresultaten te contextualiseren, niet als onafhankelijke validatie.

Diagram van EEG/fMRI modaliteitsfusie; gedeelde expert voor neurale toestand; diagnoseclassificatie voor hersenaandoeningen.
Figuur 1: Overzicht van het BrainMoE-framework met adaptieve EEG-fMRI-fusie voor computerondersteunde diagnose van hersenaandoeningen. Bron-uitgelijnde EEG- en fMRI ROI-kenmerken worden verwerkt door afzonderlijke Graph Encoders. De resulterende representaties worden doorgegeven aan de EEG- en fMRI-experts en, samen met het Modality Availability Mask, aan de gedeelde Soft-Routing Module. De modaliteitsrepresentaties en de routingrepresentatie worden gefuseerd en verwerkt door de Shared neural-state expert. De drie expertoutputs worden vervolgens gecombineerd in de Fuse Module en doorgegeven aan de Diagnosis Classification Head om de waarschijnlijkheden voor HC en de doelaandoening te produceren. Klik hier om een grotere versie van deze figuur te bekijken.

Staafdiagrammen van de bijdrage van hersen-ROI's; fMRI EEO-analyse voor stoornissen: depressie, angst, ADHD.
Figuur 2: ROI-bijdrageanalyse op basis van node-occlusie. De top 10 van ROI-bijdragen afgeleid uit EEG en fMRI werden gevisualiseerd voor elke ziektaak onder de volledige EEG-fMRI-inferentietoestand. Panelen (A–E) tonen de fMRI-afgeleide resultaten voor MDD, ANX, RI, ASD en ADHD, respectievelijk, en panelen (F–J) tonen de overeenkomstige EEG-afgeleide resultaten in dezelfde volgorde. Alleen de hoogst geclassificeerde ROI is gelabeld in elke grafiek. De ROI-bijdrage werd gedefinieerd als de afname in de waarschijnlijkheid van de doelaandoening na occlusie van de overeenkomstige DK-atlasregio. Klik hier om een grotere versie van deze figuur te bekijken.

Diagrammen van hersengebiedactivatie; psychische stoornissen MDD, ANX, RI, ASD, ADHD; MRI-hersenanalyse.
Figuur 3: Interpreteerbaarheidskaarten op corticaal ROI-niveau over vijf hersenstoornissen. Panelen (A–E) tonen respectievelijk MDD, ANX, RI, ASD en ADHD. Elk paneel toont de hoogst gerangschikte EEG-afgeleide ROI in rood en de hoogst gerangschikte fMRI-afgeleide ROI in oranje op het DK corticale oppervlak. De kleuren geven de modaliteit aan in plaats van de grootte van de bijdrage; daarom is er geen kwantitatieve kleurenschaal toegepast. De prefixen lh en rh duiden respectievelijk de linker- en rechterhemisfeer aan. Klik hier om een grotere versie van deze figuur te bekijken.

ZiekteopdrachtStaatAUCNauwkeurigheidBAF1GevoeligheidSpecificiteit
MDDVolledig88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDD (Major Depressive Disorder)Alleen EEG83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDalleen fMRI82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXVolledig85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXAlleen EEG81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXalleen fMRI74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIVolledig84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIAlleen EEG80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIalleen fMRI81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASS (autismespectrumstoornis)Volledig88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASSalleen EEG82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASS (Autismespectrumstoornis)alleen fMRI81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDVolledig88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDAlleen EEG87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDalleen fMRI80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

Tabel 1: Classificatieprestaties van BrainMoE over verschillende ziekte-taken en modaliteitsbeschikbaarheidsstatussen.Prestaties van BrainMoE voor vijf classificatietaken (gezond versus ziekte) onder volledige EEG-fMRI, uitsluitend EEG en uitsluitend fMRI inferentiestatussen. Metrieken worden gerapporteerd als gemiddelde ± standaarddeviatie en omvatten de oppervlakte onder de receiver operating characteristic-curve (AUC), nauwkeurigheid, gebalanceerde nauwkeurigheid (BA), F1-score, sensitiviteit en specificiteit.

MethodeMethodegroepGemiddelde AUCGemiddelde BAGemiddelde F1-scoreGemiddelde nauwkeurigheid
SVM (Support Vector Machine)Klassieke ML66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLPKlassieke ML64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
TransformerGeneriek DL63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNNGeneriek DL65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetGenerieke DL71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNGeavanceerde deep learning70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTGeavanceerd DL73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNGeavanceerd DL72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetGeavanceerde DL78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-NetGeavanceerde DL78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertDL op basis van MoE80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEMoE-gebaseerde DL79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++MoE-gebaseerde DL81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (van ons)Op MoE gebaseerde DL86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

Tabel 2: Gemiddelde classificatieprestaties van BrainMoE vergeleken met klassieke machine learning-methoden, generieke deep learning-modellen en geavanceerde neuroimaging deep learning-architecturen. Resultaten zijn geaggregeerd over de geëvalueerde ziekteclassificatietaken en gerapporteerd als gemiddelde ± standaarddeviatie voor AUC, BA, F1-score en nauwkeurigheid.

VergelijkingGemiddelde AUCGemiddelde BAGemiddelde F1Gemiddelde nauwkeurigheid
Sterkste baselineNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
Prestaties sterkste baseline81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
Verschil+5.4+3.5+3.8+3.3
t-test p0.00060.00650.01870.0276
Holm-gecorrigeerde p*p < 0.01p < 0.05p < 0.05p < 0.05
Cohen's dz1.631.110.910.83

Tabel 3: Vergelijking van BrainMoE met de sterkste baseline voor elke prestatiemeting. P-waarden werden berekend met tweezijdige gepaarde t-toetsen en gecorrigeerd met de Holm-procedure. Cohen's dz geeft het gestandaardiseerde gepaarde verschil aan.

CohortMultimodale opnames (n)Ziekte-controleverhoudingUnieke deelnemers (n)Leeftijdsbereik (jaren)Geslacht (Mannelijk/Vrouwelijk)Acquisitielocatie (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD (major depressieve stoornis)520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASS (autismespectrumstoornis)820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

Tabel 4: Kenmerken van de studiecohorten die zijn gebruikt in de vijf ziekte-specifieke classificatietaken.De tabel rapporteert het aantal behouden multimodale records, ziekte-controle-ratio's, het aantal unieke deelnemers, demografische kenmerken en de verdeling over de acquisitieplaatsen.

SubgroepAantalGemiddelde AUCGemiddelde BAGemiddelde F1Gemiddelde nauwkeurigheid
Geslacht
Man70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
Vrouw39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
Difference+1.6+2.2+2.4+2.9
Welch p--0.3210.1920.1590.089
Acquisitielocatie
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
Difference+2.4+1.6+2.9+3.3
Welch p--0.1760.3090.0850.055

Tabel 5: Prestaties van BrainMoE gestratificeerd naar geslacht en acquisitieplaats.Resultaten worden gerapporteerd als gemiddelde ± standaarddeviatie over 10 herhalingen van 5-voudige kruisvalidatie. Het verschil vertegenwoordigt de eerste subgroep minus de tweede, en P-waarden zijn verkregen met tweezijdige Welch t-toetsen.

VariantVolledige AUCAlleen EEG AUCAlleen fMRI AUCGemiddelde AUCGemiddelde BA
zonder mask embedding83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
zonder Conv Router84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP Router82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
zonder Shared Expert83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
zonder MoE Experts81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (eigen methode)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

Tabel 6: Ablatieanalyse van belangrijke BrainMoE-componenten. Ablatieresultaten die de bijdrage tonen van het masker voor modaliteitsbeschikbaarheid, de convolutionele router, de gedeelde expert en het MoE expert-fusieontwerp. Elke variant wordt geëvalueerd onder volledige EEG-fMRI, uitsluitend EEG en uitsluitend fMRI-inferentiecondities, waarbij de gemiddelde AUC en gemiddelde BA de algehele prestaties samenvatten.

ZiekteEEG: best scorende ROIEEG: Frequentie top-1, n/N (%)fMRI: ROI met de hoogste rankingfMRI: Top-1 frequentie, n/N (%)Kansreferentie (%)
MDD (major depressieve stoornis)linker oevers van de superieure temporale sulcus22/50 (44%)linker posterieure cingulate gyrus25/50 (50%)1.47
ANXlinker precentrale cortex18/50 (36%)rechter pericalcarine cortex21/50 (42%)1.47
RIlinker cuneus26/50 (52%)linker parahippocampale cortex29/50 (58%)1.47
ASS (Autismespectrumstoornis)linker linguale cortex27/50 (54%)rechter pars triangularis28/50 (56%)1.47
ADHDrechter insula31/50 (62%)linker entorinale cortex34/50 (68%)1.47

Tabel 7: Cross-fold stabiliteit van de hoogst gerangschikte EEG- en fMRI-afgeleide ROI's. Top-1 frequentie geeft het aantal en percentage van de 50-fold-analyses aan waarin de gerapporteerde ROI als eerste werd gerangschikt. De theoretische referentie voor willekeurige selectie was 1/68 (1,47%).

Aanvullend bestand 1: H5 input-controle-script. Python-script voor het verifiëren van de vereiste H5-inputsleutels, datatypen, diagnostische labels en DK-atlas-compatibele inputdimensies vóór de BrainMoE-training. Klik hier om dit bestand te downloaden.

Aanvullend bestand 2: fMRI-preprocessing-script. C-PAC-configuratie- en uitvoeringsbestanden gebruikt voor fMRI-preprocessing, inclusief het verwijderen van initiële volumes, bewegings- en distortiecorrectie, registratie en normalisatie, nuisance-regressie, temporele filtering en ruimtelijke smoothing. Klik hier om dit bestand te downloaden.

Aanvullend bestand 3: FreeSurfer verwerkingsscripts. Scripts voor het verwerken van structurele MRI-gegevens, het coregisteren van de Desikan-Killiany corticale parcellatie naar de native fMRI-ruimte en het extraheren van fMRI-signalen op ROI-niveau. Klik hier om dit bestand te downloaden.

Aanvullend bestand 4: EEG-preprocessing-scripts.MATLAB/EEGLAB-scripts gebruikt voor EEG-preprocessing, inclusief filtering, identificatie en verwijdering van artefactcomponenten en herreferentiëring. Klik hier om dit bestand te downloaden.

Aanvullend bestand 5: MNE-Python script voor brongelokalisatie en kenmerkextractie. Python-script voor EEG-brongelokalisatie, DK-atlas ROI-extractie en generatie van EEG-kenmerken op ROI-niveau die als BrainMoE-inputs worden gebruikt. Klik hier om dit bestand te downloaden.

Aanvullend bestand 6: BrainMoE implementatiecode. Python-code en configuratiebestanden voor de BrainMoE-architectuur, graafencoderingen, verwerking van modaliteitsstatussen, expert-routing en fusie, modeltraining, evaluatie en ablatievarianten. Klik hier om dit bestand te downloaden.

Aanvullend bestand 7: Code voor toeschrijving bij knoopocclusie. Python-code voor modaliteitsspecifieke analyse van knoopocclusie, berekening van bijdragescores van ROI's, rangschikking van EEG- en fMRI-afgeleide ROI's en het genereren van toeschrijvingsoutputs. Klik hier om dit bestand te downloaden.

Discussie

Multimodale analyse van hersensignalen is een belangrijke richting geworden voor computerondersteunde diagnose van hersenaandoeningen, omdat EEG en fMRI complementaire informatie verschaffen over neurale activiteit. In de benchmarkvergelijking leverden klassieke machine learning-methoden, zoals SVM en MLP, een basisdiagnostische prestatie, maar hadden zij een beperkt vermogen om hiërarchische, graafgestructureerde en cross-modale kenmerkinteracties te modelleren. Generieke deep learning-modellen, waaronder 3D-CNN, ResNet en Transformer, boden een sterkere niet-lineaire modelleringscapaciteit, maar deze architecturen waren niet specifiek ontworpen voor EEG-fMRI-fusie of representaties van hersennetwerken. Geavanceerde deep learning-methoden behaalden betere prestaties dan de meeste klassieke en generieke modellen, maar velen vertrouwden nog steeds op vaste strategieën voor kenmerkintegratie en scheidden modaliteitspecifieke informatie niet expliciet van gedeelde informatie over de neurale toestand.

Deze studie stelde BrainMoE voor om dit fusieprobleem aan te pakken door grafiekgebaseerde modaliteitsencodere, modaliteitsspecifieke experts, een gedeelde neurale-toestandsexpert en een adaptief routeringsmechanisme te combineren. Dit ontwerp maakte het mogelijk om uit EEG afgeleide en uit fMRI afgeleide representaties afzonderlijk te modelleren en vervolgens te integreren via fusie op expertniveau. Door de introductie van modaliteitstoestandsmaskers en tokens voor ontbrekende modaliteiten kon hetzelfde getrainde model ook inferentie uitvoeren op basis van alleen EEG of alleen fMRI, zonder dat er voor elke conditie met een ontbrekende modaliteit aparte modellen hoefden te worden geconstrueerd. De experimentele resultaten toonden aan dat BrainMoE de sterkste algehele prestaties behaalde over de vijf binaire ziekteclassificatietaken, en bruikbare prestaties behield in zowel de EEG-only als de fMRI-only toestanden. De ablatieanalyse ondersteunde verder de bijdrage van de masker-embedding, de convolutionele router, de gedeelde expert en de MoE-expertfusie. Deze bevindingen wijzen erop dat de verbeterde prestaties niet te danken waren aan één enkel component, maar aan het gecoördineerde ontwerp van grafiekcodering, modaliteitstoestandsmodellering, adaptieve routering en expertfusie.

Kritieke protocolstappen en probleemoplossing
Kritieke protocolstappen omvatten het handhaven van dezelfde DK-volgorde voor de 68 regio's over de EEG- en fMRI-knooppunt- en grafematrices, het onafhankelijk toepassen van de vooraf gedefinieerde preprocessing-instellingen voor elke deelnemer, en het afdwingen van cross-validatie op deelnemerniveau, zodat alle gegevens van dezelfde deelnemer in één enkele fold blijven. Het Modality Availability Mask moet bovendien overeenstemmen met de aangeleverde inputs voor elke inferentietoestand.

Indien de inferentie mislukt of het verwachte prestatievoordeel van de volledige status niet wordt gereproduceerd, controleer dan eerst de vereiste H5-sleutels, de dimensies van de EEG- en fMRI-matrices, de volgorde van de DK-regio's, de toewijzing van het Modality Availability Mask en de opgeslagen cross-validatie-partities. Bestanden met ontbrekende sleutels, ongeldige dimensies of een inconsistente volgorde van regio's moeten vóór de training of evaluatie worden uitgesloten. Het raamwerk kan worden aangepast voor alternatieve corticale parcellaties of EEG/fMRI-kenmerkrepresentaties, mits beide modaliteiten worden gekoppeld aan een consistente ROI-volgorde en de overeenkomstige invoerdimensies van het model worden aangepast. De ziekte-specifieke classificatiekop kan ook worden aangepast voor andere binaire classificatietaken, terwijl het graph-encoding- en expert-fusion-raamwerk behouden blijft. dergelijke modificaties vereisen hertraining en validatie in plaats van een directe toepassing van de hier gerapporteerde modellen.

Interpreteerbaarheidsanalyse op basis van node-occlusie
De node-occlusieanalyse leverde een verdere interpreteerbaarheid op ROI-niveau van de BrainMoE-voorspellingen, waarbij de hoogst gerangschikte ziekte-geassocieerde ROI's worden getoond in Figuur 3. De op EEG gebaseerde linker posterieure ROI die door BrainMoE is geïdentificeerd, is consistent met eerdere voxel-gebaseerde meta-analytische23 bewijzen die veranderde intrinsieke hersenactiviteit in posterieure corticale regio's bij MDD rapporteren. De op EEG/fMRI gebaseerde linker precentrale en rechter pericalcarine ROI's zijn consistent met eerdere neuroimaging-bewijzen bij angststoornissen: een meta-analyse van corticale dikte24 rapporteerde een toegenomen corticale dikte in de linker gyrus precentralis bij patiënten met angststoornissen, terwijl een studie naar structurele covariantienetwerken25 bij sociale angststoornis abnormale nodale centraliteit rapporteerde waarbij de rechter pericalcarine cortex betrokken was. Voor leesstoornissen is de op EEG gebaseerde linker cuneus ROI consistent met een whole-brain connectiviteitsstudie26 die veranderde connectiviteit van de linker cuneus bij dyslexie rapporteert, terwijl de op fMRI gebaseerde linker parahippocampale ROI consistent is met een aparte studie27 die abnormale parahippocampale/hippocampale koppeling rapporteert bij adolescenten met specifieke leesbegripsdeficiënties. In de taak voor autismespectrumstoornissen weerspiegelt de linker linguale ROI die door EEG-gebaseerde attributie is geaccentueerd eerdere resting-state fMRI-bewijzen28 van een verminderde ReHo in de linker gyrus lingualis bij prepubertaire jongens met ASD. De op fMRI gebaseerde rechter pars triangularis ROI is ook biologisch plausibel, aangezien veranderde ALFF in de rechter pars triangularis van de gyrus frontalis inferior is gerapporteerd29 bij autistische kinderen. Voor ADHD past de op EEG gebaseerde rechter insula ROI bij structurele MRI-bewijzen30 die een verminderd anterieur insulair volume tonen bij jongeren met ADHD, in het bijzonder waarbij de rechter insulaire gyrus brevis betrokken is. De op fMRI gebaseerde linker entorhinale ROI kan een meer subtype-specifieke bevinding weerspiegelen, aangezien een aparte Psychological Medicine-studie31 een lager volume van de linker entorhinale cortex rapporteerde in een ADHD-C subgroep na FDR-correctie. Deze bevindingen moeten niettemin worden geïnterpreteerd met inachtneming van interregionale afhankelijkheid, omdat gecorreleerde ROI-signalen kunnen voorkomen dat occlusie van een enkele node de bijdrage van een individuele regio volledig isoleert, wat kan leiden tot conservatieve schattingen.

Beperkingen en toekomstige richtingen
Hoewel herhaalde 5-voudige kruisvalidering is gebruikt om interne prestatieschattingen te verkrijgen, zouden toekomstige studies die gebruikmaken van genestelde kruisvalidering of onafhankelijke externe validatie de beoordeling van de stabiliteit van de modelselectie en de generaliseerbaarheid verder versterken. Omdat de output van uitsluitend EEG en uitsluitend fMRI werd gegenereerd door één modaliteit te maskeren in volledige multimodale dossiers en niet werd geëvalueerd op een externe validatiecohort, zouden toekomstige studies externe validatiecohorten met een enkele modaliteit moeten bevatten om de generaliseerbaarheid te beoordelen. Een verdere beperking is dat het ontwerp van gezonde personen versus één ziekte geen comorbide presentaties vastlegt, wat de klinische generaliseerbaarheid beperkt en aanleiding geeft tot toekomstige studies naar multi-label classificatie en differentiële diagnose. Toekomstig werk zou ook de robuustheid van EEG-associaties op bronniveau kunnen evalueren met behulp van leakage-aware connectiviteitsschatters. Hoewel de gedeelde DK-parcellatie een anatomisch gefundeerde interface biedt voor multimodale fusie, is dit een modelleringsaanname die modaliteitspecifieke verschillen in temporele resolutie en fysiologische oorsprong mogelijk niet volledig vastlegt. Naast de vijf hier geëvalueerde stoornissen zou het raamwerk kunnen worden aangepast aan andere neurologische of psychiatrische classificatietaken waarbij anatomisch uitgelijnde multimodale hersendata worden gebruikt, en kunnen worden uitgebreid naar multi-label of differentiële-diagnose toepassingen.

Conclusie
Samenvattend biedt BrainMoE een praktisch en interpreteerbaar raamwerk voor EEG-fMRI-fusie bij computerondersteunde diagnostiek van hersenaandoeningen. Het belangrijkste voordeel ligt in de adaptieve integratie van multimodale kenmerken, aangestuurd door een multi-expert-architectuur en een soft-routing-mechanisme dat dynamisch het evenwicht bewaart tussen modaliteitsspecifieke en gedeelde informatie. Bovendien behaalt hetzelfde getrainde model, door de naadloze integratie van modaliteitstoestandsmaskers en tokens voor ontbrekende modaliteiten, robuuste prestaties tijdens inferentie bij onvolledige modaliteiten zonder dat hiervoor aparte configuraties vereist zijn. Cruciaal is dat het interpreteerbare raamwerk transparante regionale attributiepaden op groepsniveau biedt voor vijf verschillende hersenaandoeningen, waardoor de conventionele black-box-architectuur wordt omgezet in een fysiologisch onderbouwd instrument voor computerondersteunde diagnostiek. Dit is van belang voor toekomstige workflows in de computationele neuro-imaging, waarin heterogene gegevensbronnen, onvolledige beschikbaarheid van modaliteiten en verklaarbare modeluitvoer allemaal centrale overwegingen zijn.

Openbaarmakingen

De auteurs verklaren dat er geen belangenverstrengeling is. De auteurs verklaren dat er geen generatieve kunstmatige intelligentietools zijn gebruikt bij het voorbereiden van dit manuscript, de bijbehorende code, de data-analyse of het maken van de grafieken.

Dankbetuigingen

Dit onderzoek werd gefinancierd door de National Natural Science Foundation of China onder subsidienummers 62433002, 62277001 en U25A20446, het Project of Construction and Support for High-level Innovative Teams of Beijing Municipal Institutions onder subsidienummer BPHR20220104, en het Beijing Scholars Program onder subsidienummer 099.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
BashGNU-project5.1.16(1)-releaseSoftware
C-PACFCP-INDIVersie 1.8.7; container-tag release-v1.8.7.dev1Software
CUDA ToolkitNVIDIA CorporationVersie 12.4Software
CUDA-compatibele GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPUApparatuur
Desikan-Killiany corticale atlasFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 corticale regio's (RRID:SCR_001847)Atlas/bron
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoVersie 2022.1 (RRID:SCR_007292)Software
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalVersie 7.4.1 (RRID:SCR_001847)Software
FSLFMRIB, Universiteit van OxfordGebundeld met C-PAC 1.8.7; exacte versie niet gespecificeerd (RRID:SCR_002823)Software
Healthy Brain Network (HBN) datasetChild Mind InstituteRRID:SCR_016989Dataset
MATLABMathWorksR2022a (RRID:SCR_001622)Software
MNE-PythonMNE-Python-ontwikkelteamVersie 1.9 (RRID:SCR_005972)Software/bibliotheek
PythonPython Software FoundationVersie 3.12.4 (RRID:SCR_008394)Software
PyTorchPyTorch FoundationVersie 2.6.0+cu124 (RRID:SCR_018536)Bibliotheek

Referenties

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Herprints en machtigingen

Meer artikelen verkennen

EEG-fMRI-fusiemultimodale hersenbeeldvormingcomputergestuurde diagnosegraaf-encodersROI-attributiekaartenneurale-toestands-expertmodaliteitstoestandsmaskersknoop-occlusieanalyse

Dit artikel is gepubliceerd

Video binnenkort beschikbaar

Neem contact met ons op
Aanbevelen aan de bibliotheek

Privacy

Gebruiksvoorwaarden

Beleidsoverzicht

Copyright © 2026 MyJoVE Corporation. Alle rechten voorbehouden.