Methodenartikel

Mixture-of-Experts elektro-encefalografie-functionele magnetische resonantiebeeldvorming fusie voor interpreteerbare computerondersteunde diagnose van hersenaandoeningen

0 weergaven

⸱

DOI:

10.3791/73432

⸱

25 september 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

In dit artikel

Samenvatting

Dit protocol presenteert Brain Mixture-of-Experts, een adaptief en interpreteerbaar fusiekader voor elektro-encefalografie en functionele magnetische resonantiebeeldvorming (EEG-fMRI) voor computerondersteunde diagnose van hersenaandoeningen. De methode integreert heterogene EEG- en fMRI-representaties via modaliteitsspecifieke experts, een gedeelde neurale-toestandsexpert en adaptieve routering, terwijl de interpreteerbaarheid en inferentie onder gesimuleerde omstandigheden van ontbrekende modaliteiten behouden blijven.

Samenvatting

Elektro-encefalografie (EEG) en functionele magnetische resonantie-imaging (fMRI) bieden complementaire informatie over de hersenfunctie en hebben aanzienlijke potentie getoond bij het detecteren van functionele abnormaliteiten bij diverse hersenaandoeningen. De verschillende signaalkenmerken en uiteenlopende representatieruimtes van EEG en fMRI vormen echter ernstige uitdagingen voor een effectieve multimodale fusie, waardoor een nauwkeurige computerondersteunde diagnose van hersenaandoeningen met conventionele vaste modellen wordt belemmerd. Deze studie presenteert Brain Mixture-of-Experts (BrainMoE), een adaptief en interpreteerbaar EEG-fMRI-fusieframe-werk voor computerondersteunde diagnose van hersenaandoeningen, dat multimodale hersenkenmerken integreert via modaliteitsspecifieke experts, een gedeelde neurale-status-expert en een adaptief routeringsmechanisme. BrainMoE projecteert EEG- en fMRI-signalen eerst in een uniforme Desikan-Killiany (DK) atlas region-of-interest (ROI) ruimte, en gebruikt vervolgens graaf-encoders om modaliteitsspecifieke representaties van hersennetwerken te extraheren. De soft-routingmodule produceert een routeringsrepresentatie, en de Expert Gate in de Fuse Module genereert monster-specifieke gewichten om de representaties van de EEG-, fMRI- en gedeelde neurale-status-expert te combineren. Om scenario's met onvolledige acquisitie te behandelen, zijn modaliteits-statusmasks en tokens voor ontbrekende modaliteiten geïntegreerd, waardoor hetzelfde getrainde model volledige EEG-fMRI-, alleen-EEG- en alleen-fMRI-inferentie kan uitvoeren. Ten slotte biedt node-occlusieanalyse ROI-niveau attributiekaarten voor zowel EEG- als fMRI-afgeleide voorspellingen. Het raamwerk werd geëvalueerd op de Healthy Brain Network (HBN) dataset over vijf binaire classificatietaken voor hersenaandoeningen, waaronder een depressieve stoornis, angststoornis, leesstoornis, autismespectrumstoornis en attention-deficit/hyperactivity disorder. BrainMoE presteerde beter dan state-of-the-art vergelijkingsalgoritmen, met een gemiddelde AUC van 86,9 ± 3,0%, en ablatie-experimenten ondersteunden de bijdrage van de routerings- en expert-fusiecomponenten. Bovendien identificeert de interpreteerbaarheidsanalyse ROI-bijdragen op groepsniveau aan de ziekteclassificatie die consistent zijn met eerder gerapporteerde neuro-imagingbevindingen. Deze methode ondersteunt de computerondersteunde diagnose van hersenaandoeningen door de uitdaging van het integreren van heterogene EEG-fMRI neurale representaties aan te pakken, terwijl de interpreteerbaarheid en inferentie onder gesimuleerde omstandigheden van ontbrekende modaliteiten behouden blijven.

Inleiding

Hersenaandoeningen gaan gepaard met complexe veranderingen in de neurale activiteit en de organisatie van hersennetwerken die moeilijk te karakteriseren zijn met een enkele beeldgevingsmodaliteit1. Na bronreconstructie2 biedt EEG elektrofysiologische (EEG) activiteit op regioniveau, terwijl functionele magnetische resonantiebeeldvorming (fMRI) functionele connectiviteit op regioniveau vastlegt, wat complementaire inzichten in de hersenfunctie biedt. Om hun integratie te vergemakkelijken, is in eerder multimodaal werk beide modaliteiten in kaart gebracht op de 68-regio Desikan-Killiany (DK) atlas3. Hoewel deze ruimtelijke correspondentie geen equivalentie in temporele resolutie of fysiologische oorsprong impliceert, biedt het een uniforme anatomische index voor graph-fusie op knooppuntniveau, vaste graph-dimensies en een consistente interpretatie op region-of-interest (ROI) niveau, terwijl modaliteitsspecifieke informatie behouden blijft. Het integreren van deze anatomisch uitgelijnde maar modaliteitsspecifieke representaties kan de ziektegerelateerde representaties van hersensignalen verrijken en computerondersteunde diagnose van hersenaandoeningen ondersteunen3,4.

Ondanks het potentieel van EEG-fMRI-fusie voor computerondersteunde diagnose van hersenaandoeningen, vormt de heterogeniteit tussen de twee modaliteiten een technische uitdaging voor hun effectieve integratie. Klassieke methoden voor machine learning, zoals SVM en MLP, kunnen baseline-classificatiemodellen leveren, maar hebben een beperkt vermogen om niet-lineaire cross-modale interacties vast te leggen. Generieke deep learning-modellen, waaronder GNN5, ResNet6 en Transformer7 architecturen, bieden een sterker representatie-leren, maar zijn niet specifiek ontworpen voor hersengrafen op ROI-niveau of modaliteitsstatus-modellering. Recente geavanceerde modellen3,8,9 hebben de niet-lineaire complexiteit verhoogd om hersennetwerken beter te modelleren. BrainNetCNN8 werd geïntroduceerd om convolutionele operaties aan te passen aan connectiviteitsmatrices van de hersenen; BrainGNN9 modelleerde vervolgens de graftopologie op ROI-niveau met behulp van graph neural networks en pooling; en BNT10 versterkte later de functionele analyse van hersennetwerken met transformer-gebaseerde multi-level attention. Deze vorderingen werden echter nog hoofdzakelijk ontwikkeld voor single-modality instellingen. MultiEpilepsyNet11 breidde vervolgens multimodaal leren uit naar EEG-MRI-detectie van epileptische aanvallen via een gefedereerd hybride framework, waarbij de EpiSkullNet++ module aan de MRI-zijde de hersensegmentatie en preprocessing verbeterde. SZAtt-Net12 ontwikkelde vervolgens een multimodaal classificatiemodel voor schizofrenie door CNN-, BiGRU- en MLP-blokken te combineren met kanaal-, zelf-, ruimtelijke en temporele attention-mechanismen. Deze methoden bleven echter taakspecifiek en vertrouwden op relatief vaste fusie-ontwerpen, zonder expliciete ondersteuning voor adaptieve routing over volledige en ontbrekende modaliteitsstatussen.

Mixture-of-Experts (MoE)-modellen13,14 worden in toenemende mate toegepast in multimodaal leren, omdat ze het mogelijk maken om heterogene informatiebronnen te verwerken via gespecialiseerde expertmodules en deze dynamisch te combineren door middel van routingmechanismen. Softmax-gating levert input-afhankelijke genormaliseerde expertgewichten en is theoretisch gekenmerkt in termen van convergentiesnelheden15. Verwante multi-gate architecturen hebben verder aangetoond dat afzonderlijke gates taakafhankelijke combinaties van gedeelde experts kunnen leren bij grootschalig multi-task leren16. In neurowetenschappelijk onderzoek en hersenstudies zijn MoE-varianten17,18,19 steeds vaker gebruikt om heterogene featurefusie te faciliteren. dFCExpert17 maakte gebruik van modulariteit en statusgebaseerde experts om dynamische functionele connectiviteitspatronen uit fMRI te modelleren. EvoMoE18 gebruikte daarnaast een gating-netwerk om geschikte experts te selecteren voor gebruiker-onafhankelijke SSVEP-EEG-classificatie. NeuroMoE++19 onderzocht patiënt-adaptieve multimodale fusie voor de classificatie van neurologische aandoeningen. Ondanks hun succes vertrouwen deze modellen over het algemeen op grofmazige menging en discrete routing die de sterk gesynchroniseerde aard van cross-modale neurale toestanden negeren, wat de detectie van subtiele maar informatieve patronen die cruciaal zijn voor de diagnose van hersenaandoeningen belemmert. Bovendien bieden deze modellen, zonder een specifiek mechanisme om modaliteitspecifieke nuances te ontwarren van een uniforme gedeelde neurale toestand, beperkte interpreteerbaarheid en lijden ze onder prestatievermindering wanneer een cruciale modaliteit (fMRI of EEG) ontbreekt.

Om deze beperkingen aan te pakken, presenteert deze studie Brain Mixture-of-Experts (BrainMoE), een adaptief en interpreteerbaar EEG-fMRI-fusiekader voor computerondersteunde diagnostiek van vijf categorieën hersenaandoeningen, waaronder depressieve stoornis (MDD), angststoornis (ANX), specifieke leerstoornis met leesproblemen (RI), autismespectrumstoornis (ASD) en attention-deficit/hyperactivity disorder (ADHD). Het protocol lijnt eerst bron-gereconstrueerde EEG- en fMRI-kenmerken uit met de ROI-ruimte van de DK-atlas20 en construeert vervolgens op grafen gebaseerde modaliteitsrepresentaties voor beide modaliteiten. BrainMoE maakt gebruik van een EEG-expert, een fMRI-expert en een gedeelde neurale-toestands-expert, die worden geïntegreerd door een soft routing-module om modaliteitsspecifieke en gedeelde informatie te combineren. Modaliteitstoestandsmaskers en tokens voor ontbrekende modaliteiten zijn opgenomen om volledige EEG-fMRI, alleen-EEG en alleen-fMRI inferentie binnen één getraind model mogelijk te maken. Om biologische interpreteerbaarheid te ondersteunen, past het protocol verder node-occlusieanalyse toe, waarbij elke DK-atlas ROI selectief wordt gemaskeerd en de resulterende verandering in de waarschijnlijkheid van ziektevoorspelling wordt gebruikt om de regionale bijdragen afgeleid van EEG en fMRI te schatten. Dit protocol beschrijft de volledige workflow voor data-uitlijning, modelconstructie, training, evaluatie en ROI-interpretatie op basis van node-occlusie, waardoor een adaptieve en interpreteerbare strategie wordt geboden voor computerondersteunde diagnostiek van hersenaandoeningen via heterogene EEG-fMRI-hersensignaalfusie. Om reproduceerbaarheid en toekomstige uitbreidingen te faciliteren, biedt de openbare GitHub-repository de BrainMoE-model-, trainings- en evaluatiecode, terwijl de EEG- en fMRI-preprocessing werden uitgevoerd met publiek beschikbare software van derden. De repository is beschikbaar op https://github.com/zhongruizhe123/BrainMoE.

Protocol

Deze studie maakte gebruik van gedeïdentificeerde gegevens uit de Healthy Brain Network (HBN) database21, met de focus op vijf verschillende klinische stoornissen voor downstream diagnostische classificatietaken. Ethische goedkeuring en schriftelijke geïnformeerde toestemming waren vooraf verkregen door het HBN-initiatief van alle deelnemende locaties en proefpersonen. EEG- en fMRI-opnamen werden in afzonderlijke sessies verworven in plaats van gelijktijdig en werden gekoppeld met behulp van de deelnemer- en sessie-identificatoren die beschikbaar zijn in HBN.

1. Bereid de computationele omgeving en de inputgegevens voor

  1. Configureer de computationele omgeving
    1. Maak een Python 3.12.4 virtuele omgeving aan en activeer deze: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Installeer de vereiste pakketten en hun vaste versies met behulp van het meegeleverde requirements.txt-bestand in de openbare GitHub-repository: pip install -r requirements.txt
    3. Verifieer de PyTorch- en CUDA-configuratie vóór de training: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Bevestig dat de output PyTorch 2.6.0+cu124 en CUDA 12.4 rapporteert, en dat de CUDA-beschikbaarheid True is. Voer de modeltraining uit met een CUDA-compatibele GPU.
  2. Inspecteer alle H5-inputbestanden vóór de modeltraining.
    1. Bevestig dat elk bestand sLORETA_mean_func bevat voor EEG-knooppuntkenmerken, sLORETA_mean_CorrMatrix voor de EEG-graaf, fMRI-DK68-node-mat voor fMRI-knooppuntkenmerken, fMRI-DK68-edge-mat voor de fMRI-graaf, en een label voor de diagnose. Sluit bestanden uit met ontbrekende sleutels, niet-numerieke vermeldingen, ongeldige labels of dimensies die inconsistent zijn met de 68-regio Desikan-Killiany atlas. Voer het H5-inputcontrolescript als volgt uit: python checkH5.py (Aanvullend bestand 1).

2. Lijn EEG- en fMRI-kenmerken uit naar een gedeelde anatomische ruimte

  1. Preprocessing van fMRI-data.
    1. Verwerk de fMRI-data met C-PAC (versie 1.8.7). Voer het C-PAC-preprocessing-script als volgt uit: bash run_cpac_brainmoe.sh <BIDS_DIR> <OUTPUT_DIR> (Aanvullend bestand 2). Verwijder de eerste vijf volumes om initiële effecten van signalen in niet-stationaire toestand te verminderen.
    2. Voer slice-timing-correctie, bewegingscorrectie, distortiecorrectie, registratie, normalisatie naar de MNI152-anatomische ruimte en ruimtelijke smoothing uit. Regresseer 24 bewegingsgerelateerde nuisance-parameters.
    3. Pas temporele banddoorlaatfiltering toe op 0,01-0,08 Hz.
  2. Genereren van atlas-uitgelijnde fMRI-kenmerken.
    1. Verwerk de bijbehorende structurele MRI met FreeSurfer (versie 7.4.1). Voer de scripts als volgt uit: bash Step01_mgz_2_nifti.sh. Co-registreer de resulterende Desikan-Killiany corticale parcellatie naar de eigen fMRI-ruimte van de deelnemer. Voer de scripts als volgt uit: python Step02_CoRegistration.py. Bereken het gemiddelde voxel-gewijze signaal binnen elk van de 68 corticale regio's. Voer de scripts als volgt uit: python Step03_fMRI_Signal_Extraction.py (Aanvullend bestand 3).
    2. Behoud 370 opeenvolgende fMRI-tijdspunten zonder temporele padding om een fMRI-node-featurematrix van 68 x 370 te verkrijgen, waarbij 68 staat voor de DK-corticale regio's en 370 voor de behouden fMRI-tijdspunten.
  3. Constructie van de fMRI-graaf.
    1. Bereken de Pearson-correlaties tussen de tijdreeksen van 370 punten van de 68 DK-regio's. Sla de resulterende 68 x 68 functionele connectiviteitsmatrix op als de fMRI-edgematrix.
  4. Preprocessing van EEG-data.
    1. Verwerk de EEG-opnamen met 129 kanalen met de EEGLAB-toolbox (versie 2022.1) in MATLAB (versie R2022a). Voer de twee EEGLAB-preprocessing-scripts opeenvolgend als volgt uit: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Aanvullend bestand 4). Behoud de bemonsteringsfrequentie van 500 Hz en pas een banddoorlaatfilter van 0,2–40 Hz toe. Identificeer ruisrijke segmenten en defecte elektroden, en interpoleer slechte kanalen met behulp van het gemiddelde signaal van aangrenzende elektroden.
    2. Gebruik onafhankelijke componentanalyse met de ICLabel-plugin om onafhankelijke componenten te classificeren. Verwijder componenten met een classificatiewaarschijnlijkheid voor oog- of spierartefacten groter dan 0,90. Pas gemiddelde her-referentie toe. Sluit opnamen uit die na preprocessing en artefactverwijdering minder dan 250 s bruikbare data bevatten.
  5. Genereren van atlas-uitgelijnde EEG-kenmerken.
    1. Construeer een geïndividualiseerd drielaags Boundary Element Method (BEM) hoofdmodel op basis van de structurele MRI van elke deelnemer. Definieer de bronruimte op het individuele corticale oppervlak van elke deelnemer. Registreer de EEG-elektrodeposities op het BEM-oppervlak en bereken de lead-fieldmatrix.
    2. Pas een inverse operator toe die is geregulariseerd met de baseline-ruiscovariantiematrix. Stel de signaal-ruisverhouding in op 3,0, wat resulteert in λ2 = 1/SNR2 = 1/9 (ongeveer 0,1111), en voer bronlokalisatie uit met gestandaardiseerde low-resolution electromagnetic tomography (sLORETA), geïmplementeerd in MNE-Python (versie 1.9).
    3. Aggregeer de vertex-gewijze bronschattingen binnen elk Desikan-Killiany-parcel via rekenkundig middelen om 68 tijdreeksen op ROI-niveau te verkrijgen. Behoud het eerste continue segment van 250 s en verdeel elke ROI-tijdreeks in 250 opeenvolgende, niet-overlappende epochs van 1 s.
    4. Bereken het alfa-bandvermogen op 8–12 Hz binnen elke epoch om een EEG-node-featurematrix van 68 x 250 te verkrijgen, waarbij 68 staat voor de DK-corticale regio's en 250 voor de 250 opeenvolgende, niet-overlappende epochs van 1 s.
  6. Constructie van de EEG-graaf en verificatie van cross-modale uitlijning.
    1. Bereken de Pearson-correlaties tussen de 250 epoch 8–12 Hz alfa-vermogensreeksen van de 68 DK-regio's. Sla de resulterende 68 x 68 matrix op als de EEG-graaf.
    2. Bevestig dat de EEG- en fMRI-matrices dezelfde volgorde van DK-regio's gebruiken en gebruik hetzelfde DK-regio-indexbestand voor modelinput, attributie en visualisatie. Voer het MNE-Python-script voor bronlokalisatie en kenmerkextractie als volgt uit: python "Extract features - templates.py" (Aanvullend bestand 5).
  7. Normalisatie van node-kenmerken binnen elk monster.
    1. Pas node-gewijze z-score-normalisatie toe op de EEG- en fMRI-node-featurematrices. Behoud de graafmatrices als connectiviteitsinputs en pas graafnormalisatie toe binnen het BrainMoE-model.
    2. Voer de EEG- en fMRI-preprocessing onafhankelijk uit voor elke deelnemer met vaste instellingen, zonder informatie uit de cross-validatie-folds te gebruiken om preprocessing-parameters te bepalen.

3. Constructeer ziekte-specifieke binaire classificatietaken

  1. Definieer vijf ziekte-specifieke binaire classificatietaken.
    1. Codeer gezonde controles (HC) als klasse 0 in alle taken, en codeer alleen de geselecteerde ziektegroep als klasse 1 binnen de eigen taak.
    2. Construeer afzonderlijke taken van gezond-versus-ziekte voor depressie, angststoornis, neuro-ontwikkelingsstoornis met specifieke leerstoornis en leesproblemen, autismespectrumstoornis en attention-deficit/hyperactivity disorder.
  2. Karakteriseer de studiecohorten en onderzoek potentiële effecten van geslacht en acquisitieplaats.
    1. Voeg voor elke ziekte-specifieke taak HBN-deelnemers toe met volledige EEG-, fMRI- en structurele magnetische resonantie-imaging (sMRI)-gegevens en een geldig diagnostisch label. Sluit deelnemers met comorbide diagnoses uit van de ziekte-positieve cohorten. Sluit EEG-opnames uit die minder dan 250 s bruikbare gegevens bevatten na voorbewerking en artefactverwijdering, en behoud alleen invoerbestanden die voldeden aan de kwaliteitscontrolecriteria beschreven in sectie 1.2.
    2. Vat het aantal behouden multimodale records en unieke deelnemers, de verhouding ziekte-ten-opzichte-van-controle, leeftijdstrends, geslachtsverdelingen en acquisitieplaatsverdelingen voor de gedeelde HC-cohort en elke ziektecohort samen in Tabel 4.
      OPMERKING: Dezelfde HC-cohort werd hergebruikt als klasse 0 in alle vijf de taken, waardoor schattingen van de prestaties op taakniveau statistisch niet onafhankelijk zijn. Deze afhankelijkheid vloeit voort uit de gedeelde HC-cohort en niet uit overlap tussen ziektegroepen.
    3. Stratificeer de prestaties naar geslacht en acquisitieplaats en vergelijk de resulterende waarden met tweezijdige Welch t-toetsen over de herhaalde 5-voudige cross-validatierondes.
  3. Selecteer taak-specifieke H5-bestanden en definieer cross-validatie-splitsingen.
    1. Behoud voor elke taak alleen de HC en de doelziektegroep. Genereer 10 herhalingen van 5-voudige cross-validatie op deelnemerniveau. Stratificeer unieke deelnemers op basis van het binaire klasselabel, HC versus de doelziekte, om de klassedistributie over de folds te behouden.
    2. Gebruik de unieke deelnemer-identificatie als groeperingsvariabele en wijs alle sessies en multimodale records van dezelfde deelnemer toe aan dezelfde fold. Gebruik respectievelijk random seeds 1–10 om de 10 herhaalde cross-validatiepartities te genereren. Gebruik een vaste random seed van 1 voor modelinitialisatie en training.
    3. Reserveer de uitgesloten fold uitsluitend voor de uiteindelijke evaluatie en sla de deelnemer-identificaties, bestandslijsten en partitie-indexen voor elke fold op met het bijbehorende checkpoint. Bereken voor elke trainingsfold klassengewichten op basis van de trainingslabels en gebruik deze in het cross-entropy verlies om bias veroorzaakt door klasse-onbalans te verminderen.

4. Bouw de BrainMoE-architectuur voor computerondersteunde diagnose van hersenaandoeningen

OPMERKING: De BrainMoE-architectuur is ontworpen als een compact fusion-framework voor EEG-fMRI bij ontbrekende modaliteiten, dat een graafencoder, gedeelde neurale-toestand soft routing en expertgebaseerde feature-integratie combineert voor ziekte-specifieke binaire diagnose. De algehele architectuur wordt getoond in Afbeelding 1, en de implementatiecode is opgenomen in Aanvullend Bestand 6.

  1. Definieer de BrainMoE-inputs en modaliteitstoestanden. Gebruik de EEG-modaliteit en fMRI-modaliteit na source-space alignment als gepaarde graaf-inputs. Hier denoteert X een regionale kenmerkenmatrix, A een modaliteitsspecifieke hersengraaf, en komt elke rij overeen met een van de 68 Desikan-Killiany regio's.
    figure-protocol-1
    figure-protocol-2
    Definieer het Modality Availability Mask als m = [mEEG, mfMRI]. Gebruik m = [1,1] voor volledige EEG-fMRI-input, m = [1,0] voor alleen EEG-input, en m = [0,1] voor alleen fMRI-input.
  2. Graaf-encoder: Voer voor elke modaliteit q, waarbij q EEG of fMRI is, de kenmerkenmatrix Xq en graaf Aq in de bijbehorende modaliteitsspecifieke Graph Encoder. De encoder is een trainbare neurale module die node-projectie, graph message passing, normalisatie, activatie en dropout (p=0.3) bevat.
    figure-protocol-3
    OPMERKING: In deze notatie is Zq de latente representatie op ROI-niveau die wordt geproduceerd door de EEG Graph Encoder of de fMRI Graph Encoder. De EEG Graph Encoder mapt elke 68 x 250 inputmatrix naar een 68 x 128 latente representatie, terwijl de fMRI Graph Encoder elke 68 x 370 inputmatrix mapt naar een 68 x 128 latente representatie. Elke encoder gebruikt een inputprojectie gevolgd door twee residuale graaf-convolutielagen met 128 hidden dimensions, GELU-activatie, layer-normalisatie en dropout.
  3. Trainbare tokens voor ontbrekende modaliteiten: Laat Tq het token zijn voor modaliteit q en mq de overeenkomstige beschikbaarheidsindicator. Deze stap produceert een toestand-bewuste representatie die dezelfde lay-out van 68 regio's behoudt bij zowel volledige als enkelvoudige modaliteitsinputs.
    figure-protocol-4
    OPMERKING: Elk trainbaar token voor een ontbrekende modaliteit is een 128-dimensionale vector en wordt uitgebreid over de 68 ROI-rijen wanneer de overeenkomstige modaliteit niet beschikbaar is.
  4. Shared Neural-State Soft-Routing Module: Combineer eerst de toestand-bewuste EEG-representatie ZEEG, de toestand-bewuste fMRI-representatie ZfMRI en het embedded Modality Availability Mask. Het Modality Availability Mask wordt embedded door een MLP met dimensies 2 → 128, GELU-activatie en layer-normalisatie. De Router bestaat uit twee eendimensionale convolutielagen met kanaaldimensies 384 → 128 → 128, een kernelgrootte van 3 en padding 1. GELU-activatie wordt toegepast na elke convolutie, met dropout (p=0.3) na de eerste convolutie.
    figure-protocol-5
    figure-protocol-6
  5. Shared neural-state expert.
    1. Concateneer de toestand-bewuste EEG-representatie ZEEG, de toestand-bewuste fMRI-representatie ZfMRI en de soft-routing representatie R langs de kenmerkendimensie. Pas een fully connected fusielaag toe (384 naar 128), gevolgd door layer-normalisatie, GELU-activatie en dropout (p=0.3), en voer mean-pooling uit op de resulterende representatie over de 68 ROI's om de 128-dimensionale gefuseerde representatie op subjectniveau zfused te verkrijgen:
      figure-protocol-7
    2. Voer zfused door de Shared neural-state expert, die bestaat uit een fully connected laag (128 naar 128), layer-normalisatie, GELU-activatie en dropout (p=0.3). Noteer de resulterende 128-dimensionale shared-expert representatie als Eshared:
      figure-protocol-8
  6. EEG- en fMRI-experts.
    1. Voer voor elke modaliteit mean-pooling uit op de toestand-bewuste representatie over de 68 ROI's en voer de resulterende 128-dimensionale representatie door de overeenkomstige modaliteitsspecifieke Expert:
      figure-protocol-9
    2. Elke modaliteitsspecifieke Expert bestaat uit een fully connected laag (128 naar 128), layer-normalisatie, GELU-activatie en dropout (p=0.3). Noteer de resulterende 128-dimensionale modaliteitsspecifieke expertrepresentaties respectievelijk als EEEG en EfMRI.
  7. Fuse-module.
    1. Om de expertgewichten te berekenen, concateneer de 128-dimensionale gefuseerde representatie op subjectniveau zfused met het 2-dimensionale Modality Availability Mask m, wat resulteert in een 130-dimensionale Gate-input. De Fuse-module bevat een Expert Gate die de monster-specifieke gewichten genereert die worden gebruikt voor expertfusie. De Expert Gate bestaat uit een fully connected laag (130 naar 128), gevolgd door GELU-activatie, dropout (p = 0.3) en een output fully connected laag (128 naar 3). Pas softmax toe op de drie output-logits om de monster-specifieke expertgewichten te verkrijgen:figure-protocol-10
    2. De resulterende gewichten zijn niet-negatief en tellen op tot 1 voor elk monster:
      figure-protocol-11
    3. Vermenigvuldig elke 128-dimensionale expertrepresentatie met het overeenkomstige Gate-gewicht en sommeer de drie gewogen representaties:
      figure-protocol-12
      OPMERKING: Deze operatie implementeert dense soft MoE-fusie.
    4. Voer de resulterende 128-dimensionale finale expertrepresentatie efused in de classificatiekop voor de diagnose van hersenaandoeningen in, zoals beschreven in sectie 4.8.
  8. Classificatiekop voor diagnose van hersenaandoeningen: Voer de 128-dimensionale finale expertrepresentatie door een classificatiekop bestaande uit layer-normalisatie, dropout (p = 0.3) en een fully connected laag die 128 dimensies mapt naar 2 output-logits. Pas softmax toe om de HC-waarschijnlijkheid en de doelziekte-waarschijnlijkheid te verkrijgen. Wijs het monster toe aan de ziekteklasse wanneer de doelziekte-waarschijnlijkheid ten minste 0.5 is.
    figure-protocol-13
  9. Verifieer de consistentie van de implementatie vóór het trainen. Voer een test-forward pass uit onder m = [1,1], m = [1,0] en m = [0,1]. Bevestig dat de EEG-, fMRI-, toestand-bewuste, routing- en gefuseerde representaties 68 ROI-rijen behouden tenzij ze expliciet gepoold zijn, en bevestig dat de expertgewichten optellen tot 1 in de volgorde: EEG Expert, fMRI Expert en Shared neural-state expert.

5. Train de vijf BrainMoE-modellen voor de diagnose van hersenaandoeningen

  1. Train één BrainMoE-model voor elke ziekte-specifieke binaire taak.
    1. Gebruik dezelfde architectuur en standaard hyperparameters voor alle taken: 30 epochs, batch size 16, learning rate 0,001, weight decay 0,0001. Leg de modelarchitectuur en hyperparameters vast vóór de evaluatie van de test-fold en houd deze ongewijzigd over alle folds, herhalingen en ziekte-specifieke taken.
    2. Gebruik de prestaties van de apart gehouden test-fold niet voor modelselectie of hyperparameter-tuning. Voer voor elke mini-batch drie forward passes uit met de volledige, EEG-only en fMRI-only masks met gedeelde modelgewichten. Voer de BrainMoE-training als volgt uit: python train.py --config configs/brain_moe.json --task <TASK> --data_dir <H5_DIR> (Aanvullend bestand 6). Stel <TASK> in op depression, anxiety, reading_disorder, autism of adhd.
  2. Optimaliseer het gemiddelde classificatieverlies van de drie toestanden. Bereken het klasse-gewogen cross-entropy verlies Ls voor elke toestand als
    figure-protocol-14
    en bereken het gemiddelde van de verliezen als
    figure-protocol-15
  3. Reset de gradiënten, voer backpropagation uit en update alle trainbare parameters met AdamW.

6. Evalueer inferentietoestanden met volledige en ontbrekende modaliteit

  1. Evaluatiemethode: Laad het checkpoint voor de geselecteerde ziektaak en gebruik de opgeslagen testbestandlijst uit hetzelfde checkpoint. Gebruik m = [1,1] voor volledige EEG-fMRI-inferentie, m = [1,0] voor inferentie op basis van alleen EEG en m = [0,1] voor inferentie op basis van alleen fMRI. Pas tot slot softmax toe om de waarschijnlijkheid van de doelaandoening te verkrijgen en wijs de ziekteklasse toe wanneer de waarschijnlijkheid ten minste 0,5 is.
  2. Evaluatiemetrieken: Bereken de evaluatiemetrieken op basis van de foutenmatrix, waarbij TP staat voor ziekte-positieve monsters die correct zijn geclassificeerd als ziek, TN voor gezonde controles (HC) die correct zijn geclassificeerd als gezond, FP voor HC die onjuist zijn geclassificeerd als ziek en FN voor ziekte-positieve monsters die onjuist zijn geclassificeerd als gezond.
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. Gebruik accuratesse om het totale percentage correcte classificaties te rapporteren. Gebruik sensitiviteit om de detectie van ziekte-positieven te kwantificeren en specificiteit om de identificatie van HC te kwantificeren.
  4. Gebruik de F1-score om de balans tussen precisie en sensitiviteit samen te vatten. Gebruik gebalanceerde accuratesse om de invloed van klassenonbalans te verminderen. Bereken daarnaast de AUC om de drempelonafhankelijke discriminatie over verschillende beslissingsdrempels te evalueren.
  5. Bereken voor elke herhaling het gemiddelde van elke prestatiemetriek over de vijf uitgesloten folds. Rapporteer de uiteindelijke resultaten als het gemiddelde en de standaarddeviatie van de 10 gemiddelden op herhalingsniveau.
  6. Vergelijk BrainMoE met baselinemethoden. Alle baselines gebruikten dezelfde partities op deelnemersniveau en volledige EEG-fMRI-inputs als BrainMoE, waarbij de configuraties waren vastgesteld vóór de evaluatie van de uitgesloten gegevens. BrainMoE werd met elke baseline vergeleken middels tweezijdige gepaarde t-toetsen met Holm-correctie.

7. Voer groepsniveau-node-occlusie-attributie uit over vijf hersenaandoeningen

  1. Definieer de attributiecohort. Laad het getrainde BrainMoE-checkpoint en het bestand met de DK-regionamen. Selecteer ziekte-positieve testmonsters die correct zijn geclassificeerd onder de volledige EEG-fMRI-toestand met m = [1,1]. Gebruik deze cohort voor attributieanalyse op groepsniveau en sla de baseline-doelziektekans van elk monster op.
  2. Bereken modaliteitspecifieke node-occlusiescores. Voor EEG-afgeleide attributie wordt één EEG-ROI per keer geoccludeerd door de geselecteerde EEG-node-featurevector en de overeenkomstige rij en kolom van de EEG-graaf op nul te zetten, terwijl de fMRI-input ongewijzigd blijft. Voor fMRI-afgeleide attributie wordt dezelfde bewerking toegepast op de fMRI-node-featurematrix en de fMRI-graaf, terwijl de EEG-input ongewijzigd blijft. Herhaal deze procedure voor alle 68 DK-regio's. Voer de node-occlusie-attributieanalyse uit met de code die is geleverd in Supplementary File 7.
  3. Bereken en visualiseer ROI-bijdragen op groepsniveau. Bereken voor elke ROI en elke modaliteit de bijdragescore als de gemiddelde afname in de doelziektekans na occlusie over alle geselecteerde monsters. Rangschik EEG-afgeleide en fMRI-afgeleide scores afzonderlijk, exporteer de top 10 ROI's voor elke modaliteit en label de hoogst gerangschikte ROI in de figuur.

Resultaten

BrainMoE-prestaties over verschillende aandoeningen en modaliteitstoestanden
Het protocol genereerde vijf ziekte-specifieke BrainMoE-classificatoren voor gezonde versus zieke subjecten en produceerde voorspellingstabellen voor inferentietoestanden met volledige EEG-fMRI, alleen EEG en alleen fMRI. De volledige EEG-fMRI-toestand leverde consequent een hoge discriminatie op over de vijf taken, met AUC-waarden variërend van 84,4 ± 3,2% voor RI tot 88,4 ± 3,8% voor ASD (Tabel 1). De macro-gemiddelde prestatie van de volledige toestand over de vijf taken bedroeg 86,9 ± 3,0% AUC, 81,4 ± 3,1% accuratesse, 81,4 ± 2,5% gebalanceerde accuratesse en 81,2 ± 3,0% F1-score.

Onder de gesimuleerde omstandigheden van ontbrekende modaliteiten behield BrainMoE een bruikbare prestatie wanneer één inputmodaliteit werd gemaskeerd. In de EEG-only toestand behaalde het model een macro-gemiddelde AUC van 83,1 ± 3,7%, waarbij de sterkste EEG-only AUC werd waargenomen voor ADHD met 87,9 ± 2,8%. In de fMRI-only toestand was de macro-gemiddelde AUC 80,0 ± 3,9%. Deze prestatiebereiken en het verwachte prestatievoordeel van de volledige toestand dienen als praktische benchmarks voor een succesvolle implementatie, wat aangeeft dat het getrainde BrainMoE-framework volledige, EEG-only en fMRI-only inferentie kan uitvoeren zonder dat er aparte modellen voor elke modaliteit nodig zijn.

Een representatief suboptimaal resultaat is het uitblijven van het verwachte prestatievoordeel van de volledige status, bijvoorbeeld wanneer de volledige EEG-fMRI AUC lager is dan de AUC van alleen EEG of alleen fMRI. Daarentegen moet een succesvolle implementatie het voordeel van de volledige status en de benchmark-prestatiebereiken rapporteren die in Tabel 1 staan. Wanneer een suboptimaal patroon wordt waargenomen, controleer dan de H5-inputdimensies, de volgorde van de DK-regio's, de toewijzing van het modaliteitsbeschikbaarheidsmasker en de opgeslagen cross-validatiepartities voordat de modeloutput wordt geïnterpreteerd.

Benchmarkvergelijking
Het voorgestelde BrainMoE-model werd vergeleken met klassieke methoden voor machine learning (support vector machine (SVM) en multilayer perceptron (MLP)), algemene deep learning-methoden (Transformer7, 3D-CNN22 en ResNet6), geavanceerde deep learning-methoden (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12) en MoE-gebaseerde deep learning-methoden (dFCExpert17, EvoMoE18 en NeuroMoE++19) (Tabel 2). BrainMoE behaalde de hoogste gemiddelde AUC van alle vergeleken methoden, namelijk 86.9 ± 3.0%.

Klassieke methoden voor machine learning vertoonden een lagere gemiddelde prestatie, waarbij SVM een gemiddelde AUC van 66,7 ± 4,5% behaalde en MLP 64,6 ± 6,3%. Algemene deep learning-methoden vertoonden variabele prestaties, waarbij ResNet een gemiddelde AUC van 71,0 ± 3,3% behaalde en Transformer 63,8 ± 4,7%. Van de geavanceerde deep learning-baselines presteerden BNT, BrainGNN, MultiEpilepsyNet en SZAtt-Net beter dan de meeste klassieke en algemene deep learning-methoden, maar hun gemiddelde AUC's bleven lager dan die van BrainMoE.

Om statistische ondersteuning te bieden voor de benchmarkvergelijking, werd BrainMoE vergeleken met de sterkste baseline voor elke prestatiemetriek (Tabel 3). BrainMoE presteerde beter dan NeuroMoE++ wat betreft AUC en gebalanceerde nauwkeurigheid (BA), en presteerde beter dan SZAtt-Net wat betreft de F1-score en nauwkeurigheid. Alle vergelijkingen bleven significant na Holm-correctie.

Subgroepanalyse naar geslacht en acquisitieplaats
Taakspecifieke cohortkenmerken, waaronder de aantallen behouden multimodale dossiers, ziekte-controleverhoudingen, aantallen unieke deelnemers, leeftijdssamenvattingen, geslachtsverdelingen en verdelingen per acquisitieplaats, zijn samengevat in de tabel met cohortkenmerken (Tabel 4). De ziekte-controleverhoudingen zijn berekend op basis van de aantallen multimodale dossiers, terwijl demografische kenmerken en acquisitieplaatsen zijn samengevat op het niveau van unieke deelnemers.

Om de potentiële effecten van geslacht en acquisitieplaats te beoordelen, werd de prestatie van BrainMoE gestratificeerd op basis van deze factoren (Tabel 5). De mannelijke subgroep vertoonde een hogere gemiddelde AUC, BA, F1-score en accuratesse dan de vrouwelijke subgroep, terwijl de bijbehorende niet-gecorrigeerde Welch p-waarden varieerden van 0,089 tot 0,321. Op dezelfde manier vertoonde de RUBIC-subgroep een hogere gemiddelde prestatie dan de Staten Island-subgroep, met p-waarden variërend van 0,055 tot 0,309. In deze analyses werd geen statistisch significant verschil tussen de subgroepen vastgesteld.

Ablatie-analyse van BrainMoE-componenten
Er werden ablatie-experimenten uitgevoerd om de bijdrage van het modaliteitsbeschikbaarheidsmasker, de convolutionele router, de gedeelde expert en het MoE-expertfusie-ontwerp te beoordelen (Tabel 6). Het verwijderen van de masker-embedding verlaagde de gemiddelde AUC naar 79,2 ± 3,1%, en het vervangen van de convolutionele router door een MLP-router verlaagde deze naar 79,3 ± 3,7%. Het verwijderen van de gedeelde expert verlaagde de AUC voor alleen fMRI naar 73,5 ± 3,3%, de laagste waarde van de geteste varianten. Het verwijderen van alle MoE-experts verlaagde de algehele gebalanceerde nauwkeurigheid tot 74,2 ± 3,0%. Deze ablatieresultaten toonden aan dat het volledige BrainMoE-ontwerp de sterkste algehele prestaties behaalde bij zowel volledige als ontbrekende modaliteitstoestanden, terwijl de masker-embedding, de convolutionele router, de gedeelde expert en de MoE-expertfusie elk bijdroegen aan het uiteindelijke modelgedrag.

Interpreteerbaarheidsresultaten op ROI-niveau voor vijf hersenaandoeningen
Om de regionale bijdragen ten grondslag aan de voorspellingen van BrainMoE te onderzoeken, werd node-occlusion attributie uitgevoerd op correct geclassificeerde ziekte-positieve monsters in de volledige EEG-fMRI-toestand. EEG-afgeleide en fMRI-afgeleide ROI-bijdragen werden afzonderlijk gerangschikt door de afname in de waarschijnlijkheid van de doelaandoening te meten na het occluderen van elke DK-atlasregio. De analyse identificeerde modaliteitsspecifieke bijdragepatronen over de vijf ziekte-taken (Figuur 2). Voor fMRI-afgeleide attributie waren de hoogst gerangschikte regio's de linker posterior cingulate bij MDD, de rechter pericalcarine cortex bij ANX, de linker parahippocampale cortex bij RI, de rechter pars triangularis bij ASD en de linker entorhinale cortex bij ADHD. Voor EEG-afgeleide attributie waren de hoogst gerangschikte regio's de linker banks of the superior temporal sulcus bij MDD, de linker precentrale cortex bij ANX, de linker cuneus bij RI, de linker linguale cortex bij ASD en de rechter insula bij ADHD. De hoogst gerangschikte EEG- en fMRI-afgeleide ROI's voor elke aandoening zijn gevisualiseerd op corticale oppervlakken in Figuur 3. Deze resultaten toonden aan dat BrainMoE interpreteerbaarheid op ROI-niveau bood, terwijl afzonderlijke attributieprofielen voor EEG-afgeleide en fMRI-afgeleide representaties behouden bleven. Voor correct geclassificeerde ziekte-positieve monsters werd de cross-fold stabiliteit beoordeeld met behulp van de Top-1 ROI-frequentie over 50 uitgesloten folds (Tabel 7). De waargenomen frequenties varieerden van 36% tot 68%, wat de theoretische referentie voor willekeurige selectie van 1/68 (1,47%) overtrof en interpretatie op basis van relatieve rangschikkingen in plaats van absolute bijdrage-magnitudes ondersteunde. Vergelijkingen met eerdere neuroimaging-bevindingen werden post hoc uitgevoerd en dienden uitsluitend om de attributieresultaten te contextualiseren, niet als onafhankelijke validatie.

figure-results-1
Figuur 1: Overzicht van het BrainMoE-framework met adaptieve EEG-fMRI-fusie voor computerondersteunde diagnose van hersenaandoeningen. Bron-uitgelijnde EEG- en fMRI-ROI-kenmerken worden verwerkt door afzonderlijke Graph Encoders. De resulterende representaties worden doorgegeven aan de EEG- en fMRI-experts en, samen met het Modality Availability Mask, aan de gedeelde Soft-Routing Module. De modaliteitsrepresentaties en de routeringsrepresentatie worden gefuseerd en verwerkt door de Shared neural-state expert. De drie expert-outputs worden vervolgens gecombineerd in de Fuse Module en doorgegeven aan de Diagnosis Classification Head om de waarschijnlijkheden voor HC en de doelaandoening te produceren. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-2
Figuur 2: ROI-bijdrageanalyse op basis van node-occlusie. De top 10 EEG-afgeleide en fMRI-afgeleide ROI-bijdragen werden gevisualiseerd voor elke ziekte-taak onder de volledige EEG-fMRI-inferentietoestand. Panelen (A–E) tonen de fMRI-afgeleide resultaten voor MDD, ANX, RI, ASD en ADHD, respectievelijk, en panelen (F–J) tonen de overeenkomstige EEG-afgeleide resultaten in dezelfde volgorde. Alleen de hoogst gerangschikte ROI werd gelabeld in elke grafiek. De ROI-bijdrage werd gedefinieerd als de afname in de waarschijnlijkheid van de doeltarget-ziekte na occlusie van de overeenkomstige DK-atlasregio. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-3
Figuur 3: Interpreteerbaarheidskaarten op ROI-niveau van de cortex bij vijf hersenaandoeningen. Panelen (A–E) tonen respectievelijk MDD, ANX, RI, ASD en ADHD. Elk paneel toont de hoogst gerangschikte op EEG gebaseerde ROI in het rood en de hoogst gerangschikte op fMRI gebaseerde ROI in het oranje op het DK corticale oppervlak. De kleuren geven de modaliteit aan in plaats van de grootte van de bijdrage; daarom is er geen kwantitatieve kleurenschaal toegepast. De prefixen lh en rh duiden respectievelijk de linker- en rechterhemisfeer aan. Klik hier om een grotere versie van deze figuur te bekijken.

ZiekteopdrachtToestandAUCNauwkeurigheidBAF1SensitiviteitSpecificiteit
MDD (major depressieve stoornis)Volledig88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDalleen EEG83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDD (depressieve stoornis)alleen fMRI82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXVolledig85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXalleen EEG81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXalleen fMRI74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIVolledig84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIalleen EEG80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIalleen fMRI81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASSVolledig88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASSalleen EEG82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASSalleen fMRI81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDVolledig88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDalleen EEG87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDalleen fMRI80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

Tabel 1: Classificatieprestaties van BrainMoE voor verschillende ziekte-taken en modaliteitsbeschikbaarheidsstatussen.Prestaties van BrainMoE voor vijf classificatietaken (gezond versus ziekte) onder volledige EEG-fMRI, enkel EEG en enkel fMRI inferentiestatussen. Metrieken worden gerapporteerd als gemiddelde ± standaarddeviatie en omvatten de oppervlakte onder de receiver operating characteristic curve (AUC), nauwkeurigheid, gebalanceerde nauwkeurigheid (BA), F1-score, sensitiviteit en specificiteit.

MethodeMethodegroepGemiddelde AUCGemiddeld BAGemiddelde F1-scoreGemiddelde nauwkeurigheid
SVMKlassieke ML66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLPKlassieke ML64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
TransformerGeneriek DL63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNNGenerieke DL65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetGenerieke DL71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNGeavanceerde DL70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTGeavanceerde DL73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNGeavanceerd DL72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetGeavanceerd DL78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-NetGeavanceerd deep learning78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertMoE-gebaseerde DL80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEOp MoE gebaseerde DL79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++MoE-gebaseerd DL81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (van ons)MoE-gebaseerde DL86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

Tabel 2: Gemiddelde classificatieprestaties van BrainMoE vergeleken met klassieke machine learning-methoden, generieke deep learning-modellen en geavanceerde neuroimaging deep learning-architecturen.De resultaten zijn geaggregeerd over de geëvalueerde ziekteclassificatietaken en gerapporteerd als gemiddelde ± standaarddeviatie voor AUC, BA, F1-score en nauwkeurigheid.

VergelijkingGemiddelde AUCGemiddelde BAGemiddelde F1-scoreGemiddelde nauwkeurigheid
Sterkste basislijnNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
Sterkste baseline-prestatie81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
Verschil+5.4+3.5+3.8+3.3
t-test p-waarde0.00060.00650.01870.0276
Holm-gecorrigeerde p*p < 0.01p < 0.05p < 0.05p < 0.05
Cohen's dz1.631.110.910.83

Tabel 3: Vergelijking van BrainMoE met de sterkste baseline voor elke prestatiemaatstaf. P-waarden werden berekend met tweezijdige gepaarde t-toetsen en gecorrigeerd met de Holm-procedure. Cohen's dz geeft het gestandaardiseerde gepaarde verschil aan.

CohortMultimodale registraties (n)Ziekte-controleverhoudingUnieke deelnemers (n)Leeftijdsbereik (jaar)Geslacht (Mannelijk/Vrouwelijk)Acquisitielocatie (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASS820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

Tabel 4: Kenmerken van de onderzoekscohorten die zijn gebruikt in de vijf ziekte-specifieke classificatietaken.De tabel vermeldt het aantal behouden multimodale records, ziekte-controle-ratio's, het aantal unieke deelnemers, demografische kenmerken en de verdeling over de acquisitielocaties.

SubgroepNummerGemiddelde AUCGemiddelde BAGemiddelde F1-scoreGemiddelde nauwkeurigheid
Geslacht
Mannelijk70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
Vrouwelijk39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
Verschil+1.6+2.2+2.4+2.9
Welch-t-toets--0.3210.1920.1590.089
Acquisitieplaats
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
Verschil+2.4+1.6+2.9+3.3
Welch-t-toets--0.1760.3090.0850.055

Tabel 5: Prestaties van BrainMoE gestratificeerd naar geslacht en acquisitieplaats.Resultaten worden gerapporteerd als gemiddelde ± standaarddeviatie over 10 herhalingen van 5-voudige kruisvalidatie. Het verschil vertegenwoordigt de eerste subgroep minus de tweede, en P-waarden zijn verkregen met tweezijdige Welch t-testen.

VariantVolledige AUCAUC op basis van uitsluitend EEGalleen fMRI AUCGemiddelde AUCGemiddelde BA
zonder mask-embedding83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
zonder Conv Router84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP-router82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
zonder gedeelde expert83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
zonder MoE-experts81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (de onze)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

Tabel 6: Ablatieanalyse van belangrijke BrainMoE-componenten. Ablatieresultaten die de bijdrage tonen van het modaliteitsbeschikbaarheidsmasker, de convolutionele router, de gedeelde expert en het MoE expert-fusieontwerp. Elke variant wordt geëvalueerd onder volledige EEG-fMRI, alleen EEG en alleen fMRI-inferentiecondities, waarbij de gemiddelde AUC en de gemiddelde BA de algehele prestaties samenvatten.

ZiekteEEG: hoogst gerangschikte ROIEEG: Top-1 frequentie, n/N (%)fMRI: hoogst gerangschikte ROIfMRI: Top-1 frequentie, n/N (%)Kansreferentie (%)
MDDlinker oevers van de superieure temporale sulcus22/50 (44%)linker posterieure cingulate cortex25/50 (50%)1.47
ANXlinker precentrale cortex18/50 (36%)rechter pericalcarine cortex21/50 (42%)1.47
RIlinker cuneus26/50 (52%)linker parahippocampale cortex29/50 (58%)1.47
ASSlinker linguale cortex27/50 (54%)rechter pars triangularis28/50 (56%)1.47
ADHDrechter insula31/50 (62%)linker entorhinale cortex34/50 (68%)1.47

Tabel 7: Cross-fold stabiliteit van de hoogst gerangschikte EEG- en fMRI-afgeleide ROI's. Top-1 frequentie geeft het aantal en percentage van de 50-fold-analyses aan waarin de gerapporteerde ROI als eerste werd gerangschikt. De theoretische referentie voor willekeurige selectie was 1/68 (1,47%).

Aanvullend bestand 1: H5-inputcontrolescript. Python-script voor het verifiëren van de vereiste H5-inputsleutels, datatypen, diagnostische labels en DK-atlas-compatibele inputdimensies vóór de training van BrainMoE. Klik hier om dit bestand te downloaden.

Aanvullend bestand 2: fMRI-preprocessing-script. C-PAC-configuratie- en uitvoeringsbestanden gebruikt voor fMRI-preprocessing, inclusief het verwijderen van initiële volumes, bewegings- en distortiecorrectie, registratie en normalisatie, nuisance-regressie, temporele filtering en ruimtelijke smoothing. Klik hier om dit bestand te downloaden.

Aanvullend bestand 3: FreeSurfer-verwerkingsscripts. Scripts voor het verwerken van structurele MRI-gegevens, het coregisteren van de Desikan-Killiany corticale parcellatie naar de native fMRI-ruimte en het extraheren van fMRI-signalen op ROI-niveau. Klik hier om dit bestand te downloaden.

Aanvullend bestand 4: EEG-preprocessing-scripts. MATLAB/EEGLAB-scripts gebruikt voor EEG-preprocessing, inclusief filtering, identificatie en verwijdering van artefactcomponenten en herreferentie. Klik hier om dit bestand te downloaden.

Aanvullend bestand 5: MNE-Python script voor bronlokalisatie en kenmerkextractie. Python-script voor EEG-bronlokalisatie, DK-atlas ROI-extractie en het genereren van EEG-kenmerken op ROI-niveau die als BrainMoE-inputs worden gebruikt. Klik hier om dit bestand te downloaden.

Aanvullend bestand 6: BrainMoE-implementatiecode. Python-code en configuratiebestanden voor de BrainMoE-architectuur, graafencoders, verwerking van modaliteitsstatus, expert-routing en fusie, modeltraining, evaluatie en ablatievarianten. Klik hier om dit bestand te downloaden.

Aanvullend bestand 7: Code voor node-occlusie attributie. Python-code voor modaliteitsspecifieke node-occlusie analyse, berekening van ROI-bijdragingsscores, rangschikking van EEG- en fMRI-afgeleide ROI's en het genereren van attributie-outputs. Klik hier om dit bestand te downloaden.

Discussie

Multimodale analyse van hersensignalen is een belangrijke richting geworden voor computerondersteunde diagnose van hersenaandoeningen, omdat EEG en fMRI complementaire informatie verschaffen over neurale activiteit. In de benchmarkvergelijking leverden klassieke machine learning-methoden, zoals SVM en MLP, een basisdiagnostische prestatie, maar hadden zij een beperkt vermogen om hiërarchische, graafgestructureerde en cross-modale kenmerkinteracties te modelleren. Generieke deep learning-modellen, waaronder 3D-CNN, ResNet en Transformer, boden een sterkere niet-lineaire modelleringscapaciteit, maar deze architecturen waren niet specifiek ontworpen voor EEG-fMRI-fusie of representaties van hersennetwerken. Geavanceerde deep learning-methoden behaalden betere prestaties dan de meeste klassieke en generieke modellen, maar velen vertrouwden nog steeds op vaste strategieën voor kenmerkintegratie en scheidden modaliteitspecifieke informatie niet expliciet van gedeelde informatie over de neurale toestand.

Deze studie stelde BrainMoE voor om dit fusieprobleem aan te pakken door grafiekgebaseerde modaliteitsencodere, modaliteitsspecifieke experts, een gedeelde neurale-toestandsexpert en een adaptief routeringsmechanisme te combineren. Dit ontwerp maakte het mogelijk om uit EEG afgeleide en uit fMRI afgeleide representaties afzonderlijk te modelleren en vervolgens te integreren via fusie op expertniveau. Door de introductie van modaliteitstoestandsmaskers en tokens voor ontbrekende modaliteiten kon hetzelfde getrainde model ook inferentie uitvoeren op basis van alleen EEG of alleen fMRI, zonder dat er voor elke conditie met een ontbrekende modaliteit aparte modellen hoefden te worden geconstrueerd. De experimentele resultaten toonden aan dat BrainMoE de sterkste algehele prestaties behaalde over de vijf binaire ziekteclassificatietaken, en bruikbare prestaties behield in zowel de EEG-only als de fMRI-only toestanden. De ablatieanalyse ondersteunde verder de bijdrage van de masker-embedding, de convolutionele router, de gedeelde expert en de MoE-expertfusie. Deze bevindingen wijzen erop dat de verbeterde prestaties niet te danken waren aan één enkel component, maar aan het gecoördineerde ontwerp van grafiekcodering, modaliteitstoestandsmodellering, adaptieve routering en expertfusie.

Kritieke protocolstappen en probleemoplossing
Kritieke protocolstappen omvatten het handhaven van dezelfde DK-volgorde voor de 68 regio's over de EEG- en fMRI-knooppunt- en grafematrices, het onafhankelijk toepassen van de vooraf gedefinieerde preprocessing-instellingen voor elke deelnemer, en het afdwingen van cross-validatie op deelnemerniveau, zodat alle gegevens van dezelfde deelnemer in één enkele fold blijven. Het Modality Availability Mask moet bovendien overeenstemmen met de aangeleverde inputs voor elke inferentietoestand.

Indien de inferentie mislukt of het verwachte prestatievoordeel van de volledige status niet wordt gereproduceerd, controleer dan eerst de vereiste H5-sleutels, de dimensies van de EEG- en fMRI-matrices, de volgorde van de DK-regio's, de toewijzing van het Modality Availability Mask en de opgeslagen cross-validatie-partities. Bestanden met ontbrekende sleutels, ongeldige dimensies of een inconsistente volgorde van regio's moeten vóór de training of evaluatie worden uitgesloten. Het raamwerk kan worden aangepast voor alternatieve corticale parcellaties of EEG/fMRI-kenmerkrepresentaties, mits beide modaliteiten worden gekoppeld aan een consistente ROI-volgorde en de overeenkomstige invoerdimensies van het model worden aangepast. De ziekte-specifieke classificatiekop kan ook worden aangepast voor andere binaire classificatietaken, terwijl het graph-encoding- en expert-fusion-raamwerk behouden blijft. dergelijke modificaties vereisen hertraining en validatie in plaats van een directe toepassing van de hier gerapporteerde modellen.

Interpreteerbaarheidsanalyse op basis van node-occlusie
De node-occlusieanalyse leverde een verdere interpreteerbaarheid op ROI-niveau van de BrainMoE-voorspellingen, waarbij de hoogst gerangschikte ziekte-geassocieerde ROI's worden getoond in Figuur 3. De op EEG gebaseerde linker posterieure ROI die door BrainMoE is geïdentificeerd, is consistent met eerdere voxel-gebaseerde meta-analytische23 bewijzen die veranderde intrinsieke hersenactiviteit in posterieure corticale regio's bij MDD rapporteren. De op EEG/fMRI gebaseerde linker precentrale en rechter pericalcarine ROI's zijn consistent met eerdere neuroimaging-bewijzen bij angststoornissen: een meta-analyse van corticale dikte24 rapporteerde een toegenomen corticale dikte in de linker gyrus precentralis bij patiënten met angststoornissen, terwijl een studie naar structurele covariantienetwerken25 bij sociale angststoornis abnormale nodale centraliteit rapporteerde waarbij de rechter pericalcarine cortex betrokken was. Voor leesstoornissen is de op EEG gebaseerde linker cuneus ROI consistent met een whole-brain connectiviteitsstudie26 die veranderde connectiviteit van de linker cuneus bij dyslexie rapporteert, terwijl de op fMRI gebaseerde linker parahippocampale ROI consistent is met een aparte studie27 die abnormale parahippocampale/hippocampale koppeling rapporteert bij adolescenten met specifieke leesbegripsdeficiënties. In de taak voor autismespectrumstoornissen weerspiegelt de linker linguale ROI die door EEG-gebaseerde attributie is geaccentueerd eerdere resting-state fMRI-bewijzen28 van een verminderde ReHo in de linker gyrus lingualis bij prepubertaire jongens met ASD. De op fMRI gebaseerde rechter pars triangularis ROI is ook biologisch plausibel, aangezien veranderde ALFF in de rechter pars triangularis van de gyrus frontalis inferior is gerapporteerd29 bij autistische kinderen. Voor ADHD past de op EEG gebaseerde rechter insula ROI bij structurele MRI-bewijzen30 die een verminderd anterieur insulair volume tonen bij jongeren met ADHD, in het bijzonder waarbij de rechter insulaire gyrus brevis betrokken is. De op fMRI gebaseerde linker entorhinale ROI kan een meer subtype-specifieke bevinding weerspiegelen, aangezien een aparte Psychological Medicine-studie31 een lager volume van de linker entorhinale cortex rapporteerde in een ADHD-C subgroep na FDR-correctie. Deze bevindingen moeten niettemin worden geïnterpreteerd met inachtneming van interregionale afhankelijkheid, omdat gecorreleerde ROI-signalen kunnen voorkomen dat occlusie van een enkele node de bijdrage van een individuele regio volledig isoleert, wat kan leiden tot conservatieve schattingen.

Beperkingen en toekomstige richtingen
Hoewel herhaalde 5-voudige kruisvalidering is gebruikt om interne prestatieschattingen te verkrijgen, zouden toekomstige studies die gebruikmaken van genestelde kruisvalidering of onafhankelijke externe validatie de beoordeling van de stabiliteit van de modelselectie en de generaliseerbaarheid verder versterken. Omdat de output van uitsluitend EEG en uitsluitend fMRI werd gegenereerd door één modaliteit te maskeren in volledige multimodale dossiers en niet werd geëvalueerd op een externe validatiecohort, zouden toekomstige studies externe validatiecohorten met een enkele modaliteit moeten bevatten om de generaliseerbaarheid te beoordelen. Een verdere beperking is dat het ontwerp van gezonde personen versus één ziekte geen comorbide presentaties vastlegt, wat de klinische generaliseerbaarheid beperkt en aanleiding geeft tot toekomstige studies naar multi-label classificatie en differentiële diagnose. Toekomstig werk zou ook de robuustheid van EEG-associaties op bronniveau kunnen evalueren met behulp van leakage-aware connectiviteitsschatters. Hoewel de gedeelde DK-parcellatie een anatomisch gefundeerde interface biedt voor multimodale fusie, is dit een modelleringsaanname die modaliteitspecifieke verschillen in temporele resolutie en fysiologische oorsprong mogelijk niet volledig vastlegt. Naast de vijf hier geëvalueerde stoornissen zou het raamwerk kunnen worden aangepast aan andere neurologische of psychiatrische classificatietaken waarbij anatomisch uitgelijnde multimodale hersendata worden gebruikt, en kunnen worden uitgebreid naar multi-label of differentiële-diagnose toepassingen.

Conclusie
Samenvattend biedt BrainMoE een praktisch en interpreteerbaar raamwerk voor EEG-fMRI-fusie bij computerondersteunde diagnostiek van hersenaandoeningen. Het belangrijkste voordeel ligt in de adaptieve integratie van multimodale kenmerken, aangestuurd door een multi-expert-architectuur en een soft-routing-mechanisme dat dynamisch het evenwicht bewaart tussen modaliteitsspecifieke en gedeelde informatie. Bovendien behaalt hetzelfde getrainde model, door de naadloze integratie van modaliteitstoestandsmaskers en tokens voor ontbrekende modaliteiten, robuuste prestaties tijdens inferentie bij onvolledige modaliteiten zonder dat hiervoor aparte configuraties vereist zijn. Cruciaal is dat het interpreteerbare raamwerk transparante regionale attributiepaden op groepsniveau biedt voor vijf verschillende hersenaandoeningen, waardoor de conventionele black-box-architectuur wordt omgezet in een fysiologisch onderbouwd instrument voor computerondersteunde diagnostiek. Dit is van belang voor toekomstige workflows in de computationele neuro-imaging, waarin heterogene gegevensbronnen, onvolledige beschikbaarheid van modaliteiten en verklaarbare modeluitvoer allemaal centrale overwegingen zijn.

Openbaarmakingen

De auteurs verklaren dat er geen belangenverstrengeling is. De auteurs verklaren dat er geen generatieve kunstmatige intelligentietools zijn gebruikt bij het voorbereiden van dit manuscript, de bijbehorende code, de data-analyse of het maken van de grafieken.

Dankbetuigingen

Dit onderzoek werd gefinancierd door de National Natural Science Foundation of China onder subsidienummers 62433002, 62277001 en U25A20446, het Project of Construction and Support for High-level Innovative Teams of Beijing Municipal Institutions onder subsidienummer BPHR20220104, en het Beijing Scholars Program onder subsidienummer 099.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
BashGNU-project5.1.16(1)-releaseSoftware
C-PACFCP-INDIVersie 1.8.7; container-tag release-v1.8.7.dev1Software
CUDA ToolkitNVIDIA CorporationVersie 12.4Software
CUDA-compatibele GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPUApparatuur
Desikan-Killiany corticale atlasFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 corticale regio's (RRID:SCR_001847)Atlas/bron
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoVersie 2022.1 (RRID:SCR_007292)Software
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalVersie 7.4.1 (RRID:SCR_001847)Software
FSLFMRIB, Universiteit van OxfordGebundeld met C-PAC 1.8.7; exacte versie niet gespecificeerd (RRID:SCR_002823)Software
Healthy Brain Network (HBN) datasetChild Mind InstituteRRID:SCR_016989Dataset
MATLABMathWorksR2022a (RRID:SCR_001622)Software
MNE-PythonMNE-Python-ontwikkelteamVersie 1.9 (RRID:SCR_005972)Software/bibliotheek
PythonPython Software FoundationVersie 3.12.4 (RRID:SCR_008394)Software
PyTorchPyTorch FoundationVersie 2.6.0+cu124 (RRID:SCR_018536)Bibliotheek

Referenties

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Herprints en machtigingen

Tags

EEG-fMRI-fusiemultimodale hersenbeeldvormingcomputergestuurde diagnosegraaf-encodersROI-attributiekaartenneurale-toestands-expertmodaliteitstoestandsmaskersknoop-occlusieanalyse

Dit artikel is gepubliceerd

Video binnenkort beschikbaar

Neem contact met ons op
Aanbevelen aan de bibliotheek

Privacy

Gebruiksvoorwaarden

Beleidsoverzicht

Copyright © 2026 MyJoVE Corporation. Alle rechten voorbehouden.