Articolo metodologico

Fusione di Elettroencefalografia e Risonanza Magnetica Funzionale basata su Mixture-of-Experts per la Diagnosi Assistita da Computer di Patologie Cerebrali Interpretabile

0 visualizzazioni

⸱

DOI:

10.3791/73432

⸱

25 settembre 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

In questo articolo

Sommario

Questo protocollo presenta Brain Mixture-of-Experts, un framework adattivo e interpretabile per la fusione di elettroencefalografia e risonanza magnetica funzionale per la diagnosi assistita da computer dei disturbi cerebrali. Il metodo integra rappresentazioni eterogenee di EEG e fMRI attraverso esperti specifici per ciascuna modalità, un esperto condiviso dello stato neurale e un instradamento adattivo, mantenendo al contempo l'interpretabilità e l'inferenza in condizioni di assenza simulata di una delle modalità.

Abstract

L'elettroencefalografia (EEG) e la risonanza magnetica funzionale (fMRI) forniscono informazioni complementari sul funzionamento cerebrale e hanno mostrato un potenziale significativo nel rilevare anomalie funzionali in varie patologie cerebrali. Tuttavia, le diverse caratteristiche del segnale e gli spazi rappresentativi disomogenei dell'EEG e della fMRI pongono gravi difficoltà all'efficace fusione multimodale, ostacolando così una diagnosi assistita da computer accurata delle malattie cerebrali mediante modelli convenzionali fissi. Questo studio presenta Brain Mixture-of-Experts (BrainMoE), un framework adattivo e interpretabile per la fusione EEG-fMRI finalizzato alla diagnosi assistita da computer delle patologie cerebrali, che integra caratteristiche cerebrali multimodali attraverso esperti specifici per ciascuna modalità, un esperto condiviso dello stato neurale e un meccanismo di instradamento adattivo. BrainMoE proietta innanzitutto i segnali EEG e fMRI in uno spazio unificato di regioni di interesse (ROI) secondo l'atlante Desikan-Killiany (DK), quindi utilizza codificatori grafici per estrarre rappresentazioni della rete cerebrale specifiche per ciascuna modalità. Il modulo di instradamento morbido produce una rappresentazione di instradamento, mentre la Expert Gate nel modulo di fusione genera pesi specifici per campione per combinare le rappresentazioni dell'esperto EEG, dell'esperto fMRI e dell'esperto condiviso dello stato neurale. Per gestire scenari di acquisizione incompleta, vengono introdotti maschere dello stato della modalità e token per modalità mancanti, consentendo allo stesso modello addestrato di eseguire inferenze complete EEG-fMRI, nonché inferenze basate solo su EEG o solo su fMRI. Infine, l'analisi mediante occlusione dei nodi fornisce mappe di attribuzione a livello di ROI sia per le previsioni derivate dall'EEG che da quelle derivate dalla fMRI. Il framework è stato valutato sul dataset Healthy Brain Network (HBN) in cinque compiti di classificazione binaria delle patologie cerebrali, inclusi il disturbo depressivo maggiore, il disturbo d'ansia, il disturbo della lettura, il disturbo dello spettro autistico e il disturbo da deficit di attenzione/iperattività. BrainMoE ha superato gli algoritmi di confronto all'avanguardia, raggiungendo un AUC medio del 86,9 ± 3,0%, e esperimenti di ablazione hanno confermato il contributo dei componenti di instradamento e di fusione degli esperti. Inoltre, l'analisi dell'interpretabilità identifica contributi a livello di gruppo delle ROI alla classificazione delle malattie, coerenti con precedenti risultati di neuroimmagini riportati in letteratura. Questo metodo supporta la diagnosi assistita da computer delle patologie cerebrali affrontando la sfida dell'integrazione di rappresentazioni neurali eterogenee EEG-fMRI, mantenendo al contempo interpretabilità e capacità di inferenza anche in condizioni simulate di mancanza di una modalità.

Introduzione

I disturbi cerebrali comportano complessi cambiamenti nell'attività neurale e nell'organizzazione delle reti cerebrali, difficili da caratterizzare con una singola modalità di imaging1. Dopo la ricostruzione della sorgente2, l'EEG fornisce attività elettrofisiologica (EEG) a livello regionale, mentre la risonanza magnetica funzionale (fMRI) cattura la connettività funzionale a livello regionale, offrendo visioni complementari della funzione cerebrale. Per facilitarne l'integrazione, studi precedenti multimodali hanno mappato entrambe le modalità nell'atlante Desikan-Killiany (DK) a 68 regioni3. Sebbene questa corrispondenza spaziale non implichi equivalenza nella risoluzione temporale o nell'origine fisiologica, essa fornisce un indice anatomico unificato per la fusione grafica a livello di nodo, per dimensioni grafiche fisse e per un'interpretazione coerente a livello delle regioni di interesse (ROI), preservando al contempo le informazioni specifiche della modalità. L'integrazione di queste rappresentazioni allineate anatomicamente ma specifiche per ciascuna modalità può arricchire le rappresentazioni dei segnali cerebrali correlati alle malattie e supportare la diagnosi assistita da computer dei disturbi cerebrali3,4.

Nonostante il potenziale della fusione EEG-fMRI per la diagnosi assistita da computer dei disturbi cerebrali, l'eterogeneità tra le due modalità pone una sfida tecnica alla loro integrazione efficace. Metodi classici di apprendimento automatico, come SVM e MLP, possono fornire modelli di classificazione di base, ma hanno capacità limitata di catturare interazioni non lineari tra modalità diverse. Modelli generici di deep learning, inclusi le architetture GNN5, ResNet6 e Transformer7, offrono un apprendimento delle rappresentazioni più potente, ma non sono progettati specificamente per grafi cerebrali a livello di ROI o per la modellizzazione dello stato delle modalità. Modelli recenti e avanzati3,8,9 hanno aumentato la complessità non lineare per modellare meglio le reti cerebrali. BrainNetCNN8 è stato introdotto per adattare le operazioni di convoluzione alle matrici di connettività cerebrale; BrainGNN9 ha ulteriormente modellato la topologia del grafo a livello di ROI utilizzando reti neurali su grafi e operazioni di pooling; e BNT10 ha successivamente potenziato l'analisi delle reti cerebrali funzionali con un'attenzione multilivello basata su transformer. Tuttavia, questi progressi sono stati sviluppati principalmente per contesti a singola modalità. MultiEpilepsyNet11 ha poi esteso l'apprendimento multimodale al rilevamento delle crisi EEG-MRI attraverso un framework ibrido federato, e il suo modulo EpiSkullNet++ lato MRI ha migliorato la segmentazione cerebrale e il preelaborazione. SZAtt-Net12 ha successivamente sviluppato un modello di classificazione multimodale per la schizofrenia combinando blocchi CNN, BiGRU e MLP con meccanismi di attenzione per canale, auto-attenzione, spaziale e temporale. Tuttavia, questi metodi sono rimasti specifici per compiti particolari e si sono basati su progettazioni di fusione relativamente fisse, senza supportare esplicitamente un instradamento adattivo tra stati con modalità complete e modalità mancanti.

I modelli Mixture-of-Experts (MoE)13,14 sono stati sempre più adottati nell'apprendimento multimodale poiché consentono di elaborare fonti eterogenee di informazioni attraverso moduli esperti specializzati e di combinarle dinamicamente mediante meccanismi di instradamento. La gating softmax fornisce pesi normalizzati degli esperti dipendenti dall'input ed è stata caratterizzata teoricamente in termini di velocità di convergenza15. Architetture multi-gate correlate hanno inoltre dimostrato che gate separati possono apprendere combinazioni dipendenti dal compito di esperti condivisi nell'apprendimento multi-task su larga scala16. Nella ricerca neuroscientifica e negli studi sul cervello, varianti di MoE17,18,19 sono state utilizzate con crescente frequenza per facilitare la fusione di caratteristiche eterogenee. dFCExpert17 ha utilizzato esperti basati su modularità e stato per modellare schemi di connettività funzionale dinamica provenienti da fMRI. EvoMoE18 ha ulteriormente utilizzato una rete di gating per selezionare esperti adeguati alla classificazione SSVEP-EEG indipendente dall'utente. NeuroMoE++19 ha esplorato una fusione multimodale adattiva al paziente per la classificazione di disturbi neurologici. Nonostante il loro successo, questi modelli si basano generalmente su un mixing grossolano e su un instradamento discreto che ignorano la natura altamente sincronizzata degli stati neurali cross-modal, ostacolando il rilevamento di schemi sottili ma informativi, fondamentali per la diagnosi di disturbi cerebrali. Inoltre, in assenza di un meccanismo dedicato per separare le sfumature specifiche di ciascuna modalità da uno stato neurale condiviso unificato, questi modelli offrono una limitata interpretabilità e subiscono un degrado delle prestazioni quando una modalità cruciale (fMRI o EEG) è assente.

Per affrontare tali limitazioni, questo studio presenta Brain Mixture-of-Experts (BrainMoE), un framework adattivo e interpretabile per la fusione di EEG e fMRI finalizzato alla diagnosi assistita da computer di cinque categorie di disturbi cerebrali, tra cui il disturbo depressivo maggiore (MDD), il disturbo d'ansia (ANX), il disturbo specifico dell'apprendimento con difficoltà nella lettura (RI), il disturbo dello spettro autistico (ASD) e il disturbo da deficit di attenzione/iperattività (ADHD). Il protocollo allinea innanzitutto le caratteristiche di EEG ricostruite alla sorgente e quelle di fMRI allo spazio ROI dell'atlante DK20, quindi costruisce rappresentazioni modali basate su grafi per entrambe le modalità. BrainMoE utilizza un esperto EEG, un esperto fMRI e un esperto condiviso dello stato neurale, che vengono integrati tramite un modulo di instradamento morbido per combinare informazioni specifiche della modalità e informazioni condivise. Maschere dello stato modale e token per modalità mancanti sono incorporate per consentire inferenze complete con EEG-fMRI, nonché con solo EEG o solo fMRI, all'interno di un singolo modello addestrato. Per favorire l'interpretazione biologica, il protocollo applica un'analisi di occlusione dei nodi, in cui ogni ROI dell'atlante DK viene mascherato selettivamente e la conseguente variazione nella probabilità di predizione della malattia viene utilizzata per stimare i contributi regionali derivati da EEG e fMRI. Questo protocollo descrive l'intero flusso di lavoro per l'allineamento dei dati, la costruzione del modello, l'addestramento, la valutazione e l'interpretazione dei ROI basata sull'occlusione dei nodi, fornendo una strategia adattiva e interpretabile per la diagnosi assistita da computer dei disturbi cerebrali mediante fusione eterogenea di segnali cerebrali EEG-fMRI. Per facilitare la riproducibilità e futuri sviluppi, il repository pubblico su GitHub fornisce il modello BrainMoE, il codice per l'addestramento e la valutazione, mentre la pre-elaborazione di EEG e fMRI è stata eseguita utilizzando software di terze parti disponibili pubblicamente. Il repository è disponibile all'indirizzo https://github.com/zhongruizhe123/BrainMoE.

Protocollo

Questo studio ha utilizzato dati anonimizzati provenienti dal database Healthy Brain Network (HBN)21, concentrandosi su cinque disturbi clinici distinti per compiti di classificazione diagnostica successivi. L'approvazione etica e il consenso informato scritto erano stati precedentemente ottenuti dall'iniziativa HBN da tutti i siti e partecipanti coinvolti. Le registrazioni EEG e fMRI sono state acquisite in sessioni separate e non simultaneamente, e sono state abbinate utilizzando gli identificatori del partecipante e della sessione disponibili in HBN.

1. Preparare l'ambiente computazionale e i dati di input

  1. Configurare l'ambiente computazionale
    1. Creare e attivare un ambiente virtuale Python 3.12.4: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Installare i pacchetti richiesti e le loro versioni fisse utilizzando il file requirements.txt fornito nel repository pubblico su GitHub: pip install -r requirements.txt
    3. Verificare la configurazione di PyTorch e CUDA prima dell'addestramento: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Assicurarsi che l'output indichi PyTorch 2.6.0+cu124, CUDA 12.4 e che la disponibilità di CUDA sia True. Eseguire l'addestramento del modello utilizzando una GPU compatibile con CUDA.
  2. Esaminare tutti i file di input H5 prima dell'addestramento del modello.
    1. Verificare che ciascun file contenga sLORETA_mean_func per le caratteristiche dei nodi EEG, sLORETA_mean_CorrMatrix per il grafo EEG, fMRI-DK68-node-mat per le caratteristiche dei nodi fMRI, fMRI-DK68-edge-mat per il grafo fMRI e un'etichetta per la diagnosi. Escludere i file con chiavi mancanti, valori non numerici, etichette non valide o dimensioni non coerenti con l'atlante Desikan-Killiany a 68 regioni. Eseguire lo script di verifica dei file H5 come segue: python checkH5.py (File Supplementare 1).

2. Allineare le caratteristiche EEG e fMRI a uno spazio anatomico condiviso

  1. Preelaborare i dati fMRI.
    1. Elaborare i dati fMRI utilizzando C-PAC (versione 1.8.7). Eseguire lo script di preelaborazione C-PAC come segue: bash run_cpac_brainmoe.sh <BIDS_DIR> <OUTPUT_DIR> (File Supplementare 2). Scartare i primi cinque volumi per ridurre gli effetti del segnale iniziale non a regime.
    2. Eseguire la correzione del timing delle slice, la correzione del movimento, la correzione della distorsione, la registrazione, la normalizzazione nello spazio anatomico MNI152 e la filtratura spaziale. Regredire 24 parametri fastidiosi legati al movimento.
    3. Applicare un filtraggio temporale passa-banda compreso tra 0,01 e 0,08 Hz.
  2. Generare caratteristiche fMRI allineate all'atlante.
    1. Elaborare la risonanza magnetica strutturale corrispondente utilizzando FreeSurfer (versione 7.4.1). Eseguire gli script come segue: bash Step01_mgz_2_nifti.sh. Coregistrare la parcellazione corticale Desikan-Killiany risultante nello spazio fMRI nativo del partecipante. Eseguire gli script come segue: python Step02_CoRegistration.py. Calcolare il segnale medio voxel per voxel all'interno ciascuna delle 68 regioni corticali. Eseguire gli script come segue: python Step03_fMRI_Signal_Extraction.py (File Supplementare 3).
    2. Mantenere 370 punti temporali fMRI consecutivi senza padding temporale per ottenere una matrice di caratteristiche nodo-fMRI di dimensione 68 × 370, dove 68 indica le regioni corticali DK e 370 indica i punti temporali fMRI mantenuti.
  3. Costruire il grafo fMRI.
    1. Calcolare le correlazioni di Pearson tra le serie temporali di 370 punti delle 68 regioni DK. Archiviare la matrice risultante di connettività funzionale 68 × 68 come matrice degli archi fMRI.
  4. Preelaborare i dati EEG.
    1. Elaborare le registrazioni EEG a 129 canali utilizzando il toolbox EEGLAB (versione 2022.1) in MATLAB (versione R2022a). Eseguire sequenzialmente i due script di preelaborazione EEGLAB come segue: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (File Supplementare 4). Mantenere la frequenza di campionamento di 500 Hz e applicare un filtro passa-banda compreso tra 0,2 e 40 Hz. Identificare segmenti rumorosi ed elettrodi difettosi, e interpolare i canali difettosi utilizzando il segnale medio proveniente dagli elettrodi adiacenti.
    2. Utilizzare l'analisi delle componenti indipendenti con il plugin ICLabel per classificare le componenti indipendenti. Rimuovere le componenti con una probabilità di classificazione come artefatto oculare o muscolare superiore a 0,90. Applicare il riferimento medio. Escludere le registrazioni che contengono meno di 250 s di dati utilizzabili dopo la preelaborazione e la rimozione degli artefatti.
  5. Generare caratteristiche EEG allineate all'atlante.
    1. Costruire un modello individuale della testa a tre strati basato sul metodo degli elementi al contorno (BEM) a partire dalla risonanza magnetica strutturale di ciascun partecipante. Definire lo spazio sorgente sulla superficie corticale individuale di ciascun partecipante. Registrare le posizioni degli elettrodi EEG sulla superficie BEM e calcolare la matrice del campo guida.
    2. Applicare un operatore inverso regolarizzato utilizzando la matrice di covarianza del rumore di base. Impostare il rapporto segnale-rumore a 3,0, ottenendo λ2 = 1/SNR2 = 1/9 (circa 0,1111), ed eseguire la localizzazione delle sorgenti utilizzando la tomografia elettromagnetica a bassa risoluzione standardizzata (sLORETA) implementata in MNE-Python (versione 1.9).
    3. Raggruppare le stime delle sorgenti per vertice all'interno di ciascuna parcella Desikan-Killiany mediante media aritmetica per ottenere 68 serie temporali a livello di ROI. Mantenere il primo segmento continuo di 250 s e suddividere ciascuna serie temporale ROI in 250 epoche consecutive, non sovrapposte, di 1 s ciascuna.
    4. Calcolare la potenza nella banda alfa (8–12 Hz) all'interno di ciascuna epoca per ottenere una matrice di caratteristiche nodo-EEG di dimensione 68 × 250, dove 68 indica le regioni corticali DK e 250 indica le 250 epoche consecutive, non sovrapposte, di 1 s.
  6. Costruire il grafo EEG e verificare l'allineamento multimodale.
    1. Calcolare le correlazioni di Pearson tra le serie temporali di potenza alfa 8–12 Hz delle 250 epoche delle 68 regioni DK. Archiviare la matrice risultante 68 × 68 come grafo EEG.
    2. Verificare che le matrici EEG e fMRI utilizzino lo stesso ordine delle regioni DK e utilizzare lo stesso file di indice delle regioni DK per l'ingresso del modello, l'attribuzione e la visualizzazione. Eseguire lo script di localizzazione delle sorgenti e di estrazione delle caratteristiche in MNE-Python come segue: python "Extract features - templates.py" (File Supplementare 5).
  7. Normalizzare le caratteristiche dei nodi all'interno di ciascun campione.
    1. Applicare la normalizzazione z-score per nodo alle matrici di caratteristiche nodo EEG e fMRI. Mantenere le matrici dei grafi come ingressi di connettività e applicare la normalizzazione del grafo all'interno del modello BrainMoE.
    2. Effettuare la preelaborazione EEG e fMRI in modo indipendente per ciascun partecipante utilizzando impostazioni fisse, senza utilizzare informazioni provenienti dai fold della cross-validazione per determinare i parametri di preelaborazione.

3. Costruire compiti di classificazione binaria specifici per la malattia

  1. Definire cinque compiti di classificazione binaria specifici per la malattia.
    1. Codificare i controlli sani (HC) come classe 0 in tutti i compiti e codificare solo il gruppo di malattia selezionato come classe 1 all'interno del proprio compito.
    2. Costruire compiti separati sano contro malattia per depressione, disturbo d'ansia, disturbo dello sviluppo neurologico con disturbo specifico dell'apprendimento e difficoltà nella lettura, disturbo dello spettro autistico e disturbo da deficit di attenzione/iperattività.
  2. Caratterizzare i gruppi di studio ed esaminare potenziali effetti legati al sesso e al sito di acquisizione.
    1. Per ogni compito specifico della malattia, includere partecipanti HBN con dati completi di EEG, fMRI e risonanza magnetica strutturale (sMRI) e un'etichetta diagnostica valida. Escludere i partecipanti con diagnosi comorbide dai gruppi positivi alla malattia. Escludere le registrazioni EEG contenenti meno di 250 s di dati utilizzabili dopo il preelaborazione e la rimozione degli artefatti, e mantenere solo i file di input che hanno superato i criteri di controllo qualità descritti nella sezione 1.2.
    2. Riassumere i numeri di record multimodali e partecipanti unici mantenuti, i rapporti malattia-controllo, gli intervalli di età, le distribuzioni per sesso e le distribuzioni per sito di acquisizione per il gruppo comune di controlli sani e per ciascun gruppo di malattia nella Tabella 4.
      NOTA: Lo stesso gruppo di controlli sani è stato riutilizzato come classe 0 in tutti e cinque i compiti, quindi le stime di prestazione a livello di compito non sono statisticamente indipendenti. Questa dipendenza deriva dal gruppo comune di controlli sani e non da un sovrapposizione tra i gruppi di malattia.
    3. Stratificare le prestazioni per sesso e sito di acquisizione e confrontare i valori risultanti utilizzando test t di Welch a due code attraverso le ripetute esecuzioni di cross-validation a 5 fold.
  3. Selezionare i file H5 specifici per compito e definire le suddivisioni per la cross-validation.
    1. Per ogni compito, mantenere solo i controlli sani e il gruppo di malattia target. Generare 10 ripetizioni di cross-validation a 5 fold a livello di partecipante. Stratificare i partecipanti unici in base all'etichetta di classe binaria, controlli sani contro la malattia target, per preservare la distribuzione delle classi tra i fold.
    2. Utilizzare l'identificatore univoco del partecipante come variabile di raggruppamento e assegnare tutte le sessioni e i record multimodali dello stesso partecipante allo stesso fold. Utilizzare i semi casuali da 1 a 10, rispettivamente, per generare le 10 partizioni ripetute di cross-validation. Utilizzare un seme casuale fisso pari a 1 per l'inizializzazione e l'addestramento del modello.
    3. Riservare il fold trattenuto esclusivamente per la valutazione finale e salvare gli identificatori dei partecipanti, gli elenchi di file e gli indici di partizione per ogni fold insieme al checkpoint corrispondente. Per ogni fold di addestramento, calcolare i pesi delle classi a partire dalle etichette di addestramento e utilizzarli nella funzione di perdita cross-entropia per ridurre il bias causato dallo sbilanciamento delle classi.

4. Costruire l'architettura BrainMoE per la diagnosi assistita da computer dei disturbi cerebrali

NOTA: L'architettura BrainMoE è stata progettata come un framework compatto per la fusione di EEG-fMRI con modalità mancanti, che combina un codificatore grafico, un instradamento morbido dello stato neurale condiviso e un'integrazione delle caratteristiche basata su esperti per la diagnosi binaria specifica della malattia. L'architettura generale è mostrata in Figura 1, e il codice di implementazione è fornito nel File Supplementare 6.

  1. Definire gli input del BrainMoE e gli stati delle modalità. Utilizzare la modalità EEG e la modalità fMRI dopo l'allineamento nello spazio sorgente come ingressi grafici accoppiati. In questo caso, X indica una matrice di caratteristiche regionali, A indica un grafo cerebrale specifico per la modalità e ogni riga corrisponde a una delle 68 regioni di Desikan-Killiany.
    figure-protocol-1
    figure-protocol-2
    Definire la Maschera di Disponibilità della Modalità come m = [mEEG, mfMRI]. Utilizzare m = [1,1] per l'ingresso completo EEG-fMRI, m = [1,0] per l'ingresso solo EEG e m = [0,1] per l'ingresso solo fMRI.
  2. Codificatore del grafo: Per ogni modalità q, dove q è EEG o fMRI, passare la matrice delle caratteristiche Xq e grafico Aq nel suo Graph Encoder specifico per modalità. L'encoder è un modulo neurale addestrabile che include proiezione dei nodi, passaggio di messaggi nel grafo, normalizzazione, attivazione e dropout (p=0,3).
    figure-protocol-3
    NOTA: In questa notazione, Zq è la rappresentazione latente a livello di ROI prodotta dall'Encoder Grafico per EEG o dall'Encoder Grafico per fMRI. L'Encoder Grafico per EEG mappa ciascuna matrice in ingresso di dimensioni 68 x 250 in una rappresentazione latente di dimensioni 68 x 128, mentre l'Encoder Grafico per fMRI mappa ciascuna matrice in ingresso di dimensioni 68 x 370 in una rappresentazione latente di dimensioni 68 x 128. Ciascun encoder utilizza una proiezione in ingresso seguita da due strati residui di convoluzione grafica con 128 dimensioni nascoste, attivazione GELU, normalizzazione del livello e dropout.
  3. Token addestrabili per modalità mancanti: Sia Tq essere il token per la modalità q e mq sia l'indicatore di disponibilità corrispondente. Questo passaggio produce una rappresentazione consapevole dello stato che mantiene la stessa disposizione a 68 regioni in presenza di input completi o a singola modalità.
    figure-protocol-4
    NOTA: Ogni token addestrabile per modalità mancante è un vettore di 128 dimensioni e viene espanso su tutte le 68 righe delle ROI quando la modalità corrispondente non è disponibile.
  4. Modulo condiviso di instradamento morbido basato sullo stato neurale: in primo luogo, combinare la rappresentazione EEG consapevole dello stato ZEEG, la rappresentazione fMRI consapevole dello stato ZfMRIe la maschera incorporata di disponibilità della modalità. La maschera di disponibilità della modalità viene incorporata tramite un MLP con dimensioni 2 → 128, attivazione GELU e normalizzazione del livello. Il Router è costituito da due strati convoluzionali unidimensionali con dimensioni del canale pari a 384 → 128 → 128, dimensione del kernel 3 e padding 1. Dopo ogni convoluzione viene applicata l'attivazione GELU, con dropout (p=0,3) dopo la prima convoluzione.
    figure-protocol-5
    figure-protocol-6
  5. Esperto condiviso dello stato neurale
    1. Concatenare la rappresentazione EEG consapevole dello stato ZEEG, la rappresentazione fMRI consapevole dello stato ZfMRIe la rappresentazione a instradamento flessibile R lungo la dimensione delle caratteristiche. Applicare un layer di fusione completamente connesso (da 384 a 128), seguito da normalizzazione del layer, attivazione GELU e dropout (p=0,3), quindi effettuare una media pooling della rappresentazione risultante sui 68 ROI per ottenere la rappresentazione fusa a livello di soggetto di dimensione 128 zfuso:
      figure-protocol-7
    2. Passaggio zfuso attraverso l'esperto condiviso di stato neurale, costituito da un layer completamente connesso (128 a 128), normalizzazione del layer, attivazione GELU e dropout (p=0,3). Indicare la rappresentazione risultante dell'esperto condiviso, di dimensione 128, con Econdiviso:
      figure-protocol-8
  6. Esperti di EEG e fMRI
    1. Per ogni modalità, effettuare una media pooling della rappresentazione dipendente dallo stato su 68 aree di interesse (ROI) e trasmettere la rappresentazione risultante di 128 dimensioni attraverso l'Esperto specifico per la rispettiva modalità:
      figure-protocol-9
    2. Ogni Esperto specifico per modalità è costituito da un layer completamente connesso (128 a 128), normalizzazione del layer, attivazione GELU e dropout (p=0,3). Indicare le rappresentazioni risultanti dell'Esperto specifico per modalità, di dimensione 128, con EEEG e EfMRI, rispettivamente.
  7. Modulo di fusione.
    1. Per calcolare i pesi degli esperti, concatenare la rappresentazione fusa a livello di soggetto di dimensione 128 zfuso con la Maschera di Disponibilità della Modalità 2-dimensionale m, producendo un ingresso alla Gate di dimensione 130. Il modulo Fuse contiene una Expert Gate che genera i pesi specifici per il campione, utilizzati per la fusione degli esperti. L'Expert Gate è costituita da un layer completamente connesso (da 130 a 128), seguito da attivazione GELU e dropout (p = 0,3) e un livello di output completamente connesso (da 128 a 3). Applicare la funzione softmax ai tre logiti di output per ottenere i pesi specifici per esperto del campione:figure-protocol-10
    2. I pesi risultanti sono non negativi e la loro somma è pari a 1 per ogni campione:
      figure-protocol-11
    3. Moltiplicare ciascuna rappresentazione dell'esperto a 128 dimensioni per il relativo peso del Gate e sommare le tre rappresentazioni pesate:
      figure-protocol-12
      NOTA: Questa operazione implementa la fusione densa soft MoE.
    4. Passare la rappresentazione finale dell'esperto di dimensione 128 risultante efuso alla classificazione della diagnosi dei disturbi cerebrali descritta nella sezione 4.8.
  8. Classificazione della diagnosi dei disturbi cerebrali: Passare la rappresentazione finale dell'esperto a 128 dimensioni attraverso un head di classificazione costituito da normalizzazione del layer, dropout (p = 0,3) e un livello completamente connesso che mappa 128 dimensioni a 2 logit di uscita. Applicare la funzione softmax per ottenere la probabilità di HC e la probabilità della malattia bersaglio. Assegnare il campione alla classe della malattia quando la probabilità della malattia bersaglio è almeno 0,5.
    figure-protocol-13
  9. Verificare la coerenza dell'implementazione prima dell'addestramento. Eseguire una passata in avanti simulata con m = [1,1], m = [1,0] e m = [0,1]. Confermare che le rappresentazioni EEG, fMRI, basate sullo stato, di instradamento e fuse mantengano 68 righe ROI a meno che non siano esplicitamente sottoposte a pooling, e verificare che i pesi degli esperti sommino a 1 nell'ordine: Esperto EEG, Esperto fMRI e Esperto condiviso dello stato neurale.

5. Addestrare i cinque modelli BrainMoE per la diagnosi dei disturbi cerebrali

  1. Addestra un modello BrainMoE per ciascun compito binario specifico della malattia.
    1. Utilizza la stessa architettura e gli iperparametri predefiniti per tutti i compiti: 30 epoche, dimensione del batch 16, tasso di apprendimento 0,001, decadimento del peso 0,0001. Fissa l'architettura del modello e gli iperparametri prima della valutazione del fold di test e mantienili invariati in tutti i fold, le ripetizioni e i compiti specifici della malattia.
    2. Non utilizzare le prestazioni del fold di test trattenuto per la selezione del modello o l'ottimizzazione degli iperparametri. Per ogni mini-batch, esegui tre passaggi in avanti utilizzando le maschere completa, solo EEG e solo fMRI con pesi del modello condivisi. Esegui l'addestramento di BrainMoE come segue: python train.py --config configs/brain_moe.json --task <TASK> --data_dir <H5_DIR> (File Supplementare 6). Imposta <TASK> su depression, anxiety, reading_disorder, autism o adhd.
  2. Ottimizza la perdita media della classificazione a tre stati. Calcola la perdita di entropia incrociata pesata per classe Ls per ciascuno stato come
    figure-protocol-14
    e fai la media delle perdite come
    figure-protocol-15
  3. Azzera i gradienti, esegui la retropropagazione e aggiorna tutti i parametri addestrabili con AdamW.

6. Valutare gli stati di inferenza completa e con modalità mancanti

  1. Metodo di valutazione: Caricare il checkpoint per il compito relativo alla malattia selezionata e utilizzare l'elenco dei file di test salvato dallo stesso checkpoint. Utilizzare m = [1,1] per l'inferenza completa EEG-fMRI, m = [1,0] per l'inferenza solo EEG e m = [0,1] per l'inferenza solo fMRI. Infine, applicare la funzione softmax per ottenere la probabilità della malattia bersaglio e assegnare la classe della malattia quando la probabilità è almeno 0,5.
  2. Metriche di valutazione: Calcolare le metriche di valutazione a partire dalla matrice di confusione, dove TP indica campioni positivi alla malattia correttamente classificati come malati, TN indica soggetti sani (HC) correttamente classificati come sani, FP indica soggetti sani erroneamente classificati come malati e FN indica campioni positivi alla malattia erroneamente classificati come sani.
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. Utilizzare l'accuratezza per riportare la percentuale complessiva di classificazioni corrette. Utilizzare la sensibilità per quantificare il rilevamento dei casi positivi alla malattia e la specificità per quantificare l'identificazione dei soggetti sani (HC).
  4. Utilizzare il punteggio F1 per riassumere l'equilibrio tra precisione e sensibilità. Utilizzare l'accuratezza bilanciata per ridurre l'influenza dello sbilanciamento tra le classi. Inoltre, calcolare l'AUC per valutare la capacità discriminatoria indipendente dalla soglia attraverso diverse soglie decisionali.
  5. Per ogni ripetizione, calcolare la media di ciascuna metrica di prestazione sui cinque fold esclusi. Riportare i risultati finali come media e deviazione standard delle medie ottenute nelle 10 ripetizioni.
  6. Confrontare BrainMoE con i metodi di base. Tutti i metodi di base hanno utilizzato le stesse partizioni a livello di partecipante e gli stessi input completi EEG-fMRI di BrainMoE, con configurazioni fissate prima della valutazione sui fold esclusi. BrainMoE è stato confrontato con ciascun metodo di base mediante test t appaiati a due code con correzione di Holm.

7. Eseguire l'attribuzione tramite occlusione dei nodi a livello di gruppo in cinque disturbi cerebrali

  1. Definire il gruppo di attribuzione. Caricare il checkpoint addestrato di BrainMoE e il file con i nomi delle regioni DK. Selezionare i campioni di test positivi alla malattia che sono stati correttamente classificati nello stato completo EEG-fMRI con m = [1,1]. Utilizzare questo gruppo per l'analisi di attribuzione a livello di gruppo e salvare la probabilità iniziale di malattia bersaglio per ciascun campione.
  2. Calcolare i punteggi di occlusione specifici per ciascuna modalità. Per l'attribuzione derivata dall'EEG, occludere una regione di interesse (ROI) dell'EEG alla volta azzerando il vettore delle caratteristiche del nodo EEG selezionato e la riga e colonna corrispondente del grafo EEG, mantenendo invariato l'input fMRI. Per l'attribuzione derivata dall'fMRI, applicare la stessa operazione alla matrice delle caratteristiche dei nodi fMRI e al grafo fMRI, mantenendo invariato l'input EEG. Ripetere questa procedura per tutte e 68 le regioni DK. Eseguire l'analisi di attribuzione mediante occlusione dei nodi utilizzando il codice fornito nel File Supplementare 7.
  3. Calcolare e visualizzare i contributi delle ROI a livello di gruppo. Per ogni ROI e per ciascuna modalità, calcolare il punteggio di contributo come diminuzione media della probabilità di malattia bersaglio dopo l'occlusione, calcolata su tutti i campioni selezionati. Ordinare separatamente i punteggi derivati dall'EEG e quelli derivati dall'fMRI, esportare le prime 10 ROI per ciascuna modalità ed etichettare nel grafico la ROI con il punteggio più alto.

Risultati

Prestazioni di BrainMoE nei diversi disturbi e stati di modalità
Il protocollo ha generato cinque classificatori BrainMoE specifici per malattia (sani rispetto a malati) e prodotto tabelle di previsione per gli stati di inferenza completo EEG-fMRI, solo EEG e solo fMRI. Lo stato completo EEG-fMRI ha prodotto una discriminazione costantemente elevata nei cinque compiti, con valori di AUC compresi tra 84,4 ± 3,2% per RI e 88,4 ± 3,8% per ASD (Tabella 1). Le prestazioni medie su tutti i compiti nello stato completo hanno raggiunto un AUC del 86,9 ± 3,0%, un'accuratezza dell'81,4 ± 3,1%, un'accuratezza bilanciata dell'81,4 ± 2,5% e un punteggio F1 dell'81,2 ± 3,0%.

Nelle condizioni simulate di modalità mancanti, BrainMoE ha mantenuto prestazioni utilizzabili quando una modalità di ingresso era mascherata. Nello stato solo EEG, il modello ha raggiunto un AUC macro-medio del 83,1 ± 3,7%, con il valore più alto di AUC osservato per l'ADHD nello stato solo EEG pari all'87,9 ± 2,8%. Nello stato solo fMRI, l'AUC macro-medio è stato dell'80,0 ± 3,9%. Questi intervalli di prestazione e il vantaggio atteso nelle prestazioni nello stato completo servono come riferimenti pratici per un'implementazione di successo, indicando che il framework BrainMoE addestrato può eseguire inferenze complete, solo EEG e solo fMRI senza modelli separati per ciascuna modalità.

Un risultato subottimale rappresentativo è il mancato riprodurre il vantaggio atteso nelle prestazioni dello stato completo, ad esempio quando l'AUC completo di EEG-fMRI è inferiore all'AUC di solo EEG o di solo fMRI. Al contrario, un'implementazione corretta dovrebbe riprodurre il vantaggio dello stato completo e gli intervalli di prestazione di riferimento riportati nella Tabella 1. Quando si osserva un andamento subottimale, verificare le dimensioni dell'input H5, l'ordine delle regioni DK, l'assegnazione della maschera di disponibilità delle modalità e le partizioni salvate della cross-validazione prima di interpretare l'output del modello.

Confronto con modelli di riferimento
Il modello BrainMoE proposto è stato confrontato con metodi classici di apprendimento automatico (macchina a vettori di supporto (SVM) e percettrone multistrato (MLP)), metodi generali di deep learning (Transformer7, 3D-CNN22 e ResNet6), metodi avanzati di deep learning (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12) e metodi di deep learning basati su MoE (dFCExpert17, EvoMoE18, NeuroMoE++19) (Tabella 2). BrainMoE ha ottenuto l'AUC media più elevata tra tutti i metodi confrontati, pari a 86,9 ± 3,0%.

I metodi classici di apprendimento automatico hanno mostrato prestazioni medie inferiori, con SVM che ha raggiunto un AUC medio del 66,7 ± 4,5% e MLP del 64,6 ± 6,3%. I metodi generali di deep learning hanno mostrato prestazioni variabili, con ResNet che ha ottenuto un AUC medio del 71,0 ± 3,3% e Transformer del 63,8 ± 4,7%. Tra i modelli avanzati di deep learning, BNT, BrainGNN, MultiEpilepsyNet e SZAtt-Net hanno superato la maggior parte dei metodi classici e generali di deep learning, tuttavia i loro AUC medi sono rimasti inferiori a quelli di BrainMoE.

Per fornire un supporto statistico al confronto di riferimento, BrainMoE è stato confrontato con il baseline più forte per ciascuna metrica di prestazione (Tabella 3). BrainMoE ha superato NeuroMoE++ nell'AUC e nell'accuratezza bilanciata (BA) e ha superato SZAtt-Net nel punteggio F1 e nell'accuratezza. Tutti i confronti sono rimasti significativi dopo la correzione di Holm.

Analisi per sottogruppi in base al sesso e al sito di acquisizione
Le caratteristiche specifiche per coorte, incluse le quantità di record multimodali conservati, i rapporti tra casi e controlli, il numero di partecipanti unici, le sintesi relative all'età, le distribuzioni per sesso e quelle per sito di acquisizione, sono riassunte nella tabella delle caratteristiche della coorte (Tabella 4). I rapporti tra casi e controlli sono calcolati in base al numero di record multimodali, mentre le caratteristiche demografiche e relative al sito di acquisizione sono riassunte a livello di singolo partecipante.

Per valutare gli effetti potenziali del sesso e del sito di acquisizione, le prestazioni di BrainMoE sono state stratificate in base a questi fattori (Tabella 5). Il sottogruppo maschile ha mostrato una AUC media, BA, punteggio F1 e accuratezza superiori rispetto al sottogruppo femminile, mentre i corrispondenti valori p di Welch non aggiustati variavano tra 0,089 e 0,321. Analogamente, il sottogruppo RUBIC ha mostrato prestazioni medie superiori rispetto al sottogruppo di Staten Island, con valori p compresi tra 0,055 e 0,309. Nessuna differenza tra sottogruppi statisticamente significativa è stata rilevata in queste analisi.

Analisi di ablazione dei componenti di BrainMoE
Sono stati effettuati esperimenti di ablazione per valutare il contributo della maschera di disponibilità delle modalità, del router convoluzionale, dell'esperto condiviso e della progettazione di fusione degli esperti MoE (Tabella 6). La rimozione dell'embedding della maschera ha ridotto l'AUC media al 79,2 ± 3,1%, e la sostituzione del router convoluzionale con un router MLP l'ha ridotta al 79,3 ± 3,7%. La rimozione dell'esperto condiviso ha ridotto l'AUC basata solo sull'fMRI al 73,5 ± 3,3%, il valore più basso tra le varianti testate. La rimozione di tutti gli esperti MoE ha inoltre ridotto l'accuratezza bilanciata complessiva al 74,2 ± 3,0%. Questi risultati di ablazione hanno mostrato che la configurazione completa di BrainMoE ha ottenuto le prestazioni complessive migliori sia negli stati con modalità complete che con modalità mancanti, mentre l'embedding della maschera, il router convoluzionale, l'esperto condiviso e la fusione degli esperti MoE hanno ciascuno contribuito al comportamento finale del modello.

Risultati di interpretabilità a livello di ROI per cinque disturbi cerebrali
Per esaminare i contributi regionali alla base delle previsioni di BrainMoE, è stata effettuata un'attribuzione basata sull'occlusione dei nodi su campioni correttamente classificati come positivi alla malattia nello stato completo EEG-fMRI. I contributi delle ROI derivate dall'EEG e quelli derivati dall'fMRI sono stati classificati separatamente misurando la diminuzione della probabilità della malattia bersaglio dopo l'occlusione di ciascuna regione dell'atlante DK. L'analisi ha identificato modelli di contributo specifici per ciascuna modalità nei cinque compiti legati alle malattie (Figura 2). Per l'attribuzione derivata dall'fMRI, le regioni con rango più alto sono state la cingolata posteriore sinistra in caso di MDD, la corteccia pericalcarina destra in caso di ANX, la corteccia paralippocampale sinistra in caso di RI, la pars triangularis destra in caso di ASD e la corteccia entorinale sinistra in caso di ADHD. Per l'attribuzione derivata dall'EEG, le regioni con rango più alto sono state le banks del solco temporale superiore sinistro in caso di MDD, la corteccia precentrale sinistra in caso di ANX, il cuneo sinistro in caso di RI, la corteccia linguale sinistra in caso di ASD e l'insula destra in caso di ADHD. Le ROI con rango più alto derivate da EEG e fMRI per ciascun disturbo sono visualizzate sulle superfici corticali in Figura 3. Questi risultati hanno mostrato che BrainMoE fornisce un'interpretabilità a livello di ROI mantenendo profili di attribuzione distinti per le rappresentazioni derivate da EEG e quelle derivate da fMRI. Per i campioni correttamente classificati come positivi alla malattia, la stabilità incrociata tra fold è stata valutata utilizzando la frequenza della ROI con rango più alto su 50 fold esclusi (Tabella 7). Le frequenze osservate sono variate tra il 36% e il 68%, superando il valore di riferimento teorico della selezione casuale di 1/68 (1,47%) e supportando un'interpretazione basata sui ranghi relativi piuttosto che sulle grandezze assolute dei contributi. Confronti con precedenti risultati di neuroimmagine sono stati effettuati a posteriori e utilizzati esclusivamente per contestualizzare i risultati di attribuzione, senza costituire una validazione indipendente.

figure-results-1
Figura 1: Panoramica del framework BrainMoE con fusione adattativa di EEG e fMRI per la diagnosi assistita da computer dei disturbi cerebrali. Le caratteristiche delle regioni di interesse (ROI) di EEG e fMRI allineate alla sorgente vengono elaborate da Encoder Grafici separati. Le rappresentazioni risultanti vengono trasmesse agli Esperti di EEG e fMRI e, insieme alla Maschera di Disponibilità della Modalità, al Modulo di Indirizzamento Dinamico condiviso. Le rappresentazioni delle modalità e la rappresentazione di indirizzamento vengono fuse ed elaborate dall'Esperto condiviso dello stato neurale. I tre output degli esperti vengono quindi combinati nel Modulo di Fusione e inviati alla Testa di Classificazione della Diagnosi per produrre le probabilità di condizione sana (HC) e della malattia bersaglio. Cliccare qui per visualizzare una versione ingrandita di questa figura.

figure-results-2
Figura 2: Analisi della contribuzione delle ROI basata sull'occlusione dei nodi. Le prime 10 contribuzioni delle ROI derivate da EEG e da fMRI sono state visualizzate per ciascun compito legato alla malattia nello stato completo di inferenza EEG-fMRI. I pannelli (A–E) mostrano rispettivamente i risultati derivati da fMRI per MDD, ANX, RI, ASD e ADHD, mentre i pannelli (F–J) mostrano i corrispondenti risultati derivati da EEG nello stesso ordine. In ciascun grafico è stata etichettata soltanto la ROI con rango più alto. La contribuzione della ROI è stata definita come la diminuzione della probabilità della malattia bersaglio dopo l'occlusione della corrispondente regione dell'atlante DK. Cliccare qui per visualizzare una versione ingrandita di questa figura.

figure-results-3
Figura 3: Mappe di interpretabilità a livello di ROI corticale in cinque disturbi cerebrali. I pannelli (A–E) mostrano rispettivamente MDD, ANX, RI, ASD e ADHD. Ogni pannello visualizza la ROI derivata dall'EEG con il punteggio più alto in rosso e la ROI derivata dalla fMRI con il punteggio più alto in arancione sulla superficie corticale di DK. I colori indicano la modalità piuttosto che l'entità del contributo; pertanto, non viene applicata alcuna scala cromatica quantitativa. I prefissi lh e rh indicano rispettivamente gli emisferi sinistro e destro. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Compito relativo alla malattiaStatoAUCPrecisioneBAF1SensibilitàSpecificità
MDDCompleto88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDSolo EEG83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDSolo fMRI82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXCompleto85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXSolo EEG81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXSolo fMRI74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RICompleto84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RISolo EEG80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RISolo fMRI81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASDCompleto88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDSolo EEG82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDSolo fMRI81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDCompleto88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDSolo EEG87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDSolo fMRI80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

Tabella 1: Prestazioni della classificazione BrainMoE nei compiti legati alle malattie e negli stati di disponibilità delle modalità. Prestazioni di BrainMoE in cinque compiti di classificazione sano contro malattia in condizioni di inferenza completa con EEG-fMRI, solo EEG e solo fMRI. Le metriche sono riportate come media ± deviazione standard e includono l'area sotto la curva caratteristica operativa del ricevitore (AUC), l'accuratezza, l'accuratezza bilanciata (BA), il punteggio F1, la sensibilità e la specificità.

MetodoGruppo di metodoAUC mediaBA mediaF1 medioAccuratezza media
SVMML classico66,7 ± 4,5%70,6 ± 3,4%61,7 ± 5,8%70,7 ± 4,6%
MLPML classico64,6 ± 6,3%63,5 ± 8,2%64,5 ± 6,1%64,2 ± 6,2%
TransformerDL generico63,8 ± 4,7%64,4 ± 4,8%65,2 ± 5,1%66,1 ± 4,9%
3D-CNNDL generico65,3 ± 4,3%65,2 ± 4,0%64,8 ± 4,5%60,0 ± 4,2%
ResNetDL generico71,0 ± 3,3%70,2 ± 3,6%67,5 ± 3,8%69,3 ± 3,0%
BrainNetCNNDL avanzato70,2 ± 3,6%70,9 ± 3,1%69,2 ± 3,6%71,2 ± 3,1%
BNTDL avanzato73,6 ± 3,1%76,4 ± 2,7%74,7 ± 2,3%76,6 ± 2,6%
BrainGNNDL avanzato72,4 ± 2,8%72,7 ± 2,3%71,0 ± 3,4%72,3 ± 2,5%
MultiEpilepsyNetDL avanzato78,3 ± 3,7%75,2 ± 3,5%76,5 ± 3,6%77,2 ± 3,3%
SZAtt-NetDL avanzato78,7 ± 3,2%76,1 ± 3,8%77,4 ± 3,9%78,1 ± 3,4%
dFCExpertDL basato su MoE80,1 ± 3,2%77,3 ± 2,9%76,7 ± 3,1%77,6 ± 2,9%
EvoMoEDL basato su MoE79,6 ± 3,6%76,2 ± 3,1%76,2 ± 3,3%76,5 ± 3,2%
NeuroMoE++DL basato su MoE81,5 ± 2,8%77,9 ± 2,7%77,1 ± 3,4%78,0 ± 2,7%
BrainMoE (nostro)DL basato su MoE86,9 ± 3,0%81,4 ± 2,5%81,2 ± 3,0%81,4 ± 3,1%

Tabella 2: Prestazioni medie di classificazione di BrainMoE confrontate con metodi classici di apprendimento automatico, modelli generici di deep learning e architetture avanzate di deep learning per neuroimmagini. I risultati sono aggregati attraverso i compiti di classificazione delle malattie valutati e riportati come media ± deviazione standard per AUC, BA, punteggio F1 e accuratezza.

ConfrontoAUC mediaBA mediaF1 mediaAccuratezza media
Baseline più forteNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
Prestazione della baseline più forte81,5 ± 2,8%77,9 ± 2,7%77,4 ± 3,9%78,1 ± 3,4%
BrainMoE86,9 ± 3,0%81,4 ± 2,5%81,2 ± 3,0%81,4 ± 3,1%
Differenza+5,4+3,5+3,8+3,3
p del t-test0,00060,00650,01870,0276
p aggiustato con Holm*p < 0,01p < 0,05p < 0,05p < 0,05
Cohen's dz1,631,110,910,83

Tabella 3: Confronto tra BrainMoE e il baseline migliore per ciascuna metrica di prestazione. I valori P sono stati calcolati utilizzando test t appaiati a due code e aggiustati mediante la procedura di Holm. Il valore dz di Cohen indica la differenza appaiata standardizzata.

CohorteRecord multimodali (n)Rapporto malati/controlloPartecipanti unici (n)Intervallo di età (anni)Sesso (Maschio/Femmina)Sede di acquisizione (Staten Island/RUBIC)
HC115--755,02–21,9035/4026/49
MDD520,45:1338,36–19,7314/1915/18
ANX1561,36:1985,53–21,0046/5245/53
RI1411,23:1855,75–19,6647/3839/46
ASD820,71:1515,66–19,7945/627/24
ADHD5554,83:13385,04–21,72241/97136/202

Tabella 4: Caratteristiche dei cohorti di studio utilizzati nei cinque compiti di classificazione specifici per malattia. La tabella riporta il numero di record multimodali conservati, i rapporti tra malati e controlli, il numero di partecipanti unici, le caratteristiche demografiche e la distribuzione dei siti di acquisizione.

SottogruppoNumeroAUC mediaBA mediaF1 mediaAccuratezza media
Sesso
Maschio70587,2 ± 3,783,4 ± 3,282,1 ± 3,582,5 ± 3,8
Femmina39685,6 ± 3,381,2 ± 4,079,7 ± 3,879,6 ± 3,4
Differenza+1,6+2,2+2,4+2,9
p di Welch--0,3210,1920,1590,089
Sede di acquisizione
RUBIC67487,6 ± 4,083,3 ± 3,182,3 ± 3,783,4 ± 3,5
Staten Island42785,2 ± 3,681,7 ± 3,779,4 ± 3,480,1 ± 3,7
Differenza+2,4+1,6+2,9+3,3
p di Welch--0,1760,3090,0850,055

Tabella 5: Prestazioni di BrainMoE stratificate per sesso e sito di acquisizione. I risultati sono riportati come media ± deviazione standard su 10 ripetizioni della cross-validazione a 5 fold. La differenza rappresenta il primo sottogruppo meno il secondo, e i valori P sono stati ottenuti utilizzando test t di Welch a due code.

VarianteAUC completoAUC solo EEGAUC solo fMRIAUC medioBA medio
senza incorporamento della maschera83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
senza Conv Router84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP Router82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
senza Esperto Condiviso83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
senza Esperti MoE81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (nostro)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

Tabella 6: Analisi di ablazione dei componenti principali di BrainMoE. Risultati dell'ablazione che mostrano il contributo della maschera di disponibilità della modalità, del router convoluzionale, dell'esperto condiviso e della progettazione di fusione degli esperti MoE. Ogni variante viene valutata in condizioni di inferenza completa EEG-fMRI, solo EEG e solo fMRI, con AUC media e BA media che riassumono le prestazioni complessive.

MalattiaEEG: ROI principaleEEG: Frequenza Top-1, n/N (%)fMRI: ROI principalefMRI: Frequenza Top-1, n/N (%)Riferimento casuale (%)
MDDbanche sinistre del solco temporale superiore22/50 (44%)corteccia cingolata posteriore sinistra25/50 (50%)1.47
ANXcorteccia precentrale sinistra18/50 (36%)corteccia pericalcarina destra21/50 (42%)1.47
RIcuneo sinistro26/50 (52%)corteccia parahippocampale sinistra29/50 (58%)1.47
ASDcorteccia linguale sinistra27/50 (54%)pars triangularis destra28/50 (56%)1.47
ADHDinsula destra31/50 (62%)corteccia entorinale sinistra34/50 (68%)1.47

Tabella 7: Stabilità incrociata dei ROI derivati da EEG e fMRI con rango più alto. La frequenza del primo posto indica il numero e la percentuale di analisi su 50 ripetizioni in cui il ROI riportato si è classificato al primo posto. Il valore di riferimento teorico per una selezione casuale era 1/68 (1,47%).

File supplementare 1: Script di verifica dell'input H5. Script Python per verificare le chiavi richieste dell'input H5, i tipi di dati, le etichette diagnostiche e le dimensioni dell'input compatibili con l'atlante DK prima dell'addestramento di BrainMoE. Cliccare qui per scaricare questo file.

File supplementare 2: script di preelaborazione fMRI. File di configurazione ed esecuzione di C-PAC utilizzati per la preelaborazione fMRI, inclusa la rimozione dei volumi iniziali, la correzione del movimento e delle distorsioni, la registrazione e la normalizzazione, la regressione dei fattori di disturbo, il filtraggio temporale e la riduzione del rumore spaziale. Cliccare qui per scaricare questo file.

File supplementare 3: Script di elaborazione FreeSurfer. Script per l'elaborazione dei dati di risonanza magnetica strutturale, la co-registrazione della parcellazione corticale Desikan-Killiany nello spazio nativo della fMRI e l'estrazione dei segnali fMRI a livello di ROI. Cliccare qui per scaricare questo file.

File supplementare 4: Script di pre-elaborazione EEG. Script MATLAB/EEGLAB utilizzati per la pre-elaborazione dei dati EEG, inclusi filtraggio, identificazione e rimozione dei componenti artefatti e riferimento. Cliccare qui per scaricare questo file.

File supplementare 5: Script per la localizzazione delle sorgenti e l'estrazione delle caratteristiche in MNE-Python. Script Python per la localizzazione delle sorgenti EEG, l'estrazione delle ROI dell'atlante DK e la generazione delle caratteristiche EEG a livello di ROI utilizzate come input per BrainMoE. Cliccare qui per scaricare questo file.

File Supplementare 6: Codice di implementazione di BrainMoE. Codice Python e file di configurazione per l'architettura BrainMoE, gli encoder grafici, la gestione dello stato-modalità, il routing e la fusione degli esperti, l'addestramento del modello, la valutazione e le varianti di ablazione. Cliccare qui per scaricare questo file.

File supplementare 7: Codice per l'attribuzione mediante occlusione dei nodi. Codice Python per l'analisi dell'occlusione dei nodi specifica per la modalità, il calcolo dei punteggi di contributo delle aree di interesse (ROI), la classificazione delle ROI derivate da EEG e da fMRI e la generazione degli output di attribuzione. Cliccare qui per scaricare questo file.

Discussione

L'analisi multimodale dei segnali cerebrali è diventata una direzione importante per la diagnosi computerizzata dei disturbi cerebrali poiché l'EEG e la fMRI forniscono informazioni complementari sull'attività neurale. Nel confronto di riferimento, metodi classici di apprendimento automatico come SVM e MLP hanno fornito prestazioni diagnostiche di base ma avevano capacità limitata di modellare interazioni gerarchiche, strutturate a grafo e multimodali tra le caratteristiche. Modelli generici di apprendimento profondo, inclusi 3D-CNN, ResNet e Transformer, hanno offerto una maggiore capacità di modellazione non lineare, ma queste architetture non sono state progettate specificamente per la fusione EEG-fMRI o per rappresentazioni delle reti cerebrali. Metodi avanzati di apprendimento profondo hanno ottenuto prestazioni migliori rispetto alla maggior parte dei modelli classici e generici, ma molti si basano ancora su strategie fisse di integrazione delle caratteristiche e non separano esplicitamente le informazioni specifiche della modalità da quelle condivise relative allo stato neurale.

Questo studio propone BrainMoE per affrontare il problema della fusione, combinando codificatori modali basati su grafi, esperti specifici per ciascuna modalità, un esperto condiviso dello stato neurale e un meccanismo di instradamento adattivo. Questa architettura ha permesso di modellare separatamente le rappresentazioni derivate dall'EEG e quelle derivate dalla fMRI, per poi integrarle tramite fusione a livello di esperti. Introducendo maschere per lo stato modale e token per le modalità mancanti, lo stesso modello addestrato è stato in grado di eseguire inferenze basate esclusivamente sull'EEG o sulla fMRI, senza dover costruire modelli distinti per ciascuna condizione con modalità mancanti. I risultati sperimentali hanno mostrato che BrainMoE ha ottenuto le prestazioni complessive migliori nei cinque compiti di classificazione binaria delle malattie, mantenendo prestazioni utilizzabili sia nello stato solo-EEG che solo-fMRI. L'analisi di ablazione ha ulteriormente confermato il contributo dell'incorporamento delle maschere, del router convoluzionale, dell'esperto condiviso e della fusione degli esperti MoE. Questi risultati indicano che il miglioramento delle prestazioni non è dovuto a un singolo componente, bensì alla progettazione coordinata della codifica basata su grafi, della modellazione dello stato modale, dell'instradamento adattivo e della fusione degli esperti.

Passaggi critici del protocollo e risoluzione dei problemi
I passaggi critici del protocollo includono il mantenimento dello stesso ordine delle 68 regioni DK nelle matrici EEG e fMRI dei nodi e dei grafi, l'applicazione delle impostazioni predefinite di preelaborazione in modo indipendente per ogni partecipante e l'applicazione di una cross-validation a livello individuale, in modo che tutti i record dello stesso partecipante siano contenuti in un'unica partizione. La Maschera di Disponibilità della Modalità deve inoltre corrispondere agli input forniti per ogni stato di inferenza.

Se l'inferenza fallisce o non viene riprodotto il previsto vantaggio di prestazione dello stato completo, verificare innanzitutto le chiavi H5 richieste, le dimensioni delle matrici EEG e fMRI, l'ordine delle regioni DK, l'assegnazione della Maschera di Disponibilità delle Modalità e le partizioni di cross-validazione salvate. I file con chiavi mancanti, dimensioni non valide o ordine delle regioni incoerente devono essere esclusi prima dell'addestramento o della valutazione. Il framework può essere modificato per parcellazioni corticali alternative o rappresentazioni delle caratteristiche EEG/fMRI, a condizione che entrambe le modalità siano mappate su un ordine coerente delle ROI e che le corrispondenti dimensioni di input del modello vengano aggiustate. La testa di classificazione specifica per la malattia può inoltre essere adattata ad altri compiti di classificazione binaria mantenendo inalterati il framework di codifica tramite grafo e la fusione degli esperti. Tali modifiche richiedono un nuovo addestramento e una nuova validazione, piuttosto che l'applicazione diretta dei modelli qui riportati.

Analisi di interpretabilità basata sull'occlusione dei nodi
L'analisi di occlusione dei nodi ha ulteriormente fornito un'interpretazione a livello di ROI delle previsioni di BrainMoE, con le ROI associate alle malattie meglio classificate mostrate in Figura 3. La ROI posteriore sinistra derivata dall'EEG identificata da BrainMoE è coerente con precedenti evidenze meta-analitiche basate su voxel23, che riportano un'alterata attività cerebrale intrinseca nelle regioni corticali posteriori nel disturbo depressivo maggiore (MDD). Le ROI precentrale sinistra e pericalcarina destra derivate rispettivamente da EEG e fMRI sono in accordo con precedenti evidenze di neuroimmagini nei disturbi d'ansia: una meta-analisi sulla spessore corticale24 ha riportato un aumento dello spessore corticale nel giro precentrale sinistro nei pazienti con disturbi d'ansia, mentre uno studio su rete di covarianza strutturale25 nel disturbo d'ansia sociale ha evidenziato una centralità nodale anomala che coinvolge la corteccia pericalcarina destra. Per il disturbo della lettura, la ROI del cuneo sinistro derivata dall'EEG è coerente con uno studio sulla connettività cerebrale completa26 che riporta un'alterata connettività del cuneo sinistro nella dislessia, mentre la ROI parahippocampale sinistra derivata dall'fMRI è in linea con un altro studio27 che riporta un'accoppiamento anomalo parahippocampale/ippocampale negli adolescenti con deficit specifici nella comprensione della lettura. Nel compito relativo al disturbo dello spettro autistico, la ROI del giro linguale sinistro evidenziata dall'attribuzione derivata dall'EEG rispecchia precedenti evidenze di fMRI a riposo28 di una ridotta ReHo nel giro linguale sinistro in ragazzi prepuberi con ASD. La ROI del pars triangularis destro derivata dall'fMRI è anch'essa biologicamente plausibile, poiché è stato riportato un ALFF alterato nel pars triangularis destro del giro frontale inferiore29 nei bambini autistici. Per l'ADHD, la ROI dell'insula destra derivata dall'EEG è compatibile con evidenze di risonanza magnetica strutturale30 che mostrano un ridotto volume dell'insula anteriore nei giovani con ADHD, in particolare coinvolgendo il giro corto dell'insula destra. La ROI entorinale sinistra derivata dall'fMRI potrebbe riflettere un risultato più specifico per sottotipo, poiché un altro studio di Psychological Medicine31 ha riportato un volume inferiore della corteccia entorinale sinistra in un sottogruppo ADHD-C dopo correzione FDR. Tuttavia, questi risultati devono essere interpretati tenendo conto della dipendenza interregionale, poiché segnali delle ROI correlati potrebbero impedire all'occlusione di un singolo nodo di isolare completamente il contributo di una singola regione e potrebbero portare a stime conservative.

Limitazioni e prospettive future
Sebbene sia stata utilizzata una cross-validation ripetuta 5 volte per ottenere stime di prestazione interne, studi futuri che impieghino una cross-validation annidata o una validazione esterna indipendente potrebbero ulteriormente rafforzare la valutazione della stabilità nella selezione del modello e della sua generalizzabilità. Poiché gli output basati esclusivamente sull'EEG e quelli basati esclusivamente sull'fMRI sono stati generati mascherando una modalità in registrazioni multimodali complete e non sono stati valutati su un coorte di validazione esterna, studi futuri dovrebbero includere coorti di validazione esterna monomodali per valutare la generalizzabilità. Un’ulteriore limitazione è che il disegno sano-versus-singola-malattia non tiene conto delle presentazioni comorbide, il che limita la generalizzabilità clinica e motiva studi futuri sulla classificazione multietichetta e sulla diagnosi differenziale. Lavori futuri potrebbero inoltre valutare la robustezza delle associazioni EEG a livello di sorgente utilizzando stimatori di connettività consapevoli delle perdite (leakage-aware). Sebbene la parcellazione DK condivisa fornisca un'interfaccia anatomicamente fondata per la fusione multimodale, essa rappresenta un'assunzione modellistica che potrebbe non cogliere appieno le differenze specifiche delle singole modalità in termini di risoluzione temporale e origine fisiologica. Oltre ai cinque disturbi valutati in questo studio, il framework potrebbe essere adattato ad altri compiti di classificazione neurologici o psichiatrici che coinvolgono dati cerebrali multimodali allineati anatomicamente, ed esteso ad applicazioni multietichetta o di diagnosi differenziale.

Conclusione
In sintesi, BrainMoE fornisce un framework pratico e interpretabile per la fusione EEG-fMRI nella diagnosi assistita da computer dei disturbi cerebrali. Il suo principale vantaggio risiede nell'integrazione adattativa delle caratteristiche multimodali, guidata da un'architettura multi-esperto e da un meccanismo di instradamento morbido che bilancia dinamicamente le informazioni specifiche della modalità e quelle condivise. Inoltre, incorporando senza soluzione di continuità maschere dello stato modale e token per modalità mancanti, lo stesso modello addestrato raggiunge prestazioni robuste durante l'inferenza con modalità incomplete, senza richiedere configurazioni separate. In modo cruciale, il framework interpretabile fornisce percorsi di attribuzione regionale trasparenti a livello di gruppo attraverso cinque distinti disturbi cerebrali, trasformando l'architettura convenzionale a scatola nera in uno strumento informato fisiologicamente per la diagnosi assistita da computer. Questo aspetto è importante per i futuri flussi di lavoro di neuroimmagine computazionale, in cui fonti eterogenee di dati, disponibilità incompleta delle modalità e output spiegabili del modello sono tutte considerazioni centrali.

Dichiarazioni

Gli autori dichiarano di non avere conflitti di interessi. Gli autori dichiarano che non sono stati utilizzati strumenti di intelligenza artificiale generativa nella preparazione di questo manoscritto, del suo codice, dell'analisi dei dati o della creazione dei grafici.

Ringraziamenti

Questa ricerca è stata finanziata dalla National Natural Science Foundation of China con i numeri di concessione 62433002, 62277001 e U25A20446, dal Progetto di costruzione e sostegno per team innovativi di alto livello delle istituzioni municipali di Pechino con numero di concessione BPHR20220104, e dal programma Beijing Scholars con numero di concessione 099.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
BashProgetto GNU5.1.16(1)-releaseSoftware
C-PACFCP-INDIVersione 1.8.7; tag del contenitore release-v1.8.7.dev1Software
Toolkit CUDASocietà NVIDIAVersione 12.4Software
GPU compatibile con CUDASocietà NVIDIAGeForce RTX 4060 Laptop GPUAttrezzatura
Atlante corticale Desikan-KillianyFreeSurfer, Centro Athinoula A. Martinos per l'Imaging Biomedico, Ospedale Generale del Massachusettsaparc; 68 regioni corticali (RRID:SCR_001847)Atlante/risorsa
EEGLABCentro Swartz per la Neuroscienza Computazionale, Università della California San DiegoVersione 2022.1 (RRID:SCR_007292)Software
FreeSurferCentro Athinoula A. Martinos per l'Imaging Biomedico, Ospedale Generale del MassachusettsVersione 7.4.1 (RRID:SCR_001847)Software
FSLFMRIB, Università di OxfordIncluso in C-PAC 1.8.7; versione esatta non specificata (RRID:SCR_002823)Software
Dati del Healthy Brain Network (HBN)Istituto Child MindRRID:SCR_016989Dati
MATLABMathWorksR2022a (RRID:SCR_001622)Software
MNE-PythonSquadra di sviluppo MNE-PythonVersione 1.9 (RRID:SCR_005972)Software/libreria
PythonFondazione Software PythonVersione 3.12.4 (RRID:SCR_008394)Software
PyTorchFondazione PyTorchVersione 2.6.0+cu124 (RRID:SCR_018536)Libreria

Riferimenti

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Ristampe e permessi

Tag

Fusione EEG-fMRIneuroimaging multimodalediagnosi computer-assistitacodificatori a grafomappe di attribuzione ROIesperto di stato neuralemaschere di stato della modalitàanalisi di occlusione dei nodi

Questo articolo è stato pubblicato

Video in arrivo

Contattaci
Consiglia alla biblioteca

Privacy

Termini di utilizzo

Politiche

Copyright © 2026 MyJoVE Corporation. Tutti i diritti riservati.