Methodenartikel

Mixture-of-Experts-Fusion von Elektroenzephalographie und funktioneller Magnetresonanztomographie für die interpretierbare computergestützte Diagnose von Gehirnerkrankungen

89 Aufrufe

⸱

DOI:

10.3791/73432

⸱

25. September 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

In diesem Artikel

Zusammenfassung

Dieses Protokoll stellt Brain Mixture-of-Experts vor, ein adaptives und interpretierbares Elektroenzephalographie-funktionelle Magnetresonanztomographie-Fusionsframework für die computerunterstützte Diagnose von Hirnerkrankungen. Die Methode integriert heterogene EEG- und fMRI-Darstellungen mithilfe modalitytätspezifischer Experten, eines gemeinsamen neuronale-Zustand-Experten und adaptiver Weiterleitung, wobei die Interpretierbarkeit und die Inferenz unter simulierten Bedingungen fehlender Modalitäten erhalten bleibt.

Zusammenfassung

Die Elektroenzephalographie (EEG) und die funktionelle Magnetresonanztomographie (fMRT) liefern komplementäre Informationen zur Gehirnfunktion und haben vielversprechende Ergebnisse bei der Erkennung funktioneller Auffälligkeiten bei verschiedenen Erkrankungen des Gehirns gezeigt. Die unterschiedlichen Signaleigenschaften sowie die diskrepanzbehafteten Repräsentationsräume von EEG und fMRT stellen jedoch erhebliche Herausforderungen für eine effektive multimodale Fusion dar, was die genaue computerunterstützte Diagnose von Gehirnerkrankungen mit herkömmlichen festen Modellen erschwert. Diese Studie stellt Brain Mixture-of-Experts (BrainMoE) vor, ein adaptives und interpretierbares EEG-fMRT-Fusionsverfahren zur computerunterstützten Diagnose von Gehirnerkrankungen, das multimodale Gehirnmerkmale durch modalitätsspezifische Experten, einen gemeinsamen neuronale-Zustand-Experten und einen adaptiven Routing-Mechanismus integriert. BrainMoE projiziert zunächst EEG- und fMRT-Signale in einen einheitlichen Desikan-Killiany-(DK)-Atlas-basierten Interessenbereich (ROI), anschließend werden mittels Graph-Encodern modalitysspezifische Repräsentationen des Gehirnnetzwerks extrahiert. Das Soft-Routing-Modul erzeugt eine Routing-Repräsentation, und das Expert Gate im Fuse-Modul generiert samplespezifische Gewichtungen, um die EEG-, fMRT- und gemeinsame neuronale-Zustand-Experten-Repräsentationen zu kombinieren. Um unvollständige Erfassungsszenarien zu bewältigen, werden Modalitätszustandsmasken und Fehlmodaliäts-Token integriert, sodass dasselbe trainierte Modell Vollfusion aus EEG und fMRT sowie ausschließlich EEG- oder fMRT-basierte Inferenz durchführen kann. Schließlich liefert die Knoten-Ausschluss-Analyse ROI-ebene Attribution-Karten für Vorhersagen aus EEG und fMRT. Das Verfahren wurde am Healthy Brain Network (HBN)-Datensatz in fünf binären Klassifizierungsaufgaben für Gehirnerkrankungen evaluiert, darunter schwere depressive Störung, Angststörung, Lesebeeinträchtigung, Autismus-Spektrum-Störung und Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung. BrainMoE übertraf moderne Vergleichsalgorithmen und erreichte eine durchschnittliche AUC von 86,9 ± 3,0 %; Ablationsstudien bestätigten den Beitrag der Routing- und Experten-Fusionskomponenten. Darüber hinaus identifiziert die Interpretierbarkeitsanalyse gruppenbasierte ROI-Beiträge zur Krankheitsklassifizierung, die mit zuvor publizierten neurobildgebenden Befunden übereinstimmen. Diese Methode unterstützt die computerunterstützte Diagnose von Gehirnerkrankungen, indem sie die Herausforderung der Integration heterogener EEG-fMRT-Neuraldarstellungen bewältigt, während sie Interpretierbarkeit und Inferenz unter simulierten Bedingungen fehlender Modalitäten beibehält.

Einleitung

Hirnerkrankungen beinhalten komplexe Veränderungen der neuronalen Aktivität und der Netzwerkorganisation des Gehirns, die mit einer einzelnen Bildgebungsmodalität schwer zu charakterisieren sind1. Nach der Quellrekonstruktion2 liefert die Elektroenzephalographie (EEG) regionenbasierte elektrophysiologische Aktivität, während die funktionelle Magnetresonanztomographie (fMRT) die funktionelle Konnektivität auf Regionsebene erfasst und somit komplementäre Einblicke in die Gehirnfunktion bietet. Um deren Integration zu erleichtern, haben frühere multimodale Ansätze beide Modalitäten auf den 68-Regionen umfassenden Desikan-Killiany-(DK-)Atlas abgebildet3. Obwohl diese räumliche Entsprechung keine Gleichwertigkeit hinsichtlich der zeitlichen Auflösung oder physiologischen Herkunft impliziert, bietet sie einen einheitlichen anatomischen Index für die knotenbasierte Graphfusion, feste Graphdimensionen und eine konsistente Interpretation auf Ebene der interessierenden Regionen (ROI), wobei gleichzeitig die modalitätsspezifischen Informationen erhalten bleiben. Die Integration dieser anatomisch ausgerichteten, aber modalitätsspezifischen Darstellungen kann die krankheitsbezogenen Hirnsignaldarstellungen bereichern und die computergestützte Diagnose von Hirnerkrankungen unterstützen3,4.

Trotz des Potenzials der EEG-fMRT-Fusion für die computergestützte Diagnose von Hirnerkrankungen stellt die Heterogenität zwischen den beiden Modalitäten eine technische Herausforderung für ihre effektive Integration dar. Klassische maschinelle Lernverfahren wie SVM und MLP können Basisklassifizierungsmodelle bereitstellen, besitzen jedoch eine begrenzte Fähigkeit, nichtlineare intermodale Wechselwirkungen abzubilden. Generische Deep-Learning-Modelle, einschließlich GNN5, ResNet6und Transformer7 Architekturen bieten ein stärkeres Lernen von Repräsentationen, sind jedoch nicht speziell für ROI-Ebene Gehirngraphen oder Modellierung von Modalitätszuständen konzipiert. Kürzlich entwickelte fortschrittliche Modelle3,8,9 haben eine erhöhte nichtlineare Komplexität, um Gehirnnetzwerke besser modellieren zu können. BrainNetCNN8 wurde eingeführt, um Faltungsoperationen an Gehirn-Konnektivitätsmatrizen anzupassen; BrainGNN9 modellierte zusätzlich die Graph-Topologie auf Ebene der interessierenden Regionen (ROI) unter Verwendung von Graph-Neuronalen-Netzwerken und Pooling; und BNT10 später durch eine verbesserte Analyse funktioneller Gehirnnetzwerke mit einer Transformer-basierten, mehrstufigen Aufmerksamkeit gestärkt. Diese Fortschritte wurden jedoch hauptsächlich weiterhin für Einzelmodus-Anwendungen entwickelt. MultiEpilepsyNet11 dann multimodales Lernen durch einen föderierten hybriden Ansatz auf die Anfallserkennung mittels EEG-MRT erweitert, und sein MRT-seitiges Modul EpiSkullNet++ verbesserte die Gehirnsegmentierung und Vorverarbeitung. SZAtt-Net12 entwickelte anschließend ein multimodales Klassifizierungsmodell für Schizophrenie, indem CNN-, BiGRU- und MLP-Blöcke mit Kanal-, Selbst-, Raum- und Zeit-Aufmerksamkeitsmechanismen kombiniert wurden. Diese Methoden blieben jedoch aufspezifische Aufgaben beschränkt und basierten auf relativ festen Fusionsarchitekturen, ohne explizite Unterstützung für adaptive Weiterleitung in Zuständen mit vollständigen und fehlenden Modalitäten.

Mixture-of-Experts-(MoE-)Modelle13,14 werden zunehmend im multimodalen Lernen eingesetzt, da sie es ermöglichen, heterogene Informationsquellen durch spezialisierte Expertenmodule zu verarbeiten und dynamisch über Routing-Mechanismen zu kombinieren. Die Softmax-Gating-Methode liefert eingabebasierte, normalisierte Gewichtungen der Experten und wurde theoretisch hinsichtlich ihrer Konvergenzraten charakterisiert15. Verwandte Multi-Gate-Architekturen haben zudem gezeigt, dass separate Gatter in großskaligem Multi-Task-Lernen aufgabenspezifische Kombinationen gemeinsamer Experten erlernen können16. In der neurowissenschaftlichen Forschung und Gehirnuntersuchungen wurden MoE-Varianten17,18,19 zunehmend verwendet, um die Fusion heterogener Merkmale zu unterstützen. dFCExpert17 nutzte Modularität und zustandsbasierte Experten, um dynamische funktionelle Konnektivitätsmuster aus fMRT-Daten zu modellieren. EvoMoE18 verwendete darüber hinaus ein Gating-Netzwerk, um geeignete Experten für die nutzerunabhängige Klassifizierung von SSVEP-EEG-Signalen auszuwählen. NeuroMoE++19 untersuchte patientenadaptive multimodale Fusion zur Klassifizierung neurologischer Erkrankungen. Trotz ihres Erfolgs basieren diese Modelle im Allgemeinen auf grobkörniger Mischung und diskretem Routing, die die hochgradig synchronisierte Natur quermodaler neuronaler Zustände außer Acht lassen und dadurch die Erkennung subtiler, aber informativer Muster erschweren, die für die Diagnose von Hirnerkrankungen entscheidend sind. Zudem bieten diese Modelle aufgrund fehlender Mechanismen zur Entwirrung modenspezifischer Feinheiten aus einem einheitlichen, gemeinsamen neuronalen Zustand nur begrenzte Interpretierbarkeit und leiden unter Leistungseinbußen, wenn eine entscheidende Modalität (fMRT oder EEG) fehlt.

Um diese Einschränkungen zu überwinden, stellt diese Studie Brain Mixture-of-Experts (BrainMoE) vor, ein adaptives und interpretierbares EEG-fMRT-Fusions-Framework zur computerunterstützten Diagnose von fünf Kategorien von Hirnerkrankungen, einschließlich der Major Depression (MDD), Angststörung (ANX), spezifischen Lernstörung mit Lesestörung (RI), Autismus-Spektrum-Störung (ASD) und Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung (ADHS). Das Protokoll bringt zunächst die quellrekonstruierten EEG- und fMRT-Merkmale in den ROI-Raum des DK-Atlas20 zur Deckung und erstellt anschließend graphenbasierte Modalitätsrepräsentationen für beide Modalitäten. BrainMoE verwendet einen EEG-Experten, einen fMRT-Experten und einen gemeinsamen neuronenzustandsbezogenen Experten, die über ein Soft-Routing-Modul integriert werden, um modalitätsspezifische und gemeinsame Informationen zu kombinieren. Modalitätszustandsmasken und Fehlmodalitäts-Token werden eingebunden, um vollständige EEG-fMRT-, nur-EEG- und nur-fMRT-Inferenz innerhalb eines einzigen trainierten Modells zu ermöglichen. Zur Unterstützung der biologischen Interpretierbarkeit wendet das Protokoll zudem eine Knotenokklusionsanalyse an, bei der jedes ROI des DK-Atlas selektiv maskiert wird und die resultierende Änderung der Krankheitsvorhersagewahrscheinlichkeit verwendet wird, um EEG- und fMRT-basierte regionale Beiträge abzuschätzen. Dieses Protokoll beschreibt den kompletten Workflow für Datenalignment, Modellerstellung, Training, Evaluierung und knotenokklusionsbasierte ROI-Interpretation und stellt damit eine adaptive und interpretierbare Strategie für die computerunterstützte Diagnose von Hirnerkrankungen durch heterogene EEG-fMRT-Hirnsignalfusion bereit. Zur Förderung der Reproduzierbarkeit und zukünftiger Erweiterungen stellt das öffentliche GitHub-Repository das BrainMoE-Modell sowie den Trainings- und Evaluierungscode bereit, während die EEG- und fMRT-Vorverarbeitung mit öffentlich verfügbaren Softwaretools von Drittanbietern durchgeführt wurde. Das Repository ist verfügbar unter https://github.com/zhongruizhe123/BrainMoE.

Protokoll

Diese Studie verwendete anonymisierte Daten aus der Healthy Brain Network (HBN)-Datenbank21 und konzentrierte sich auf fünf unterschiedliche klinische Störungen für nachgeschaltete diagnostische Klassifizierungsaufgaben. Ethische Genehmigungen und schriftliche informierte Einwilligungen waren zuvor durch die HBN-Initiative von allen teilnehmenden Standorten und Probanden eingeholt worden. EEG- und fMRT-Aufnahmen wurden in getrennten Sitzungen und nicht gleichzeitig erfasst und mithilfe der in HBN verfügbaren Teilnehmer- und Sitzungskennungen zugeordnet.

1. Bereiten Sie die Rechenumgebung und die Eingabedaten vor

  1. Konfigurieren Sie die Rechenumgebung
    1. Erstellen und aktivieren Sie eine Python 3.12.4-Virtualumgebung: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Installieren Sie die erforderlichen Pakete mit ihren festgelegten Versionen mithilfe der im öffentlichen GitHub-Repository bereitgestellten Datei requirements.txt: pip install -r requirements.txt
    3. Überprüfen Sie die PyTorch- und CUDA-Konfiguration vor dem Training: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Stellen Sie sicher, dass in der Ausgabe PyTorch 2.6.0+cu124, CUDA 12.4 und CUDA-Verfügbarkeit True angegeben wird. Führen Sie das Modelltraining mit einer CUDA-kompatiblen GPU durch.
  2. Überprüfen Sie alle H5-Eingabedateien vor dem Modelltraining.
    1. Stellen Sie sicher, dass jede Datei sLORETA_mean_func für EEG-Knotenmerkmale, sLORETA_mean_CorrMatrix für den EEG-Graphen, fMRI-DK68-node-mat für fMRI-Knotenmerkmale, fMRI-DK68-edge-mat für den fMRI-Graphen und ein Diagnose-Label enthält. Schließen Sie Dateien aus, die fehlende Schlüssel, nicht-numerische Einträge, ungültige Labels oder Dimensionen aufweisen, die nicht mit dem 68-Regionen-Desikan-Killiany-Atlas übereinstimmen. Führen Sie das H5-Eingabeüberprüfungsskript wie folgt aus: python checkH5.py (Zusatzdatei 1).

2. EEG- und fMRI-Merkmale in einen gemeinsamen anatomischen Raum einordnen

  1. Vorbereitung der fMRT-Daten.
    1. Verarbeiten Sie die fMRT-Daten mit C-PAC (Version 1.8.7). Führen Sie das C-PAC-Präprozessierungsskript wie folgt aus: bash run_cpac_brainmoe.sh (Zusatzdatei 2). Verwerfen Sie die ersten fünf Volumina, um anfängliche Effekte nicht-stationärer Signale zu reduzieren.
    2. Führen Sie eine Korrektur der Schichtaufnahmezeitpunkte, eine Bewegungskorrektur, eine Verzerrungskorrektur, eine Registrierung, eine Normalisierung in den MNI152-anatomischen Raum und eine räumliche Glättung durch. Regredieren Sie 24 störende Parameter, die mit der Bewegung assoziiert sind.
    3. Wenden Sie eine zeitliche Bandpassfilterung im Bereich von 0,01–0,08 Hz an.
  2. Generierung atlasausgerichteter fMRT-Merkmale.
    1. Verarbeiten Sie die entsprechende strukturelle MRT mit FreeSurfer (Version 7.4.1). Führen Sie die Skripte wie folgt aus: bash Step01_mgz_2_nifti.sh. Ko-registrieren Sie die resultierende kortikale Parzellierung nach Desikan-Killiany in den individuellen fMRT-Raum des Probanden. Führen Sie die Skripte wie folgt aus: python Step02_CoRegistration.py. Berechnen Sie das mittlere vokselweise Signal in jedem der 68 kortikalen Regionen. Führen Sie die Skripte wie folgt aus: python Step03_fMRI_Signal_Extraction.py (Zusatzdatei 3).
    2. Behalten Sie 370 aufeinanderfolgende fMRT-Zeitpunkte ohne zeitliche Auffüllung, um eine fMRT-Knoten-Merkmalsmatrix der Größe 68 × 370 zu erhalten, wobei 68 die DK-Kortikalregionen und 370 die beibehaltenen fMRT-Zeitpunkte bezeichnet.
  3. Konstruktion des fMRT-Graphen.
    1. Berechnen Sie die Pearson-Korrelationen zwischen den 370-Punkte-Zeitreihen der 68 DK-Regionen. Speichern Sie die resultierende 68 × 68 funktionelle Konnektivitätsmatrix als fMRT-Kantenmatrix.
  4. Vorbereitung der EEG-Daten.
    1. Verarbeiten Sie die 129-Kanal-EEG-Aufzeichnungen mit der EEGLAB-Toolbox (Version 2022.1) in MATLAB (Version R2022a). Führen Sie die beiden EEGLAB-Präprozessierungsskripte nacheinander wie folgt aus: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Zusatzdatei 4). Behalten Sie die Abtastrate von 500 Hz bei und wenden Sie einen Bandpassfilter von 0,2–40 Hz an. Identifizieren Sie verrauschte Abschnitte und defekte Elektroden und interpolieren Sie schlechte Kanäle mithilfe des durchschnittlichen Signals benachbarter Elektroden.
    2. Verwenden Sie die unabhängige Komponentenanalyse mit dem ICLabel-Plugin, um unabhängige Komponenten zu klassifizieren. Entfernen Sie Komponenten mit einer Wahrscheinlichkeit für Augen- oder Muskelartefakte von mehr als 0,90. Wenden Sie eine Mittelwert-Neubezugnahme an. Schließen Sie Aufzeichnungen aus, die nach der Präprozessierung und Artefakterkennung weniger als 250 s nutzbare Daten enthalten.
  5. Generierung atlasausgerichteter EEG-Merkmale.
    1. Erstellen Sie ein individuelles dreischichtiges Boundary-Elemente-Modell (BEM) des Kopfes aus der strukturellen MRT jedes Probanden. Definieren Sie den Quellraum auf der individuellen kortikalen Oberfläche jedes Probanden. Registrieren Sie die EEG-Elektrodenpositionen auf die BEM-Oberfläche und berechnen Sie die Lead-Field-Matrix.
    2. Wenden Sie einen inversen Operator an, der mit der Kovarianzmatrix des Grundrauschens regularisiert wird. Stellen Sie das Signal-Rausch-Verhältnis auf 3,0 ein, was λ2 = 1/SNR2 = 1/9 (ungefähr 0,1111) ergibt, und führen Sie eine Quelllokalisierung mittels standardisierter niederauflösender elektromagnetischer Tomographie (sLORETA) durch, wie sie in MNE-Python (Version 1.9) implementiert ist.
    3. Aggregieren Sie die vokselweise Quellschätzungen innerhalb jeder Desikan-Killiany-Parzelle durch arithmetisches Mitteln, um 68 ROI-basierte Zeitreihen zu erhalten. Behalten Sie den ersten kontinuierlichen 250-s-Abschnitt bei und unterteilen Sie jede ROI-Zeitreihe in 250 aufeinanderfolgende, nicht überlappende 1-s-Epochen.
    4. Berechnen Sie die Leistung im Alpha-Band (8–12 Hz) innerhalb jeder Epoche, um eine EEG-Knoten-Merkmalsmatrix der Größe 68 × 250 zu erhalten, wobei 68 die DK-Kortikalregionen und 250 die 250 aufeinanderfolgenden, nicht überlappenden 1-s-Epochen bezeichnet.
  6. Konstruktion des EEG-Graphen und Überprüfung der multimodalen Ausrichtung.
    1. Berechnen Sie die Pearson-Korrelationen zwischen den 250 Epoche umfassenden 8–12 Hz Alpha-Leistungs-Zeitreihen der 68 DK-Regionen. Speichern Sie die resultierende 68 × 68 Matrix als EEG-Graphen.
    2. Stellen Sie sicher, dass die EEG- und fMRT-Matrizen dieselbe Reihenfolge der DK-Regionen verwenden, und verwenden Sie dieselbe DK-Regionsindexdatei für Modellinput, Attribution und Visualisierung. Führen Sie das MNE-Python-Skript zur Quelllokalisierung und Merkmalsextraktion wie folgt aus: python "Extract features - templates.py" (Zusatzdatei 5).
  7. Normalisierung der Knotenmerkmale innerhalb jeder Probe.
    1. Wenden Sie eine knotenweise z-Wert-Normalisierung auf die EEG- und fMRT-Knoten-Merkmalsmatrizen an. Behalten Sie die Graphenmatrizen als Konnektivitätseingaben bei und wenden Sie die Graphnormalisierung innerhalb des BrainMoE-Modells an.
    2. Führen Sie die EEG- und fMRT-Präprozessierung für jeden Probanden unabhängig mit festgelegten Einstellungen durch, ohne Informationen aus den Kreuzvalidierungs-Folds zur Bestimmung der Präprozessierungsparameter zu verwenden.

3. Erstellen von krankheitsspezifischen binären Klassifizierungsaufgaben

  1. Definieren Sie fünf krankheitsspezifische binäre Klassifizierungsaufgaben.
    1. Kodieren Sie gesunde Kontrollen (HC) in allen Aufgaben als Klasse 0 und kodieren Sie jeweils nur die ausgewählte Krankheitsgruppe innerhalb ihrer eigenen Aufgabe als Klasse 1.
    2. Erstellen Sie separate Aufgaben zur Unterscheidung von gesunden Probanden und Erkrankten für Depression, Angststörung, neurodevelopmentale Störung mit spezifischer Lernstörung und Lesestörung, Autismus-Spektrum-Störung sowie Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung.
  2. Charakterisieren Sie die Studienkohorten und untersuchen Sie mögliche Einflüsse des Geschlechts und des Erhebungsorts.
    1. Schließen Sie für jede krankheitsspezifische Aufgabe HBN-Teilnehmer mit vollständigen EEG-, fMRT- und strukturellen MRT-Daten (sMRI) sowie einem gültigen diagnostischen Label ein. Teilnehmer mit komorbiden Diagnosen werden aus den krankheitspositiven Kohorten ausgeschlossen. Ausschließen Sie EEG-Aufzeichnungen mit weniger als 250 s nutzbarer Daten nach Vorverarbeitung und Ausschluss von Artefakten und behalten Sie nur Eingabedateien bei, die die in Abschnitt 1.2 beschriebenen Qualitätskontrollkriterien erfüllt haben.
    2. Fassen Sie die Anzahl der beibehaltenen multimodalen Datensätze und eindeutigen Teilnehmer, die Verhältnisse von Erkrankten zu Kontrollen, Altersbereiche, Geschlechterverteilungen und Verteilungen der Erhebungsorte für die gemeinsame HC-Kohorte und jede Krankheitskohorte in Tabelle 4 zusammen.
      HINWEIS: Die gleiche HC-Kohorte wurde als Klasse 0 in allen fünf Aufgaben wiederverwendet, sodass die Leistungsschätzungen auf Aufgabenebene nicht statistisch unabhängig sind. Diese Abhängigkeit resultiert aus der gemeinsamen HC-Kohorte und nicht aus einer Überlappung der Krankheitsgruppen.
    3. Stratifizieren Sie die Leistung nach Geschlecht und Erhebungsort und vergleichen Sie die resultierenden Werte mittels zweiseitiger Welch-t-Tests über die wiederholten 5-fache Kreuzvalidierungsläufe hinweg.
  3. Wählen Sie aufgabenspezifische H5-Dateien aus und definieren Sie die Aufteilungen für die Kreuzvalidierung.
    1. Behalten Sie für jede Aufgabe nur HC und die Zielkrankheitsgruppe bei. Generieren Sie 10 Wiederholungen einer 5-fachen Kreuzvalidierung auf Ebene der Teilnehmer. Stratifizieren Sie die eindeutigen Teilnehmer nach dem binären Klassenlabel, HC versus Zielkrankheit, um die Klassenverteilung über alle Folds hinweg beizubehalten.
    2. Verwenden Sie die eindeutige Teilnehmer-ID als Gruppierungsvariable und weisen Sie alle Sitzungen und multimodalen Datensätze desselben Teilnehmers demselben Fold zu. Verwenden Sie die Zufallsstartsamen 1–10, um die 10 wiederholten Kreuzvalidierungs-Partitionen zu erzeugen. Verwenden Sie ein festes Zufallsstartsam von 1 für die Modellinitialisierung und das Training.
    3. Reservieren Sie den ausgeschlossenen Fold ausschließlich für die finale Bewertung und speichern Sie die Teilnehmer-IDs, Dateilisten und Partitionierungsindizes für jeden Fold zusammen mit dem entsprechenden Checkpoint. Berechnen Sie für jeden Trainingsfold Klassengewichte aus den Trainingslabels und verwenden Sie diese im Cross-Entropy-Verlust, um Verzerrungen aufgrund von Klassenungleichgewicht zu reduzieren.

4. Aufbau der BrainMoE-Architektur für die computergestützte Diagnose von Hirnerkrankungen

HINWEIS: Die BrainMoE-Architektur wurde als kompakter Framework zur Fusion von EEG- und fMRT-Daten mit fehlenden Modalitäten konzipiert, der einen Graph-Encoder, ein geteiltes neuronales Zustands-Routing mit weicher Zuweisung und eine expertenbasierte Merkmalsintegration für die krankheitsspezifische binäre Diagnose kombiniert. Die Gesamtarchitektur ist in Abbildung 1 dargestellt, und der Implementierungscode ist in Zusatzdatei 6 enthalten.

  1. Definieren Sie die BrainMoE-Eingaben und Modalitätszustände. Verwenden Sie die EEG-Modalität und fMRI-Modalität nach der Quellraum-Alignment als gepaarte Graph-Eingaben. Dabei bezeichnet X eine regionale Merkmal-Matrix, A einen modalitätsspezifischen Gehirngraphen, und jede Zeile entspricht einer der 68 Desikan-Killiany-Regionen.
    Statisches Gleichgewicht, ΣFx=0, mathematische Matrixdarstellung, Gleichungen zur Bilanzanalyse.
    MRI-Datengleichungen, X_MRI ∈ R^(68×370), A_MRI ∈ R^(68×68), Formel für die Matrixdarstellung.
    Definieren Sie die Modalitätsverfügbarkeitsmaske als m = [mEEG, mfMRT]. Verwenden Sie m = [1,1] für die vollständige EEG-fMRT-Eingabe, m = [1,0] für die ausschließliche EEG-Eingabe und m = [0,1] für die ausschließliche fMRT-Eingabe.
  2. Graph-Encoder: Übergeben Sie für jede Modalität q, wobei q EEG oder fMRT ist, die Merkmalsmatrix Xq und Diagramm Aq in seinen modalitätsspezifischen Graph-Encoder. Der Encoder ist ein trainierbares neuronales Modul, das Knotenprojektion, Graph-Nachrichtenweiterleitung, Normalisierung, Aktivierung und Dropout (p=0,3) umfasst.
    Gleichung zur Graphcodierung für die Integration neurologischer Daten mit EEG- und fMRT-Parametern.
    HINWEIS: In dieser Notation, Zq ist die latente, auf ROI-Ebene erzeugte Repräsentation, die vom EEG-Graph-Encoder oder vom fMRI-Graph-Encoder stammt. Der EEG-Graph-Encoder bildet jede 68 × 250-Eingabematrix auf eine latente Repräsentation der Größe 68 × 128 ab, während der fMRI-Graph-Encoder jede 68 × 370-Eingabematrix auf eine latente Repräsentation der Größe 68 × 128 abbildet. Jeder Encoder verwendet eine Eingangsprojektion, gefolgt von zwei residualen Graph-Faltungsschichten mit 128 verborgenen Dimensionen, GELU-Aktivierung, Layer-Normalisierung und Dropout.
  3. Trainierbare fehlende Modalitäts-Token: Sei Tq sei das Token für die Modalität q und mq sei der entsprechende Verfügbarkeitsindikator. Dieser Schritt erzeugt eine zustandsbezogene Darstellung, die bei vollständigen und einmodalen Eingaben das gleiche 68-Regionen-Layout beibehält.
    Gleichung im Diagramm zur neuronalen Datenfusion; Formel zur Integration der EEG- und fMRT-Analyse mit Gewichtungsfaktor.
    HINWEIS: Jedes trainierbare Token für fehlende Modalitäten ist ein 128-dimensionaler Vektor und wird über die 68 ROI-Zeilen erweitert, wenn die entsprechende Modalität nicht verfügbar ist.
  4. Geteilter neuronaler Zustands-Soft-Routing-Modul: Kombinieren Sie zunächst die zustandsbezogene EEG-Repräsentation ZEEG, die zustandsbezogene fMRT-Darstellung ZfMRTund der eingebetteten Modalitätsverfügbarkeitsmaske. Die Modalitätsverfügbarkeitsmaske wird durch einen MLP mit den Dimensionen 2 → 128, GELU-Aktivierung und Layer-Normalisierung eingebettet. Der Router besteht aus zwei eindimensionalen Faltungsschichten mit Kanaldimensionen 384 → 128 → 128, Kernelgröße 3 und Padding 1. Nach jeder Faltung wird die GELU-Aktivierung angewendet, nach der ersten Faltung zusätzlich Dropout (p=0.3).
    Mathematische Gleichung zur Verkettung von EEG- und MRT-Daten in der Analyse mittels mehrschichtigen Perzeptrons.
    Notation des statischen Gleichgewichts Π=Router(U); Visualisierung der mathematischen Formel
  5. Geteilter neuronaler Zustandsexperte
    1. Verketten Sie die zustandsbewusste EEG-Darstellung ZEEG, die zustandsbezogene fMRT-Darstellung ZfMRTund die Soft-Routing-Darstellung R entlang der Merkmalsdimension. Wenden Sie eine vollständig verbundene Fusionsschicht (384 auf 128) an, gefolgt von einer Schichtnormalisierung, GELU-Aktivierung und Dropout (p=0,3), und führen Sie ein Mittelwert-Pooling der resultierenden Repräsentation über die 68 ROIs durch, um die 128-dimensionale, auf Subjektebene fusionierte Repräsentation zu erhalten zfusioniert:
      Gleichung: Z_fused=MeanPool(Fusion(Cat[Z_EEG,Z_MRI,Π])); Diagramm der Datenintegrationsmethode.
    2. Passieren zfusioniert über den gemeinsamen neuronale-Zustand-Experten, der aus einer vollständig verbundenen Schicht (128 zu 128), einer Layer-Normalisierung, einer GELU-Aktivierung und einem Dropout (p=0,3) besteht. Bezeichnen Sie die resultierende 128-dimensionale Darstellung des gemeinsamen Experten mit Egemeinsam:
      Gleichung für die gemeinsame Expertentransformation, E_shared = SharedExpert(z_user).
  6. Experten für EEG und fMRT
    1. Für jede Modalität erfolgt ein Mittelwert-Pooling der zustandsbezogenen Repräsentation über die 68 ROIs, und die resultierende 128-dimensionale Repräsentation wird durch den entsprechenden modalitätsspezifischen Expert geleitet.
      EEG-, fMRI-Datenanalyse; Gleichung; Expert_q(MeanPool(Z_q)); Neurowissenschaften, Gehirnforschung
    2. Jeder modalityspezifische Expert besteht aus einer vollständig verbundenen Schicht (128 zu 128), einer Layer-Normalisierung, einer GELU-Aktivierung und einem Dropout (p=0,3). Bezeichnen Sie die resultierenden 128-dimensionalen modalityspezifischen Expertenrepräsentationen mit EEEG und EfMRTbzw.
  7. Fuse-Modul
    1. Zur Berechnung der Expertengewichte konkatenieren Sie die 128-dimensionale, auf Subjektebene fusionierte Repräsentation zfusioniert mit der zweidimensionalen Modalitätsverfügbarkeitsmaske m, was einen 130-dimensionalen Gate-Eingang ergibt. Das Fuse-Modul enthält ein Expert-Gate, das die samplespezifischen Gewichtungen zur Expertenfusion erzeugt. Das Expert-Gate besteht aus einer vollständig verbundenen Schicht (130 auf 128), gefolgt von einer GELU-Aktivierung, Dropout (p = 0,3) und eine voll verbundene Ausgabeschicht (128 zu 3). Wenden Sie Softmax auf die drei Ausgabe-Logits an, um die probenspezifischen Expertengewichte zu erhalten:Diagramm der Deep-Learning-Formel; Softmax-Funktion; Neuronales-Netzwerk-Gleichung; Algorithmus-Konzept.
    2. Die resultierenden Gewichtungen sind nichtnegativ und summieren sich für jede Probe zu 1:
      Gewichtete Verteilungsgleichung, W_EEG + W_fMRT + W_gemeinsam = 1, für die Analyse bildgebender Verfahren des Gehirns.
    3. Multiplizieren Sie jede 128-dimensionale Expertenrepräsentation mit ihrem entsprechenden Gate-Gewicht und summieren Sie die drei gewichteten Repräsentationen:
      Gleichgewichtsgleichung im stationären Zustand, Formel: Z final = w EEG E EEG + w MRI E MRI + w shared E shared
      HINWEIS: Dieser Vorgang implementiert eine dichte, weiche MoE-Fusion.
    4. Übergeben Sie die resultierende 128-dimensionale finale Expertenrepräsentation efusioniert zur in Abschnitt 4.8 beschriebenen Kopfklasse der Diagnoseklassifizierung von Hirnstörungen
  8. Klassifizierungskopf für die Diagnose von Hirnerkrankungen: Leiten Sie die 128-dimensionale finale Expertenrepräsentation durch einen Klassifizierungskopf, bestehend aus Schichtnormalisierung, Dropout (p = 0,3) und eine vollständig verbundene Schicht, die 128 Dimensionen auf 2 Ausgabe-Logits abbildet. Wenden Sie Softmax an, um die Wahrscheinlichkeit für gesunde Kontrollen (HC) und die Wahrscheinlichkeit für die Zielkrankheit zu erhalten. Weisen Sie die Probe der Krankheitsklasse zu, wenn die Wahrscheinlichkeit für die Zielkrankheit mindestens 0,5 beträgt.
    Softmax-Klassifikationsgleichung, Formel zur Vorhersage der Ausgabe eines neuronalen Netzwerks im maschinellen Lernen.
  9. Überprüfen Sie die Implementierungskonsistenz vor dem Training. Führen Sie einen Trockenlauf eines Vorwärtsdurchlaufs mit m = [1,1], m = [1,0] und m = [0,1] durch. Stellen Sie sicher, dass die EEG-, fMRI-, zustandsabhängigen, Routing- und fusionierten Repräsentationen 68 ROI-Zeilen beibehalten, sofern sie nicht explizit gepoolt werden, und bestätigen Sie, dass die Expertengewichte in der Reihenfolge EEG-Experte, fMRI-Experte und gemeinsamer zustandsabhängiger Experte zu 1 summieren.

5. Trainieren Sie die fünf BrainMoE-Modelle zur Diagnose von Hirnerkrankungen

  1. Trainieren Sie ein BrainMoE-Modell für jede krankheitsspezifische binäre Aufgabe.
    1. Verwenden Sie für alle Aufgaben dieselbe Architektur und die Standard-Hyperparameter: 30 Epochen, Batch-Größe 16, Lernrate 0,001, Weight Decay 0,0001. Fixieren Sie die Modellarchitektur und die Hyperparameter vor der Auswertung des Test-Teildatensatzes, und lassen Sie sie über alle Folds, Wiederholungen und krankheitsspezifischen Aufgaben hinweg unverändert.
    2. Verwenden Sie die Leistung auf dem zurückgehaltenen Test-Teildatensatz nicht für die Modellauswahl oder die Optimierung der Hyperparameter. Führen Sie für jeden Mini-Batch drei Vorwärtsdurchläufe mit der vollständigen, der nur-EEG- und der nur-fMRT-Maske unter Verwendung gemeinsamer Modellgewichte durch. Führen Sie das BrainMoE-Training wie folgt durch: python train.py --config configs/brain_moe.json --task --data_dir (Supplementary File 6). Setzen Sie auf depression, anxiety, reading_disorder, autism oder adhd.
  2. Optimieren Sie den gemittelten Klassifizierungsverlust über die drei Zustände. Berechnen Sie den klassengewichteten Cross-Entropy-Verlust Ls für jeden Zustand gemäß
    Formel für statisches Gleichgewicht in der Neurowissenschaft; Gleichung zur Darstellung der Methode zur Integration multimodaler Hirndaten.
    und mitteln Sie die Verluste gemäß
    Trainingsverlustgleichung L_train=(L_full+L_EEG-only+L_MRI-only)/3; Gleichung der Studie.
  3. Setzen Sie die Gradienten zurück, führen Sie Backpropagation durch und aktualisieren Sie alle trainierbaren Parameter mit AdamW.

6. Auswertung von vollständigen und unvollständigen Modalitätszuständen bei der Inferenz

  1. Evaluationsmethode: Laden Sie den Checkpoint für die ausgewählte Krankheitsaufgabe und verwenden Sie die gespeicherte Testdateiliste aus demselben Checkpoint. Verwenden Sie m = [1,1] für die vollständige EEG-fMRT-Inferenz, m = [1,0] für die ausschließliche EEG-Inferenz und m = [0,1] für die ausschließliche fMRT-Inferenz. Wenden Sie abschließend Softmax an, um die Wahrscheinlichkeit der Zielkrankheit zu erhalten, und weisen Sie die Krankheitsklasse zu, wenn die Wahrscheinlichkeit mindestens 0,5 beträgt.
  2. Evaluationsmetriken: Berechnen Sie die Evaluationsmetriken aus der Konfusionsmatrix, wobei TP krankheitspositive Proben bezeichnet, die korrekt als krank klassifiziert wurden, TN gesunde Kontrollen (HC), die korrekt als gesund klassifiziert wurden, FP gesunde Kontrollen, die fälschlicherweise als krank klassifiziert wurden, und FN krankheitspositive Proben, die fälschlicherweise als gesund klassifiziert wurden.
    Formel für statisches Gleichgewicht, Berechnung der Genauigkeit, Gleichung zur Analyse von wahr/falsch positiv/negativ.
    Formel zur Berechnung der Sensitivität, Gleichung zur Analyse der True-Positive-Rate in der Forschung.
    Spezifitätsformel, \( \text{Specificity} = \frac{TN}{TN + FP} \), Gleichung, statistische Analyse.
    F1-Score-Formel: harmonisches Mittel aus Präzision und Sensitivität, verwendet in der statistischen Analyse.
    Formel für die balancierte Genauigkeit; Gleichung zur Bewertung der Leistung von Klassifikationsmodellen.
  3. Verwenden Sie die Genauigkeit (Accuracy), um die Gesamtrate korrekter Klassifikationen anzugeben. Verwenden Sie die Sensitivität, um den Nachweis krankheitspositiver Fälle zu quantifizieren, und die Spezifität, um die Identifizierung gesunder Kontrollen (HC) zu quantifizieren.
  4. Verwenden Sie den F1-Score, um das Gleichgewicht zwischen Präzision und Sensitivität zusammenzufassen. Verwenden Sie die balancierte Genauigkeit, um den Einfluss von Klassenungleichgewicht zu verringern. Zusätzlich berechnen Sie die AUC, um die schwellenwertunabhängige Diskriminierung über verschiedene Entscheidungsschwellen hinweg zu bewerten.
  5. Mitteln Sie für jede Wiederholung jede Leistungsmetrik über die fünf ausgeschlossenen Folds. Geben Sie die endgültigen Ergebnisse als Mittelwert und Standardabweichung der 10 Wiederholungsebenen-Mittelwerte an.
  6. Vergleichen Sie BrainMoE mit Baseline-Methoden. Alle Baselines verwendeten dieselben teilnehmerbasierten Partitionen und vollständigen EEG-fMRT-Eingaben wie BrainMoE, wobei die Konfigurationen vor der Auswertung mit ausgeschlossenen Daten festgelegt wurden. BrainMoE wurde mit jeder Baseline mittels zweiseitiger gepaarter t-Tests mit Holm-Korrektur verglichen.

7. Durchführen der Gruppenebene-Attribution durch Knotenokklusion bei fünf psychiatrischen Erkrankungen

  1. Definieren Sie die Zuordnungs-Kohorte. Laden Sie den trainierten BrainMoE-Prüfpunkt und die DK-Regionennamendatei. Wählen Sie krankheitspositive Testproben aus, die unter dem vollständigen EEG-fMRI-Zustand mit m = [1,1] korrekt klassifiziert wurden. Verwenden Sie diese Kohorte für die attributionelle Analyse auf Gruppenebene und speichern Sie die Baseline-Ziel-Krankheitswahrscheinlichkeit jeder Probe.
  2. Berechnen Sie modenspezifische Knoten-Ausschluss-Scores. Für die EEG-abgeleitete Attribution blockieren Sie jeweils eine EEG-ROI, indem Sie den ausgewählten EEG-Knoten-Merkmalvektor sowie die entsprechende Zeile und Spalte des EEG-Graphen auf null setzen, während die fMRI-Eingabe unverändert bleibt. Für die fMRI-abgeleitete Attribution wenden Sie dieselbe Operation auf die fMRI-Knoten-Merkvalmatrix und den fMRI-Graphen an, während die EEG-Eingabe unverändert bleibt. Wiederholen Sie dieses Verfahren für alle 68 DK-Regionen. Führen Sie die Knoten-Ausschluss-Attributionsanalyse mit dem Code aus Supplementary File 7 durch.
  3. Berechnen und visualisieren Sie die ROI-Beiträge auf Gruppenebene. Berechnen Sie für jede ROI und jede Modalität den Beitragsscore als durchschnittliche Abnahme der Ziel-Krankheitswahrscheinlichkeit nach Ausschluss über alle ausgewählten Proben hinweg. Rangieren Sie die EEG-abgeleiteten und fMRI-abgeleiteten Scores getrennt, exportieren Sie die jeweils 10 besten ROIs pro Modalität und kennzeichnen Sie die am höchsten gerangte ROI in der Abbildung.

Ergebnisse

Leistung von BrainMoE über verschiedene Erkrankungen und Modalitätszustände hinweg
Das Protokoll erzeugte fünf krankheitsspezifische BrainMoE-Klassifikatoren für den Vergleich von gesunden Probanden und Erkrankten sowie Vorhersagetabellen für die Zustände mit vollständiger EEG-fMRT, nur EEG und nur fMRT. Der Zustand mit vollständiger EEG-fMRT ergab bei allen fünf Aufgaben durchweg hohe Diskriminierungsleistungen, mit AUC-Werten von 84,4 ± 3,2 % für RI bis 88,4 ± 3,8 % für ASD (Tabelle 1). Die makro-geglättete Leistung im vollständigen Zustand über die fünf Aufgaben erreichte eine AUC von 86,9 ± 3,0 %, eine Genauigkeit von 81,4 ± 3,1 %, eine balancierte Genauigkeit von 81,4 ± 2,5 % und einen F1-Score von 81,2 ± 3,0 %.

Unter simulierten Bedingungen fehlender Modalitäten behielt BrainMoE eine brauchbare Leistung aufrecht, wenn eine Eingabemodalität maskiert war. Im ausschließlichen EEG-Zustand erreichte das Modell eine makro-geglättete AUC von 83,1 ± 3,7 %, wobei die höchste AUC für den ausschließlichen EEG-Zustand bei ADHS mit 87,9 ± 2,8 % beobachtet wurde. Im ausschließlichen fMRI-Zustand lag die makro-geglättete AUC bei 80,0 ± 3,9 %. Diese Leistungsbereiche sowie der erwartete Vorteil der Vollzustandsleistung dienen als praktische Vergleichsgrößen für eine erfolgreiche Implementierung und zeigen an, dass das trainierte BrainMoE-Framework vollständige, ausschließlich EEG-basierte und ausschließlich fMRI-basierte Inferenzen durchführen kann, ohne separate Modelle für jede Modalität zu benötigen.

Ein repräsentatives suboptimales Ergebnis ist das Versagen, den erwarteten Vorteil des Vollzustands nachzubilden, beispielsweise wenn die AUC des vollständigen EEG-fMRT niedriger ist als die AUC des nur EEG- oder nur fMRT-basierten Ansatzes. Im Gegensatz dazu sollte eine erfolgreiche Implementierung den Vollzustandsvorteil sowie die in Tabelle 1 angegebenen Referenzleistungsbereiche reproduzieren. Wenn ein suboptimales Muster beobachtet wird, überprüfen Sie vor der Interpretation der Modellausgabe die H5-Eingabedimensionen, die Reihenfolge der DK-Regionen, die Zuweisung der Modalitätsverfügbarkeitsmaske und die gespeicherten Cross-Validierungs-Partitionen.

Vergleich mit Benchmark-Verfahren
Das vorgeschlagene BrainMoE-Modell wurde mit klassischen maschinellen Lernverfahren (Support-Vektor-Maschine (SVM) und Multilayer-Perzeptron (MLP)), allgemeinen Deep-Learning-Verfahren (Transformer7, 3D-CNN22 und ResNet6), fortschrittlichen Deep-Learning-Verfahren (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12) sowie MoE-basierten Deep-Learning-Verfahren (dFCExpert17, EvoMoE18, und NeuroMoE++19) verglichen (Tabelle 2). BrainMoE erzielte unter allen verglichenen Verfahren die höchste mittlere AUC mit 86,9 ± 3,0 %.

Klassische Methoden des maschinellen Lernens zeigten eine geringere mittlere Leistung, wobei SVM einen mittleren AUC-Wert von 66,7 ± 4,5 % und MLP von 64,6 ± 6,3 % erreichte. Allgemeine Deep-Learning-Methoden zeigten eine variable Leistung, wobei ResNet einen mittleren AUC-Wert von 71,0 ± 3,3 % und Transformer von 63,8 ± 4,7 % erreichte. Unter den fortgeschrittenen Deep-Learning-Baselines schnitten BNT, BrainGNN, MultiEpilepsyNet und SZAtt-Net besser ab als die meisten klassischen und allgemeinen Deep-Learning-Methoden, doch ihre mittleren AUC-Werte blieben niedriger als die von BrainMoE.

Um die statistische Aussagekraft des Benchmark-Vergleichs zu gewährleisten, wurde BrainMoE für jede Leistungsmetrik mit dem jeweils stärksten Baseline-Verfahren verglichen (Tabelle 3). BrainMoE zeigte im Vergleich zu NeuroMoE++ eine höhere AUC und eine bessere balancierte Genauigkeit (BA) und übertraf SZAtt-Net hinsichtlich F1-Score und Genauigkeit. Alle Vergleiche blieben auch nach Holm-Korrektur signifikant.

Untergruppenanalyse nach Geschlecht und Erhebungsort
Kohortenmerkmale, die auf bestimmte Aufgaben zugeschnitten sind, einschließlich der Anzahl behaltener multimodaler Datensätze, der Verhältnisse von Erkrankten zu Kontrollen, der Anzahl eindeutiger Teilnehmer, Alterszusammenfassungen, Geschlechtsverteilungen und Verteilungen der Erhebungsorte, sind in der Tabelle der Kohortenmerkmale zusammengefasst (Tabelle 4). Die Verhältnisse von Erkrankten zu Kontrollen werden anhand der Anzahl multimodaler Datensätze berechnet, während demografische Merkmale und Merkmale des Erhebungsorts auf Ebene der eindeutigen Teilnehmer zusammengefasst werden.

Um die potenziellen Effekte von Geschlecht und Erhebungsort zu bewerten, wurde die BrainMoE-Performance anhand dieser Faktoren stratifiziert (Tabelle 5). Die männliche Untergruppe wies einen höheren mittleren AUC-, BA-, F1-Score- und Genauigkeitswert auf als die weibliche Untergruppe, während die entsprechenden nicht angepassten Welch-p-Werte zwischen 0,089 und 0,321 lagen. Ebenso zeigte die RUBIC-Untergruppe eine höhere mittlere Performance als die Staten-Island-Untergruppe, mit p-Werten zwischen 0,055 und 0,309. In diesen Analysen wurde kein statistisch signifikanter Unterschied zwischen den Untergruppen festgestellt.

Auswertung der Ablation von BrainMoE-Komponenten
Es wurden Ablationsstudien durchgeführt, um den Beitrag der Modalitätsverfügbarkeitsmaske, des konvolutionalen Routers, des gemeinsamen Experten und des MoE-Experten-Fusionierungsdesigns zu bewerten (Tabelle 6). Das Entfernen des Masken-Embeddings senkte die mittlere AUC auf 79,2 ± 3,1 %, und der Ersatz des konvolutionalen Routers durch einen MLP-Router verringerte sie auf 79,3 ± 3,7 %. Das Weglassen des gemeinsamen Experten reduzierte die AUC für fMRT-allein auf 73,5 ± 3,3 %, den niedrigsten Wert unter den getesteten Varianten. Das Entfernen aller MoE-Experten senkte ebenfalls die gesamte balancierte Genauigkeit auf 74,2 ± 3,0 %. Diese Ablationsresultate zeigten, dass das vollständige BrainMoE-Design die beste Gesamtleistung sowohl bei vollständigen als auch bei fehlenden Modalitäten erzielte, wobei das Masken-Embedding, der konvolutionale Router, der gemeinsame Experte und die MoE-Experten-Fusion jeweils zur endgültigen Modellleistung beitrugen.

Interpretierbarkeitsergebnisse auf ROI-Ebene für fünf psychiatrische Erkrankungen
Um die regionalen Beiträge zu untersuchen, die den BrainMoE-Vorhersagen zugrunde liegen, wurde eine Knoten-Ausschluss-Attribuierung an korrekt klassifizierten krankheitspositiven Proben im vollständigen EEG-fMRT-Zustand durchgeführt. Die EEG- und fMRT-abgeleiteten ROI-Beiträge wurden separat rangiert, indem der Abfall der Wahrscheinlichkeit für die Zielkrankheit nach dem Ausschließen jeder Region des DK-Atlas gemessen wurde. Die Analyse identifizierte modalitätsspezifische Muster der Beteiligung über die fünf Krankheitsaufgaben hinweg (Abbildung 2). Bei der fMRT-abgeleiteten Attribuierung waren die am höchsten bewerteten Regionen das linke hintere cinguläre Kortex bei MDD, der rechte perikalzarinäre Kortex bei ANX, der linke parahippocampale Kortex bei RI, der rechte pars triangularis bei ASD und der linke entorhinale Kortex bei ADHD. Bei der EEG-abgeleiteten Attribuierung waren die am höchsten bewerteten Regionen die linken banks des sulcus temporalis superior bei MDD, der linke präzentrale Kortex bei ANX, der linke cuneus bei RI, der linke linguale Kortex bei ASD und die rechte Insula bei ADHD. Die am höchsten bewerteten EEG- und fMRT-abgeleiteten ROIs für jede Erkrankung sind auf kortikalen Oberflächen in Abbildung 3 dargestellt. Diese Ergebnisse zeigten, dass BrainMoE eine Interpretierbarkeit auf ROI-Ebene ermöglicht, während gleichzeitig getrennte Attribuierungsprofile für EEG- und fMRT-abgeleitete Repräsentationen erhalten bleiben. Für korrekt klassifizierte krankheitspositive Proben wurde die Stabilität über verschiedene Folds hinweg anhand der Top-1-ROI-Häufigkeit über 50 ausgeschlossene Folds bewertet (Tabelle 7). Die beobachteten Häufigkeiten lagen zwischen 36 % und 68 %, was über dem theoretischen Zufallswert von 1/68 (1,47 %) liegt und die Interpretation anhand relativer Rangfolgen – statt absoluter Größen der Beiträge – unterstützt. Vergleiche mit früheren neurobildgebenden Befunden wurden post-hoc durchgeführt und dienten lediglich dazu, die Attribuierungsergebnisse einzuordnen, nicht jedoch als unabhängige Validierung.

EEG/fMRT-Modalitätsfusionsdiagramm; gemeinsamer neuronaler Zustandsexperte; Diagnoseklassifizierung für Hirnerkrankungen.
Abbildung 1: Übersicht über das BrainMoE-Framework mit adaptiver EEG-fMRT-Fusion zur computerunterstützten Diagnose von Hirnerkrankungen. Quellengerecht ausgerichtete EEG- und fMRT-Gebietsmerkmale (ROI) werden von separaten Graph-Encodern verarbeitet. Die resultierenden Darstellungen werden an die EEG- und fMRT-Experten sowie gemeinsam mit der Modalitätsverfügbarkeitsmaske an das geteilte Soft-Routing-Modul weitergeleitet. Die Modalitätsdarstellungen und die Routing-Darstellung werden fusioniert und vom gemeinsamen neuronalen Zustandsexperten verarbeitet. Die Ausgaben der drei Experten werden anschließend im Fuse-Modul kombiniert und an den Diagnose-Klassifizierungskopf übergeben, um die Wahrscheinlichkeiten für gesunde Kontrollpersonen (HC) und die Zielkrankheit zu berechnen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Balkendiagramme der Gehirn-ROI-Beiträge; fMRT-EEO-Analyse für Störungen: Depression, Angst, ADHS.
Abbildung 2: Analyse der ROI-Beiträge basierend auf Knotenokklusion. Die jeweils zehn höchstrangigen, aus EEG- und fMRT-Daten abgeleiteten ROI-Beiträge wurden für jede Erkrankungsaufgabe im vollständigen EEG-fMRT-Schlusszustand dargestellt. Die Felder (A–E) zeigen die aus fMRT-Daten abgeleiteten Ergebnisse für MDD, ANX, RI, ASD und ADHS, jeweils in dieser Reihenfolge, und die Felder (F–J) zeigen die entsprechenden, aus EEG-Daten abgeleiteten Ergebnisse in derselben Reihenfolge. In jedem Diagramm wurde nur das am höchsten eingestufte ROI beschriftet. Der ROI-Beitrag wurde definiert als die Abnahme der Wahrscheinlichkeit für die Zielkrankheit nach Okklusion des entsprechenden DK-Atlasbereichs. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Darstellungen der Aktivierung von Gehirnregionen; psychische Störungen MDD, ANX, RI, ASD, ADHD; MRT-Analyse des Gehirns.
Abbildung 3: Interpretierbare Karten auf Ebene kortikaler ROI bei fünf Gehirn­erkrankungen. Die Felder (A–E) zeigen MDD, ANX, RI, ASD bzw. ADHD. Jedes Feld zeigt den am höchsten eingestuften, aus EEG abgeleiteten ROI in Rot und den am höchsten eingestuften, aus fMRT abgeleiteten ROI in Orange auf der DK-Kortexoberfläche. Die Farben kennzeichnen die Modalität, nicht das Ausmaß des Beitrags; daher wird keine quantitative Farbskala verwendet. Die Präfixe lh und rh bezeichnen jeweils die linke und rechte Hemisphäre. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

KrankheitsaufgabeZustandAUCGenauigkeitBAF1SensitivitätSpezifität
MDDVollständig88,0 ± 3,2%84,8 ± 3,7%82,0 ± 2,3%76,2 ± 4,1%72,7 ± 3,0%91,3 ± 4,7%
MDDnur EEG83,4 ± 3,4%81,8 ± 4,5%77,9 ± 3,0%73,7 ± 3,9%68,2 ± 2,8%87,6 ± 4,2%
MDDnur fMRT82,1 ± 3,3%78,5 ± 4,7%74,0 ± 4,1%71,8 ± 4,9%66,6 ± 3,5%81,3 ± 5,6%
ANXVollständig85,5 ± 2,5%76,1 ± 2,4%78,2 ± 2,0%79,4 ± 3,3%78,1 ± 3,6%78,2 ± 3,1%
ANXnur EEG81,7 ± 3,9%73,2 ± 3,2%75,6 ± 3,1%78,1 ± 3,9%76,6 ± 3,8%74,6 ± 4,0%
ANXnur fMRT74,8 ± 4,1%74,4 ± 3,7%72,8 ± 3,6%76,4 ± 4,2%72,6 ± 3,9%73,0 ± 4,4%
RIVollständig84,4 ± 3,2%76,5 ± 3,0%77,3 ± 2,9%76,7 ± 2,8%77,9 ± 3,1%76,7 ± 3,3%
RInur EEG80,2 ± 4,0%71,5 ± 4,4%73,4 ± 3,5%73,0 ± 3,4%73,8 ± 3,9%72,9 ± 3,3%
RInur fMRT81,3 ± 4,5%71,1 ± 3,9%67,9 ± 3,7%68,5 ± 3,2%69,4 ± 4,5%66,3 ± 4,2%
ASDVollständig88,4 ± 3,8%79,5 ± 3,5%81,4 ± 3,0%81,0 ± 2,8%83,4 ± 2,9%79,4 ± 3,0%
ASDnur EEG82,5 ± 4,3%77,3 ± 4,1%78,2 ± 3,7%78,6 ± 3,5%79,3 ± 3,4%77,1 ± 4,1%
ASDnur fMRT81,3 ± 4,4%73,8 ± 3,7%74,4 ± 3,4%75,0 ± 3,2%76,1 ± 4,2%72,6 ± 4,5%
ADHSVollständig88,2 ± 2,2%90,3 ± 2,7%88,4 ± 2,5%92,8 ± 1,9%87,0 ± 2,4%89,7 ± 2,5%
ADHSnur EEG87,9 ± 2,8%88,1 ± 2,6%86,4 ± 3,1%90,2 ± 3,4%85,1 ± 3,1%87,7 ± 3,0%
ADHSnur fMRT80,5 ± 3,2%85,7 ± 3,0%84,7 ± 3,5%87,9 ± 4,1%83,2 ± 3,6%86,2 ± 3,4%

Tabelle 1: BrainMoE-Klassifizierungsleistung bei verschiedenen Krankheitsaufgaben und Modalitätsverfügbarkeitszuständen. Leistung von BrainMoE bei fünf Klassifizierungsaufgaben gesund versus Krankheit unter vollständiger EEG-fMRT-, nur EEG- und nur fMRT-Auswertung. Die Metriken werden als Mittelwert ± Standardabweichung angegeben und umfassen die Fläche unter der Receiver-Operating-Characteristic-Kurve (AUC), Genauigkeit, balancierte Genauigkeit (BA), F1-Score, Sensitivität und Spezifität.

MethodeMethodengruppeMittlerer AUCMittlere BAMittlerer F1Mittlere Genauigkeit
SVMKlassisches ML66,7 ± 4,5%70,6 ± 3,4%61,7 ± 5,8%70,7 ± 4,6%
MLPKlassisches ML64,6 ± 6,3%63,5 ± 8,2%64,5 ± 6,1%64,2 ± 6,2%
TransformerGenerisches DL63,8 ± 4,7%64,4 ± 4,8%65,2 ± 5,1%66,1 ± 4,9%
3D-CNNGenerisches DL65,3 ± 4,3%65,2 ± 4,0%64,8 ± 4,5%60,0 ± 4,2%
ResNetGenerisches DL71,0 ± 3,3%70,2 ± 3,6%67,5 ± 3,8%69,3 ± 3,0%
BrainNetCNNFortgeschrittenes DL70,2 ± 3,6%70,9 ± 3,1%69,2 ± 3,6%71,2 ± 3,1%
BNTFortgeschrittenes DL73,6 ± 3,1%76,4 ± 2,7%74,7 ± 2,3%76,6 ± 2,6%
BrainGNNFortgeschrittenes DL72,4 ± 2,8%72,7 ± 2,3%71,0 ± 3,4%72,3 ± 2,5%
MultiEpilepsyNetFortgeschrittenes DL78,3 ± 3,7%75,2 ± 3,5%76,5 ± 3,6%77,2 ± 3,3%
SZAtt-NetFortgeschrittenes DL78,7 ± 3,2%76,1 ± 3,8%77,4 ± 3,9%78,1 ± 3,4%
dFCExpertMoE-basiertes DL80,1 ± 3,2%77,3 ± 2,9%76,7 ± 3,1%77,6 ± 2,9%
EvoMoEMoE-basiertes DL79,6 ± 3,6%76,2 ± 3,1%76,2 ± 3,3%76,5 ± 3,2%
NeuroMoE++MoE-basiertes DL81,5 ± 2,8%77,9 ± 2,7%77,1 ± 3,4%78,0 ± 2,7%
BrainMoE (unsere)MoE-basiertes DL86,9 ± 3,0%81,4 ± 2,5%81,2 ± 3,0%81,4 ± 3,1%

Tabelle 2: Mittlere Klassifikationsleistung von BrainMoE im Vergleich zu klassischen maschinellen Lernverfahren, generischen Deep-Learning-Modellen und fortschrittlichen Deep-Learning-Architekturen für Neurobildgebung. Die Ergebnisse sind über die evaluierten Aufgaben zur Krankheitsklassifikation aggregiert und als Mittelwert ± Standardabweichung für AUC, BA, F1-Score und Genauigkeit angegeben.

VergleichMittlerer AUCMittlere BAMittlerer F1Mittlere Genauigkeit
Stärkste BaselineNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
Leistung der stärksten Baseline81,5 ± 2,8%77,9 ± 2,7%77,4 ± 3,9%78,1 ± 3,4%
BrainMoE86,9 ± 3,0%81,4 ± 2,5%81,2 ± 3,0%81,4 ± 3,1%
Differenz+5,4+3,5+3,8+3,3
t-Test p0,00060,00650,01870,0276
Holm-korrigiertes p*p < 0,01p < 0,05p < 0,05p < 0,05
Cohens dz1,631,110,910,83

Tabelle 3: Vergleich von BrainMoE mit der stärksten Baseline für jede Leistungsmetrik. P-Werte wurden mithilfe zweiseitiger gepaarter t-Tests berechnet und mit der Holm-Prozedur angepasst. Cohens dz bezeichnet die standardisierte gepaarte Differenz.

KohorteMultimodale Aufzeichnungen (n)Verhältnis Erkrankte zu KontrollenEindeutige Teilnehmer (n)Altersspanne (Jahre)Geschlecht (männlich/weiblich)Aufnahmeort (Staten Island/RUBIC)
HC115--755,02–21,9035/4026/49
MDD520,45:1338,36–19,7314/1915/18
ANX1561,36:1985,53–21,0046/5245/53
RI1411,23:1855,75–19,6647/3839/46
ASD820,71:1515,66–19,7945/627/24
ADHS5554,83:13385,04–21,72241/97136/202

Tabelle 4: Merkmale der Studienkohorten, die in den fünf krankheitsspezifischen Klassifizierungsaufgaben verwendet wurden. In der Tabelle sind die Anzahl der beibehaltenen multimodalen Datensätze, die Verhältnisse von Erkrankten zu Kontrollen, die Anzahl eindeutiger Teilnehmer, demografische Merkmale und die Verteilung der Erhebungsstandorte aufgeführt.

UntergruppeAnzahlMittlerer AUCMittlere BAMittlerer F1Mittlere Genauigkeit
Geschlecht
Männlich70587,2 ± 3,783,4 ± 3,282,1 ± 3,582,5 ± 3,8
Weiblich39685,6 ± 3,381,2 ± 4,079,7 ± 3,879,6 ± 3,4
Differenz+1,6+2,2+2,4+2,9
Welch-p--0,3210,1920,1590,089
Erhebungsort
RUBIC67487,6 ± 4,083,3 ± 3,182,3 ± 3,783,4 ± 3,5
Staten Island42785,2 ± 3,681,7 ± 3,779,4 ± 3,480,1 ± 3,7
Differenz+2,4+1,6+2,9+3,3
Welch-p--0,1760,3090,0850,055

Tabelle 5: Nach Geschlecht und Erhebungsort stratifizierte Leistung von BrainMoE. Die Ergebnisse werden als Mittelwert ± Standardabweichung über 10 Wiederholungen einer 5-fachen Kreuzvalidierung angegeben. Die Differenz stellt die erste Untergruppe minus die zweite dar, und die P-Werte wurden mittels zweiseitiger Welch-t-Tests ermittelt.

VarianteVollständige AUCNur EEG-AUCNur fMRT-AUCMittlere AUCMittlere BA
ohne Maskeneinbettung83,2 ± 2,9%79,5 ± 3,9%76,4 ± 3,7%79,2 ± 3,1%76,1 ± 3,4%
ohne Conv-Router84,6 ± 3,6%80,7 ± 3,5%78,2 ± 4,2%81,6 ± 3,3%75,7 ± 3,1%
MLP-Router82,8 ± 2,7%80,1 ± 4,1%76,6 ± 4,4%79,3 ± 3,7%74,1 ± 3,8%
ohne gemeinsamen Experten83,3 ± 3,6%80,8 ± 4,0%73,5 ± 3,3%80,1 ± 3,6%75,5 ± 3,2%
ohne MoE-Experten81,9 ± 3,3%78,7 ± 3,6%78,0 ± 3,8%80,8 ± 4,1%74,2 ± 3,0%
BrainMoE (unsere)86,9 ± 3,0%83,1 ± 3,7%80,0 ± 3,9%86,9 ± 3,0%81,4 ± 2,5%

Tabelle 6: Ablationsanalyse der Schlüsselkomponenten von BrainMoE. Ablationsergebnisse, die den Beitrag der Modalitätsverfügbarkeitsmaske, des konvolutionalen Routers, des gemeinsamen Experten und des MoE-Expert-Fusion-Designs zeigen. Jede Variante wird unter vollständigen EEG-fMRT-, nur-EEG- und nur-fMRT-Inferenzbedingungen evaluiert, wobei die mittlere AUC und die mittlere BA die Gesamtleistung zusammenfassen.

ErkrankungEEG: am höchsten bewertete ROIEEG: Top-1-Frequenz, n/N (%)fMRT: am höchsten bewertete ROIfMRT: Top-1-Frequenz, n/N (%)Zufallsreferenz (%)
MDDlinke Banks des Sulcus temporalis superior22/50 (44%)linke hintere Cingulatregion25/50 (50%)1.47
ANXlinke präzentrale Rinde18/50 (36%)rechte perikalzarinäre Rinde21/50 (42%)1.47
RIlinke Cuneusregion26/50 (52%)linke parahippocampale Rinde29/50 (58%)1.47
ASDlinke Lingualregion27/50 (54%)rechte Pars triangularis28/50 (56%)1.47
ADHSrechte Inselrinde31/50 (62%)linke entorhinale Rinde34/50 (68%)1.47

Tabelle 7: Kreuzvalidierungs-Stabilität der am höchsten bewerteten, aus EEG- und fMRT abgeleiteten ROI. Die Top-1-Häufigkeit gibt die Anzahl und den Prozentsatz der 50-fachen Analysen an, bei denen die angegebene ROI den ersten Platz belegte. Der theoretische Zufallsauswahl-Referenzwert betrug 1/68 (1,47 %).

Zusatzdatei 1: H5-Überprüfungsskript. Python-Skript zur Überprüfung der erforderlichen H5-Eingabeschlüssel, Datentypen, diagnostischen Kennzeichnungen und DK-Atlas-kompatiblen Eingabedimensionen vor dem BrainMoE-Training. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Zusatzdatei 2: fMRT-Vorverarbeitungsskript. C-PAC-Konfigurations- und Ausführungsdateien, die für die fMRT-Vorverarbeitung verwendet wurden, einschließlich Entfernung initialer Volumina, Korrektur von Bewegungs- und Verzerrungsartefakten, Registrierung und Normalisierung, Störsignalkorrektur, zeitliches Filtern und räumliche Glättung. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Zusatzdatei 3: FreeSurfer-Verarbeitungsskripte. Skripte zur Verarbeitung struktureller MRT-Daten, zur Koregistrierung der Desikan-Killiany-Kortikalarzellierung in den nativen fMRT-Raum und zur Extraktion fMRT-Signale auf ROI-Ebene. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Zusatzdatei 4: EEG-Vorverarbeitungsskripte. MATLAB/EEGLAB-Skripte, die für die EEG-Vorverarbeitung verwendet werden, einschließlich Filterung, Identifizierung und Entfernung artefaktbehafteter Komponenten sowie Neubezug. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Zusatzdatei 5: MNE-Python-Skript zur Quellenlokalisation und Merkmalsextraktion. Python-Skript zur EEG-Quellenlokalisation, ROI-Extraktion mit dem DK-Atlas und Erzeugung von EEG-Merkmalen auf ROI-Ebene, die als Eingaben für BrainMoE verwendet werden. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Datei 6: Implementierungscode für BrainMoE. Python-Code und Konfigurationsdateien für die BrainMoE-Architektur, Graph-Encoder, Behandlung von Modalitätszuständen, Experten-Routing und -Fusion, Modelltraining, Evaluierung und Ablationsvarianten. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Zusatzdatei 7: Code für die Knoten-Okklusionszuordnung. Python-Code für die modalitätsspezifische Analyse mittels Knotenokklusion, Berechnung der ROI-Beitragswerte, Rangfolge der aus EEG und fMRI abgeleiteten ROIs sowie Erstellung der Zuordnungsergebnisse. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Diskussion

Die multimodale Analyse von Gehirnsignalen ist zu einer wichtigen Richtung für die computergestützte Diagnose von Hirnerkrankungen geworden, da EEG und fMRT komplementäre Informationen über neuronale Aktivität liefern. Im Vergleichstest erzielten klassische maschinelle Lernverfahren wie SVM und MLP grundlegende diagnostische Leistungen, verfügten jedoch über begrenzte Fähigkeiten, hierarchische, graphenstrukturierte und multimodale Merkmalsinteraktionen abzubilden. Generische Deep-Learning-Modelle, darunter 3D-CNN, ResNet und Transformer, boten eine stärkere nichtlineare Modellierungskapazität, doch waren diese Architekturen nicht speziell für die Fusion von EEG und fMRT oder für die Darstellung von Hirnnetzwerken konzipiert. Fortschrittliche Deep-Learning-Verfahren erzielten eine bessere Leistung als die meisten klassischen und generischen Modelle, doch basierten viele von ihnen weiterhin auf festen Strategien zur Merkmalsintegration und trennten nicht explizit informationsmodus-spezifische Daten von gemeinsamen Informationen über den neuronalen Zustand.

Diese Studie schlug BrainMoE vor, um dieses Fusionsproblem durch die Kombination graphenbasierter Modalitätsencoder, modalitätsspezifischer Experten, eines gemeinsamen neuronale-Zustand-Experten und eines adaptiven Routing-Mechanismus zu lösen. Durch dieses Design konnten aus EEG und aus fMRT abgeleitete Repräsentationen getrennt modelliert und anschließend über eine Experten-Ebene-Fusion integriert werden. Durch die Einführung von Modalitäts-Zustands-Masken und fehlende-Modalität-Token konnte dasselbe trainierte Modell auch ausschließlich EEG- oder fMRT-basierte Inferenz durchführen, ohne separate Modelle für jeden Zustand mit fehlender Modalität erstellen zu müssen. Die experimentellen Ergebnisse zeigten, dass BrainMoE die insgesamt beste Leistung bei den fünf binären Krankheitsklassifizierungsaufgaben erzielte und unter beiden Bedingungen – nur EEG oder nur fMRT – weiterhin brauchbare Leistung aufwies. Die Ablationsanalyse untermauerte zudem den Beitrag der Masken-Einbettung, des konvolutionalen Routers, des gemeinsamen Experten und der MoE-Experten-Fusion. Diese Ergebnisse deuten darauf hin, dass die verbesserte Leistung nicht auf eine einzelne Komponente zurückzuführen war, sondern auf das koordinierte Zusammenspiel von Graphen-Codierung, Modalitäts-Zustands-Modellierung, adaptivem Routing und Experten-Fusion beruhte.

Kritische Protokollschritte und Fehlerbehebung
Zu den kritischen Protokollschritten gehören die Beibehaltung derselben Reihenfolge der 68 Regionen nach DK sowohl in den EEG- als auch in den fMRI-Knoten- und Graphenmatrizen, die Anwendung der vordefinierten Vorverarbeitungseinstellungen unabhängig für jeden Teilnehmer und die Durchsetzung einer teilnehmerspezifischen Kreuzvalidierung, sodass alle Aufzeichnungen desselben Teilnehmers in einem einzigen Fold verbleiben. Die Modalitätsverfügbarkeitsmaske muss außerdem den bereitgestellten Eingaben für jeden Inferenzstatus entsprechen.

Wenn die Inferenz fehlschlägt oder der erwartete Vorteil der Vollzustandsleistung nicht reproduziert wird, überprüfen Sie zuerst die erforderlichen H5-Schlüssel, die Dimensionen der EEG- und fMRI-Matrizen, die Reihenfolge der DK-Regionen, die Zuordnung der Modalitätsverfügbarkeitsmaske sowie die gespeicherten Cross-Validation-Partitionen. Dateien mit fehlenden Schlüsseln, ungültigen Dimensionen oder inkonsistenter Reihenfolge der Regionen sollten vor dem Training oder der Auswertung ausgeschlossen werden. Das Framework kann für alternative kortikale Parzellierungen oder Darstellungen von EEG-/fMRI-Merkmalen angepasst werden, sofern beide Modalitäten einer konsistenten ROI-Reihenfolge zugeordnet sind und die entsprechenden Eingabedimensionen des Modells angepasst werden. Der krankheitsspezifische Klassifikationskopf kann ebenfalls auf andere binäre Klassifizierungsaufgaben übertragen werden, wobei die Graphcodierung und das Experten-Fusion-Framework erhalten bleiben. Solche Modifikationen erfordern ein erneutes Training und eine erneute Validierung, nicht die direkte Anwendung der hier beschriebenen Modelle.

Interpretierbarkeitsanalyse basierend auf Knotenokklusion
Die Knotenokklusionsanalyse lieferte zusätzliche Interpretierbarkeit auf Ebene der interessierenden Regionen (ROIs) für die BrainMoE-Vorhersagen, wobei die am stärksten mit der Erkrankung assoziierten ROIs in Abbildung 3 dargestellt sind. Die von BrainMoE identifizierte, aus EEG-Daten abgeleitete linke posteriore ROI stimmt mit früheren voxelbasierten, metaanalytischen23 Befunden überein, die auf veränderte intrinsische Hirnaktivität in posterioren kortikalen Regionen bei MDD hinweisen. Die aus EEG-/fMRI-Daten abgeleiteten ROIs im linken präzentralen und rechten perikalzarinären Bereich entsprechen früheren neurobildgebenden Befunden bei Angststörungen: Eine Metaanalyse zur Kortikaldicke24 berichtete über eine erhöhte Kortikaldicke im linken präzentralen Gyrus bei Patienten mit Angststörungen, während eine Studie zu strukturellen Kovarianznetzwerken25 bei sozialer Angststörung abnorme Knotenzentralität im rechten perikalzarinären Kortex beschrieb. Bei Lese-Störungen stimmt die aus EEG-Daten abgeleitete linke Keil-Lappen-ROI (Cuneus) mit einer Ganzhirn-Konnektivitätsstudie26 überein, die veränderte Konnektivität des linken Cuneus bei Legasthenie berichtete, während die aus fMRI-Daten abgeleitete linke parahippocampale ROI mit einer separaten Studie27 übereinstimmt, die abnorme Kopplung zwischen parahippocampalem Kortex und Hippocampus bei Jugendlichen mit spezifischen Defiziten im Leseverständnis beschrieb. Bei der Autismus-Spektrum-Störung-Aufgabe spiegelt die durch EEG-basierte Attribution hervorgehobene linke Zungen-Lappen-ROI (Lingual Gyrus) frühere Befunde aus Ruhezustands-fMRI-Studien28 wider, die eine verminderte ReHo im linken Lingual Gyrus bei präpubertären Jungen mit ASS zeigten. Die aus fMRI-Daten abgeleitete rechte Pars-triangularis-ROI ist ebenfalls biologisch plausibel, da veränderte ALFF im rechten Pars-triangularis-Bereich des unteren Frontallappens bereits berichtet wurde29 bei autistischen Kindern. Bei ADHS passt die aus EEG-Daten abgeleitete rechte Insel-ROI zu strukturellen MRT-Befunden30, die ein vermindertes Volumen der vorderen Insel bei Jugendlichen mit ADHS zeigen, insbesondere im Bereich des rechten kurzen Inselgyrus. Die aus fMRI-Daten abgeleitete linke entorhinale ROI könnte auf einen spezifischeren Befund hinweisen, da eine separate Studie in Psychological Medicine31 nach FDR-Korrektur ein geringeres Volumen des linken entorhinalen Kortex in einer ADHS-C-Teilgruppe berichtete. Diese Befunde sollten dennoch unter Berücksichtigung der interregionalen Abhängigkeiten interpretiert werden, da korrelierte ROI-Signale es möglicherweise verhindern, dass die Okklusion eines einzelnen Knotens den Beitrag einer einzelnen Region vollständig isoliert, was zu konservativen Schätzungen führen kann.

Einschränkungen und zukünftige Forschungsrichtungen
Obwohl wiederholte 5-fache Kreuzvalidierung zur Gewinnung interner Leistungsschätzungen verwendet wurde, würden zukünftige Studien mit geschachtelter Kreuzvalidierung oder unabhängiger externer Validierung die Beurteilung der Stabilität der Modellselektion und der Generalisierbarkeit weiter stärken. Da die rein EEG-basierten und rein fMRT-basierten Ergebnisse durch Maskierung einer Modalität in vollständigen multimodalen Datensätzen erzeugt wurden und nicht an einer externen Validierungskohorte evaluiert wurden, sollten zukünftige Studien externe Einzelmodalitäts-Validierungskohorten einbeziehen, um die Generalisierbarkeit zu prüfen. Eine weitere Einschränkung besteht darin, dass das gesunde-gegen-einzelne-Erkrankung-Design komorbide Krankheitsbilder nicht erfasst, was die klinische Generalisierbarkeit einschränkt und zukünftige Studien zur Multilabel-Klassifikation und zur Differenzialdiagnose motiviert. Zukünftige Arbeiten könnten außerdem die Robustheit der EEG-Assoziationen auf Quellenebene mithilfe von leckagebewussten Konnektivitätsschätzern evaluieren. Obwohl die gemeinsame DK-Parzellierung eine anatomisch fundierte Schnittstelle für die multimodale Fusion bietet, handelt es sich dabei um eine Modellannahme, die modenspezifische Unterschiede in der zeitlichen Auflösung und physiologischen Herkunft möglicherweise nicht vollständig erfasst. Über die hier untersuchten fünf Erkrankungen hinaus könnte das Framework auf andere neurologische oder psychiatrische Klassifizierungsaufgaben angepasst werden, die anatomisch ausgerichtete multimodale Hirndaten beinhalten, und auf Multilabel- oder Differenzialdiagnose-Anwendungen erweitert werden.

Zusammenfassung
Zusammenfassend bietet BrainMoE einen praktischen und interpretierbaren Rahmen für die EEG-fMRT-Fusion bei der computerunterstützten Diagnose von Hirnerkrankungen. Der Hauptvorteil liegt in der adaptiven Integration multimodaler Merkmale, die durch eine Multi-Experten-Architektur und einen Soft-Routing-Mechanismus gesteuert wird, der dynamisch modalitysspezifische und gemeinsame Informationen ausbalanciert. Darüber hinaus erzielt dasselbe trainierte Modell durch die nahtlose Einbindung von Modali­tätszustandsmasken und fehlenden Modali­täts-Token eine robuste Leistung bei der Inferenz mit unvollständigen Modalitäten, ohne separate Konfigurationen zu benötigen. Entscheidend ist, dass der interpretierbare Rahmen transparente, gruppenspezifische regionale Zuordnungspfade für fünf unterschiedliche Hirnerkrankungen bereitstellt und so die herkömmliche Black-Box-Architektur in ein physiologisch fundiertes Werkzeug für die computerunterstützte Diagnose verwandelt. Dies ist von Bedeutung für zukünftige computergestützte neurobildgebende Workflows, bei denen heterogene Datenquellen, die Verfügbarkeit unvollständiger Modalitäten sowie erklär­bare Modellausgaben zentrale Aspekte darstellen.

Offenlegungen

Die Autoren geben an, dass kein Interessenkonflikt besteht. Die Autoren erklären, dass keine generativen KI-Tools bei der Erstellung dieses Manuskripts, des Codes, der Datenanalyse oder der Erstellung von Diagrammen verwendet wurden.

Danksagungen

Diese Forschung wurde von der Nationalen Naturwissenschaftlichen Stiftung Chinas unter den Förderkennzeichen 62433002, 62277001 und U25A20446, dem Projekt zum Aufbau und zur Unterstützung hochrangiger innovativer Teams an Institutionen der Stadt Peking unter dem Förderkennzeichen BPHR20220104 sowie dem Beijing Scholars Program unter dem Förderkennzeichen 099 finanziert.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
BashGNU-Projekt5.1.16(1)-releaseSoftware
C-PACFCP-INDIVersion 1.8.7; Container-Tag release-v1.8.7.dev1Software
CUDA ToolkitNVIDIA CorporationVersion 12.4Software
CUDA-kompatible GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPUAusstattung
Desikan-Killiany-KortikatlasFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 kortikale Regionen (RRID:SCR_001847)Atlas/Ressource
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoVersion 2022.1 (RRID:SCR_007292)Software
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalVersion 7.4.1 (RRID:SCR_001847)Software
FSLFMRIB, University of OxfordIm Lieferumfang von C-PAC 1.8.7 enthalten; genaue Version nicht angegeben (RRID:SCR_002823)Software
Datensatz Healthy Brain Network (HBN)Child Mind InstituteRRID:SCR_016989Datensatz
MATLABMathWorksR2022a (RRID:SCR_001622)Software
MNE-PythonMNE-Python-EntwicklungsteamVersion 1.9 (RRID:SCR_005972)Software/Bibliothek
PythonPython Software FoundationVersion 3.12.4 (RRID:SCR_008394)Software
PyTorchPyTorch FoundationVersion 2.6.0+cu124 (RRID:SCR_018536)Bibliothek

Referenzen

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Nachdrucke und Genehmigungen

Weitere Artikel entdecken

EEG-fMRI-Fusionmultimodale Bildgebung des Gehirnscomputergestützte DiagnoseGraph-EncoderROI-AttributionskartenNeural-State-ExpertModalitätszustandsmaskenKnotenokklusionsanalyse

Dieser Artikel wurde veröffentlicht

Video demnächst verfügbar

Kontaktieren Sie uns
Der Bibliothek empfehlen

Datenschutz

Nutzungsbedingungen

Richtlinien

Urheberrecht © 2026 MyJoVE Corporation. Alle Rechte vorbehalten.