方法文章

基于混合专家模型的脑电图-功能磁共振成像融合用于可解释的计算机辅助脑疾病诊断

0 次观看

⸱

DOI：

10.3791/73432

⸱

2026年9月25日

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

本文内容

摘要

本方案介绍了脑部混合专家模型（Brain Mixture-of-Experts），这是一种用于脑部疾病计算机辅助诊断的自适应且可解释的脑电图-功能磁共振成像融合框架。该方法通过模态特异性专家、共享神经状态专家以及自适应路由机制，整合异质的脑电图（EEG）和功能磁共振成像（fMRI）表征，同时在模拟模态缺失条件下保持可解释性与推理能力。

摘要

脑电图（EEG）和功能磁共振成像（fMRI）提供了关于脑功能的互补信息，在检测多种脑部疾病中的功能异常方面已展现出显著潜力。然而，EEG与fMRI在信号特征和表征空间上的显著差异，给有效的多模态融合带来了严峻挑战，从而限制了传统固定模型在脑部疾病计算机辅助诊断中的准确性。本研究提出了一种自适应且可解释的EEG-fMRI融合框架——脑混合专家模型（Brain Mixture-of-Experts, BrainMoE），通过模态特异性专家、共享神经状态专家以及自适应路由机制来整合多模态脑特征。BrainMoE首先将EEG和fMRI信号投影到统一的Desikan-Killiany（DK）图谱感兴趣区域（ROI）空间，然后利用图编码器提取模态特异的脑网络表征。软路由模块生成路由表征，融合模块中的专家门（Expert Gate）则生成样本特异的权重，用于整合EEG、fMRI和共享神经状态专家的表征。为应对数据采集不完整的情况，模型引入了模态状态掩码和缺失模态标记，使得同一训练模型可执行完整的EEG-fMRI、仅EEG或仅fMRI推理。最后，通过节点遮蔽分析为EEG和fMRI衍生的预测结果提供ROI水平的归因图谱。该框架在Healthy Brain Network（HBN）数据集上进行了评估，涵盖五种二分类脑部疾病诊断任务，包括重度抑郁症、焦虑症、阅读障碍、自闭症谱系障碍和注意缺陷多动障碍。BrainMoE优于当前最先进的对比算法，平均AUC达到86.9 ± 3.0%，消融实验验证了路由机制与专家融合组件的有效性。此外，可解释性分析识别出与既往神经影像学研究结果一致的、在组水平上对疾病分类有贡献的ROI区域。该方法通过解决异构EEG-fMRI神经表征的整合难题，在模拟模态缺失条件下仍保持可解释性和推理能力，从而支持脑部疾病的计算机辅助诊断。

引言

脑部疾病涉及神经活动和脑网络组织的复杂变化，单一成像模态难以对其进行充分表征1源重建后2脑电图（EEG）提供区域水平的电生理活动信息，而功能磁共振成像（fMRI）则捕捉区域水平的功能连接，二者为脑功能研究提供了互补的视角。为促进两者的整合，先前的多模态研究已将这两种模态的数据共同映射至包含68个区域的Desikan-Killiany（DK）图谱3尽管这种空间对应关系并不意味着时间分辨率或生理来源上的等同性，但它为节点水平的图融合、固定的图维度以及一致的感兴趣区域（ROI）水平解释提供了统一的解剖学索引，同时保留了模态特异性的信息。整合这些在解剖结构上对齐但具有模态特异性的表征，有助于丰富与疾病相关的脑信号表征，并支持计算机辅助的脑部疾病诊断3,4.

尽管脑电图-功能磁共振成像（EEG-fMRI）融合技术在脑部疾病计算机辅助诊断方面具有潜力，但两种模态之间的异质性为其有效整合带来了技术挑战。传统的机器学习方法（如支持向量机SVM和多层感知机MLP）可提供基础分类模型，但在捕捉非线性跨模态相互作用方面能力有限。通用深度学习模型（包括图神经网络GNN）5ResNet6和 Transformer7 架构能够提供更强的表征学习能力，但并非专门针对脑区水平的脑图或模态-状态建模而设计。近期先进的模型3,8,9 非线性复杂性增加，以更准确地建模脑网络。BrainNetCNN8 被引入以将卷积操作适配到脑连接矩阵；BrainGNN9 进一步利用图神经网络和池化对脑区（ROI）级图拓扑结构进行建模；以及 BNT10 随后通过基于变换器的多层级注意力机制加强了功能脑网络分析。然而，这些进展仍主要针对单模态场景开发。MultiEpilepsyNet11 然后通过联邦混合框架将多模态学习扩展到EEG-MRI癫痫发作检测，其MRI端的EpiSkullNet++模块改进了脑部分割与预处理。SZAtt-Net12 随后开发了一种多模态精神分裂症分类模型，该模型结合了卷积神经网络（CNN）、双向门控循环单元（BiGRU）和多层感知机（MLP）模块，并引入了通道、自注意力、空间和时间注意力机制。然而，这些方法仍局限于特定任务，依赖于相对固定的融合设计，未能显式支持在完整模态与缺失模态状态之间的自适应路由。

混合专家（Mixture-of-Experts, MoE）模型13,14在多模态学习中日益受到关注，因其能够通过专门化的专家模块处理异构信息源，并通过路由机制动态组合。Softmax门控可提供依赖输入的归一化专家权重，并已在理论上对其收敛速率进行了表征15。相关的多门控架构进一步表明，在大规模多任务学习中，独立的门控机制能够学习共享专家的任务依赖性组合16。在神经科学研究与脑科学领域，MoE的多种变体17,18,19已被越来越多地用于促进异构特征融合。dFCExpert17利用模块化和基于状态的专家模型，从fMRI数据中建模动态功能连接模式。EvoMoE18进一步采用门控网络为独立于用户的SSVEP-EEG分类选择合适的专家。NeuroMoE++19探索了针对患者的自适应多模态融合方法，用于神经系统疾病的分类。尽管这些模型取得了成功，但它们通常依赖于粗粒度的混合与离散路由，忽略了跨模态神经状态高度同步的本质，从而阻碍了对脑部疾病诊断中细微但具有信息量的模式的检测。此外，由于缺乏专门机制来从统一的共享神经状态中解耦模态特异性细微差异，这些模型的可解释性有限，并且在关键模态（如fMRI或EEG）缺失时会出现性能下降。

为解决这些局限性，本研究提出了脑部混合专家模型（Brain Mixture-of-Experts, BrainMoE），这是一种自适应且可解释的脑电图-功能磁共振成像（EEG-fMRI）融合框架，用于计算机辅助诊断五类脑部疾病，包括重度抑郁障碍（MDD）、焦虑障碍（ANX）、伴阅读障碍的特定学习障碍（RI）、自闭症谱系障碍（ASD）以及注意缺陷多动障碍（ADHD）。该方案首先将源重建的EEG与fMRI特征对齐至DK图谱20的感兴趣区域（ROI）空间，随后分别为两种模态构建基于图的模态表征。BrainMoE包含一个EEG专家模块、一个fMRI专家模块以及一个共享的神经状态专家模块，并通过软路由模块整合，以融合模态特异性信息与共享信息。通过引入模态状态掩码和缺失模态标记，可在单一训练模型内实现完整的EEG-fMRI、仅EEG以及仅fMRI推理。为支持生物学可解释性，该方案进一步应用节点遮蔽分析方法，即逐一选择性遮蔽DK图谱中的每个ROI，并利用疾病预测概率的变化来估计由EEG和fMRI导出的各脑区贡献度。本文详细描述了数据对齐、模型构建、训练、评估以及基于节点遮蔽的ROI解释的完整工作流程，提供了一种通过异构EEG-fMRI脑信号融合实现脑部疾病计算机辅助诊断的自适应且可解释的策略。为促进研究可重复性及未来拓展，公开的GitHub代码库提供了BrainMoE模型、训练与评估代码，而EEG和fMRI的预处理则使用公开的第三方软件完成。代码库地址为 https://github.com/zhongruizhe123/BrainMoE。

方案

本研究使用了来自健康脑网络（Healthy Brain Network, HBN）数据库的去标识化数据21，重点关注五种不同的临床障碍，用于后续的诊断分类任务。HBN 项目此前已从所有参与单位和受试者获得伦理批准及书面知情同意。脑电图（EEG）和功能磁共振成像（fMRI）记录在不同时间段分别采集，而非同步进行，并通过 HBN 中提供的受试者和会话标识符进行配对。

1. 准备计算环境和输入数据

  1. 配置计算环境
    1. 创建并激活 Python 3.12.4 虚拟环境：python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. 使用公开 GitHub 仓库中提供的 requirements.txt 文件安装所需软件包及其固定版本：pip install -r requirements.txt
    3. 在训练前验证 PyTorch 和 CUDA 配置：python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." 确认输出显示 PyTorch 2.6.0+cu124、CUDA 12.4，且 CUDA 可用性为 True。使用支持 CUDA 的 GPU 进行模型训练。
  2. 在模型训练前检查所有 H5 输入文件。
    1. 确认每个文件包含 EEG 节点特征的 sLORETA_mean_func、EEG 图的 sLORETA_mean_CorrMatrix、fMRI 节点特征的 fMRI-DK68-node-mat、fMRI 图的 fMRI-DK68-edge-mat，以及诊断标签。排除缺少键值、包含非数值条目、标签无效或维度与 68 区域 Desikan-Killiany 图谱不一致的文件。按以下方式运行 H5 输入检查脚本：python checkH5.py (补充文件 1)。

2. 将 EEG 和 fMRI 特征配准到共享的解剖空间

  1. 预处理 fMRI 数据。
    1. 使用 C-PAC（版本 1.8.7）处理 fMRI 数据。运行 C-PAC 预处理脚本，命令如下：bash run_cpac_brainmoe.sh <BIDS_DIR> <OUTPUT_DIR> （补充文件 2）。丢弃前五个时间点以减少初始非稳态信号效应。
    2. 进行切片时间校正、运动校正、畸变校正、配准、归一化至 MNI152 解剖空间以及空间平滑。回归 24 个与运动相关的干扰参数。
    3. 在 0.01–0.08 Hz 范围内进行时间带通滤波。
  2. 生成图谱对齐的 fMRI 特征。
    1. 使用 FreeSurfer（版本 7.4.1）处理相应的结构 MRI。运行脚本命令如下：bash Step01_mgz_2_nifti.sh。将生成的 Desikan-Killiany 皮层分区图共配准至受试者的原生 fMRI 空间。运行脚本命令如下：python Step02_CoRegistration.py。计算 68 个皮层区域内每个体素的平均信号。运行脚本命令如下：python Step03_fMRI_Signal_Extraction.py（补充文件 3）。
    2. 保留 370 个连续的 fMRI 时间点，不进行时间填充，以获得大小为 68 × 370 的 fMRI 节点-特征矩阵，其中 68 表示 DK 皮层区域，370 表示保留的 fMRI 时间点。
  3. 构建 fMRI 图。
    1. 计算 68 个 DK 区域的 370 点时间序列之间的皮尔逊相关性。将生成的 68 × 68 功能连接矩阵作为 fMRI 边矩阵存储。
  4. 预处理 EEG 数据。
    1. 在 MATLAB（版本 R2022a）中使用 EEGLAB 工具箱（版本 2022.1）处理 129 导 EEG 记录。依次运行两个 EEGLAB 预处理脚本，命令如下：matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" （补充文件 4）。保持 500 Hz 的采样率，并应用 0.2–40 Hz 带通滤波。识别噪声片段和故障电极，并使用相邻电极的平均信号对坏通道进行插值。
    2. 使用 ICLabel 插件进行独立成分分析以分类独立成分。移除眼动或肌电伪迹分类概率大于 0.90 的成分。应用平均重参考。排除预处理和伪迹剔除后可用数据少于 250 秒的记录。
  5. 生成图谱对齐的 EEG 特征。
    1. 基于每位受试者的结构 MRI 构建个性化的三层边界元法（BEM）头部模型。在每位受试者的个体皮层表面定义源空间。将 EEG 电极位置注册到 BEM 表面，并计算引导场矩阵。
    2. 使用基线噪声协方差矩阵正则化的逆算子。将信噪比设为 3.0，得到 λ2 = 1/SNR2 = 1/9（约 0.1111），并使用 MNE-Python（版本 1.9）中实现的标准低分辨率电磁断层成像（sLORETA）进行源定位。
    3. 通过对每个 Desikan-Killiany 分区内的顶点级源估计值进行算术平均，聚合得到 68 个 ROI 水平的时间序列。保留第一个连续的 250 秒片段，并将每个 ROI 时间序列划分为 250 个连续、无重叠的 1 秒时段。
    4. 计算每个时段 8–12 Hz 范围内的 alpha 波段功率，以获得大小为 68 × 250 的 EEG 节点-特征矩阵，其中 68 表示 DK 皮层区域，250 表示 250 个连续、无重叠的 1 秒时段。
  6. 构建 EEG 图并验证跨模态对齐。
    1. 计算 68 个 DK 区域的 250 个时段 8–12 Hz alpha 功率时间序列之间的皮尔逊相关性。将生成的 68 × 68 矩阵作为 EEG 图存储。
    2. 确认 EEG 和 fMRI 矩阵使用相同的 DK 区域顺序，并在模型输入、归因和可视化中使用相同的 DK 区域索引文件。运行 MNE-Python 源定位和特征提取脚本，命令如下：python "Extract features - templates.py" （补充文件 5）。
  7. 在每个样本内对节点特征进行归一化。
    1. 对 EEG 和 fMRI 节点特征矩阵进行节点级 z 分数归一化。将图矩阵作为连接性输入，并在 BrainMoE 模型内部进行图归一化。
    2. 对每位受试者的 EEG 和 fMRI 数据使用固定参数独立进行预处理，不使用交叉验证折中的信息来确定预处理参数。

3. 构建疾病特异性的二分类任务

  1. 定义五个疾病特异性的二分类任务。
    1. 在所有任务中将健康对照（HC）编码为类别0，并在各自的任务中仅将选定的疾病组编码为类别1。
    2. 分别为抑郁症、焦虑症、伴有特定学习障碍和阅读障碍的神经发育障碍、自闭症谱系障碍以及注意缺陷多动障碍构建独立的健康对照与疾病组对比任务。
  2. 描述研究队列特征，并检验潜在的性别和数据采集站点效应。
    1. 针对每个疾病特异性任务，纳入具有完整脑电图（EEG）、功能磁共振成像（fMRI）和结构磁共振成像（sMRI）数据且具备有效诊断标签的HBN参与者。从疾病阳性队列中排除共病诊断的参与者。排除预处理和伪迹剔除后可用数据少于250秒的EEG记录，仅保留通过第1.2节所述质量控制标准的输入文件。
    2. 在表4中总结保留的多模态记录数量和唯一参与者数量、疾病组与对照组比例、年龄范围、性别分布以及采集站点分布在共享的健康对照队列和各疾病队列中的情况。
      注意：相同的健康对照队列在全部五个任务中均作为类别0重复使用，因此任务层面的性能估计在统计上并非相互独立。这种依赖性来源于共享的健康对照队列，而非疾病组之间的重叠。
    3. 按性别和采集站点对性能进行分层，并在重复的5折交叉验证运行中使用双侧Welch t检验比较相应数值。
  3. 选择任务特异性的H5文件并定义交叉验证划分。
    1. 针对每个任务，仅保留健康对照和目标疾病组。在参与者层面生成10次重复的5折交叉验证。根据二分类标签（健康对照 vs. 目标疾病）对唯一参与者进行分层，以保持各折之间的类别分布一致。
    2. 使用唯一的参与者标识符作为分组变量，将同一参与者的全部会话和多模态记录分配至同一折。分别使用随机种子1–10生成10次重复的交叉验证划分。模型初始化和训练时采用固定的随机种子1。
    3. 将保留的折仅用于最终评估，并保存每个折对应的参与者标识符、文件列表和划分索引以及相应的检查点。对于每个训练折，根据训练标签计算类别权重，并将其用于交叉熵损失中，以减少类别不平衡引起的偏差。

4. 构建用于计算机辅助脑疾病诊断的 BrainMoE 架构

注意：BrainMoE 架构被设计为一种紧凑的缺失模态 EEG-fMRI 融合框架，该框架结合了图编码器、共享神经状态软路由以及基于专家的特征整合，用于疾病特异性的二分类诊断。整体架构如图1所示，实现代码见补充文件6。

  1. 定义 BrainMoE 的输入和模态状态。 在源空间对齐后，使用 EEG 模态和 fMRI 模态作为成对的图输入。其中，X 表示区域特征矩阵，A 表示模态特异性的脑图，每一行对应 68 个 Desikan-Killiany 区域之一。
    figure-protocol-1
    figure-protocol-2
    将模态可用性掩码定义为 m = [mEEG, mfMRI]。对于完整的 EEG-fMRI 输入使用 m = [1,1]，对于仅 EEG 输入使用 m = [1,0]，对于仅 fMRI 输入使用 m = [0,1]。
  2. 图编码器：对于每个模态 q（q 为 EEG 或 fMRI），将特征矩阵 Xq 和图 Aq 输入其模态特异的图编码器。该编码器是一个可训练的神经网络模块，包含节点投影、图消息传递、归一化、激活和 dropout（p=0.3）。
    figure-protocol-3
    注：在此表示法中，Zq 是由 EEG 图编码器或 fMRI 图编码器生成的 ROI 层级潜在表示。EEG 图编码器将每个 68 × 250 的输入矩阵映射为 68 × 128 的潜在表示，而 fMRI 图编码器将每个 68 × 370 的输入矩阵映射为 68 × 128 的潜在表示。每个编码器使用输入投影，后接两个具有 128 个隐藏维度的残差图卷积层，以及 GELU 激活、层归一化和 dropout。
  3. 可训练的缺失模态标记：令 Tq 为模态 q 的标记，mq 为对应的可用性指示符。此步骤生成一种状态感知的表示，在完整模态和单模态输入下均保持相同的 68 区域布局。
    figure-protocol-4
    注：每个可训练的缺失模态标记是一个 128 维向量，当对应模态不可用时，该向量会在 68 个 ROI 行上进行扩展。
  4. 共享神经状态软路由模块：首先，将状态感知的 EEG 表示 ZEEG、状态感知的 fMRI 表示 ZfMRI 和嵌入的模态可用性掩码进行组合。模态可用性掩码通过一个维度为 2 → 128 的 MLP 进行嵌入，并采用 GELU 激活和层归一化。路由模块（Router）由两个一维卷积层组成，通道维度为 384 → 128 → 128，卷积核大小为 3，填充为 1。每次卷积后应用 GELU 激活，第一次卷积后加入 dropout（p=0.3）。
    figure-protocol-5
    figure-protocol-6
  5. 共享神经状态专家模块。
    1. 沿特征维度拼接状态感知的 EEG 表示 ZEEG、状态感知的 fMRI 表示 ZfMRI 和软路由表示 R。应用一个全连接融合层（384 到 128），后接层归一化、GELU 激活和 dropout（p=0.3），然后在 68 个 ROI 上对结果表示进行均值池化，得到 128 维的被试层面融合表示 zfused：
      figure-protocol-7
    2. 将 zfused 输入共享神经状态专家模块，该模块由一个全连接层（128 到 128）、层归一化、GELU 激活和 dropout（p=0.3）组成。将得到的 128 维共享专家表示记为 Eshared：
      figure-protocol-8
  6. EEG 和 fMRI 专家模块。
    1. 对于每个模态，在 68 个 ROI 上对状态感知表示进行均值池化，并将得到的 128 维表示输入对应的模态特异专家模块：
      figure-protocol-9
    2. 每个模态特异专家模块由一个全连接层（128 到 128）、层归一化、GELU 激活和 dropout（p=0.3）组成。将得到的 128 维模态特异专家表示分别记为 EEEG 和 EfMRI。
  7. 融合模块。
    1. 为计算专家权重，将 128 维的被试层面融合表示 zfused 与 2 维的模态可用性掩码 m 拼接，得到 130 维的门控输入。融合模块包含一个专家门控（Expert Gate），用于生成用于专家融合的样本特异权重。专家门控由一个全连接层（130 到 128）、GELU 激活、dropout（p = 0.3）和一个输出全连接层（128 到 3）组成。对三个输出 logits 应用 softmax，得到样本特异的专家权重：figure-protocol-10
    2. 所得权重对每个样本均为非负且总和为 1：
      figure-protocol-11
    3. 将每个 128 维的专家表示乘以其对应的门控权重，并对三个加权表示求和：
      figure-protocol-12
      注：此操作实现了密集软 MoE 融合。
    4. 将得到的 128 维最终专家表示 efused 输入第 4.8 节所述的脑部疾病诊断分类头。
  8. 脑部疾病诊断分类头：将 128 维的最终专家表示输入一个分类头，该分类头由层归一化、dropout（p = 0.3）和一个将 128 维映射到 2 个输出 logits 的全连接层组成。应用 softmax 得到健康对照（HC）概率和目标疾病概率。当目标疾病概率不低于 0.5 时，将样本归类为疾病类别。
    figure-protocol-13
  9. 在训练前验证实现的一致性。在 m = [1,1]、m = [1,0] 和 m = [0,1] 条件下运行一次前向传播测试。确认 EEG、fMRI、状态感知、路由和融合表示在未显式池化时保持 68 个 ROI 行，并确认专家权重按 EEG 专家、fMRI 专家和共享神经状态专家的顺序总和为 1。

5. 训练五种用于脑部疾病诊断的 BrainMoE 模型

  1. 针对每种疾病特异性的二分类任务，分别训练一个 BrainMoE 模型。
    1. 所有任务均使用相同的架构和默认超参数：30 个训练轮次，批量大小为 16，学习率为 0.001，权重衰减为 0.0001。在测试折评估之前固定模型架构和超参数，并在所有折、重复实验及疾病特异性任务中保持不变。
    2. 不得使用保留的测试折性能进行模型选择或超参数调优。对于每个小批量样本，使用完整模态、仅 EEG 和仅 fMRI 的掩码，以共享的模型权重执行三次前向传播。按以下方式运行 BrainMoE 训练：python train.py --config configs/brain_moe.json --task <TASK> --data_dir <H5_DIR>（补充文件 6）。将 <TASK> 设置为 depression、anxiety、reading_disorder、autism 或 adhd。
  2. 优化三状态分类损失的平均值。对每种状态计算加权交叉熵损失 Ls，公式如下：
    figure-protocol-14
    然后对各损失取平均，公式如下：
    figure-protocol-15
  3. 重置梯度，反向传播，并使用 AdamW 更新所有可训练参数。

6. 评估完整模态与缺失模态的推理状态

  1. 评估方法：加载所选疾病任务的检查点，并使用来自同一检查点的已保存测试文件列表。使用 m = [1,1] 进行完整的 EEG-fMRI 推断，m = [1,0] 进行仅 EEG 推断，m = [0,1] 进行仅 fMRI 推断。最后，应用 softmax 函数获得目标疾病的概率，并在概率不低于 0.5 时分配疾病类别。
  2. 评估指标：根据混淆矩阵计算评估指标，其中 TP 表示被正确分类为疾病的疾病阳性样本，TN 表示被正确分类为健康的健康对照（HC），FP 表示被错误分类为疾病的健康对照，FN 表示被错误分类为健康的疾病阳性样本。
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. 使用准确率（accuracy）报告总体正确分类率。使用敏感性（sensitivity）量化疾病阳性检出能力，使用特异性（specificity）量化健康对照识别能力。
  4. 使用 F1 分数总结精确率与敏感性之间的平衡。使用平衡准确率（balanced accuracy）降低类别不平衡的影响。此外，计算 AUC 以评估在不同决策阈值下的无阈值依赖的判别性能。
  5. 对每次重复实验，将各性能指标在五个保留折上取平均值。最终结果以 10 次重复实验的均值及其标准差形式报告。
  6. 将 BrainMoE 与基线方法进行比较。所有基线方法均使用与 BrainMoE 相同的参与者层面划分和完整的 EEG-fMRI 输入，且配置在保留评估前已固定。采用双侧配对 t 检验结合 Holm 校正，将 BrainMoE 与每个基线方法进行比较。

7. 在五种脑部疾病中进行基于节点遮蔽的组水平归因分析

  1. 定义归因队列。加载训练好的 BrainMoE 检查点和 DK 脑区名称文件。选择在完整 EEG-fMRI 状态（m = [1,1]）下被正确分类的疾病阳性测试样本。将该队列用于组水平的归因分析，并保存每个样本的基础目标疾病概率。
  2. 计算模态特异性的节点遮蔽分数。对于 EEG 源归因，依次遮蔽一个 EEG ROI，即将选定的 EEG 节点特征向量及其在 EEG 图中的对应行和列设为零，同时保持 fMRI 输入不变。对于 fMRI 源归因，对 fMRI 节点特征矩阵和 fMRI 图执行相同操作，同时保持 EEG 输入不变。在全部 68 个 DK 脑区上重复此过程。使用 补充文件 7 中提供的代码运行节点遮蔽归因分析。
  3. 计算并可视化组水平 ROI 贡献。针对每个 ROI 和每种模态，计算归因分数，即在所有选定样本中遮蔽后目标疾病概率的平均下降值。分别对 EEG 源和 fMRI 源的分数进行排序，导出每种模态下排名前 10 的 ROI，并在图中标注排名最高的 ROI。

结果

BrainMoE 在不同疾病和模态状态下的性能
该方案生成了五种疾病特异性的健康与疾病对比 BrainMoE 分类器，并为完整的 EEG-fMRI、仅 EEG 和仅 fMRI 推断状态生成了预测结果表。在全部五项任务中，完整 EEG-fMRI 状态均实现了持续较高的判别性能，AUC 值从癫痫发作间期（RI）的 84.4 ± 3.2% 到自闭症谱系障碍（ASD）的 88.4 ± 3.8% 不等（表 1）。五项任务在完整状态下的宏平均性能达到 AUC 86.9 ± 3.0%、准确率 81.4 ± 3.1%、平衡准确率 81.4 ± 2.5% 和 F1 分数 81.2 ± 3.0%。

在模拟缺失模态条件下，当某一输入模态被屏蔽时，BrainMoE 仍能保持可用的性能。在仅使用 EEG 的状态下，模型的宏平均 AUC 达到 83.1 ± 3.7%，其中 ADHD 的 EEG-only AUC 最高，为 87.9 ± 2.8%。在仅使用 fMRI 的状态下，宏平均 AUC 为 80.0 ± 3.9%。这些性能范围以及预期的完整模态状态下的性能优势，为成功实施提供了实用的基准，表明训练好的 BrainMoE 框架能够在无需为每种模态单独构建模型的情况下，执行完整模态、仅 EEG 和仅 fMRI 的推理。

一个典型的次优结果是无法重现预期的全模态性能优势，例如，当全EEG-fMRI的AUC低于仅使用EEG或仅使用fMRI的AUC时。相比之下，成功的实施应能重现全模态优势以及表1中报告的基准性能范围。当观察到次优模式时，在解释模型输出之前，应验证H5输入的维度、DK脑区的顺序、模态可用性掩码的分配以及保存的交叉验证划分。

基准比较
所提出的 BrainMoE 模型与经典机器学习方法（支持向量机（SVM）和多层感知机（MLP））、通用深度学习方法（Transformer7、3D-CNN22 和 ResNet6）、先进深度学习方法（BrainNetCNN8、BNT10、BrainGNN9、MultiEpilepsyNet11、SZAtt-Net12）以及基于 MoE 的深度学习方法（dFCExpert17、EvoMoE18 和 NeuroMoE++19）进行了比较（表 2）。在所有比较方法中，BrainMoE 取得了最高的平均 AUC，为 86.9 ± 3.0%。

经典机器学习方法表现出较低的平均性能，其中支持向量机（SVM）的平均AUC为66.7 ± 4.5%，多层感知机（MLP）为64.6 ± 6.3%。通用深度学习方法表现不一，ResNet的平均AUC为71.0 ± 3.3%，Transformer为63.8 ± 4.7%。在先进的深度学习基线模型中，BNT、BrainGNN、MultiEpilepsyNet和SZAtt-Net优于大多数经典方法和通用深度学习方法，但其平均AUC仍低于BrainMoE。

为了为基准比较提供统计学支持，BrainMoE 在各项性能指标上均与最强的基线模型进行了比较（表3）。BrainMoE 在AUC和平衡准确率（BA）上优于NeuroMoE++，在F1分数和准确率上优于SZAtt-Net。所有比较在经过Holm校正后仍具有统计学意义。

按性别和采集地点进行的亚组分析
任务特异性队列特征包括保留的多模态记录数量、病例与对照的比例、唯一参与者数量、年龄概况、性别分布以及采集地点分布，详见队列特征表（表 4）。病例与对照的比例基于多模态记录数量计算，而人口统计学特征和采集地点特征则在唯一参与者层面进行汇总。

为了评估性别和采集地点的潜在影响，按这些因素对 BrainMoE 的性能进行了分层分析（表5）。男性亚组的平均 AUC、BA、F1 分数和准确率均高于女性亚组，相应的未校正 Welch p 值范围为 0.089 至 0.321。同样，RUBIC 亚组的平均性能高于 Staten Island 亚组，p 值范围为 0.055 至 0.309。在这些分析中，未检测到具有统计学意义的亚组差异。

BrainMoE 各组件的消融分析
为评估模态可用性掩码、卷积路由模块、共享专家模块以及 MoE 专家融合设计的贡献，进行了消融实验（表6）。移除掩码嵌入后，平均 AUC 下降至 79.2 ± 3.1%；将卷积路由模块替换为 MLP 路由模块后，AUC 下降至 79.3 ± 3.7%。移除共享专家模块后，仅使用 fMRI 的 AUC 降至 73.5 ± 3.3%，为所有测试变体中最低。移除所有 MoE 专家模块也使整体平衡准确率降至 74.2 ± 3.0%。这些消融结果表明，完整的 BrainMoE 设计在模态完整和模态缺失状态下均实现了最优的整体性能，而掩码嵌入、卷积路由模块、共享专家模块以及 MoE 专家融合设计各自均对最终模型性能有所贡献。

五种脑部疾病的感兴趣区域（ROI）水平可解释性结果
为探究 BrainMoE 预测背后的区域贡献，在完整的 EEG-fMRI 状态下，对正确分类的疾病阳性样本进行了节点遮蔽归因分析。通过测量遮蔽每个 DK 图谱区域后目标疾病概率的下降程度，分别对 EEG 和 fMRI 衍生的 ROI 贡献进行排序。该分析揭示了在五种疾病任务中模态特异性的贡献模式（图 2）。在 fMRI 衍生的归因中，排名最高的区域分别为：抑郁症（MDD）中的左侧后扣带回、焦虑症（ANX）中的右侧围距状皮层、癫痫发作间期（RI）中的左侧海马旁回皮层、自闭症谱系障碍（ASD）中的右侧三角部额下回，以及注意力缺陷多动障碍（ADHD）中的左侧内嗅皮层。在 EEG 衍生的归因中，排名最高的区域分别为：MDD 中的左侧颞上沟上缘、ANX 中的左侧中央前回皮层、RI 中的左侧楔叶、ASD 中的左侧舌回皮层，以及 ADHD 中的右侧岛叶。每种疾病中排名最高的 EEG 和 fMRI 衍生 ROI 在皮层表面的可视化结果见 图 3。这些结果表明，BrainMoE 在保留 EEG 衍生和 fMRI 衍生表征各自归因特征的同时，实现了 ROI 水平的可解释性。对于正确分类的疾病阳性样本，通过 50 个独立保留折中的 Top-1 ROI 出现频率评估了跨折稳定性（表 7）。观察到的频率范围为 36% 至 68%，显著高于理论上的随机选择基准值 1/68（1.47%），支持基于相对排名而非绝对贡献幅度进行解释。与先前神经影像学研究结果的比较为事后分析，仅用于为归因结果提供背景信息，不作为独立验证。

figure-results-1
图1：用于计算机辅助脑疾病诊断的 BrainMoE 框架概览，采用自适应 EEG-fMRI 融合方法。 来源对齐的 EEG 和 fMRI ROI 特征分别由独立的图编码器处理。所得表征被传递至 EEG 专家模块和 fMRI 专家模块，并与模态可用性掩码一同输入共享的软路由模块。模态表征与路由表征在共享的神经状态专家模块中进行融合与处理。三个专家模块的输出随后在融合模块中合并，并传递至诊断分类头，以生成健康对照（HC）和目标疾病的概率。请点击此处查看该图的放大版本。

figure-results-2
图 2：基于节点遮蔽的脑区贡献度分析。 在完整的 EEG-fMRI 推断状态下，分别可视化了每种疾病任务中 EEG 和 fMRI 源脑区（ROI）贡献度排名前 10 的结果。图中面板 (A–E) 分别显示了抑郁症（MDD）、焦虑症（ANX）、物质使用障碍（RI）、自闭症谱系障碍（ASD）和注意缺陷多动障碍（ADHD）的 fMRI 源分析结果，而面板 (F–J) 则按相同顺序显示了相应的 EEG 源分析结果。每张图中仅标注了贡献度最高的脑区。ROI 贡献度定义为遮蔽相应 DK 图谱区域后，目标疾病预测概率的下降程度。请点击此处查看该图的放大版本。

figure-results-3
图3：五种脑部疾病中基于皮层感兴趣区域（ROI）水平的可解释性图谱。 图中（A–E）分别展示重度抑郁障碍（MDD）、焦虑症（ANX）、物质使用障碍（RI）、自闭症谱系障碍（ASD）和注意缺陷多动障碍（ADHD）。每个子图在DK皮层表面上以红色显示由脑电图（EEG）推导出的排名最高的感兴趣区域（ROI），以橙色显示由功能性磁共振成像（fMRI）推导出的排名最高的感兴趣区域（ROI）。颜色仅表示模态类型，而非贡献程度大小，因此未应用定量的颜色标尺。前缀“lh”和“rh”分别表示左半球和右半球。请点击此处查看该图的放大版本。

疾病任务状态AUC准确率平衡准确率F1分数敏感性特异性
MDD完整88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDD仅EEG83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDD仅fMRI82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANX完整85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANX仅EEG81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANX仅fMRI74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RI完整84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RI仅EEG80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RI仅fMRI81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASD完整88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASD仅EEG82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASD仅fMRI81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHD完整88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHD仅EEG87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHD仅fMRI80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

表1：BrainMoE在不同疾病任务和模态可用性状态下的分类性能。 BrainMoE在五种健康与疾病分类任务中，于完整的EEG-fMRI、仅EEG和仅fMRI推断状态下的性能表现。指标以均值±标准差形式报告，包括受试者工作特征曲线下面积（AUC）、准确率、平衡准确率（BA）、F1分数、敏感性和特异性。

方法方法组平均 AUC平均 BA平均 F1平均准确率
SVM经典机器学习66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLP经典机器学习64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
Transformer通用深度学习63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNN通用深度学习65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNet通用深度学习71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNN高级深度学习70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNT高级深度学习73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNN高级深度学习72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNet高级深度学习78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-Net高级深度学习78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpert基于MoE的深度学习80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoE基于MoE的深度学习79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++基于MoE的深度学习81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (ours)基于MoE的深度学习86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

表2：BrainMoE与经典机器学习方法、通用深度学习模型以及先进的神经影像深度学习架构在分类性能上的比较（以平均值表示）。结果汇总了各项评估的疾病分类任务，以AUC、BA、F1分数和准确率的均值±标准差形式报告。

比较平均 AUC平均 BA平均 F1平均准确率
最强基线模型NeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
最强基线模型性能81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
差异+5.4+3.5+3.8+3.3
t 检验 p 值0.00060.00650.01870.0276
经 Holm 校正后的 p 值*p < 0.01p < 0.05p < 0.05p < 0.05
Cohen's dz1.631.110.910.83

表3：BrainMoE与各性能指标最强基线方法的比较。 P值通过双侧配对t检验计算，并使用Holm法进行校正。Cohen的dz表示标准化的配对差异。

队列多模态记录数 (n)疾病与对照比例唯一参与者数 (n)年龄范围（岁）性别（男性/女性）数据采集地点（史泰登岛/RUBIC）
HC115--755.02–21.9035/4026/49
MDD520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASD820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

表4：五项疾病特异性分类任务中所用研究队列的特征。 该表格报告了保留的多模态记录数量、疾病组与对照组的比例、唯一参与者数量、人口统计学特征以及数据采集站点的分布情况。

亚组数量平均 AUC平均 BA平均 F1平均准确率
性别
男性70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
女性39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
差异+1.6+2.2+2.4+2.9
Welch p--0.3210.1920.1590.089
采集地点
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
差异+2.4+1.6+2.9+3.3
Welch p--0.1760.3090.0850.055

表5：按性别和采集地点分层的 BrainMoE 性能。 结果以10次5折交叉验证的均值±标准差形式报告。差异表示第一亚组减去第二亚组的值，P值通过双侧Welch t检验获得。

变体完整 AUC仅 EEG AUC仅 fMRI AUC平均 AUC平均 BA
无掩码嵌入83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
无卷积路由模块84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP 路由模块82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
无共享专家模块83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
无 MoE 专家模块81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE（本研究）86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

表6：关键BrainMoE组件的消融分析。 消融实验结果展示了模态可用性掩码、卷积路由模块、共享专家模块以及MoE专家融合设计的贡献。每种变体均在完整的EEG-fMRI、仅EEG和仅fMRI推理条件下进行评估，以平均AUC和平均BA总结整体性能。

疾病脑电图：排名最高的感兴趣区域脑电图：第一频率，n/N (%)功能磁共振成像：排名最高的感兴趣区域功能磁共振成像：第一频率，n/N (%)随机参考值 (%)
MDD左侧颞上沟 banks22/50 (44%)左侧后扣带皮层25/50 (50%)1.47
ANX左侧中央前回皮层18/50 (36%)右侧围距状皮层21/50 (42%)1.47
RI左侧楔叶26/50 (52%)左侧海马旁回皮层29/50 (58%)1.47
ASD左侧舌回皮层27/50 (54%)右侧三角部28/50 (56%)1.47
ADHD右侧岛叶31/50 (62%)左侧内嗅皮层34/50 (68%)1.47

表7：基于脑电图和功能磁共振成像所提取的高排名感兴趣区域的交叉验证稳定性。 首位频率表示在50次交叉验证分析中，所报告的感兴趣区域排名首位的次数及其占比。理论上随机选择的参考值为1/68（1.47%）。

补充文件 1：H5 输入检查脚本。 在进行 BrainMoE 训练之前，用于验证所需 H5 输入键、数据类型、诊断标签以及与 DK-atlas 兼容的输入维度的 Python 脚本。 请点击此处下载该文件。

补充文件 2：fMRI 预处理脚本。 用于 fMRI 预处理的 C-PAC 配置和执行文件，包括初始体积去除、运动和失真校正、配准与标准化、干扰协变量回归、时间滤波以及空间平滑。 请点击此处下载该文件。

补充文件3：FreeSurfer处理脚本。用于处理结构MRI数据、将Desikan-Killiany皮层分区图共配准至个体fMRI空间，以及提取ROI层面的fMRI信号的脚本。 请点击此处下载该文件。

补充文件4：脑电图预处理脚本。 用于脑电图预处理的MATLAB/EEGLAB脚本，包括滤波、伪迹成分识别与去除以及重参考。 请点击此处下载该文件。

补充文件 5：MNE-Python 源定位与特征提取脚本。用于 EEG 源定位、DK 图谱 ROI 提取以及生成作为 BrainMoE 输入的 ROI 水平 EEG 特征的 Python 脚本。 请点击此处下载该文件。

补充文件6：BrainMoE 实现代码。 包含 BrainMoE 架构、图编码器、模态-状态处理、专家路由与融合、模型训练、评估及消融实验变体的 Python 代码和配置文件。 请点击此处下载该文件。

补充文件 7：节点遮蔽归因代码。 用于模态特异性节点遮蔽分析、ROI 贡献分数计算、基于 EEG 和 fMRI 衍生的 ROI 排序以及生成归因输出的 Python 代码。 请点击此处下载该文件。

讨论

多模态脑信号分析已成为计算机辅助脑部疾病诊断的重要方向，因为脑电图（EEG）和功能磁共振成像（fMRI）提供了关于神经活动的互补信息。在基准比较中，支持向量机（SVM）和多层感知机（MLP）等经典机器学习方法提供了基本的诊断性能，但在建模分层结构、图结构以及跨模态特征交互方面能力有限。通用深度学习模型（包括3D-CNN、ResNet和Transformer）具有更强的非线性建模能力，但这些架构并非专门为EEG-fMRI融合或脑网络表征而设计。先进的深度学习方法相比大多数经典和通用模型取得了更好的性能，但其中许多方法仍依赖固定的特征融合策略，且未明确区分模态特异性信息与共享的神经状态信息。

本研究提出了BrainMoE，通过结合基于图的模态编码器、模态特异性专家、共享的神经状态专家以及自适应路由机制，以解决这一融合问题。该设计使得从EEG和fMRI导出的表征能够被分别建模，再通过专家层级的融合进行整合。通过引入模态-状态掩码和缺失模态标记，同一训练模型还可在无需为每种缺失模态情况构建独立模型的前提下，执行仅EEG和仅fMRI的推理。实验结果表明，BrainMoE在五项二分类疾病诊断任务中均取得了最优的整体性能，并在仅EEG和仅fMRI状态下均保持了可用的性能表现。消融分析进一步验证了掩码嵌入、卷积路由器、共享专家以及MoE专家融合模块的贡献。这些发现表明，性能的提升并非源于单一组件，而是图编码、模态-状态建模、自适应路由与专家融合协同设计的结果。

关键实验步骤与故障排除
关键实验步骤包括在 EEG 和 fMRI 节点及图矩阵中保持相同的 68 区域 DK 顺序，为每位参与者独立应用预定义的预处理设置，以及实施参与者水平的交叉验证，以确保同一参与者的全部记录保留在同一折叠中。模态可用性掩码还必须与每种推理状态下的所提供输入相对应。

如果推理失败或未能复现预期的全状态性能优势，首先应验证所需的 H5 键、EEG 和 fMRI 矩阵维度、DK 脑区顺序、模态可用性掩码的分配以及保存的交叉验证划分。对于缺少必要键、维度无效或脑区顺序不一致的文件，应在训练或评估前予以排除。该框架可修改以适配其他皮层分割方案或 EEG/fMRI 特征表示形式，前提是两种模态均映射到一致的 ROI 顺序，并相应调整模型输入维度。疾病特异性分类头也可适配于其他二分类任务，同时保留图编码与专家融合框架。此类修改需重新训练与验证，而不能直接应用本文报告的模型。

基于节点遮蔽的可解释性分析
节点遮蔽分析进一步提供了脑区水平上对 BrainMoE 预测结果的可解释性，排名最高的疾病相关脑区见图3。BrainMoE 通过脑电图（EEG）识别出的左侧后部脑区，与先前基于体素的荟萃分析23证据一致，该研究报道了重度抑郁障碍（MDD）患者后部皮层区域的内在脑活动发生改变。通过 EEG/fMRI 识别出的左侧中央前回和右侧距状旁脑区，也与既往焦虑障碍的神经影像学证据相符：一项皮层厚度的荟萃分析24报道，焦虑障碍患者左侧中央前回皮层厚度增加；而一项关于社交焦虑障碍的结构协变网络研究25则报道，右侧距状旁皮层参与了节点中心性的异常。对于阅读障碍，EEG 衍生的左侧楔叶脑区与一项全脑连接性研究26结果一致，该研究报道了阅读障碍患者左侧楔叶连接性的改变；而 fMRI 衍生的左侧海马旁回脑区则与另一项研究27相符，该研究报道了具有特定阅读理解缺陷的青少年存在海马旁回/海马区耦合异常。在自闭症谱系障碍任务中，EEG 衍生归因所突出的左侧舌回脑区，呼应了先前静息态 fMRI 的证据28，即患有自闭症谱系障碍（ASD）的青春期前男孩左侧舌回局部一致性（ReHo）降低。fMRI 衍生的右侧三角部脑区也具有生物学合理性，因为在自闭症儿童中已有研究报道29，额下回右侧三角部的低频振幅（ALFF）发生改变。对于注意缺陷多动障碍（ADHD），EEG 衍生的右侧岛叶脑区与结构 MRI 证据30相符，该证据显示 ADHD 青少年的前岛叶体积减小，尤其涉及右侧岛叶短回。fMRI 衍生的左侧内嗅皮层脑区可能反映了一种更具亚型特异性的发现，因为另一项《心理医学》（Psychological Medicine）研究31在经过 FDR 校正后，报道了 ADHD-C 亚组中左侧内嗅皮层体积降低。然而，这些结果的解释需考虑脑区间相互依赖性，因为相关联的脑区信号可能阻碍单节点遮蔽完全分离出单个脑区的贡献，从而导致对实际贡献的估计偏于保守。

局限性与未来研究方向
尽管本研究采用重复5折交叉验证以获得内部性能估计，但未来研究若采用嵌套交叉验证或独立的外部验证，将进一步增强对模型选择稳定性与泛化能力的评估。由于仅使用EEG和仅使用fMRI的输出是通过对完整的多模态数据掩蔽某一模态生成的，且未在外部验证队列中进行评估，因此未来的研究应纳入外部单模态验证队列，以评估其泛化能力。另一个局限性在于，健康对照与单一疾病对比的设计无法反映共病情况，这限制了临床泛化性，并提示未来应开展多标签分类与鉴别诊断的相关研究。未来的工作还可利用考虑信号泄漏的连接性估计方法，评估源空间EEG关联结果的稳健性。尽管采用的DK脑区划分方案为多模态融合提供了基于解剖结构的接口，但这一方法仍是一种建模假设，可能无法充分捕捉不同模态在时间分辨率和生理来源上的特异性差异。除了本研究涉及的五种疾病外，该框架还可拓展至其他涉及解剖对齐的多模态脑数据的神经或精神疾病分类任务，并可进一步推广至多标签分类或鉴别诊断应用。

结论
综上所述，BrainMoE 为脑部疾病计算机辅助诊断中的脑电图-功能磁共振成像（EEG-fMRI）融合提供了一个实用且可解释的框架。其主要优势在于通过多专家架构和软路由机制实现自适应的多模态特征融合，动态平衡模态特异性信息与共享信息。此外，通过无缝整合模态状态掩码和缺失模态标记，同一训练模型在模态不完整的情况下进行推理时，无需额外配置即可实现稳健的性能。关键的是，该可解释框架提供了跨五种不同脑部疾病的透明化、群体水平的脑区归因通路，将传统的“黑箱”架构转变为具有生理学依据的计算机辅助诊断工具。这对于未来的计算神经影像工作流程具有重要意义，因为在这些流程中，异构数据源、模态信息的不完整性以及模型输出的可解释性均为核心考量因素。

披露

作者声明不存在利益冲突。作者声明在撰写本文稿、编写代码、数据分析或图表制作过程中均未使用生成式人工智能工具。

致谢

本研究由国家自然科学基金（项目编号：62433002、62277001 和 U25A20446）、北京市属高校高水平创新团队建设与支持项目（项目编号：BPHR20220104）以及北京学者计划（项目编号：099）资助。

材料

本文使用的材料清单
姓名公司目录编号评论
BashGNU 项目5.1.16(1)-release软件
C-PACFCP-INDI版本 1.8.7；容器标签 release-v1.8.7.dev1软件
CUDA ToolkitNVIDIA 公司版本 12.4软件
CUDA 兼容 GPUNVIDIA 公司GeForce RTX 4060 Laptop GPU设备
Desikan-Killiany 皮层图谱FreeSurfer，Athinoula A. Martinos 生物医学成像中心，麻省总医院aparc；68 个皮层区域 (RRID:SCR_001847)图谱/资源
EEGLAB加州大学圣地亚哥分校 Swartz 计算神经科学中心版本 2022.1 (RRID:SCR_007292)软件
FreeSurferAthinoula A. Martinos 生物医学成像中心，麻省总医院版本 7.4.1 (RRID:SCR_001847)软件
FSL牛津大学 FMRIB随 C-PAC 1.8.7 一起打包；具体版本未指定 (RRID:SCR_002823)软件
健康脑网络 (HBN) 数据集儿童心智研究所RRID:SCR_016989数据集
MATLABMathWorksR2022a (RRID:SCR_001622)软件
MNE-PythonMNE-Python 开发团队版本 1.9 (RRID:SCR_005972)软件/库
PythonPython 软件基金会版本 3.12.4 (RRID:SCR_008394)软件
PyTorchPyTorch 基金会版本 2.6.0+cu124 (RRID:SCR_018536)库

参考文献

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

重印与许可

标签

脑电图-功能磁共振成像融合多模态脑成像计算机辅助诊断图编码器脑区贡献图谱神经状态专家模态状态掩码节点遮蔽分析

本文已发表

视频即将推出

联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。