需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

STFEEG-工具:一种用于运动想象脑机接口的时空频脑电分析工具

461 次观看

DOI:

10.3791/70425

2026年3月10日

本文内容

摘要

本研究提出了一种标准化且可重复的方案,用于实施空间-时间-频率脑电图分析工具(STFEEG),以实现运动想象脑电信号的解码。该方案包含可配置的空间-时间-频率分割、基于共空间模式(CSP)的特征提取、多种分类算法以及可视化功能。

摘要

运动想象-脑机接口(MI-BCI)在神经康复和认知神经科学领域已展现出显著潜力。然而,目前仍缺乏用于可配置时空频特征分析的标准且可重复的MI-EEG工作流程,许多现有分析流程需要复杂的配置和参数调优,且可解释性有限,这阻碍了其在实际中的推广应用和泛化能力。为应对这些挑战,开发了STFEEG-Tool,以提供一种面向用户、标准化且具有可解释性的MI范式下EEG解码工作流程。STFEEG-Tool支持对时间、频带和空间分割进行细粒度配置,从而实现多尺度运动想象特征的提取。该工具箱集成了多种特征提取算法,包括共空间模式(CSP)和基于散度的共空间模式(div-CSP),以及多种分类器,如支持向量机(SVM)、岭回归分类器和Lasso分类器。此外,工具箱提供动态的时间-频率头皮地形图,用于汇总不同时间-频率段的空间模式,并辅助解码结果的解释。总体而言,STFEEG-Tool是一个可重复且可扩展的平台,有助于将细粒度解码流程转化为实用的、以用户为中心的应用。

引言

运动想象脑机接口(MI-BCI)能够在不依赖外周肌肉活动的情况下,实现人脑与外部设备之间的直接通信1。近年来,MI-BCI 技术已广泛应用于神经康复2、辅助控制3和人机交互4等领域。这些应用凸显了对可访问且可重复的分析工作流程的需求,此类流程需能够被研究人员和临床医生可靠地采用,包括编程经验有限的用户。

传统的运动想象脑电(MI-EEG)解码方法主要基于空间滤波和线性分类框架。诸如共空间模式5(CSP)和基于散度的共空间模式6(div-CSP)等方法已被广泛用于从多通道脑电信号中提取具有判别性的空间特征。为进一步提取不同频率成分中的特征,研究者广泛探索了滤波器组共空间模式7(FBCSP)和子带共空间模式8,9(SBCSP)。此外,通过将每次试验划分为多个时间区间,时间分割方法已被整合到特征提取过程中,以捕捉动态变化的判别模式,从而进一步提升解码性能10,11,12。为了增强所提取特征的可分性,多种特征选择策略被引入,以减少冗余并缓解过拟合问题13,14,15。在分类方面,由于支持向量机16以及正则化回归分类器17,18,19具有良好的可解释性和计算效率,这些传统机器学习模型至今仍被广泛使用。

尽管这些方法具有有效性,但通常在定制的、特定数据集的代码库中实现,这使得系统性重用和独立验证变得复杂。已开发出多个基于图形用户界面(GUI)的软件平台以支持脑电图(EEG)分析和脑机接口(BCI)研究。例如,EEGLAB20 提供了一整套用于EEG预处理、时频分析、特征提取、分类以及高级可视化的功能。其高度模块化且可扩展的架构使其在EEG研究领域得到了广泛应用。BCILAB21 与 EEGLAB 集成,包含了超过100种信号处理和机器学习算法,覆盖从预处理到分类的整个解码流程。类似地,OpenViBE22 提供了一个可视化编程环境,用于设计实时BCI工作流程,用户可通过图形化连接模块化组件来构建信号处理流程。该平台特别适用于在线EEG采集和实时刺激-反应范式,已被广泛用于交互式BCI应用的开发与测试。此外,PyNoetic 是一个用于无代码EEG脑机接口开发的模块化Python框架,可通过集成的GUI支持数据采集、预处理、特征提取和分类,实现端到端BCI工作流程的构建23。与早期需要大量手动配置或脚本编写的工具不同,PyNoetic 为流程设计提供了更高层次的抽象,能够在无需底层编程的情况下灵活组装和重新配置处理阶段。在许多运动想象脑电图(MI-EEG)研究中,这些平台已经能够支持常规的预处理、传统特征提取以及基线解码与评估。

多个基于图形用户界面(GUI)的平台通过标准化的预处理、特征提取和基线解码支持运动想象脑电图(MI-EEG)分析(表1)。然而,这些平台在细粒度的时空频分解方面缺乏优化,包括用户自定义的空间分区和跨域可视化功能。为满足这些方法学需求,先前已提出一种针对MI-EEG的细粒度时空频解码框架24,该框架联合建模空间电极组、频率子带和时间片段,以提升解码性能并增强多域可解释性。在此框架基础上,开发了时空频脑电分析工具(STFEEG-Tool),这是一个基于图形用户界面(GUI)的工具箱,可在可配置且可重复的工作流程中标准化细粒度MI-EEG解码,同时保持与现有EEG工具链的兼容性。

STFEEG-工具将数据准备、预处理、时空频域分割、特征提取、基于封装器的特征选择、分类和可视化整合到一个统一的流程中。该工具并非取代现有的脑电图工具箱,而是通过透明的参数设定、一致的流程执行以及基于模型的可视化,对现有工具进行补充,以支持精细的分析。

本研究的主要贡献体现在以下三个方面。首先,STFEEG-Tool 提供了一个用户友好的端到端图形用户界面(GUI)工作流程,并采用标准化的参数配置,实现精细的运动想象脑电(MI-EEG)解码。其次,该工具支持多尺度的时空频域分割,包括用户自定义的空间分解方法,而这一功能在通用平台上通常无法稳定获得。第三,通过时间-频率地形图和电极组显著性图,增强了模型的可解释性,能够总结判别性贡献,并揭示跨领域个体特异性的运动想象相关模式。

该工具箱是开源的,可从以下网址获取: https://github.com/CissyZR/Spatial-Frequency-Temporal_EEG_Analysis_Tool 

访问受限。请登录或开始试用以查看此内容。

方案

本方案所使用的数据来自公开可获取的去标识化数据集。原始数据收集过程均遵循相关机构的伦理标准;因此,本二次分析无需额外的机构审批。

图1 展示了时空频脑电图分析工具的整体工作流程。请按照以下步骤配置各个模块,并复现精细的空间-频率-时间解码方案。本研究中使用的软件列于材料表中。

1. 软件和STFEEG-Tool工具包的准备

  1. 安装支持 MAT 文件处理和图形用户界面(GUI)运行的数值计算环境(参见材料表)。
  2. 从在线代码库下载 STFEEG - Tool,解压至本地文件夹,并找到安装文件 STFEEG-Tool.mlappinstall。
  3. 双击 STFEEG - Tool.mlappinstall,并按照屏幕提示完成安装。
  4. 打开“应用程序”选项卡,确认 STFEEG-Tool 出现在已安装应用程序列表中(图 2),点击该应用以启动图形用户界面(GUI)(图 3)。

2. 输入数据 MAT 文件的准备

  1. 创建一个包含四个变量的 MAT 文件 (.mat),变量名为 TrainDataTrainLabelTestDataTestLabel
    1. 将 TrainData 和 TestData 存储为大小为 Ntrials × Nchannels × Ntimepoints 的三维数组。
    2. TrainLabelTestLabel 存储为大小为 Ntrials × 1 的整数类别标签列向量,并在训练集和测试集中使用一致的编码方式。
      注意:应基于不重叠的实验会话或记录区块构建 TrainDataTestData,以防止信息泄露。
  2. 确保 TrainDataTestData 具有相同的通道顺序和采样频率(Hz)。
  3. (可选)从公开仓库下载基于 BCI Competition IV 2a 提供的示例 MAT 文件(Data.mat),以快速测试软件。

3. 启动图形用户界面并设置路径

  1. 启动 STFEEG - 工具 图形用户界面(GUI),打开运动想象脑电(MI-EEG)分析窗口(图3)。
  2. 数据加载面板中,点击数据路径旁边的浏览按钮,选择包含已准备好的 MAT 文件的文件夹。
  3. 确认 GUI 中显示的采样频率Fs与数据集的采样频率(Hz)一致。
  4. 点击保存路径旁边的浏览按钮,选择一个输出文件夹以存储结果(例如配置文件、模型文件和预测标签)。
  5. (可选)根据预期用途指定模型路径
    1. 若需在训练过程中保存模型,点击模型路径旁边的浏览按钮,并选择目标文件夹;如果模型路径留空,软件将自动在保存路径中保存模型。
    2. 若要加载预训练模型进行测试,点击模型路径旁边的浏览按钮,并选择包含已保存模型文件的文件夹。
  6. 数据加载面板中点击加载,以导入 MAT 文件。软件将自动检查所需的变量和选定的路径,若无错误报告,则成功加载数据集。

4. 配置预处理(带通滤波)

  1. 除非需要不同的预处理配置,否则使用 GUI 中显示的默认带通滤波器设置(阶数 = 5,Fc1 = 5 Hz,Fc2 = 35 Hz,滤波器类型 = IIR)。
  2. (可选)输入滤波器 阶数 以覆盖默认值。
  3. (可选)输入截止频率的下限和上限(Fc1Fc2,单位为 Hz)以覆盖默认值。
  4. (可选)从下拉菜单中选择滤波器类型以覆盖默认选项。
  5. 单击 确定 以确认预处理配置。若未进行任何更改,软件将应用面板中显示的默认设置。

5. 配置细粒度分割策略

  1. 在主图形用户界面的 分割策略 面板中,点击 编辑 以打开 分割 配置窗口。
  2. 配置时间窗口。
    1. 选择 时间窗口 选项卡。
    2. 查看表格中显示的现有窗口列表(图 4)。
    3. (可选)如需添加窗口,请输入 开始结束间隔 值,然后点击 添加 将生成的窗口追加到列表中。
    4. (可选)如需删除现有窗口,右键单击表格中对应的行,然后选择 删除
  3. 配置滤波器组频率带。
    1. 选择 频率带 选项卡(图 5)。
    2. 查看表格中显示的现有频率带列表。
    3. (可选)如需添加频带,请输入 开始(Hz)、结束(Hz)和 间隔 值,然后点击 添加 将生成的频带追加到列表中。
    4. (可选)如需删除现有频带,右键单击表格中对应的行,然后选择 删除
  4. 按通道组配置空间分割(图 6)。
    1. 选择 空间分割 选项卡。
    2. 查看 通道编号分组 列表中的通道组分配情况。
    3. (可选)如需替换当前通道组配置,请点击 通道组 旁边的 浏览 按钮,选择一个通道组定义的 MAT 文件。
    4. (可选)如需启用头皮可视化,请点击 通道位置 旁边的 浏览 按钮,为数据集通道选择通道位置文件。
      注:公共代码库提供了 savedChCell.mat(通道组定义)和 channel_locations_22ch.txt(BCI Competition IV 2a 的 22 通道头皮坐标),可直接用于附带的示例数据。
    5. (可选)点击 替换 以加载选定的通道组文件,并更新 通道编号分组 列表。如果已在 通道位置 中选择通道位置文件,工具还将加载该文件以用于后续的头皮可视化(图 7)。
  5. 应用并验证分割设置。
    1. 完成所有选项卡中的设置后,点击 分割 窗口底部的 确定 按钮,以应用更新后的时间窗口、频率带和空间分割设置。
    2. 返回主图形用户界面,确认更新后的时间带、频率带和通道组已在 分割策略 面板中正确显示

6. 配置特征提取、分类器和交叉验证

  1. 分类配置面板中,从下拉菜单中选择特征提取方法。
    注意:CSP 和 div-CSP 的详细描述见补充文件 1
  2. 设置nCSP以从特征向量的两端选取 CSP 特征。该工具将保留前nCSP个和后nCSP个分量(共 2 × nCSP 个特征)。
  3. 通过勾选相应的复选框选择分类器(SVM、Ridge-Optimal、Lasso-Optimal)。
    注意:三种分类器的描述见补充文件 2
  4. 设置选择频带数量,以指定在基于包装器的选择中保留多少个细粒度的片段/特征。
  5. 设置交叉验证,以指定在TrainData/TrainLabel上进行 k 折交叉验证的折数。
  6. (可选)当评估多个片段和分类器时,若计算资源充足,可启用并行计算以加速处理。
  7. 点击交叉验证,对TrainData/TrainLabel执行 k 折交叉验证并训练最终模型,然后在TestData/TestLabel上测试该最终模型。
    注意:若选择了多个分类器,该工具将自动选择并保存交叉验证准确率最高的模型,并使用该模型进行测试集评估。

7. 查看结果与可视化图像

  1. 在第6步中点击交叉验证 后,查看结果面板中显示的性能摘要,包括验证准确率/卡帕系数测试准确率/卡帕系数以及每折训练时间每折测试时间。记录这些数值以供报告使用。
    注意:验证准确率/卡帕系数表示在TrainData/TrainLabel上计算的k折交叉验证准确率/卡帕系数的平均值25测试准确率/卡帕系数表示通过在每一折中对最佳模型在TestData/TestLabel上进行评估,并将各折的测试结果取平均后得到的测试集准确率/卡帕系数的平均值25
  2. 检查结果面板中显示的可视化输出。
    1. 查看时频地形图,以识别在时间、频率和头皮区域上的判别性模式。
    2. 查看电极组显著性图,以识别对解码贡献最大的通道组。
      注意:两种图的详细定义、构建方法及解读指南详见补充文件3
  3. (可选)使用先前训练好的模型进行仅测试评估。
    1. 点击测试加载模型 ,从模型路径加载预训练模型,并在当前输入的TestData/TestLabel上对其进行评估。
    2. 选择在训练期间保存的模型路径文件夹(第3.5步),并保持其目录结构不变。确保所选文件夹中包含model.mat,且其父文件夹中包含param.mat,因为加载模型和重现可视化结果需要这两个文件。
    3. 确认在此模式下,图形用户界面会报告所加载模型的测试准确率每折测试时间,且可视化面板相应更新。
    4. (可选)在保存目录中查找导出的结果,其中包含预测标签和真实标签,可用于进一步的统计检验。

访问受限。请登录或开始试用以查看此内容。

结果

STFEEG-工具在BCI Competition IV 2a26和BCI Competition III 3a27两个数据集上均得到了验证,系统在两种情况下均成功执行了完整的解码流程。实验遵循BCI Competition IV 2a的固定跨会话协议:使用第1个会话的数据进行训练,并在隔天记录的独立保留会话(第2个会话)上进行评估。在与先前报道的细粒度时空频框架24相同的配置下,STFEEG-工具在BCI Competition IV 2a上复现了原始性能,达到了83.68%的平均测试准确率24

图8右侧结果面板所示,报告了验证集和测试集的准确率及Kappa值,以对模型性能进行定量总结。在这些指标下方,时频地形图展示了数据驱动的频率和时间片段中具有区分性的脑电图(EEG)模式的空间分布。这些地图通过计算每个片段内时频评分(TFS...

访问受限。请登录或开始试用以查看此内容。

讨论

STFEEG-Tool 是专为运动想象脑电图(MI-EEG)设计的工具箱,可补充现有的脑电图生态系统,如 EEGLAB20、BCILAB21、OpenViBE22 和 PyNoetic23。尽管这些平台为运动想象解码提供了灵活的组件,但在实现精细的空间-时间-频率配置以及基于模型的解释时,可能需要在多个处理步骤之间进行额外的集成,尤其是在包含明确的电极组分解时尤为如此。因此,STFEEG-Tool 提供了一个统一的图形用户界面(GUI)工作流程,支持标准化输出和集成化可视化,以实现精细、多尺度的运动想象脑电图解码。

获得有效离线结果需注意多个关键步骤。首先,应确保输入的 MAT 文件符合所需的数据格式,并且训练集与测试集之间的关键元数据(通道顺序和采样频率)保持一致(步骤 2.1 和步骤 2.2)。为防止数据泄露,训练数据与测试数据应来自严格不重叠的记录会话或数据块。其次,STFEEG-Too...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明无利益冲突。

致谢

本工作部分得到了以下基金的支持:国家自然科学基金(编号62401342和62271291)、山东省自然科学基金(编号ZR2024QF092、ZR2024LZH007和ZR2025ZD24)、广东省基础与应用基础研究基金(编号2025A1515011826)、深圳市基础研究计划(编号JCYJ20250604124702003)、四川省特殊教育语言智能哲学社会科学重点实验室(编号YYZN-2025-11)、国家重点研发计划(编号2024YFC2418300和2024YFC2418303),以及教育部社会计算与认知智能重点实验室(大连理工大学,编号SCCl2025YB02)。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
MATLABMathWorks版本 R2024a用于数值计算、信号处理和图形用户界面开发的软件环境。
信号处理工具箱MathWorkshttps://ww2.mathworks.cn/en/products/signal.html用于数字滤波和时频分析的工具箱
统计与机器学习工具箱MathWorkshttps://ww2.mathworks.cn/en/products/statistics.html用于模型训练和统计分析的工具箱

参考文献

  1. Guger, C., Ramoser, H., Pfurtscheller, G. Real-time EEG analysis with subject-specific spatial patterns for a brain-computer interface (BCI). IEEE Trans Rehabil Eng. 8 (4), 447-456 (2000).
  2. Chaudhary, U., Birbaumer, N., Ramos-Murguialday, A. Brain-computer interfaces for communication and rehabilitation. Nat Rev Neurol. 12 (9), 513-525 (2016).
  3. Khan, M. A., Das, R., Iversen, H. K., Puthusserypady, S. Review on motor imagery-based BCI systems for upper limb post-stroke neurorehabilitation: From designing to application. Comput Biol Med. 123, 103843(2020).
  4. Pfurtscheller, G., Neuper, C. Motor imagery and direct brain-computer communication. Proc IEEE. 89 (7), 1123-1134 (2001).
  5. Jiang, A., et al. Efficient CSP algorithm with spatio-temporal filtering for motor imagery classification. IEEE Trans Neural Syst Rehabil Eng. 28 (4), 1006-1016 (2020).
  6. Samek, W., Kawanabe, M., Müller, K. -R. Divergence-based framework for common spatial patterns algorithms. IEEE Rev Biomed Eng. 7, 50-72 (2013).
  7. Filter bank common spatial pattern (FBCSP) in motor imagery BCI. Ang, K. K., Chin, Z. Y., Zhang, H., Guan, C. Proc IEEE Int Joint Conf Neural Netw. (IJCNN), Hong Kong, , 2390-2397 (2008).
  8. Kumar, S., Sharma, A., Tsunoda, T. An improved discriminative filter bank selection approach for motor imagery EEG signal classification using mutual information. BMC Bioinformatics. 18 (16), 545(2017).
  9. Zhang, X., She, Q., Chen, Y., Kong, W., Mei, C., et al. Sub-band target alignment common spatial pattern in brain-computer interface. Comput Methods Programs Biomed. 207, 106150(2021).
  10. Yang, J., Ma, Z., Shen, T. Multi-time and multi-band CSP motor imagery EEG feature classification algorithm. Appl Sci. 11 (21), 10294(2021).
  11. Hwang, J., Park, S., Chi, J. Improving multi-class motor imagery EEG classification using overlapping sliding window and deep learning model. Electronics. 12 (5), 1186(2023).
  12. Liu, G., Tian, L., Zhou, W. Multiscale time-frequency method for multiclass motor imagery brain computer interface. Comput Biol Med. 143, 105299(2022).
  13. Liu, A., et al. Feature selection for motor imagery EEG classification based on the firefly algorithm and learning automata. Sensors. 17 (11), 2576(2017).
  14. Kabir, M. H., et al. Investigating feature selection techniques to enhance the performance of EEG-based motor imagery tasks classification. Mathematics. 11 (8), 1921(2023).
  15. Wang, A., An, N., Chen, G., Li, L., Alterovitz, G. Accelerating wrapper-based feature selection with k-nearest-neighbor. Knowl Based Syst. 83, 81-91 (2015).
  16. Andrews, S., Tsochantaridis, I., Hofmann, T. Support vector machines for multiple-instance learning. Adv Neural Inf Process Syst. 15, 577-584 (2002).
  17. You, Y., Chen, W., Zhang, T. Motor imagery EEG classification based on flexible analytic wavelet transform. Biomed Signal Process Control. 62, 102069(2020).
  18. Jin, J., et al. Correlation-based channel selection and regularized feature optimization for MI-based BCI. Neural Netw. 118, 262-270 (2019).
  19. Chen, S., Li, N., Kong, X., Huang, D., Zhang, T. Electroencephalography-based motor imagery classification using multi-scale feature fusion and adaptive lasso. Big Data and Cogn Comput. 8 (12), 169(2024).
  20. Swartz Center for Computational Neuroscience. What is EEGLAB. , SCCN, University of California San Diego. https://sccn.ucsd.edu/eeglab/index.php (2025).
  21. Zander, T. O. BCILAB Documentation. , Available at: https://github.com/sccn/BCILAB/wiki/BCILAB-documentation (2020).
  22. Tarara, P., Przybył, I., Schöning, J., Gunia, A. Motor imagery-based brain-computer interfaces: An exploration of multiclass motor imagery-based control for Emotiv EPOC X. Front Neuroinform. 19, 1625279(2025).
  23. Singh, G., Chharia, A., Upadhyay, R., Kumar, V., Longo, L. Pynoetic: A modular Python framework for no-code development of EEG brain-computer interfaces. PLoS ONE. 20 (1), e0327791(2025).
  24. Liu, G., Zhang, R., Tian, L., Zhou, W. Fine-grained spatial-frequency-time framework for motor imagery brain-computer interface. IEEE J Biomed Health Inform. 29, 4121-4133 (2025).
  25. Allison, B. Z., Dunne, S., Leeb, R., Millán, J. D. R., Nijholt, A. Towards Practical Brain-Computer Interfaces: Bridging the Gap from Research to Real-World Applications. , Springer. Berlin. (2012).
  26. Ang, K. K., Chin, Z. Y., Wang, C., Guan, C., Zhang, H. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b. Front Neurosci. 6, 39(2012).
  27. Dornhege, G., Blankertz, B., Curio, G., Muller, K. -R. Boosting bit rates in noninvasive EEG single-trial classifications by feature combination and multiclass paradigms. IEEE Trans Biomed Eng. 51 (6), 993-1002 (2004).
  28. Das, R. K., Martin, A., Zurales, T., Dowling, D., Khan, A. A survey on EEG data analysis software. Sci. 5 (2), 23(2023).
  29. Omar, L. VT2: A Python Pipeline for EEG Processing [Master's thesis]. , ZHAW - Zurich University of Applied Sciences. Available at: https://www.zhaw.ch/storage/engineering/institute-zentren/cai/studentische_arbeiten/Spring_2024/VT2_MSE_24_PyThon_pipeline_lone.pdf (2024).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

运动想象脑电图脑电图解码脑机接口特征提取公共空间模式频带交叉验证地形图通道组