SET Net 一种用于脑电图注意力放松分类的混合深度学习框架，应用于脑机接口应用

Summary

本文介绍了挤压与激发变换器网络（SET-Net），这是一种混合CNN-变换器网络，利用频谱图特征识别注意力和放松状态，以93.7%的准确率和高度推广性识别基于脑电图的注意力和放松状态，应用于脑机接口（BCI）应用。

Abstract

脑机接口（BCI）技术被用作提供人脑与外部环境之间直接通信通道的工具。这在辅助和交互系统中有应用。脑电图（EEG）通过非侵入性获取神经活动是脑机接口系统的标准配置。然而，由于脑电信号非固定且有噪音，难以有效分类认知状态，包括注意力和放松。为克服这些不足，本研究提出了一种新的混合深度学习架构，即挤压与激励（SE）变换器网络（SET-Net）。在这种方法中，脑电信号会被预处理并划分为时间窗口，以分析显著的频谱图表示。所提模型的分类准确率为93.7%，F1评分为0.93，ROC-AUC为0.98。这证明了混合深度学习模型在增强对基于脑电图的注意力放松状态的辨别能力上的有效性。这为实时BCI应用提供了可扩展的系统，作为人机交互中的辅助技术。

Introduction

脑机接口（BCI）已成为一种颠覆性技术，使人脑与外部设备能够直接交流，而无需依赖传统的神经肌肉连接。脑电图（EEG）是最常用且广泛使用的技术，因其非侵入性、便携性和成本效益^1。基于脑电图的脑机接口（BCI）已被应用于医疗领域，以及神经康复、游戏和辅助技术，针对神经系统障碍者，通过检查脑活动²。其中最重要的应用之一是识别认知状态，包括注意力和放松，这些状态可用于创建自适应的人机界面和数字无障碍^。低信噪比、大受试者间变异性大，以及注意力与放松状态之间复杂的时间动态，这些通过脑电图进行解读;因此，利用脑电图分类注意力和放松状态^较为困难。经典机器学习模型，包括支持向量机（SVM）和随机森林，表现中等;然而，它们通常基于特征工程，因为它们未能充分利用EEG⁵的空间-光谱-时间复杂性。深度学习的最新发展，特别是卷积神经网络（CNN）和变换器，为自动特征提取和EEG信号的强分类提供了新机^遇。

基于脑电图的脑机接口系统长期以来作为认知状态监测、神经康复和交互系统的工具被广泛研究。心理状态的定义是最重要的挑战之一，例如放松和注意力状态。为此，科学家们展示了多种解决方案，如标准特征工程和高级深度学习模型。经典机器学习方法主要依赖时间、频率或时频空间中的人工工程特征。作为基于脑电图的注意力-放松分类系统SET-Net的一部分，混合深度学习算法的研究被发现是一个重要的科学方向，因为它有可能增强可在现实世界中使用的脑机接口系统^7,8.包括卷积神经网络（CNN）、循环神经网络（RNN）和变换器在内的深度学习模型在过去十年中在脑电信号解码方面取得了显著进展^9,10.这些发展带来了认知状态解码的改进和效率，这对神经康复和辅助技术的认知状态尤为重要^11,12.BCI系统的日益普及凸显了提高分类准确性的重要性，最新结果显示，运动影像和注意力活动的分类率可超过85%^13,14.尽管如此，在多样且嘈杂的环境中实现强实时分类仍存在挑战^15,16.本研究解决的关键问题是基于脑电图的注意力-放松分类模型的精度和外部效度，特别是在SET-Net架构中采用混合深度学习的模型^17,18，是有限的。现有方法通常伴随着受试者间变异性、信号噪声低以及时空特性利用不足的问题^19,20,21.有些方法侧重卷积特征提取，另一些则侧重注意力或变换器架构，导致对最佳模型设计存在不同看法^22,23,24.此外，由于缺乏大量注释数据集，EEG模型不易训练和证明^25,26.这种知识不足限制了在实际条件下BCI的使用，而在实际条件下，最重要的是保持灵活和精确 ^27,28.理论上，这一理论基于空间、时间和基于注意力的特征提取混合方法，采用混合深度学习模型^29,30,31.这种组合体现在SET-Net框架中，该框架通过卷积层提取局部特征和自注意机制学习全局依赖关系实现³².这种协同效应增强了脑电信号的表现，并可用于更好地分类放松和注意力状态。该理论的提出基于这样一个事实：通过多尺度时空特性和域适应技术的强大，可以消除脑电信号和噪声的变异性³³.系统综述重点是批判性地回顾基于脑电图注意力-放松分类的SET-Net架构混合深度学习方法的准确性和实际应用的理论进展³⁴.该综述将被用来指导未来实验中创建更好、更具解释性和可推广性的脑机接口系统，通过综合最新发展并识别方法的优势与局限。这些空白将有助于未来开发BCI的实际应用，提升用户体验和系统的可靠性。该综述采用了广泛的文献综述方法，基于EEG注意力-放松分类中的混合深度学习模型，采用同行评审文章³⁴.纳入标准聚焦于SET-Net或类似系统框架下卷积、循环和基于注意力的架构的最新趋势³⁵.分析模型评估模型设计、特征选择算法、分类准确性以及在现实环境中的可行性。研究结果组织结构以解释理论构建、实践及未来研究机会。

尽管近期已有进展，现有方法未能同时捕捉单通道脑电信号中的空间、光谱和长距离时间依赖性，导致注意力-放松分类表现不佳。 此外，现有方法基于手动添加的特征，或仅考虑脑电信号的少数特征;因此，它们无法在参与者和实时条件下推广。因此，需要一个能够充分建模多维脑电特征、且强大且可实时研究的统一框架。

为克服这些缺点，本研究提出研究论文建议采用混合深度学习模型，称为挤压与激发变换器网络（SET-Net）。特别是，CNN模块通过脑电图谱图学习局部时空光谱模式，克服了手工特征提取的限制。SE模块通过调整信道重要性并提高噪声和变异性，增强了特征的鲁棒性，从而提升特征表示。变压器编码器建模的长程时间依赖性不限于仅限于CNN模型。此外，利用基于声谱图的表示法，可以有效进行时频分析，从而增强对判别特征的学习。为保证稳定表现，采用了平衡训练和无泄漏验证，提高了性能在受试者间的泛化。

此外，建议结构在实时应用中得到验证，分类后的认知状态被转换为控制交互系统的指令。这表明该模型在辅助技术和数字无障碍领域具有实际应用价值，并有望应用于BCI的实际应用。

本研究的主要成就是设计了一种新的SET-Net混合架构，结合卷积神经网络、挤压与激发注意力以及变压器编码器，以更好地模拟脑电信号。此外，采用了基于频谱图的表示法，成功地表示了脑电信号的时间-频率特性。该框架允许对注意力和放松认知状态进行严格分类。此外，该模型被证明在实时脑机接口应用中具有实际应用价值。

本文分为若干章节，回顾了将脑活动注意力和放松类别分类应用于脑机智能系统的研究。本文结构首先介绍了脑机智能系统开发相关的研究空白和挑战，随后介绍了包括脑电信号记录在内的数据采集过程和方法论， 预处理和特征表示。书中讨论了注意力和放松活动的重要性，以及从脑电图数据中推导出有意义特征的过程。随后，研究结果会通过定量和比较分析，以及应用的实际表现进行展示和评估。最后一部分讨论了研究发现、局限性及未来工作方向。

Protocol

该研究根据赫尔辛基宣言进行，并获得印度特伦甘纳瓦朗加尔SR大学机构伦理委员会批准（批准号007/2026）。在收集数据前，所有参与者均获得书面知情同意。

参赛者选拔

从11名健康参与者（年龄范围：25–45岁;平均年龄：28岁）收集脑电图数据，他们无神经或精神疾病史。本研究共考虑了1175个脑电图片段，其中527个属于放松类，648个属于注意力类。脑电图记录显示过度运动伪影或信号质量差的参与者被排除在外。

脑电图采集装置

建议的基于脑电图的脑机接口系统的总体布局如 图1所示，图中展示了信号采集、分类和实时使用的整个流程。脑电图数据通过一个小型生物势采集模块与微控制器系统连接进行记录。凝胶电极基于国际10–20系统，即Fp1和Fp2的前额点，参考电极和接地电极置于耳垂，如 图2所示。信号以128赫兹的速度数字化，并通过自撰的Python采集脚本发送到计算机。采用充分的皮肤预处理和导电凝胶以降低电极阻抗并提升信号质量。

实验程序

脑电记录在两种认知条件下进行：放松和注意力，遵循标准化方案。在放松条件下，参与者被安排坐在舒适、低噪音的环境中，并被指示保持静止，动作尽量减少。通过耳机播放安抚的器乐音频，并使用命令Python启动脑电图采集 collect.py。每次会面记录5分钟脑电图信号，重复四次。在注意力状态下，参与者被指示执行需要注意的任务，如互动游戏，同时保持与放松状态相同的获取设置。每次会面记录5分钟脑电图信号，重复四次。每位参与者共参与40分钟，包括20分钟放松和20分钟注意力任务，从而实现认知状态的可靠比较。

处理后的数据集被组织为以下标记区块：松弛（0）;注意（1）。每个段持续时间为4秒，重叠率为50%，并用短时傅里叶变换表示为频谱图。

信号处理、特征表示与模型实现

获得的脑电信号经过预处理以消除噪声和伪影。使用50 Hz陷波滤波器去除电力线干扰，并在0.5至30 Hz信号中使用四阶巴特沃斯带通滤波器选择相关的脑电图频段。振幅阈值和目视检查用于识别受伪影污染的片段，约8–12%的数据被删除。高斯噪声加法、时间掩蔽和频率掩蔽是用于提升模型鲁棒性的数据增强方法。脑电信号经过过滤后，被划分为4秒的窗口，间隔50%。

单个脑电段被转换为时间-频率表示（短时傅里叶变换），如方程（1）所示，以便提取时间和光谱特征。

(1)

所得的频谱图经过归一化并调整为固定维度，作为分类模型的输入。为防止重叠引发的数据泄露，数据集在分割前被划分为训练（70%）、验证（10%）和测试（20%）子集，如图3所示。此外，还进行了“遗漏一人”交叉验证（LOSO）以评估跨受试者泛化，即使用一个受试者的数据进行测试，其余数据用于培训。

如图4所示，提出的SET-Net架构旨在捕捉多维脑电图特征。该模型集成卷积神经网络（CNN）骨干以提取空间-频谱表示，随后通过挤压与激励（SE）块自适应地重新校准通道层面的特征重要性，详见方程（2）。CNN骨干由两个卷积层组成，核大小为3 × 3，随后是批处理归一化和指数线性单位（ELU）激活

(2)

SE块的内部结构如 图5所示。 为了捕捉长程时间依赖性，采用了变换器编码器，其注意力机制见方程（3）并见 图6。

(3)

使用自适应平均池层将特征图压缩至固定大小为16×16。SE模块的减频比为8，用于重新校准各通道特征响应。变压器编码器由四层组成，四个注意头，前馈维数为256，模型嵌入尺寸为128。

最终分类采用全连通层，采用脱落正则化和软极大激活函数，区分注意力态和放松状态。所提模型的详细层级架构见 表1。

该模型使用AdamW优化器训练，初始学习率为0.001，权重衰减为1×10⁻⁴。使用余弦退火调度器以增强收敛性，并以32个批次训练了50个时代。类别失衡通过加权交叉熵损失函数克服，详见方程（4）。

(4)

表2 总结了训练配置， 表3 展示了用于基于脑电图的注意力-放松分类的SET-Net的超参数搜索。所选参数提供训练稳定性、增强泛化能力以及对脑电信号变化的耐受性。所选参数为训练过程提供稳定性，增强泛化，并抵抗脑电信号的改变。使用准确性、精度、召回率、F1评分和ROC-AUC来衡量模型表现。所有涉及预处理、模型训练和评估的流水线均用Python编写，使用PyTorch框架以确保可重复性。 表4 详细描述了故障排除，以指导和解决与脑电图采集、预处理、模型训练及实时使用相关的问题。 表5 概述了脑电图设备的材料，以便为实验和实验设置提供简便的框架。Python 3.8 搭配 PyTorch 深度学习框架被用于实现拟议的 SET-Net 框架。标准科学计算库用于信号预处理和特征提取，使用NumPy、SciPy和Matplotlib。所有实验程序都运行在配备Intel i7处理器和16 GB RAM的系统上，以加快模型训练。

数据可用性：

本研究中生成和分析的匿名脑电图数据集已在Zenodo数据库中公开，链接如下：https://zenodo.org/records/19627795。

所有数据均已去识别，以确保参与者的保密性，符合SR大学机构伦理委员会批准的机构伦理指南（批准号007/2026）。

手稿中展示了处理后的信息、模型设置和实现细节以重建结果，源代码公开于：https://github.com/Ravichanderj/SET-Net-EEG-BCI。

Results

基于声谱图的特征表示

本研究的主要目标是利用脑电信号正确分类注意力和放松状态。将原始脑电信号转换为频谱图使得能够有效提取辨别特征成为可能。频谱图显示放松时α能带活动（8–13赫兹）增强，注意力时β能活动（14–25赫兹）增强。这种频域属性的明显分裂明确证明了研究目的的合理性，因为它表明输入的表征本身代表了两种认知状态之间的显著差异。

SET-Net模型性能

表6 总结了所提出的SET-Net模型的表现，该模型成功实现了注意力放松分类。模型准确率为93.7%，F1评分为0.93，ROC-AUC为0.98。所有这些指标都验证了模型的表现：准确性衡量一般正确性，F1分数衡量类别分布下的准确性和回忆平衡，ROC-AUC衡量两种认知状态在不同决策阈值下的高度分离性。

Discussion

当前研究提出了一种混合深度学习模型SET-Net，用于基于脑电图的注意力放松分类。为了学习脑电信号的空间、光谱和时间特征，该架构结合了卷积神经网络、挤压与激发注意力以及变压器编码器，如 图5所示。研究结果表明，所提方法能够满足研究目标。准确率、F1分数和ROC-AUC值（见表6）均较高，证明模型可靠且平衡了分类性能。根据混淆矩阵（图8），大多数预测准确，而存在轻微的误分类，这些误分类与过渡性认知状态之间的相似性有关。消融研究（表7）进一步证实，每一个架构元素都能显著促进性能提升。

本研究通过提供一套强大且可解释的认知状态分类系统，为当前脑机接口系统的知识体系增添了价值。解释性技术（图15）也被整合进来，使得更透明，这对临床和辅助使用至关重要。该方法的有效性可由近期研究

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
电脑 / 笔记本电脑	通用	任何标准系统	≥推荐8GB内存
数据采集脚本	习俗	collect.py	基于 Python 的获取脚本
一次性凝胶电极	通用	预凝胶Ag/AgCl电极	一次性胶水
脑电图采集模块	颠倒实验室	BioAmp EXG 药丸	生物势信号的模拟前端
电极凝胶（如果使用可重复使用的电极）	通用	导电凝胶	提升信号导导率
交互式应用（游戏）	通用	任何简单的游戏（例如赛车）	键盘控制界面
跳线	通用	Male–母连接器	标准面包板线
Matplotlib / 海生	开源	最新版本	可视化库
微控制器板	Arduino	Uno / Maker Uno	10位ADC，USB接口
Python 编程环境	Python 软件基础	Python ≥3.8	开源编程语言
PyTorch 库	元人工智能	版本 ≥1.12	深度学习框架
Scikit-learn	开源	最新稳定版本	机器学习工具
信号处理库	科幻	最新版本	过滤，STFT
USB线缆	通用	USB Type-A 到 B	数据传输电缆