结合加权特征相关方法，增强基于脑电图的情绪识别，跨越多类数据集

摘要

本文聚焦于基于脑电图的情绪识别，这是神经科学和情感计算中新兴的领域。传统的线性方法不够用，因为无法在视频中表现复杂的情感结构。为此，作者提出了一种新模型——综合加权特征相关（CWFC），用于捕捉情感关系。在带通滤波之后，模型采用独立分量分析（ICA）、离散小波变换（DWT）和快速傅里叶变换（FFT）来提取脑电图中的非线性特征。在这种情况下，LSTM选出最佳特征，这些特征由随机森林分类器评估。引言：基于生成对抗性网络（GAN）的数据增强在价值方面可达88%和86%的测试结果评估。基于GAN的唤醒率在DEAP数据集上具有极高的数据增强，能够提升性能。该模型验证了CWFC在跨数据集上的有益处，因为它在SEED数据集上对情绪状态的整体分类准确率达到了89%。

摘要

利用脑电信号进行情感识别是情感计算和神经科学领域的一个活跃研究领域，帮助科学家探索情感中涉及的大脑过程。与专注于线性脑电图特征的研究不同，本研究重点关注非线性特征，以更好地刻画情绪反应的细微变化。受此启发，本文提出名为综合加权特征相关（CWFC）的方法，用于研究非线性成分对情绪检测表现的影响。第一步，脑电数据被收集并预处理，使用带通滤波器分离β、α、γ、δ和theta等频带。为了检测复杂的情感模式，特征提取通过独立分量分析（ICA）、离散小波变换（DWT）和快速傅里叶变换（FFT）进行。这些特征可以作为综合特征集成到CWFCC模型中，以提升其效能以及整体预测准确性。然后应用随机森林分类器，看看这些组合特征的重要性。拟议工作是在最优特征选择后整合GAN数据增强（重点是LSTM）。在DEAP数据集上，这种增强带来了惊人的88%价价准确率和86%的唤醒准确率，显著提升了情绪的识别准确性。所提模型在未加GAN数据增强的早期DEAP中分别实现了62%和65%的价值准确率和65%的觉醒准确率。此外，该模型能够以平均89%的准确率区分中性情绪状态下的SEED数据集、负面和积极状态。本论文通过深入分析和比较研究，宣称基于GAN的数据增强在不同数据集上，CWFC模型在不同数据集上的情绪识别表现优异。

引言

情感识别在人际互动和交流中非常重要。为了建立成功的人际关系，必须能够感知和理解情绪，这在心理学、神经学和人机交互等多个领域具有深远^影响。近年来，基于脑电图（EEG）的脑机接口（BCI）成为研究人员用来检测情绪的一种重要工具。尽管基于脑电图的脑机接口（BCI）提供了直接观察人脑电活动的窗口，也是探索情绪状态的合适研究工具。自动且准确的情绪状态分类通过机器学习技术和基于脑电图的脑电图BCI²，从根本上改变了情绪识别领域。

在之前的研究中，介绍了情绪识别及其在医疗、人机交互和神经科学等多个领域的重要^性。尽管取得了显著进展，当前基于脑电图的情绪识别研究仍存在明显空白。首先，文献中引入的方法使用单域特征提取（如频谱或时频特征）或可孤立的奇异非线性描述子，但由于仅处理部分复杂且非平稳的脑电信号，无法提供足够的建模。其次，虽然多种非线性特征被报道具有更强的判别力，但它们通常单独使用，并隔离这些特征在不同领域之间的关系。这一限制使他们难以建模情绪大脑激活涉及的多尺度和源源层动态。第三，大多数深度学习方法旨在优化分类性能，但未考虑特征解释性、冗余减少和类不平衡时的鲁棒性。因此，不同电极布置、采样率（128–256 Hz）和记录时长（30–60秒）之间的跨数据集泛化仍是一个未解问题。情商的主要维度如 图1所示。

为克服这些缺点，本文引入了一种综合加权特征连接（CWFC）框架，将多域非线性特征聚合于一个架构中。我们不像传统方法那样将ICA、DWT和FFT视为独立提取方法，而是通过加权相关来建模源级分解（ICA）、多分辨率时间动力学（DWT）和频谱功率表示（FFT）。这种结构有助于模型利用互补的神经信息，减少冗余，从而提升判别能力。此外，采用特征重要性排序和基于GAN的增强，以实现对最少不平衡脑电图样本的鲁棒性。通过LSTM分类整合多模态特征关系和时间依赖性，该合并模型提升了在不同脑电采集条件下的泛化能力。因此，这项工作的主要贡献是克服了非线性脑电图表征之间整合不足及现有方法中推广性不足的问题，并在现实中BCI应用中引入了系统化、可重复且稳定的情绪识别框架。

图1：情商阶段。 情商阶段代表了如何从脑电信号中提取情绪识别，然后将其应用于心理健康评估中情绪问题的诊断和监测。 请点击此处查看该图的放大版本。

非线性脑电图功能用于情绪识别研究，为情感处理相关的神经过程提供了更深入的理解。作为一种非侵入性、高时间分辨率且对快速神经动态敏感的技术，脑电图已被广泛用于研究与情绪状态相关的大脑活动。非线性方法尤其适合研究脑电信号，因其非固定且结构复杂，能够更好地模拟其在情绪过程中的诱发和诱发活动。在许多计算模型中，情感以现有理论模型为参照，如基础情感模型⁴（BEM）和环形模型^5,6。两种结构和功能上不同的情感概念是基本情绪模型，假设存在一套基于生物学的基本核心情感^7,8（尤其是爱），以及环形模型，按两个底层维度组织情感：价值⁹（正负）和唤起^10,11（低至高）。图2所示的价-唤醒框架在基于脑电图的情绪识别研究中很常见，主要因为它与标准数据集相符且适用于建模连续情绪状态。这种基于维度的表示方式提供了一种系统且可量化的方法，将神经活动映射为情感类别，从而促进基于机器学习的分类。

图2：价性唤起情绪表征。 两轴图显示情绪状态，价值表示正负情绪，唤起则反映低至高情绪强度。 请点击此处查看该图的放大版本。

唤起是情感强度，价值是正的或负的。情绪分析近年来聚焦于脑电图（EEG）以探究情绪的神经相关性。特征提取非常重要，它将脑电图映射为时间域、频域和时频域的量。一些最常见的非线性特征包括小波熵¹²、相关维数¹³，本研究采用了DWT、ICA和FFT¹³的结合加权方法。标准的DEAP¹⁴ 和SEED¹⁵ 数据集可供可重复性评估。传统的线性特征往往已不再足够，因此需要设计非线性方法¹⁶。基于频带的情绪模式如 图2所示，脑电波段贡献权重列于 表1。

不同频段	频带范围（Hz）	频率带在情感识别中的作用
伽马	频率大于30 Hz	情绪数据的整合以及情绪处理过程中多个大脑区域的同步，可以反映在伽马活动中。
贝塔	频率介于13到30 Hz之间	β能量的波动可能是情绪唤起和与情绪表现相关的运动反应的信号。
阿尔法	频率介于8到13 Hz之间	情绪状态和α力量的变异，尤其是α不对称，是相关的。当情绪激动并更加关注情绪输入时，α能量通常会下降。
西塔	频率介于4到8 Hz之间	情感体验可能与θ能量的增加相关，这有助于情感记忆的编码和提取。
三角洲	0.5-4 Hz	在情绪检测的背景下，δ活动的增加可能表明情绪处于放松或静息状态。

表1：情绪识别中EEG频率带的功能及不同范围。 下表概述了常见的脑电频率频段，指定了它们各自的频率范围，并描述了它们在情绪识别研究中的功能意义。它强调了每个波段与不同的认知和情感过程相关，为解读情绪状态分类中的脑电信号奠定了基础。

基于脑电图的情绪识别的最新发展，源于深度学习和非线性信号处理的突破。基于卷积神经网络的模型通过电极选择和超参数调谐实现了高性能¹⁷，而使用动态微分熵的受试者无关卷积神经网络模型则提升了可穿戴性并降低了复杂性¹⁸。但这一问题的模型通常无法在不同受试者之间推广。为了建模序列依赖性，提出了基于注意力的LSTM架构，具有域适应机制^{，这些结构}需要大量计算且缺乏可解释性。除了深度网络领域外，非线性和拓扑方法也受到了相当大的关注。通过基于持续同源的相空间分析，增强了对微妙情绪状态的辨别能力 ^21,22。通过将熵和分形输出与多种特征选择结合的集合方法已知是改进的预测变量。混合CNN–LSTM模型²³在DEAP上的直接价-唤醒分类表现优于²⁴，多柱CNN有效利用了电极的空间分布²⁵。基于地形特征图^26、27（TOPO-FM）和全息特征图（HOLO-FM）的特征表示在多个公开数据集^28、29、30上进行了评估。尽管这些结果显示出分类准确性取得了显著进步，但模型的跨主体推广性和可解释性以及脑电采集条件异质性的鲁棒性仍存在挑战。作者³¹对该领域的主要挑战、方法及未来方向进行了详尽综述，重点关注信号质量、特征提取和应用软计算的可扩展性。在相关研究³²中，高级功能连接性测量了不同脑电频带间的振幅包线相关性，以识别不良驾驶条件，凸显了多频段连接在即时行为监测中的强大性能。

在更广泛的神经影像关系^33,36中，强力概述了结合脑电图和面部表情等不同信号或生理数据的多模态学习方法，以实现更可靠的情绪检测，并展示了多种模态整合的潜力，显著提升了人工智能系统的性能。除了DEAP和SEED，DREAMER数据集也是基于脑电图的情绪识别研究中代表性基准的最新补充。DREAMER由Katsigiannis和Ramzan提出，³⁷号，包含使用廉价无线设备观看视听情绪刺激受试者获得的脑电图和心电图信号。该数据集内容适用于情感的维度建模，具有价值、唤醒和支配层级，符合情感环绕模型。由于其经过深思熟虑的实验范式，DREAMER数据集被广泛用于深度学习和主体无关的情绪识别模型的评估。其应用可与其他维度情感表征数据库进行比较，同时也证明它是Cirrus Dance、DEAP和SEED数据集的有力补充。这些数据集被广泛用于情感计算研究，涵盖在受控实验条件下与标准化情绪刺激下获得的脑电图记录。该数据集包含32名受试者的32通道脑电图信号，这些受试者接收了情绪视频片段。数据中注明了价值和唤醒。SEED：在基于胶片的情绪诱发实验中，对受试者进行多次脑电图记录，并带有类别情绪标签。DREAMER是一个脑电图和心电图数据集，通过视听刺激呈现在情绪诱导过程中记录。所有数据集最初均采用标准化协议、硬件配置及标识程序验证，均在其原始出版物中报道。本研究仅分析了这些数据集的脑电信号。

方案

研究未涉及与人体受试者的直接接触。本研究中使用的所有数据集均来源于公开可访问的平台，并按照其声明的使用政策进行使用。因此，正式的伦理批准并非必要。

1. 计算环境准备

1. 在标准工作站上准备一个Python环境（版本3.8或更高）。
2. 使用 pip 安装 TensorFlow （v2.x）、Keras、Scikit-learn、NumPy、SciPy、MNE 和 PyWavelet。
3. 在 NumPy 和 TensorFlow 中固定随机种子（seed = 42），以确保实验结果的一致性。

2. 数据集获取与结构化（DEAP、SEED和DREAMER）

1. 从DEAP、SEED和DREAMER的公开存储库获取脑电图数据集。本研究使用的原始脑电图数据集可通过公开记录获取。DEAP数据集（http://www.eecs.qmul.ac.uk/mmv/datasets/deap/）、SEED数据集（BCMI实验室仓库：http://bcmi.sjtu.edu.cn/~seed/seed.html）和DREAMER数据集可通过IEEE数据端口（https://ieee-dataport.org/documents/dreamer-dataset）访问。
2. 提取所有受试者和试验的原始脑电图记录（.dat）。
3. 将录音转换为NumPy阵列格式，并按主题和试验顺序排列以便处理。
4. 读取DEAP数据集，提取所有受试者的脑电图记录。保留共32条脑电通道（从Fp1到O2），并去除非脑电生理信号。
5. 下载SEED数据集，提取每个实验中的所有脑电图记录。如果需要，可以降采样到200 Hz。应用0–75Hz带通滤波器，并将信号分割为按时代（eeg_1到eeg_15）阵列。
6. 为每帧标记情感（−1：负面，0：中性，+1：正），并在通道×时间中重新排列数据。
7. 获取DREAMER数据集，检索所有受试者/试验的脑电图记录。选择可用的脑电通道以及情绪标签。
8. 将每个实验分类为指定持续时间的小窗口，并将数据重塑为按受试者分类的矩阵，并编码了价值、唤醒和优势评分的类别变量。
   注意：用于分析的预处理DEAP数据集的详细规格汇总于 表2， 图3 展示了价值和唤醒分数的分布。

不同步进记录的信号	DEAP数据集下的脑电图（EEG）设备
数据采集	24个主题（第2、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26）
频道指标	“Fp1”、“AF3”、“F3”、“F7”、“FC5”、“FC1”、“C3”、“T7”、“CP5”、“CP1”、“P3”、“P7”、“PO3”、“O1”、“Oz”、“Pz”、“Fp2”、“AF4”、“Fz”、“F4”、“F8”、“FC6”、“FC2”、“Cz”、“C4”、“T8”、“CP6”、“CP2”、“P4”、“P4”、“P8”、“PO4”、“O2”
窗口大小	256
没有视频/审判	40
步长	16（每条更新0.125秒）
采样率	128 Hz
科目列表	32
情感	欲望，情结

表2：数据集预处理说明。 EEG数据集预处理步骤的总结，包括过滤、伪影去除、分割和归一化，均在特征提取和模型训练前完成。

图3：DEAP数据集前40个数据的价值-唤醒表示。 对DEAP数据集中最初40项脑电图试验进行了价值-唤醒映射，展示了情绪状态分布及两维度间的变异性。这种表示方式为情绪反应的传播提供了洞察，并支持情绪分类的特征提取过程。 请点击此处查看该图的放大版本。

注意：图4显示了不同脑区的脑电极位置。通道配置遵循DEAP、SEED和DREAMER数据集中用于数据采集的标准头皮脑电极位置。电极分布在额叶、颞、顶叶和枕骨区域，能够覆盖与情绪处理相关的局部和分布神经活动。

图4：脑电信号电极表示。 电极在EEG 10–20国际头皮信号采集系统中的布置。 请点击此处查看该图的放大版本。

3. 信号重采样与窗口分割

1. 使用scipy.signal.resample（）将SEED EEG记录从512 Hz降采样至200 Hz，以降低计算复杂度。然后将每个试验分割为固定长度的窗口，每扇256个样本，每个样本的步长为16个。
2. 保留DEAP和DREAMER（128 Hz数据集）的原始采样率。步长为16个采样点（128 Hz时重叠0.125秒）。
3. 将每个脑电图试验分割为256个样本窗口，每个样本步长为16个，以创建重叠的片段。

4. 带通滤波与频率分解

1. 定义采样频率（fs），并将滤波器阶数设为2。计算奈奎斯特频率（0.5 × fs），并规范截止频率。
2. 使用 scipy.signal.butter（） 设计 Butterworth 带通滤波器。
3. 使用 scipy.signal.filtfilt（） 应用零相位滤波以避免相位失真。
4. 提取五个典型的脑电波频带：δ（0.5–4 Hz）、θ波（4–8 Hz）、α波（8–13 Hz）、β波（13–30 Hz）和伽马波（30–45 Hz）。

5. 利用独立成分分析去除伪影

1. 应用Scikit-learn的FastICA，组件数等于脑电图通道数。
2. 利用方差和峰度等统计指标识别人为成分。
3. 去除已识别的成分，重建清理后的脑电图信号以便进一步分析。

6. 基于CWFC的微分熵特征提取

1. 计算每个滤波脑电段沿通道轴的方差。
2. 计算微分熵的方法：
3. 提取所有频段和脑电图通道的熵值。
4. 将所得熵特征存储在结构化特征矩阵中。

7. 离散小波变换（DWT）特征提取

1. 使用“db4”母小波执行多级小波分解。
2. 分解每个脑电段到4级。
3. 从每个分解层级提取统计描述符（均值、方差、能量、熵）。
4. 将DWT衍生的特征附加到现有的特征矩阵中。

8. 利用FFT进行谱特征提取

1. 在每个脑电图段上使用numpy.fft.fft（）进行快速傅里叶变换。
2. 计算定义频段内的频谱功率密度。
3. 提取所有通道的频段功率值。
4. 将基于FFT的特征与之前提取的特征串接起来。

9. 通过随机森林进行特征选择

1. 用基尼杂质准则训练一个包含300棵树的随机森林分类器。
2. 将最大树深度设置为20，并启用带有袋外估计的自助抽样。
3. 根据重要性评分对特征进行排名。
4. 移除低于预设重要阈值的特征以减少冗余。

10. 数据分区

1. 通过分层抽样，以保持情绪类别间类别平衡的方式洗牌数据集。
2. 将数据集分成10个等分。每次迭代，训练用9折，测试用1折，确保每个折叠一次测试集。
3. 对每个折叠使用此方法，计算平均性能指标（准确性、精度、召回率、F1分数）加上标准差以检查模型稳定性。
   注意：所有拆分均按样本逐样本进行，同时确保每个折叠内的训练集和测试集之间没有样本共享。

11. 利用生成对抗网络进行数据增强

1. 利用 Keras Sequential API 构建一个功能级 GAN。为发电机网络和判频器网络定义全连通层。
2. 用少数族群特征向量训练200个时代的GAN。从训练好的生成器生成合成特征样本。
3. 仅保留判别器评估的高置信度合成样本。将选中的合成样本与原始训练集合并。

12. LSTM模型架构

1. 利用Keras构建一个顺序LSTM模型。添加第一个包含128个隐藏单元的LSTM层，并设return_sequences=true。
2. 再添加一层LSTM层，包含128个隐藏单元。每层LSTM后施加dropout（速率=0.3），以防止过拟合。
3. 添加带有SoftMax激活的稠密度输出层以实现多类分类。

13. 模型编纂与训练

1. 使用Adam优化器以0.001的学习率编译模型。
2. 使用类别交叉熵损失。训练模型时，批量大小=64，训练80个时代。
3. 根据验证准确度，应用耐心=10的提前停止。

14. 绩效评估

1. 使用独立测试数据集评估已训练好的模型。计算包括准确率、精度、召回率和F1评分在内的性能指标。
2. 保存训练好的模型权重和评估结果以便重复。如此有序的管道保证了所提框架能够轻松复制。

结果

收集了两种不同的脑电图数据集;DEAP和SEED构成了分析的第一阶段。图5展示了LAHV、HALV、LALV和HAHV的价值-唤醒图，分别是低唤醒高价、高唤醒低价、低唤醒低价和高唤醒高价的简写形式。已知报告的心理反应分为四类：HAHV、LAHV、HALV和LALV。两种基本的情绪特征——价性和唤起——与每种状态相关，并通过均值和标准差来衡量。参与者以平均值7.12（标准差=1.04）评估HAHV病症。结果唤醒分数的标准差平均值分别为6.81和0.84。在四个测试情境中，情感状态的表现表现出显著差异。在LAHV状态下，平均价值值为6.67（标准差=1.09），表示整体情绪积极，平均唤醒得分为3.87（标准差=1.09），表明唤起水平为中等。相比之下，HALV状态的价值平均值较低为3.19（标准差=1.23），表明情绪状态为负面，而平均觉醒度上升至6.79（标准差=0.96），表明生理唤起程度更高。低唤醒低价态，价值平均值为3.57（标准差=1.12），觉醒平均值为3.47（标准差=1.19），描述了低价性、低唤醒状态。这些结果凸显了不同情境下情感反应的细微差异，并为情绪分...

讨论

本文对基于脑电图的情绪识别进行了深入调查，基于两个基准数据集（即DEAP和SEED），并证明所提出的CWFC模型能够有效捕捉与情绪相关的判别信息。与以往基于线性描述或特征类型的研究不同，本方法统一了各种相互关联的非线性特征提取，并通过加权相关模型推断功能关系。这种多视角特征融合是本研究的重大创新，有助于捕捉不同特征之间微妙的非线性动态和相互依赖，这些正是脑电图中情绪处理的基础。这些结果展示了CWFC相较于传统机器学习技术和强大深度学习基线模型的优势。即使未进行增强，CWFC在DEAP数据集上的准确率也达到了61%，高于逻辑回归和EESCN技术。值得注意的是，基于GAN的数据增强（本文主要贡献之一）大幅提升了训练分布并缓解了数据稀缺——价值值达到88%，唤醒达到86%。该工作在SEED数据集上也遵循相同趋势，CWFC平均识别率达到89%，优于EESCN表现，进一步验证了模型在不同情绪状态下的稳健性和泛化能力。总之，本文提出了三项主要贡献：（1）提出一种新的CWFC框架，结合非线性特征提取和相关感知加权，以建模更丰富的情绪脑电图谱;（2）它提出了一种增强数据增强的流程，能够...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
DEAP 数据集	伦敦玛丽女王大学	v1.0	脑电图情绪数据集
DREAMER 数据集	IEEE 数据端口	公开发布	脑电图情绪数据集
克拉斯	谷歌有限责任公司	2.x（TensorFlow 后端）	神经网络建模
工作站	联想	Intel Core i7,16GB 内存，8GB NVIDIA 显卡	模型训练与计算
MNE-Python	跨国开发商	1.x	脑电预处理
数字派	NumPy 开发者	1.x	数值计算
操作系统	Microsoft公司	Windows 11（64位）	计算平台
蟒蛇	Python 软件基础	3.8+	编程环境
Py小波	PyWavelets 开发者	1.x	小波分解
Scikit-learn	scikit-learn 开发者	1.x	机器学习工具
科幻	SciPy 社区	1.x	信号处理与重采样
SEED 数据集	上海交通大学BCMI实验室	公开发布	脑电图情绪数据集
张量流	谷歌有限责任公司	2.x	深度学习框架