用于绘画观赏过程中脑电与面部多模态情绪识别的双分支交叉注意力网络

摘要

本方案描述了在绘画观赏情境下同步采集脑电图与面部数据的方法，以及用于多模态情绪识别的双分支交叉注意力网络，包括预处理、特征融合及四种情绪状态的分类。

摘要

在绘画观赏过程中，情绪识别仍然具有挑战性，因为审美反应是动态的、依赖于情境的，且仅能通过外在行为部分观察到。因此，仅基于面部表情或仅基于生理信号的单模态方法，往往无法完整表征观赏者的体验。本文介绍了一种可重复的方法，用于构建双分支交叉注意力网络，该网络在绘画展览情境下整合面部视频与脑电图（EEG）数据，实现多模态情绪识别。该方案首先建立一个同步采集环境，使用64通道脑电系统和高分辨率摄像机，在观看绘画过程中同步记录数据。随后的步骤详细说明了信号预处理过程，包括脑电信号的滤波、分段和微分熵特征提取，以及面部检测、对齐和视频帧准备。该神经网络包含两个模态特异性分支：脑电分支采用卷积神经网络和双向长短期记忆网络，以建模神经活动的时空特征；面部分支则采用坐标注意力增强的轻量级卷积网络，提取视觉表情特征。随后，通过多头交叉注意力模块学习模态间的相关性，实现两种信息流的融合。在本文报告的实验条件下，该多模态框架在四类别情绪识别任务中的分类准确率高于单模态对比模型。该方法最适用于受控采集环境下的离线分析，为情感计算、实证美学以及面向展览的人机交互研究提供了实用框架。

引言

情绪是一种由外部刺激、内部评估以及持续的认知调节共同塑造的多维心理和生理过程，因此在人机交互与认知科学中占据核心地位¹。在绘画展览环境中，情绪也在视觉艺术作品与观众解读之间起到中介作用。因此，识别观众的情绪状态对于展览评估、空间设计以及审美体验的实证研究具有实际价值²。与此同时，在半自然展览环境中进行情绪测量在技术上仍然存在困难，因为观众的反应较为细微、短暂，且受到艺术作品本身和观看情境的双重影响。

情绪识别研究通常沿着两个主要方向发展：行为分析和生理分析。行为分析方法，尤其是基于计算机视觉的面部表情分析，因其具有非侵入性和相对易于部署的优点而被广泛使用³。深度学习模型，如残差网络和轻量级卷积网络，在基本的面部情绪分类任务中已展现出强大的性能⁴。然而，在观看绘画作品时，面部行为可能较微弱、受社会因素调节或被有意抑制，这会降低可见表情与主观感受之间的一致性⁵。生理分析方法，特别是基于脑电图（EEG）的技术，能够更直接地获取与情感处理相关的神经活动信息⁶。脑电图已被广泛应用于情绪研究，因为神经信号的时间动态变化能够反映情感状态的变化，包括与效价和唤醒度相关的维度⁷。尽管如此，脑电图记录容易受到运动伪迹、肌电干扰和环境噪声的影响，且单独使用脑电图通常难以提供关于观察者所响应视觉内容的充分背景信息⁸。

这些互补的优势与不足之处提高了人们对多模态情绪识别的兴趣⁹。多模态融合的核心前提是，异质信号能够提供相互补充的信息，并减少单独解释单一模态时所产生的歧义¹⁰。例如，在观看绘画任务中，尽管面部行为可能受到抑制，但仍可能伴随可测量的与注意力或情感参与相关的神经变化。然而，现有的多模态系统并不总能有效建模这种关系。基于直接特征拼接的早期融合策略可能增加维度负担，并模糊模态特有的时间结构¹¹。基于独立决策的晚期融合策略虽然更易于实现，但在情绪加工过程中可能忽略视觉与生理信号之间的精细交互作用¹²。此外，许多多模态模型采用固定或弱自适应的融合方案，难以适应类似展览环境中观众反应的动态变化¹³。

为解决这些局限性，本实验方案描述了一种用于绘画观赏过程中多模态情感识别的双分支交叉注意力网络。在该框架中，脑电图（EEG）特征由卷积神经网络-双向长短期记忆模型（CNN-BiLSTM）进行处理，以表征神经活动的时空动态特性；面部视频特征则由坐标注意力增强型MobileNetV2分支进行处理，在保持计算效率的同时捕捉低强度表情线索¹⁴。两个分支通过多头交叉注意力机制进行融合，该机制学习模态之间的相关性，而非简单拼接各分支输出^15，16。该设计旨在保留各模态特有结构的同时，提升跨模态交互建模能力。

该方法主要设计用于受控数据采集条件下的离线分析，而非直接在开放的公共展览空间中进行实时部署。可靠的实施需要同步的脑电图（EEG）和视频采集、稳定的照明、固定的摄像机位置、可接受的电极阻抗，以及足够的计算资源用于模型训练。性能还可能受到样本构成、刺激类型以及参与者因知晓被记录而改变行为程度的影响。在将该方案适配于其他展览环境或人群时，应考虑这些操作限制。

本文介绍的实验方案涵盖了完整的实验流程，包括对327名参与者进行同步数据采集、脑电（EEG）和面部视频数据的预处理、特征提取、跨模态融合以及分类分析。其目标是为绘画展览研究中的多模态情绪识别提供一个可重复的工作流程。该方案除了可用于情感计算¹⁷之外，还可支持实证美学及相关心理学研究的定量分析¹⁸。

方案

本研究方案已通过兴义民族师范学院人类研究保护伦理委员会的审查和批准（批准号：2600AL0621）。在所有参与者纳入研究及数据收集之前，均已获得其签署的知情同意书。

1. 受试者招募与伦理合规

1. 获得伦理批准
   1. 在开始研究之前，向机构审查委员会（IRB）或伦理委员会提交完整的实验方案、知情同意书、参与者信息表以及数据保护计划。
   2. 获得书面批准，并在研究文档中记录批准编号。
2. 参与者招募
   1. 招募健康的成年参与者，用于在观看绘画过程中进行多模态情绪数据采集。在本示范性实验方案中，招募327名参与者。
   2. 应用以下纳入标准：年龄18–35岁，视力正常或矫正至正常，无自报神经系统疾病史，未使用精神活性药物，且愿意接受脑电图（EEG）记录和面部视频记录。
   3. 应用以下排除标准：头皮存在严重损伤或皮肤病，影响电极放置；无法完成完整的记录过程；采集过程中出现剧烈运动；或知情同意文件不完整。
   4. 记录参与者的基本特征，包括年龄、性别、利手性、既往艺术观赏经验以及教育水平。在本示范性实验方案中，记录如下样本摘要：平均年龄24.8 ± 3.7岁，女性165人，男性162人，所有参与者均为右利手。
   5. 在招募前明确定义人口学平衡的操作标准。在本示范性实验方案中，该术语指性别分布大致均衡，年龄范围集中在成年早期，以减少与年龄相关的脑电图和面部表情反应的变异性。
3. 获取知情同意
   1. 向每位参与者提供书面知情同意书，内容包括脑电图记录、面部视频记录、同步程序、匿名化处理、数据存储方式，以及参与者可随时无惩罚退出的权利。
   2. 说明面部图像将用于特征提取，且在所有论文配图中眼部区域将被遮蔽，以保护参与者身份。
   3. 在任何实验程序开始前，必须获得书面知情同意。
4. 分配标识符并匿名化数据
   1. 为每位参与者分配唯一的数字研究编号。仅使用该研究编号存储脑电图文件、视频文件和元数据。
   2. 将可识别身份的知情同意书与生理数据和图像数据分开存储。根据当地伦理政策要求，在内部分析存储时使用去标识化的面部帧或基于面部关键点生成的数据。

2. 实验环境与刺激设置

1. 观察环境的准备
   1. 准备一个安静的室内房间，以模拟受控的绘画展览环境。保持环境温度在22–24 °C，相对湿度在45%–60%之间。尽可能将背景噪声控制在40 dB以下。
   2. 让受试者坐在有靠背支撑的直立椅子上，并调整椅子位置，使受试者与显示设备之间的观看距离为2.0 m。
   3. 指导受试者在刺激呈现期间独自静坐于记录区域内。在数据采集过程中，不允许其他受试者或观察者出现在其直接视野范围内。
2. 照明配置
   1. 在受试者前方安装漫射环形或圆形光源，以减少面部阴影。将照度设定在面部水平约为500 lux的稳定水平。
   2. 避免照明快速波动以及眼睛、额头或脸颊部位的直接眩光。视觉检查点：确认摄像头预览中整个面部（包括额头、眉毛、眼睛、鼻子、脸颊和口部区域）均清晰可见，无过曝或深度阴影。
3. 视觉刺激呈现的配置
   1. 在显示器或投影屏幕上呈现视觉刺激。在本示范方案中，使用一台27英寸液晶显示器，分辨率为1920 x 1080像素，刷新率为60 Hz。
   2. 根据研究设计，以视频或幻灯片格式呈现观看绘画的刺激内容。所有受试者均需采用相同的屏幕亮度、对比度和呈现顺序规则。
   3. 每幅绘画片段呈现90–120秒。在本示范方案中，使用6个片段，每个持续100秒，片段间休息间隔为20秒。
      ​注意：所有电气设备应正确接地，并将脑电放大器和电源线远离高干扰源，以减少50/60 Hz的电源噪声。

3. 多模态数据采集

1. 采集面部视频
   1. 将一台高清工业相机置于受试者正前方，高度大致与眼睛齐平。设置相机与面部的距离为 1.2 m。
   2. 使用最低采集分辨率为 1,920 x 1,080 像素、帧率为 30 帧/秒的相机。
   3. 手动设置曝光，以避免帧间波动。在本演示方案中，使用 ISO 400、快门速度 1/60 秒和固定白平衡。
   4. 以恒定帧率将视频保存为 MP4 或 AVI 格式。在本演示方案中，将视频保存为 MP4 格式，H.264 编码，30 帧/秒。
   5. 确保在整个录制过程中，完整的面部始终位于视野范围内。视觉检查点：确认眉毛和前额完全可见。如果前额、眉区或下巴被裁剪，应立即重新调整相机位置。
      注：使用 30 帧/秒，因为该帧率在同步多模态记录中既能为低强度面部表情动态提供足够的时域分辨率，又能保持可管理的存储和处理负荷。
2. 采集 EEG 信号
   1. 测量头围并为受试者选择合适尺寸的电极帽。根据国际 10–20 系统或制造商指定的 64 通道扩展布局放置 64 导 EEG 电极帽。
   2. 利用解剖标志对齐电极帽。将 Fpz 置于鼻根上方的中线上，并验证左右半球对称。
   3. 在每个电极位置分开头发，并涂抹导电凝胶以改善电极与头皮的接触。
   4. 在高阻抗部位使用棉签或钝头准备工具轻柔地处理头皮。切勿过度摩擦皮肤。
   5. 将电极帽连接至 EEG 放大器并进行阻抗测量。将所有通道的电极阻抗降低至 10 kΩ 以下。在本演示方案中，尽可能将额部和中央电极的阻抗控制在 < 5 kΩ 以内。
   6. 设置采样频率为 500 Hz。根据放大器配置设置在线参考电极。在本演示方案中，采集期间使用双侧乳突连接作为参考，并在预处理阶段进行公共平均重参考。
   7. 根据放大器说明书放置接地电极。在本演示方案中，将接地电极置于 AFz。在刺激呈现前至少记录 60 秒的静息基线。
   8. 视觉检查点：实验开始前检查实时 EEG 波形。确认基线活动稳定、漂移较小，且无持续饱和通道或显著运动伪迹。
3. 同步 EEG 与视频流
   1. 使用晶体管-晶体管逻辑（TTL）触发线缆或触发盒，将刺激呈现计算机连接至 EEG 放大器的触发输入端。
   2. 使用呈现软件在每个画作片段开始时发送一个 TTL 触发脉冲，并在每个片段结束时发送第二个 TTL 触发脉冲。
   3. 为每种事件类型分配唯一的触发代码。在本演示方案中，使用 11–16 表示片段起始，21–26 表示片段终止。
   4. 从第一个触发信号前至少 5 秒开始，到最终触发信号后至少 5 秒，同步记录相机视频流和 EEG 流。在刺激软件中自动记录触发时间戳表。
   5. 采集完成后，通过匹配 EEG 记录中的触发时间戳与呈现日志中的视频帧索引来验证同步性。视觉检查点：确认在 30 帧/秒条件下，EEG 触发时间戳与视频帧时间戳之间的平均对齐误差在 ±33 ms 范围内。
      ​注：若无硬件级帧精确同步接口，可从两个系统导出时间戳日志，并通过触发起始点匹配进行离线对齐校正。
4. 记录实验数据
   1. 指导受试者自然观看画作，同时尽量减少大幅度头部运动、频繁眨眼、说话和触碰面部。
   2. 按选定顺序呈现预定义的画作片段。在整个观看过程中连续记录同步的 EEG 和面部视频。
   3. 若记录过程中超过 5 个通道的阻抗超过阈值，应暂停实验并重新检查电极。在实验日志中记录所有中断、受试者不适及技术问题。

4. 脑电图预处理与特征提取

1. 导入原始脑电图数据
   1. 将原始脑电图记录导入分析环境。在本演示方案中，使用 MATLAB R2023b 配合 EEGLAB 2024.0，或使用 Python 3.10 配合 MNE 1.6。
   2. 导入事件标记，并验证所有刺激起始和终止触发信号均存在。
2. 对脑电信号进行降采样
   1. 将信号从 500 Hz 降采样至 200 Hz，并按照 图1 所示的工作流程进行预处理。
   2. 在重采样过程中应用抗混叠滤波，依据软件默认设置或自定义的滤波器参数。
3. 滤波脑电信号
   1. 应用 0.5–45 Hz 的带通滤波。若仍存在明显的工频干扰，则在本地电源频率处应用陷波滤波。在本演示方案中，应用 50 Hz 陷波滤波。
4. 去除伪迹
   1. 手动检查连续脑电图，并标记存在明显运动伪迹的片段。
   2. 对滤波后的数据运行独立成分分析。通过头皮分布图、时间序列和功率谱识别与眨眼、水平眼动、下颌紧张或肌电活动相关的成分。
   3. 移除识别出的伪迹成分，并重建清理后的脑电信号。在独立成分分析校正后，仍存在显著幅值波动的片段应予以剔除。在本演示方案中，剔除幅值超过 ±100 µV 的片段。
5. 重新参考数据
   1. 将清理后的脑电信号重新参考至公共平均参考。
6. 分割脑电数据
   1. 根据刺激起始触发信号对连续脑电图进行分段。提取与刺激对齐的片段，覆盖完整片段或固定分析窗口。在本演示方案中，将脑电图分割为 2.0 秒长、重叠 50% 的窗口。在分段后剔除仍含有残余伪迹的窗口。
7. 计算微分熵特征
   1. 将每个脑电图片段分解为以下频段：delta（1–4 Hz）、theta（4–8 Hz）、alpha（8–13 Hz）、beta（13–30 Hz）和 gamma（30–45 Hz）。
   2. 计算每个通道在各频段的微分熵。对于高斯变量，使用以下公式：
      DE = 1/2 ln(2πeσ²)，其中 σ² 为频带限定脑电信号的方差。
   3. 将各通道的微分熵值排列成二维地形矩阵或通道-特征矩阵，作为模型输入。
   4. 在本演示方案中，每个分析窗口生成输入尺寸为 128 × 128 × 5 的脑电特征图。可视化检查点：绘制各频段的代表性微分熵图，确认不存在缺失通道、恒定值图或异常的频段坍缩现象。

5. 面部视频预处理

1. 提取图像帧
   1. 使用脚本化流程将录制的视频解码为图像帧。以每秒25帧的速率提取帧作为模型输入，同时保留同步元数据。
2. 检测并对齐面部
   1. 使用经过验证的面部检测器检测每一帧中的面部。定位面部关键点，并基于双眼中心或标准关键点锚点对齐面部。丢弃面部未能被可靠检测的帧。
3. 裁剪并调整面部区域大小
   1. 将面部裁剪至检测到的边界框，并保留少量边缘以保存轮廓信息。将裁剪后的面部图像调整为224 × 224像素。
   2. 检查来自四个目标情绪类别的代表性裁剪面部样本，如图2所示，并确认前额、眉毛、眼睛、鼻子、脸颊和嘴巴在裁剪后仍可见。
4. 增强训练图像
   1. 仅对训练集以0.5的概率应用随机水平翻转。仅对训练集应用±15°范围内的随机旋转。
   2. 不要对验证集或测试图像进行增强。
5. 归一化面部输入
   1. 将像素值归一化至[-1, 1]范围，或在所有数据划分中一致使用主干网络特定的归一化规则。

6. 构建多模态神经网络

1. 配置软件与硬件环境
   1. 使用 Python 3.10 和 PyTorch 2.1 实现模型。在 Ubuntu 22.04 或其他指定操作系统上运行训练。
   2. 使用配备至少 32 GB 内存、至少 12 GB 显存的图形处理器以及充足本地存储空间以同步 EEG-视频数据的工作站。在本演示方案中，使用 NVIDIA RTX 3080 图形处理器。
   3. 将训练脚本、模型定义文件、预处理脚本和配置文件存储在受版本控制的项目目录中。
   4. 如果允许共享，请在稿件中注明代码仓库或归档的脚本包。
2. 构建面部分支
   1. 构建如图所示的整体双分支多模态框架 图3初始化用于面部分支的MobileNetV2骨干网络。
   2. 将第一个卷积层从32个通道修改为24个通道。根据以下内容构建面部特征提取分支 图4 并在选定的倒残差模块后插入坐标注意力模块，如图所示 图5.
   3. 将指定的标准卷积替换为 3 x 3 和 5 x 5 卷积核尺寸的并行深度可分离卷积，以增强多尺度特征提取能力。
   4. 导出一个固定维度的面部特征向量用于融合。在本演示方案中，使用256维的特征维度。
3. 构建脑电图分支
   1. 将微分熵特征图输入卷积神经网络编码器。利用卷积层从脑电特征图中提取空间模式。
   2. 将卷积输出序列输入双向长短期记忆模块，以捕获跨窗口的时间依赖性。
   3. 导出一个固定维度的脑电图特征向量。在本演示方案中，使用256的特征维度。
4. 构建跨模态融合模块
   1. 实现所示的多模态特征交互模块 图6. 使用8个注意力头实现多头交叉注意力模块。
   2. 将脑电图特征序列作为查询，将面部特征序列作为键和值，用于一个交叉注意力流中。
   3. 将面部特征序列作为查询，将脑电图（EEG）特征序列作为键和值，用于互惠交叉注意力流中。
   4. 将两个交叉注意力流的输出进行拼接，然后将拼接后的特征输入融合投影层。
5. 添加自残差空洞卷积模块
   1. 利用所示的自残差空洞卷积连接层优化融合表示 图7.
   2. 使用膨胀率为 1、3、6 和 12 的膨胀卷积构建拼接层，将四个膨胀分支的输出进行拼接。
   3. 添加残差跳跃连接以稳定梯度流并保留低层信息。
6. 添加分类器
   1. 展平或池化融合后的表示。添加一个全连接层和一个最终的 Softmax 输出层。将输出类别设为恐惧、快乐、平静和悲伤。
7. 定义训练设置
   1. 使用网络和训练设置的总结如下 表1四种情绪类别（恐惧、快乐、平静和悲伤）通过基于刺激材料设计与参与者自我报告的联合标记程序进行操作性定义。每段绘画片段均预先选定以诱发特定目标情绪类别，参与者在观看后报告其主导情绪体验。最终标签通过将预设的刺激类别与自我报告结果进行比对一致后确定，不一致的样本予以排除，以确保标记的可靠性。

结果

采用在327名参与者观看绘画过程中收集的多模态数据集，对所提出的双分支交叉注意力网络的性能进行了评估。主要结局指标为对恐惧、快乐、平静和悲伤四类情绪的分类性能。额外分析包括单模态模型的行为、多模态融合情况、对注意力头数量的敏感性、比较识别性能，以及面部和脑电图子网络的行为。本研究未设置独立的对照组，因为研究目的并非将暴露组与非暴露组或基线人群进行比较，而是评估在同一数据集中单模态与多模态配置之间的相对性能。此外，未将文化表达性作为独立因素进行分析，因为参与者样本在文化背景上相对同质，且实验设计并未旨在探究情绪表达中的跨文化差异。该设计选择使研究能够在受控条件下专注于多模态框架的方法学验证。

单模态分支的训练行为
首先对单模态面部分支进行检验，以建立视觉模态的基础学习行为。如图8所示，面部分支在训练过程中表现出稳定的优化趋势，训练曲线和验证曲线逐渐接近90%附近的平台期。该结果表明，尽管在此情境下观察到的面部变化相对较弱且幅度较低，面部分支仍能够在观看绘画时捕捉到有用的与表情相关的信...

讨论

本方案针对情感计算中的一个实际问题，即在观看绘画的场景中，由于可见表情与生理反应可能并非在每一时刻都完全同步，如何识别个体的情绪状态。在本文报告的实验条件下，双分支框架的分类性能优于单模态对比模型，这表明在类似展览的环境中，结合脑电图与面部表情信息具有重要价值。研究结果表明，当面部变化较为细微或受到社会因素调节时，多模态融合尤其有效，因为生理信号能够提供未完全体现在外在行为中的额外信息。从这一角度来看，该方法不仅可能对多模态情绪识别具有应用价值，也可能适用于实证美学研究以及面向展览的人机交互研究。同时，当前结果的解释应限定于本文所报告的数据集、记录设置及标签定义方法的范围内¹⁸。

该方案的一个关键特征是交叉注意力融合机制。与直接的特征拼接或简单的后期决策融合不同，交叉注意力机制使模型能够学习在不同条件下哪种模态提供了更有用的信息。这一点在观看绘画作品时尤为重要，因为即使神经活动表明存在持续的情感参与或注意力变化，面部反应可能仍然较为微弱。多模态模型中观察到的性能提升与这一设计逻辑一致。面部特征提供了外部可观测的线索，而脑电图则贡献了较...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
深度学习框架	PyTorch	v2.0 / https://pytorch.org	用于模型构建、训练与评估
脑电采集系统（64通道）	Brain Products GmbH	actiCHamp Plus / v1.6	用于实验过程中高分辨率脑电信号的采集
脑电电极帽（10–20系统）	Brain Products GmbH	ActiCap / 64通道	符合国际标准的10–20电极布局
高清摄像头	Sony Corporation	IMX327传感器	用于面部表情视频记录（≥1080p，30 fps）