本方案描述了在绘画观赏情境下同步采集脑电图与面部数据的方法，以及用于多模态情绪识别的双分支交叉注意力网络，包括预处理、特征融合及四种情绪状态的分类。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本方案描述了在绘画观赏情境下同步采集脑电图与面部数据的方法，以及用于多模态情绪识别的双分支交叉注意力网络，包括预处理、特征融合及四种情绪状态的分类。
在绘画观赏过程中，情绪识别仍然具有挑战性，因为审美反应是动态的、依赖于情境的，且仅能通过外在行为部分观察到。因此，仅基于面部表情或仅基于生理信号的单模态方法，往往无法完整表征观赏者的体验。本文介绍了一种可重复的方法，用于构建双分支交叉注意力网络，该网络在绘画展览情境下整合面部视频与脑电图（EEG）数据，实现多模态情绪识别。该方案首先建立一个同步采集环境，使用64通道脑电系统和高分辨率摄像机，在观看绘画过程中同步记录数据。随后的步骤详细说明了信号预处理过程，包括脑电信号的滤波、分段和微分熵特征提取，以及面部检测、对齐和视频帧准备。该神经网络包含两个模态特异性分支：脑电分支采用卷积神经网络和双向长短期记忆网络，以建模神经活动的时空特征；面部分支则采用坐标注意力增强的轻量级卷积网络，提取视觉表情特征。随后，通过多头交叉注意力模块学习模态间的相关性，实现两种信息流的融合。在本文报告的实验条件下，该多模态框架在四类别情绪识别任务中的分类准确率高于单模态对比模型。该方法最适用于受控采集环境下的离线分析，为情感计算、实证美学以及面向展览的人机交互研究提供了实用框架。
情绪是一种由外部刺激、内部评估以及持续的认知调节共同塑造的多维心理和生理过程，因此在人机交互与认知科学中占据核心地位1。在绘画展览环境中，情绪也在视觉艺术作品与观众解读之间起到中介作用。因此，识别观众的情绪状态对于展览评估、空间设计以及审美体验的实证研究具有实际价值2。与此同时，在半自然展览环境中进行情绪测量在技术上仍然存在困难，因为观众的反应较为细微、短暂，且受到艺术作品本身和观看情境的双重影响。
情绪识别研究通常沿着两个主要方向发展：行为分析和生理分析。行为分析方法，尤其是基于计算机视觉的面部表情分析，因其具有非侵入性和相对易于部署的优点而被广泛使用3。深度学习模型，如残差网络和轻量级卷积网络，在基本的面部情绪分类任务中已展现出强大的性能4。然而，在观看绘画作品时，面部行为可能较微弱、受社会因素调节或被有意抑制，这会降低可见表情与主观感受之间的一致性5。生理分析方法，特别是基于脑电图（EEG）的技术，能够更直接地获取与情感处理相关的神经活动信息6。脑电图已被广泛应用于情绪研究，因为神经信号的时间动态变化能够反映情感状态的变化，包括与效价和唤醒度相关的维度....
访问受限。请登录或开始试用以查看此内容。
本研究方案已通过兴义民族师范学院人类研究保护伦理委员会的审查和批准（批准号：2600AL0621）。在所有参与者纳入研究及数据收集之前，均已获得其签署的知情同意书。
1. 受试者招募与伦理合规
访问受限。请登录或开始试用以查看此内容。
采用在327名参与者观看绘画过程中收集的多模态数据集，对所提出的双分支交叉注意力网络的性能进行了评估。主要结局指标为对恐惧、快乐、平静和悲伤四类情绪的分类性能。额外分析包括单模态模型的行为、多模态融合情况、对注意力头数量的敏感性、比较识别性能，以及面部和脑电图子网络的行为。本研究未设置独立的对照组，因为研究目的并非将暴露组与非暴露组或基线人群进行比较，而是评估在同一数据集中单模态与多模态配置之间的相对性能。此外，未将文化表达性作为独立因素进行分析，因为参与者样本在文化背景上相对同质，且实验设计并未旨在探究情绪表达中的跨文化差异。该设计选择使研究能够在受控条件下专注于多模态框架的方法学验证。
单模态分支的训练行为
首先对单模态面部分支进行检验，以建立视觉模态的基础学习行为。如图8所示，面部分支在训练过程中表现出稳定的优化趋势，训练曲线和验证曲线逐渐接近90%附近的平台期。该结果表明，尽管在此情境下观察到的面部变化相对较弱且幅度较低，面部分支仍能够在观看绘画时捕捉到有用的与表情相关的信.......
访问受限。请登录或开始试用以查看此内容。
本方案针对情感计算中的一个实际问题，即在观看绘画的场景中，由于可见表情与生理反应可能并非在每一时刻都完全同步，如何识别个体的情绪状态。在本文报告的实验条件下，双分支框架的分类性能优于单模态对比模型，这表明在类似展览的环境中，结合脑电图与面部表情信息具有重要价值。研究结果表明，当面部变化较为细微或受到社会因素调节时，多模态融合尤其有效，因为生理信号能够提供未完全体现在外在行为中的额外信息。从这一角度来看，该方法不仅可能对多模态情绪识别具有应用价值，也可能适用于实证美学研究以及面向展览的人机交互研究。同时，当前结果的解释应限定于本文所报告的数据集、记录设置及标签定义方法的范围内18。
该方案的一个关键特征是交叉注意力融合机制。与直接的特征拼接或简单的后期决策融合不同，交叉注意力机制使模型能够学习在不同条件下哪种模态提供了更有用的信息。这一点在观看绘画作品时尤为重要，因为即使神经活动表明存在持续的情感参与或注意力变化，面部反应可能仍然较为微弱。多模态模型中观察到的性能提升与这一设计逻辑一致。面部特征提供了外部可观测的线索，而脑电图则贡献了较.......
访问受限。请登录或开始试用以查看此内容。
作者声明无利益冲突。
我们诚挚感谢来自兴义民族师范学院和西南大学的志愿者参与本实验。同时感谢赫罗纳大学的技术人员在脑电图数据采集方面提供的帮助，以及匿名审稿人提出的富有见地的评论。
....访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 深度学习框架 | PyTorch | v2.0 / https://pytorch.org | 用于模型构建、训练与评估 |
| 脑电采集系统（64通道） | Brain Products GmbH | actiCHamp Plus / v1.6 | 用于实验过程中高分辨率脑电信号的采集 |
| 脑电电极帽（10–20系统） | Brain Products GmbH | ActiCap / 64通道 | 符合国际标准的10–20电极布局 |
| 高清摄像头 | Sony Corporation | IMX327传感器 | 用于面部表情视频记录（≥1080p，30 fps） |
访问受限。请登录或开始试用以查看此内容。