利用多模态生理和行为信号对情感用户体验进行计算建模

Summary

该协议描述了一个计算框架，通过多模态整合生理和行为信号，利用基于关联的特征学习和多模态融合技术，模拟情感用户体验。该协议提出了并测试基于AMIGOS基准数据集的多模态情感建模框架。

Abstract

本研究提出了一种可重复的多模态情感建模计算协议，利用生理信号。该协议的目标是通过整合多种生物信号，利用统一的深度学习框架实现离线情绪识别。本工作包括五个步骤：数据收集、预处理、特征对齐、多模态融合和评估。本研究使用了来自公开可访问AMIGOS数据的脑电图、心电图和GSR信号作为实验基线。生物信号经过预处理和归一化，以提取特定模态特征。异质特征空间通过深度正则相关分析（Deep Canonical Correlation Analysis）对不同模态进行比对，随后通过多模态融合网络对情感状态进行分类。该方案通过离线实验进行了评估，并使用标准性能指标如准确性、精度、回忆、F1评分和AUC与传统融合和分类模型进行了比较。本研究侧重于开发和验证多模态情感用户体验建模的计算框架，而非实时交互系统的部署。UX情感状态预测准确率为92.1%，价值-唤醒分类准确率为94.2%，在情绪维度上持续优于基线模型。这些发现通过基准分析生理数据验证了多模融合工作流程在计算情感建模中的有效性。

Introduction

思维、情感和行动的复杂相互作用塑造了人们的思维和行为方式。情感计算通过利用神经科学、心理学和人工智能的跨学科知识，研究这些关系，构建能够分析、理解和反应人类情绪的系统。这一领域越来越多地应用于人与技术的交流，将表达意识融入响应式人工智能结构中，使技术不仅与理智互动，也与情感条件互动，从而实现更个性化和情感感知的用户知识。情感是一种复杂的心理过程，反映了人类的感知，并在人际互动中扮演着重要^角色。如今，有许多人机交互（HCI）应用需要对情感识别进行^研究。HCI系统环境动态且复杂。在大多数情况下，它需要与被告同步其功能;因此，具有情商的环境能更好地适应这种氛围。因此，本研究探讨了通过多模态生理和行为信号对情感用户体验进行计算^建模。工作更多倾向于在多模态信号整合或与应用情境相关的推断中做出贡献，而非开发或验证交互式系统，而非实际操作。为了避免概念过于宽泛，本研究聚焦于两个主要概念：利用计算方法实现多模态情感建模框架，以及用于结合生理与行为数据的多模态数据融合技术。手稿中出现的所有其他主题均被引用以提供相关背景，以了解所开发模型的相关性。

每种情绪模式传递的关于一个人情感的不同信息，是无法从其他感官系统中推导出来的。从身体运动中提取情感，涉及整体的身体运动模式，具有

Protocol

本研究所用的AMIGOS数据集公开，收集经机构审查委员会事先批准和知情同意，详见原文发表。本研究仅涉及数据集的二次分析，无需额外的伦理审批。

本方法采用特征比对和多模态融合方法处理多模态生理和行为数据，以描述感知与情绪的相关性。本研究提出了一种用于互动展览中情感用户体验（UX）的计算模型，利用多模态生物物理感知和基于人工智能的情感建模。基于基线论文中的生物物理数据洞察，该方法通过同步的脑电图（EEG）、心电图（ECG）、电测（EDA）、眼动追踪、面部表情和环境输入，数字化计算建模用户状态。手稿中的“空间-时间建模”一词指的是通过DCCA实现的空间多通道生理特征表示和模态间相关比对。时间编码：通过BiLSTM进行顺序编码，并在分段窗口内保持时间依赖性。这些多样的信号最初会被预处理并归一化，以考虑不同模态之间的时间和空间相关性。每种模态独立学习特征向量，捕捉与唤起、注意力和参与等情绪相关的模式。为了成功从跨异构数据流的共享情感表征中学习，采用了DCCA。DCCA将每个模态投射到潜在的共同子空间中，在该空间中相关特征得到最大化，同时通过增强的跨模态相关性保留模态特有的信息。这些与模态对齐的潜在嵌入随后传递到多模融合网络（MMFN），该网络通过混合BiLSTM和注意力层结合时间和上下文信息。这种融合使系统能够产生高层次的情感状态，这些状态转化为用户体验指标（例如无聊、兴趣、不适）。最后，分类模块估计情感用户体验状态，并为展览适应提供反馈，例如在计算建模中调整视觉或音频刺激。

Results

对拟议系统的评估
为评估拟议系统，他们在公开的AMIGOS数据集上进行了实验，该数据集提供了40名暴露于情感刺激下的用户的脑电图、心电图、格雷达、视频和音频同步测量。本研究使用了33名参与者的数据（在预处理和未完成试验移除后），共计1320个价值和唤醒维度的有效样本。评估强调了情绪分类和情感用户体验状态预测，采用基于DCCA的表征学习层和多模融合网络（MMFN）。结果在所有情感状态的预测准确性和鲁棒性方面均显著优于预测。MMFN中注意力增强的融合过程是强调主导模态在每种情境中作用的关键。 表3 展示了模拟环境。

组成部分	规格 / 工具
编程语言	Python 3........

Discussion

空间、环境和物理交互情境，如空间布局、人群密度或环境条件，在AMIGOS数据集中未明确给出。因此，这些因素也未直接在当前实验中建模。所建议的情感用户体验（UX）建模计算框架远远超越了基础论文中关于基于生物物理情绪检测的用户任务导向儿童与机器人交互的基础概念。将情感计算推广到动态、互动的展览环境，所建议的模型扩展了应用范围、用户群体和条件。与基础论文使用结构化交互和动态贝叶斯混合模型（DBMM）静态干预逻辑不同，新框架集成了更具可扩展性和稳健性的架构，涉及深度正则相关分析（DCCA）和多模融合网络（MMFN）。这使得系统能够管理脑电图（EEG）、心电图（ECG）、电动信号（EDA）、面部表情、眼动追踪和情境环境信息等多种传感器模态上的复杂感知-情绪动态，提供更详细、连续且可迁移的情感状态建模。从二元干预转向持续情感剖析，代表了在实际沉浸环境中建模情感转变的理论突破。尽管AMIGOS能够严谨评估多模态情感动态，但它是在实验室环境中通过视听刺激收集的，无法捕捉真实展览环境的全部空间、多感官或社会复杂性。因此，本研究结果应被视为概念验证。尽管本文灵感来自沉浸式环境中的情感用户体.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
数据集	AMIGOS 数据集	40名参与者;脑电图（128 Hz）、心电图（1000 Hz）、GSR（1000 Hz）、面部视频、自我报告的价值/唤醒标签	多模态地面真实数据用于情感状态建模
生理传感器	脑电图耳机	Emotiv EPOC+（14声道，128赫兹）	捕捉与注意力、唤起和参与相关的大脑活动
	心电图传感器	Biopac MP150或同等型号（1000 Hz）	心率变异性与觉醒
	GSR/EDA传感器	闪光GSR+或同等（1000 Hz）	皮肤电导作为唤醒度量的衡量
行为传感器	眼动追踪装置	Tobii Pro X2-60 或同类设备	记录凝视与扫视
	面部表情记录	高分辨率摄像机;用OpenFace（AUs，凝视向量）进行分析	提取面部动作单元（AU）和凝视线索
环境投入	视听录制设备	麦克风+摄像机（与刺激同步）	展览期间捕捉情境刺激
软件 / 工具包	OpenFace	开源面部行为分析工具包	提取行动单元（AU），凝视方向
	MATLAB / Python（NumPy、SciPy、scikit-learn）	信号预处理（重采样、z分数归一化、PSD计算）	数据预处理与特征提取
	TensorFlowv2.13 / PyTorchv2.0	DCCA和MMFN的深度学习框架	模型实现与训练
算法 / 模型	深度正则相关分析（DCCA）	非线性特征对齐方法	学习跨模态的相关潜在表征
	多模聚变网络（MMFN）	BiLSTM + 基于注意力的融合层	异构模态的层级融合用于用户体验状态分类
评估指标	准确、精准、回忆、F1分数、科恩s 卡帕，AUC-ROC，混乱矩阵	通过 scikit-learn / TensorFlow 指标实现	模型性能评估
计算硬件	工作站 / GPU 集群	NVIDIA RTX 3080（10GB）或同等配置，32GB内存，Intel i9处理器	模型训练与仿真