该研究提出了一种端到端的多模态情感分析框架，该框架利用Transformer编码器、解耦的情感表征以及基于图的跨模态注意力机制结合视觉映射，在两个数据集上提升了情感识别的准确率。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
该研究提出了一种端到端的多模态情感分析框架，该框架利用Transformer编码器、解耦的情感表征以及基于图的跨模态注意力机制结合视觉映射，在两个数据集上提升了情感识别的准确率。
通过使机器能够理解、解释并响应人类的情感状态，多模态情感特征的可视化映射对智能界面设计至关重要。然而，当前的多模态情感检测算法主要关注预测性能，在可解释性、交互感知能力以及特征层级的跨模态交互方面提供的洞察十分有限。本研究提出了一种用于多模态情感特征可视化映射的框架，该框架结合了面向交互的可视化方法、可解释的表征学习以及情感预测。在不使用人工构建特征的前提下，采用基于Transformer的编码器从文本、音频和视觉模态中提取高层情感嵌入。为提高鲁棒性，采用解耦表征学习技术分离情感特异性信息与模态特异性信息。此外，设计了一种基于图结构的跨模态注意力网络，利用自适应注意力权重模拟模态间细微的情感关联。同时构建了一个多视角可视化映射模块，用于呈现情感的时间轨迹、跨模态注意力分布以及潜在情感嵌入，以增强模型透明度。所提出的框架在卡内基梅隆大学多模态观点情感与情绪强度数据集（CMU-MOSEI）和中国多模态情感分析数据集（CH-SIMS）上进行了评估。实验结果表明，该框架在准确性、F1分数、相关系数和平均绝对误差方面持续优于代表性基线方法，同时在特征层级的可解释性与交互感知可视化方面表现更优。此外，可视化映射模块有助于对多模态情感表征、跨模态交互关系以及情感时间动态进行定性解读，支持交互感知的可视化与分析。
准确识别和理解人类情感对于改善人机交互至关重要。除了对提升人机交互具有关键作用外，情感分析还有望革新多个领域，包括医学预诊断1、课堂行为分析2、患者心理追踪3、车辆中的疲劳识别4以及智能家居环境中的智能管理5。情感计算与深度学习领域的最新进展6进一步推动了人们对构建能够捕捉人类情感复杂性的实时系统的兴趣。
目前许多方法主要依赖于单模态数据，例如文本、图像或听觉信号7,8,9。这些方法在检测讽刺或特定语境下的细微情绪等精细信号时常常失败。研究已转向多模态情绪评估，通过整合来自多个来源的互补数据以克服这些限制10,11,12。早期融合-长短期记忆网络（EF-LSTM）13、轻量级与FM深度神经网络（LF-DNN）
访问受限。请登录或开始试用以查看此内容。
本研究旨在通过提供一种可解释的多模态情感特征可视化映射框架，以改进智能交互设计。研究中使用了公开可获取的 CH-SIMS 和 CMU-MOSEI 数据库。这两个数据集均从其官方来源获取，并严格遵循各自创建者所规定的使用指南、研究标准和授权条款进行使用。数据集中的多模态内容（包括文本、音频和视频数据）最初由数据集提供方根据其授权的参与者许可及数据采集协议进行收集和标注。本研究未涉及直接的人类交互，未招募新的参与者，也未收集任何个人身份信息。所有分析均基于公开可用的研究数据集进行。因此，我们的二次数据分析无需额外的伦理审批或机构审查委员会（IRB）审查。本研究严格遵守相关机构关于公开数据集使用、伦理研究程序以及适用数据使用政策的规范要求。
采用基于图的跨模态注意力机制，利用情感特异性或模态特异性特征来学习跨模态的情感表征，以提升理解能力。通过多视角视觉映射组件增强实时情感感知的交互设计，并评估其在情感识别中的效率。研究结果表明，所提出的方法在现实世界中提升了情感感知智能用户界面的可解释性与效率。图1展示了所提出工作的架构流程。图1展示了在智能交互系统背景下，用于多模态情感特征学习的建议视觉映射框架的完整工作流程。该流程始于三种同步输入模态，即文本、音频和视频，分别从语言、韵律和面部表情模态中捕获互补的情感信息。每种模态由特定模态的Transformer编码器进行....
访问受限。请登录或开始试用以查看此内容。
本研究利用两个基准数据集 CH-SIMS 和 CMU-MOSEI，从交互感知的可解释性与预测性能两方面验证了所提出的多模态情绪特征可视化映射框架。实验结果表明，该方法在相关性、准确率、F1 分数和平均绝对误差（MAE）等多种评估指标上， consistently 优于现有的多模态情绪识别技术。这种性能提升得益于解耦的情绪表征、基于图结构的跨模态融合机制以及端到端的深度表征学习策略，这些设计共同实现了更稳定且语义对齐的情绪建模。此外，该方法通过可视化映射提供了更丰富的特征层级洞察，超越了单纯的量化性能提升，有助于更清晰地理解各模态的贡献及情绪动态变化。尽管在语言、文化表达方式和数据集规模方面存在差异，上述性能优势在两个数据集中均 consistently 被观察到，表明所提出框架具有较强的泛化能力。
本研究采用了用于多模态情感分析的公开数据集 CH-SIMS 和 CMU-MOSEI。CH-SIMS 数据集包含来自电影、电视剧和综艺节目的 2,281 个视频片段，其中提供了同步的文本、音频和视觉数据。CH-SIMS 中的单模态和多模态情感标签均被划分为正面、中性和负面三类。CMU-MO.......
访问受限。请登录或开始试用以查看此内容。
实验结果表明，在CH-SIMS和CMU-MOSEI数据集上，所提出的用于多模态情感特征的视觉映射框架优于当前的多模态情感识别技术。与早期融合和晚期融合模型（如EF-LSTM和TFN）相比，该方法在准确率和F1分数上均取得更高性能，显示出其在处理多样化情感信息方面的鲁棒性。该方法性能的提升可归因于解耦的情感表征，其能够抑制模态特异性噪声，并确保视觉、音频和文本模态之间的情感一致性36。
最近，基于Transformer的多模态模型，如自适应多模态Transformer37和MIAR38，在建模跨模态依赖关系方面表现出色。然而，这些模型主要关注预测性能，缺乏支持特征级可解释性的机制。相比之下，本文提出的系统将基于图的跨模态注意力与可视化映射模块相结合，能够透明地分析模态间及情感交互关系。这一特性在当前文献中尚属缺失，现有研究通常将情感推断视为一个黑箱过程。
该框架在CH-SIMS和CMU-.......
访问受限。请登录或开始试用以查看此内容。
作者谨此感谢马来西亚槟城马来西亚理科大学建筑、建造与规划学院以及长沙理工大学设计艺术学院提供的支持。 & Technology，中国长沙。作者还感谢中国厦门福州大学厦门艺术设计学院在本研究工作期间提供的学术与科研支持。
....访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Adam | PyTorch 优化器库 | https://pytorch-optimizers.readthedocs.io/en/latest/ (学习率 = 1 × 10-4) | 模型训练过程中的参数优化 |
| CH-SIMS | 原始数据集仓库 | 最新公开版本 | 用于中文多模态情感/情绪分析的基准数据集 |
| CMU-MOSEI | CMU 多模态 SDK 仓库 | https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (最新公开版本) | 用于多模态情感与情绪识别的基准数据集 |
| 解耦情绪编码器 | 自定义实现 | https://pytorch-geometric.readthedocs.io/en/latest/(双编码器架构) | 分离情绪特异性与模态特异性的潜在表示 |
| 图注意力网络 (GAT) | PyTorch Geometric | 多头 GAT (https://pytorch-geometric.readthedocs.io/en/latest/) | 建模跨模态情绪关系与自适应特征融合 |
| 基于图的跨模态注意力层 | 自定义实现 | 多头注意力融合 | 学习模态间细粒度情绪依赖关系 |
| Matplotlib | Matplotlib 项目 | 3.7+ | 生成图表与可视化分析 |
| NetworkX | NetworkX 项目 | 3.0+ | 构建与可视化跨模态交互图 |
| NVIDIA GPU | NVIDIA 公司 | CUDA 支持的 GPU | 加速 Transformer 与图神经网络的训练 |
| 主成分分析 (PCA) | Scikit-learn | sklearn.decomposition.PCA | 高维情绪嵌入的初步降维 |
| Python | Python 软件基金会 | 3.8+ | 实现多模态情绪分析框架的核心编程语言 |
| PyTorch | PyTorch 基金会 | 2.0+ | 深度神经网络的开发、训练与优化 |
| RoBERTa | Hugging Face Transformers | https://huggingface.co/docs/transformers/index (roberta-base, 768 维嵌入) | 提取上下文相关的语言与语义情绪表示 |
| Seaborn | Seaborn 项目 | 0.12+ | 生成注意力热图与统计可视化图表 |
| t-分布随机邻域嵌入 (t-SNE) | Scikit-learn | scikit-learn.org (困惑度 = 30, 迭代次数 = 1000) | 潜在情绪簇与轨迹的可视化 |
| Ubuntu Linux | Canonical Ubuntu | 20.04 LTS 或更高版本 | 实验执行环境 |
| 视觉 Transformer (ViT-Base) | Google Research 视觉 Transformer | ViT-Base/16, 768 维嵌入 | 从视频帧中提取具有情绪感知能力的视觉表示 |
| Wav2Vec 2.0 | Meta AI Research | 基础模型, 768 维嵌入 | 提取上下文相关的声学与语音情绪特征 |
访问受限。请登录或开始试用以查看此内容。