无缝多模态人机通信：人机交互中的集成技术

摘要

本综述综合了深度学习、多模态传感和集成策略的最新进展，这些策略实现了人与机器人之间无缝、适应性和以人为本的沟通。

摘要

随着社交、辅助和教育机器人进入家庭、医疗机构和教室等日常场所，无缝的多模态人机通信变得不可或缺，它们需要以高精度、低延迟和现实世界强韧性整合语音、手势、凝视、面部表情和触觉线索。本综述系统地考察当前技术如何实现实时互惠多模态人机交互（HRI），重点关注聚变策略、系统架构及特定领域的应用。我们检索了Web of Science核心合集中2015年至2025年的英语实证研究，选取了148篇涉及传播整合的论文。最重要的见解包括自2022年以来，约43%的方法明显转向混合和基于注意力的融合，这比以往方法更能处理时间异步和具象互动;评估指标普遍不一致，阻碍跨研究比较;以及在噪声、遮挡或用户变异性下，强而有力的实验室性能与较弱的现实鲁棒性之间存在持续的差距。主要挑战包括实时处理、语义对齐、数据效率、部署鲁棒性以及触觉信号与情感的整合尚未充分探索。展望未来，综述建议优先考虑自适应融合策略、标准化的同步与流畅度基准，以及持续学习，以实现用户个性化适应。最终，它旨在引导开发更具以人为本的机器人智能体，这些智能体能够协作、有意义地参与，并在日常生活中获得社会认可。

引言

机器人已经从结构化环境中的工业工具，发展成为家庭、医院和教室中嵌入社会的智能体。它们现在协助教育、治疗和陪伴，反映出从任务导向自动化向以用户为中心、适应性互动的转变。这一转变的核心在于多模态通信，使机器人能够感知并响应人类信号——言语、凝视、手势、面部表情和触觉——以实现动态环境中自然交流所需的时间精确度。这种对协调和响应性的强调与人机交互和认知科学的核心关注点相契合。在本综述中，无缝多模态通信指的是用户感觉流畅且直观的交互，特点是响应时间低于300毫秒，几乎没有明显的延迟或错配，并且对现实世界变异性具有强韧的适应能力。这使其区别于传统的基于命令或单模态系统，后者因时序错误、模态失效或僵化响应而干扰自然流程。

在人机交互（HRI）中，本综述聚焦于人机通信，定义为人与机器人之间多模态信号的互惠、实时交换。虽然HRI还包括规划、控制和安全，而沟通则关注感知与行动在感官通道上的同步。早期基于指挥的系统更注重效率而非交战，常导致僵化或延迟的行为。当代研究追求适应性、情境感知模型，以适应用户状态和情绪 ^1,2。这一演变凸显了精准、直观且个性化的交互框架的必要性。

最初的社交和辅助机器人通常依赖脚本化程序或单一模态输入，如语音或触摸，限制了灵活性³.基于规则的逻辑和缓慢的处理常常导致手势与语音之间的时间不匹配，或对用户行为的适应不良。为解决这些问题，研究人员采用低延迟融合、多模态感官整合和用户自适应学习 ^4,5。这些策略可以通过HRI广泛认可的三个基础沟通原则来理解：互补性（模式相互补偿）、冗余性（重叠提升稳健性）和协同效应（趋同增强自然性）。

感知和学习的进步催生了能够实时整合视觉、听觉、触觉和生理输入的社会响应机器人^5,6。这些系统不是固定脚本，而是不断根据用户提示进行调整。可访问的编程界面和从示范中学习的方法使教育者和治疗师能够为照护和教学定制行为，而精准、响应性和适应性至关重要。

社会HRI中的沟通模式可以分为平行模式、互补模式和互动模式（见图1）。在并行交互中，人类和机器人独立行动，交换极少。互补互动引入了结构化提示或基于事件的支持。最先进的交互模式涉及语音、移动和凝视⁷等通道间的持续双向调整。

文献选择与分析

系统评价方法论： 我们在Web of Science核心收藏中进行了系统文献检索，目标是主要出版商（IEEE、ACM、Springer、Elsevier、Wiley， Taylor & Francis）的同行评审期刊文章和完整会议论文集。布尔查询为：（（“人机交互”或 HRI）和（多模态 OR “传感器融合”或手势 OR 凝视 OR 语音 或触觉） AND（“实时” 或 “低延迟” 或 自适应 或 鲁棒））。纳入标准包括：2015年1月至2025年间的英文出版物——这一时期涵盖了从基于规则的单模态系统向强调低延迟、自适应性和稳健交互的深度学习架构转变的时期——重点关注多模态集成技术用于沟通HRI和实证验证（定量或定性）。我们排除了仅限于单峰交互的研究、无交流意图的机器人控制研究，以及非实证研究（如纯理论或仅模拟研究）。初步检索获得了大量资料。删除重复后，我们根据纳入标准筛选标题和摘要，然后进行全文综述以评估其对可靠多模态融合的相关性和贡献。这一多阶段过程在PRISMA风格流程图中总结（见图2），最终汇集了148篇论文，构成本综述的实证基础。

精选文献概述： 图3 显示了发表趋势和学科分布，计算机科学和自动化与机器人学占据主导地位，行为科学和神经科学的贡献也在不断增长，这凸显了该领域的跨学科发展轨迹。我们按多模积分的技术贡献主题分组了文献（见表1）。该综合涵盖了模态、融合方法、延迟处理、鲁棒性策略、适应性和指标。2019年至2021年的研究主要采用早期或晚期融合，常强调手势和触觉输入。自2022年以来，混合型和注意力型架构越来越受欢迎，尤其是在情感性和身体互动方面。在该语料库中，混合融合约占43%，早期融合29%，晚期融合28%——这一分布表明对时间异步的容忍度有所提升。

尽管最初筛选的广泛文献中通常宣称实时能力，但只有少数研究详细介绍了具体的缓解策略（如缓冲处理、预测模型或传感器级优化）。鲁棒性通常依赖于过滤、冗余或基于规则的备用措施，而预见性适应则较为罕见。评估实践不一致，时间同步或交互流畅度的标准化评估仍然很少。各项研究的指标差异极大，直接比较往往困难。准确率、F1分数和延迟数据很常见，但它们源自不同的数据集、任务和环境条件;很少有论文采用共享的时间对齐或噪声鲁棒性基准。因此，在洁净实验室中表现优异，常常夸大了哪些方法能达到外部控制环境。制定一致的评估框架——或许包括在现实变异条件下的标准化延迟测试——将大大简化判断哪些方法真正推动该领域发展。

触觉-情感整合（仅有^六项研究8^{、9、10、11、12、13}研究涉及此问题）以及用户驱动时间不确定性下的动态延迟调整仍存在关键空白。文献中浮现出几个有趣的张力。混合融合常被赞扬^{为处理时间}错位的良好表现，但真正的预判或适应性行为仍然罕见，这让人质疑这种所谓的实时性能到底有多无缝。与此同时，视觉和基于语言的情感识别取得了显著进步，与将触觉线索与情感理解结合的有限工作形成鲜明对比。受控实验中的高精度在现实环境中也往往会下降，这凸显了在不同环境和用户之间泛化的持续挑战。表2总结了代表性的架构趋势和评估方法，并为后续章节讨论的挑战提供了参考。

本综述对多模态HRI文献作出了独特贡献。近期调查如赵等人¹⁴，提供了感知驱动决策的广泛概述，而王等人¹⁵ 则关注5G驱动的视觉-触觉传输。两者都强调通用框架或通信协议，对实时聚变权衡、度量可比性或部署挑战的讨论有限。相比之下，我们提供了更具针对性的分析：比较特定约束下的融合策略，批判跨研究指标的不一致，并突出实际差距——尤其是此前调查大多忽视的实验室与现场绩效差距。