一种用于沉浸式家居设计的手势与语音控制虚拟现实系统：系统设计与用户体验分析

摘要

本文介绍了一种由手势和语音控制的虚拟现实系统，用于沉浸式家居设计，通过手势与语音输入的多模态融合，提高了设计的准确性、可用性和可及性。实验结果表明，与传统方法相比，该系统能够缩短任务完成时间，提升布置精度，并提高用户满意度。

摘要

基于手势和语音的虚拟现实交互在多种应用中展现出潜力；然而，现有系统受限于对导航任务的侧重、对双手手势的依赖、缺乏细粒度精度，以及在小规模同质化人群中的测试。这些局限性制约了其在复杂且以设计为中心的工作流程中的应用。为解决上述问题，我们提出一种用于沉浸式家居设计的手势与语音控制虚拟现实系统，该系统融合了手部追踪手势输入与自然语言指令，实现家具的精确摆放、材质选择和空间调整。本系统的创新性体现在三个方面：（i）自适应交互模式，支持单手操作、数字语音指令以及从粗略到精细的精度调节；（ii）多模态融合架构，整合手势、语音和上下文信息，实现亚厘米级精度；（iii）面向任务的用户体验评估框架，专为家居设计流程定制。系统开发遵循系统化流程，涵盖需求分析、手势与语音词典设计、多模态意图识别、带自动吸附与对齐功能的虚拟现实场景构建，以及迭代测试。在多样化参与者群体上的实验结果表明，与基于控制器的交互相比，家具摆放误差减少了30%，可用性和工作负荷评分均有显著提升。结果表明，多模态虚拟现实技术在构建可及性强且富有参与感的家居设计体验方面具有广阔应用前景。

引言

虚拟现实（VR）是一种交互式计算机生成的环境，可产生三维体验，使用户能够如同身临其境般地观察、互动并借助技术进行交流。在本研究中，虚拟现实被视为一种多模态交互环境，而不仅仅是一种视觉显示技术。最新的VR系统将视觉交互与手势识别、空间感知以及自然语音输入相结合，使用户能够高精度地操作模拟物体。这一理解与当前虚拟现实研究中强调沉浸感、参与度和自然用户体验的方向保持一致。其应用领域涵盖表演、教学²，药物治疗³，以及旅行⁴虚拟现实（VR）通过模拟真实世界环境，使人们能够与现实中无法触及的世界进行互动和连接。在家居设计过程中，用户需要感知空间布局、操控物体并获得实时反馈，而无需进行实际的身体移动，此类沉浸式功能显得尤为重要。这些功能尤其为身体活动能力受限的用户带来了新的可能性。非正式弱势群体成员，特别是老年人以及字母数字识字能力较低的人群，其户外活动常受到多种因素限制，如身体机能障碍、行动不便，以及因年龄相关局限导致的数字技术使用困难。因此，有必要持续关注能够借助VR技术间接使这些人接触外部世界的相关研究。这种对持续研究的关注不仅有助于开发面向可及性的VR体验，也推动了超越基础导航任务的系统发展。事实上，通过自然手势和语音控制的沉浸式家居设计环境，可为老年用户、运动功能障碍者及数字弱势群体提供直观的方式，以与复杂的空间环境进行交互。此类系统通过提供对外部空间和创造性任务的间接访问，有助于提升功能独立....

方案

本研究获得了马来西亚泰莱大学沙阿南校区研究伦理委员会的批准。所有程序均遵守机构研究委员会制定的伦理准则，并符合《赫尔辛基宣言》的要求。在数据收集之前，已从每位参与者处获得知情同意。研究人员向参与者明确说明了研究目的，保证参与完全自愿，其回答内容将严格保密，且参与者可在任何阶段退出，不会产生任何后果。此外，已获得参与者书面知情同意，允许在学术出版物中使用匿名的互动数据和调查数据。本稿件中未包含任何个人身份信息、图像或敏感个人数据。

本研究提出了一种基于手势和语音的虚拟现实（VR）系统，专为沉浸式家居设计而构建，超越了当前以导航为导向的任务方法。该方法首先识别用户需求和设计活动，包括家具布置、物体缩放与旋转、材质编辑以及精确的房间测量。随后开发了一套手势交互系统，通过头戴设备追踪或MediaPipe Hands检测无约束的手势（如捏合、抓取和旋转），并利用轻量级机器学习模型（包括时间卷积网络，TCN）进行识别。为补充手势操作，建立了一套结构化的语音指令语法，结合基于Whisper的自动语音识别（ASR）与自然语言理解（NLU），以提取高层语义控制所需的意图和参数。两种模态通过多模态融合策略相结合，其中手势用于管理空间选择与操作，语音指令则提供精确调整，并引入基于置信度的仲裁机制以及通过撤销命令实现的错误恢复功能。

沉浸式设计环境部署在 Unity 3D 中，具备吸附功能、碰撞响应、测量叠加、交互式家具和材料库，以支持真实的设....

结果

所设计的多模态虚拟现实家居设计系统通过三个基础数据集进行了验证：EgoGesture（动态手势）、IPN Hand（持续性手势）和 Fluent Speech Commands（带意图-槽位标签的语音指令）。这三个数据集共同提供了全面的训练与评估基础，涵盖了手势识别和基于语音的语义理解。验证结果表明，与仅使用控制器或混合输入方式相比，手势与语音的融合显著提高了任务准确率并降低了操作负荷。

实验测试表明，多模态融合系统将放置精度提高了约30%，从而缩短了任务执行时间并降低了错误率。使用标准化量表（SUS、NASA-TLX、IPQ）进行的主观评估显示，系统的可用性评分提高，认知负荷降低，沉浸感评分更高。这些发现共同证实，将手势用于空间操作、语音命令用于语义/数值微调的结合方式，为基于虚拟现实的家居设计建立了一种更自然且高效的人机交互范式。该系统部署在一款消费级VR头显上，具备内置运动追踪功能，可实现沉浸式可视化和实时空间感知。系统采用RGB相机记录手部动作并识别手势，从而无需依赖直接的物理控制器即可完成交互。数据处理由一台高性能工作站完成（见材料表），.......

讨论

本研究的结果推动了基础论文所提出技术的发展，基础论文主要展示了结合手势与语音模式进行设计任务时，沉浸式虚拟现实导航在可访问性方面的优势。在所有客观和主观性能指标上，多模态系统的表现均优于基于控制器及混合方法，任务完成时间更短、放置准确率更高、错误率更低。此外，SUS、NASA-TLX 和 IPQ 等可用性指标也表明用户满意度更高、工作负荷更低、沉浸感更强。与关注导航过程中可访问性的基础论文不同，本研究证明了在执行虚拟设计任务时，多模态虚拟现实交互能够提升精确性、创造力和包容性。然而，低光照下手势误分类和嘈杂环境下语音误识别等问题仍然存在，表明仍有进一步优化的空间。总体而言，本研究再次证实了多模态交互在提升虚拟现实可用性、可访问性和包容性方面的潜力。

本研究提出的基于手势与语音的多模态虚拟现实系统所得结果，验证并补充了本文引用的先前研究成果。与Lee和Kim²以及Nagi和Al-Fuhaidi³的研究类似，这些研究均表明自然手势识别可增强人机交互的直观性，我们的研究也证实了手势是一种有效的空间操作模态。同时，针对先前研究强调的构建强健识别框架以降低输入错误的重要性4，本研究通过将手势.......

材料

本文使用的材料清单

姓名	公司	目录编号	评论
自我中心手势数据集（EgoGesture Dataset）	南洋理工大学	DOI: 10.1109/TMM.2018.2808769	用于动态手势识别训练的大规模自我中心手部手势数据集。
流利语音命令数据集（Fluent Speech Commands Dataset）	Fluent.ai / 阿尔伯塔大学	DOI: 10.48550/arXiv.1804.04363	用于语音意图识别和基于槽位的语义理解的ASR/NLU训练数据集。
HaGRID数据集（可选）	Sber AI / 开源	v1.1	用于静态手部手势检测器预训练的可选数据集。
Igroup存在感问卷（Igroup Presence Questionnaire, IPQ）	igroup.org	不适用	用于测量虚拟现实环境中的沉浸感与存在感。
IPN手部数据集（IPN Hand Dataset）	韦拉克鲁斯大学	DOI: 10.1109/CVPRW50498.2020.00241	用于连续、自然手部手势识别与分割任务的数据集。
Matplotlib / Seaborn	开源	最新稳定版本	用于性能指标和评估结果的可视化。
MediaPipe Hands	Google Research	开源（GitHub）	用于实时手部与手势追踪，实现手势输入识别。
Mozilla通用语音数据集（可选）	Mozilla基金会	版本17	用于在通用语音数据上对ASR模型进行预训练的可选数据集。
多模态融合层（Multimodal Fusion Layer）	自定义算法	不适用	基于置信度加权仲裁机制融合手势与语音输入流。
NASA-TLX工作负荷评估	NASA人因工程组	不适用	用于分析参与者的认知工作负荷。
自然语言理解模块（NLU Module）	自定义（基于BERT / RoBERTa）	不适用	用于从转录的语音输入中提取语义意图和槽位信息（动作、对象、参数）。
NumPy / Pandas / OpenCV	开源	最新稳定版本	用于数值运算、数据预处理和视频帧处理。
Python编程语言	Python软件基金会	版本3.10+	用于实现机器学习模型（TCN、ASR、NLU、融合模块）。
PyTorch深度学习框架	Meta AI	版本2.0+	用于构建和训练手势识别（TCN）和NLU模型。
RGB摄像头	Logitech / RealSense	Logitech C920 或 Intel RealSense D435	用于手部手势捕捉和运动识别输入。
系统可用性量表（SUS）问卷	标准评估工具	不适用	用于评估虚拟现实系统的主观可用性。
时间卷积网络（TCN）	自定义实现（PyTorch / TensorFlow）	不适用	用于从时间序列骨骼数据中进行动态手势识别。
Unity 3D引擎	Unity Technologies	版本2022.3 LTS	用于开发具有交互式家具、材质编辑和实时渲染的沉浸式虚拟现实环境。
VR头显	Oculus (Meta) / HTC Vive	Oculus Quest 2 或 HTC Vive Pro	用于虚拟现实交互过程中的沉浸式可视化和空间追踪。
Whisper ASR模型	OpenAI	Whisper（基础模型）	将语音转换为文本的自动语音识别引擎。
工作站	定制组装PC	Intel Core i7 / NVIDIA RTX 3070 / 32 GB内存	用于手势与语音模型的实时处理、训练和推理。