评估面向工业4.0场景的混合现实沉浸式分析解决方案的可用性特征

摘要

本方案阐述了一种用于沉浸式分析的混合现实应用程序的技术设置。在此基础上，介绍了一项研究中所采用的评估方法，以深入了解该技术解决方案的可用性方面。

摘要

在医学或工业领域，对高维数据集的分析需求日益增加。然而，现有的技术解决方案往往使用复杂。因此，诸如沉浸式分析之类的新方法备受期待。沉浸式分析有望以便捷的方式，使不同用户群体和各类数据集均能体验高维数据。从技术上讲，沉浸式分析依赖虚拟现实设备来实现。例如，在工业4.0中，识别高维数据集中的离群值或异常情况，正是沉浸式分析所追求的应用场景。在此背景下，针对任何已开发的沉浸式分析技术解决方案，都应解决两个重要问题：第一，该技术解决方案是否具有帮助作用？第二，用户在使用过程中的身体体验是积极还是消极？第一个问题关注技术方案的总体可行性，第二个问题则关注佩戴舒适性。目前，系统性探讨这两个问题的已有研究和方案仍较为罕见。本文提出了一项研究方案，主要针对工业4.0场景下沉浸式分析的可用性进行考察。具体而言，该方案基于四个支柱：第一，根据用户先前的经验对其进行分类；第二，设计一系列任务，用于评估技术方案的可行性；第三，采用若干测量指标，量化用户的学习效果；第四，通过一份问卷 评估用户执行任务时的压力水平。基于这四个支柱，本研究构建了一个技术环境，采用混合现实智能眼镜来实施该研究方案。所开展研究的结果一方面验证了该方案的适用性，另一方面也证实了沉浸式分析在工业4.0场景中的可行性。本文所提出的研究方案还包括对已发现局限性的讨论。

引言

虚拟现实解决方案（VR 解决方案）在不同领域正变得越来越重要。通常情况下，通过使用虚拟现实解决方案（包括虚拟现实、混合现实和增强现实），许多日常任务和操作流程将变得更加便捷。例如，在汽车领域，汽车配置过程可通过虚拟现实¹（VR）技术予以支持。研究人员和实践者已在该领域探索并开发了多种方法与解决方案。然而，针对可用性方面的研究仍然较为稀缺。总体而言，相关问题应围绕两个核心问题展开考量：首先，必须评估某种 VR 解决方案是否确实优于不采用 VR 技术的传统方法；其次，由于 VR 解决方案主要依赖于沉重且复杂的硬件设备，诸如佩戴舒适度和认知负荷等参数应得到更深入的研究。此外，上述各项因素始终应结合具体应用领域进行考察。尽管已有大量现有研究认识到探究这些问题的必要性²，但实际提供研究成果的文献仍相对较少。

虚拟现实（VR）领域当前一个重要的研究方向被称为沉浸式分析。该方向源于可视化分析这一研究领域，旨在将人类感知融入分析任务中。这一过程也被称为视觉数据挖掘⁴。沉浸式分析涵盖了数据可视化、可视化分析、虚拟现实、计算机图形学以及人机交互等多个领域的研究内容⁵。近年来，头戴式显示器（HMD）技术的进步为以沉浸方式探索数据提供了更好的可能性。伴随这一趋势，新的挑战和研究问题不断涌现，例如新型交互系统的设计、用户疲劳程度的评估需求，以及复杂三维可视化方法的开发⁶。在先前的一项研究⁶中，已探讨了沉浸式分析的重要原则。面对大数据背景，诸如沉浸式分析之类的方法正日益成为更有效地分析复杂数据集的必要工具。目前仅有少数研究关注沉浸式分析解决方案的可用性问题，此外，相关研究还应考虑具体应用领域或行业背景。本研究开发了一种沉浸式分析原型系统，并基于此设计了一套用于评估该系统在工业4.0场景中应用效果的实验方案。该方案采用体验式研究方法²，从主观感受、任务表现和生理指标三个方面进行综合评估。在本实验方案中，主观感受通过参与者在实验过程中感知到的压力水平来衡量；任务表现则通过完成分析任务所需的时间及产生的错误数量来评估；生理指标则由皮肤电导传感器采集。本文将展示前两项评估结果，而皮肤电导数据的分析尚需进一步处理。

本研究涉及多个研究领域，特别是神经科学与信息系统领域。有趣的是，有关信息系统神经科学层面的探讨近年来已引起关注 多个研究团队^7,8，表明有必要从认知角度探讨信息技术系统的应用。另一相关领域涉及信息系统中人为因素的研究。^9,10,11在人机交互领域，已有用于评估解决方案可用性的工具。需要注意的是，系统可用性量表（System Usability Scale）主要在此背景下使用。¹²出声思考法¹³ 是研究信息系统使用情况的另一种广泛应用的研究技术。尽管存在多种用于衡量信息系统可用性方面的方法，其中一些方法已在文中介绍 很久以前¹⁴，仍然存在一些问题需要探索新的测量方法或研究手段。因此，该领域的研究十分活跃^12,15,16.

下文将讨论为何在本研究中未考虑两种常用方法 工作。首先，未使用系统可用性量表（System Usability Scale）。该量表基于十个问题¹⁷ 其应用可见于其他多项虚拟现实研究中¹⁸ 以及。由于本研究主要旨在测量应激反应¹⁹，一种与压力相关的问卷更为合适。其次，没有采用出声思维法²⁰ 被使用。尽管此类方案在总体上已显示出其有效性¹³，此处未采用该方法，因为研究参与者在使用沉重且复杂的虚拟现实设备的同时，还需完成出声思维任务，这可能导致其压力水平升高。尽管未使用这两种技术，但本研究已整合了其他近期研究的结果。例如，在先前的研究中^21,22，作者在研究中区分了新手与专家。基于这些研究的成功结果， 本方案利用了上述研究对象的分离方法。压力测量则基于以下文献所提出的思想^15,19,21,22.

首先，为了开展本研究，必须选择一个合适的工业4.0场景以完成分析 任务。受作者另一项研究²³的启发，确定了两个场景（即分析任务）：（1）异常值检测，以及（2）聚类识别。这两个场景均具有挑战性，在高通量生产设备的维护背景下具有高度相关性。基于这一决策，本研究提出的实验方案由以下六个主要考虑因素驱动：

1. 本研究开发的解决方案在技术上将基于混合现实智能眼镜（参见 材料清单并将被开发为一种混合现实应用。
2. 必须开发一种合适的测试方法，能够区分新手与高级用户。
3. 性能指标应 考虑 时间和错误
4. 必须开发一个桌面应用程序，该程序可用于与沉浸式分析解决方案进行比较。
5. 一种测量方法 必须加以应用以评估感知压力水平。
6. 除了上述要点外，还应开发相关功能，以降低用户在完成前述两项分析任务过程中的压力水平 （即：（1）异常值检测，以及（2）聚类识别）。

根据上述六点，研究方案包含以下步骤。异常值检测与聚类识别分析任务必须通过混合现实智能眼镜以沉浸式方式完成（参见 材料表）。因此，开发了一种新的应用。空间声音将有助于操作的执行 分析任务，而不会增加认知负担。语音功能应简化用于导航的操作 所开发的应用程序 混合现实智能眼镜（参见 材料表）。心理旋转测试将作为区分新手与高级用户的基础。压力水平通过问卷进行测量。性能评估则基于（1）用户完成分析任务所需的时间，以及（2）用户在分析任务中所犯的错误。在混合现实智能眼镜中的表现将与在新开发的、可比的二维桌面应用程序中完成相同任务的表现进行比较。此外，使用皮肤电导设备测量皮肤电导水平，以评估其作为压力指标的可行性。该测量的结果需进一步分析，本文暂不讨论。作者在另一项使用相同设备的研究中指出，需考虑更多因素²⁴.

根据本方案，将解决以下五个研究问题（RQs）：

研究问题1：参与者的空间想象力是否显著影响任务表现？
研究问题2：任务表现是否会随着时间推移发生显著变化？
研究问题3：在沉浸式分析解决方案中使用空间声音时，任务表现是否会发生显著变化？
研究问题4：用户是否认为所开发的沉浸式分析系统具有较高压力？
研究问题5：与二维方法相比，用户在使用沉浸式分析解决方案时表现是否更优？

图1 从两个层面总结了本研究所提出的方案。图1展示了所开发和采用的测量方法及其在交互层次上的创新性。由于交互层次在为虚拟现实（VR）环境开发功能时是一个重要方面，因此图1旨在更清晰地呈现本研究整体方案的创新之处。尽管对这两个量表中各项内容的评估具有一定的主观性，但其总体评估依据当前相关研究以及以下主要考虑因素：一个重要的原则是利用用户已习惯的环境抽象形式实现自然交互。就本方案而言，点云的可视化对用户而言较为直观，且识别此类点云中的模式通常被认为是一项可管理的任务。另一个重要原则是叠加可供性（affordances）信息，例如本方案中采用的空间声音即为一例，因其与目标物体的接近程度相关联。作者建议将信息表达方式进行优化，使大部分信息集中在人类感知最为关键的中间区域。作者未在本方案中纳入此原则的原因在于，鼓励用户自行寻找最佳观察位置，并尝试在一个过大而无法一次性完整呈现的数据可视化空间中进行自主定向。在本研究所提出的方法中，未进一步考虑待展示三维数据的具体特征。例如，若某一维度具有时间属性，则可采用散点图进行呈现。作者认为此类可视化方法在工业4.0背景下总体上具有重要意义，但需聚焦于数量合理且有限的可视化形式。此外，已有前期研究专注于数据的协同分析，在本研究中，由于其他问题的复杂性较高，该研究问题被排除在外。在本研究所展示的设置中，用户可通过实际走动来探索沉浸式空间，而其他方法通常依赖控制器来浏览虚拟空间。本研究的重点在于可用性评估，采用系统可用性量表（System Usability Scale, SUS）进行测评。另一项前期研究曾针对经济学专家开展实验，但使用的是VR头显设备。总体而言，且最为重要的是，该研究指出了其他设备（如本研究所采用的混合现实智能眼镜）视野范围受限的问题（见 材料表）。他们的研究结果表明，虚拟现实领域的初学者能够高效地使用该分析工具。这与本研究的经验相符，尽管在本研究中并未将初学者定义为具有虚拟现实或游戏经验的用户。与大多数虚拟现实解决方案不同，混合现实不受固定位置限制，因为它能够追踪真实环境。一些虚拟现实方案提到使用特殊座椅以实现360°体验，使用户摆脱桌面束缚。有研究指出，感知问题会影响沉浸式分析的性能，例如通过使用阴影效果。但对于本研究而言，此方法不可行，因为所使用的混合现实智能眼镜（见材料表）无法显示阴影。一种可能的替代方案是构建虚拟地面，但此类设置超出了本研究的范围。一项关于沉浸式分析的调查研究指出，三维散点图是多维数据最常见的可视化形式之一。综上所述，上述各方面在 图1 目前尚未找到针对工业4.0场景中沉浸式分析可用性研究的已编译协议。

方案

所有材料和方法均经乌尔姆大学伦理委员会批准，并按照批准的指南进行。所有参与者均签署了书面知情同意书。

1. 建立合适的研究环境

注意：本研究在受控环境中进行 应对复杂的硬件设置。所使用的混合现实智能眼镜（参见 材料表）以及用于二维应用的笔记本电脑 向研究参与者进行说明。

1. 每次实验前检查每位参与者的设备技术状态，并设置为默认模式。准备好问卷并放置在参与者旁边。
2. 让参与者在一次实验会话中完成异常值检测和聚类识别两个用例中的任务（即平均耗时为43分钟）。
3. 通过欢迎参与者并介绍研究目的及整体流程，开始实验。
4. 使用皮肤电导测量设备的参与者（见材料表）必须先进行短暂的静息阶段，以获取基线测量值。仅一半参与者使用该设备。
5. 所有参与者在实验开始前均需填写状态-特质焦虑量表（STAI）问卷³¹。
   1. 随后， 参与者需完成心理旋转测试（见图4，该测试用于评估空间想象能力），以此区分高表现者与低表现者（高表现者为高级用户，低表现者为新手）；之后进行空间听觉测试，以测量参与者空间听觉能力。
      注：采用心理旋转测试得分的中位数分割法³²来区分低表现者与高表现者。
6. 将参与者随机分为两组； 一组先进行异常值检测任务，再进行聚类识别任务，另一组顺序相反。在聚类识别任务中，一半参与者首先使用混合现实智能眼镜（见材料表），然后使用二维应用程序，而另一半参与者则先使用二维应用程序，再使用混合现实智能眼镜（见材料表）。 在异常值 检测任务中，随机选择其中一组提供声音辅助支持，另一组则不提供声音支持。   
7. 实验会话结束时， 参与者需再次填写状态-特质焦虑量表（STAI）问卷³¹，以及自研问卷和人口统计学问卷。  
8. 实验结束后，将各开发应用程序自动记录生成的数据存储至笔记本电脑中。

2. 参与者研究方案

1. 为每位参与者准备实验（实验房间示意图见图2），展示台式计算机、所用的混合现实智能眼镜，并分发问卷。
2. 告知参与者实验将持续40至50分钟，其中一半参与者在完成前测（见研究方案第3-6步）后，首先进行异常值检测测试（见研究方案第7步），然后进行聚类识别测试（见研究方案第8步）；而另一半参与者则顺序相反（即先完成研究方案第8步，再完成第7步）。
3. 随机决定是否进行皮肤电导测量。若决定进行，则准备皮肤电导测量设备³³，并告知参与者佩戴该设备。要求参与者进行短暂的静息阶段，以获取其压力水平的基线测量值。
4. 要求参与者填写状态-特质焦虑量表（STAI）问卷³¹，并告知他们该问卷用于测量实验开始前当前感知到的压力水平 。
5. 进行心理旋转测试。
   1. 告知参与者将评估其心理旋转能力，并引导他们至台式计算机前。向参与者说明测试流程，指出他们需要在模拟的三维空间中识别出位置不同但形状相似的物体。
   2. 告知参与者，在显示的五个物体中仅有两个是相似的，整个测试限时2分钟。告知参与者在规定的2分钟内可完成七项任务，并说明每项完成任务的表现指标将被记录。
6. 评估空间听觉能力。
   1. 告知参与者将评估其空间听觉能力，并引导他们至台式计算机前。向参与者说明测试流程，解释他们需要检测六个声音样本，每个样本播放13秒。
   2. 告知参与者他们需要判断声音传来的方向（类比于四个罗盘方向）。
7. 评估异常值检测能力。
   1. 要求参与者佩戴混合现实智能眼镜。向他们说明需要在为混合现实智能眼镜构建的虚拟环境中找出异常值。
   2. 进一步告知参与者，异常值为红色标记的点，其余所有点均为白色标记。解释他们必须将视线对准红色标记的点以完成检测。
   3. 进一步告知参与者，除视觉辅助外，环境声音也将辅助他们发现异常值。告知参与者他们需要完成8项异常值检测任务，即在虚拟环境中8次找到红色标记的点。 对每位参与者而言，其中4项任务有声音支持，另外4项无声音支持。每位参与者首先进行有声音支持还是无声音支持的任务将被随机分配，之后任务间交替提供或不提供声音支持。
   4. 告知参与者将记录以下信息：每项任务所需时间、行走距离，以及最终移动位置相对于起始位置的变化情况。最后告知参与者，当红色标记的点被成功检测后，其颜色将变为绿色（见图3）。
8. 评估聚类识别能力。
   1. 为 参与者随机决定是首先使用混合现实智能眼镜，还是首先引导其至台式计算机前。 下文仅描述混合现实条件下的操作流程。若参与者首先使用台式计算机，则流程顺序相反，且不提供语音指令（语音指令仅在使用混合现实方案时提供）。
   2. 对于使用混合现实的参与者： 要求其佩戴混合现实智能眼镜。告知参与者如何在由混合现实智能眼镜构建的虚拟环境中识别聚类，并强调他们需要通过围绕聚类移动来区分重叠的聚类。
   3. 对于使用混合现实的参与者： 向参与者说明他们可通过语音指令在虚拟环境中导航并围绕聚类移动。最后告知参与者他们需要检测六个聚类。
   4. 对于使用混合现实的参与者： 要求参与者取下所用的混合现实智能眼镜，引导其至台式计算机前，并指示其使用屏幕上显示的软件。告知他们需使用台式计算机上的软件识别出与混合现实智能眼镜中显示类型相同的聚类（见图7和图8）。
9. 要求参与者填写三份问卷，分别为状态-特质焦虑量表（STAI）问卷³¹、自编的主观反馈问卷，以及用于收集人口统计学信息的问卷。
10. 若参与者在实验开始时被要求佩戴皮肤电导测量设备³³，则此时要求其取下该设备。
11. 感谢参与者的配合，结束实验。

结果

设置实验测量指标
针对离群值检测任务，定义了以下性能测量指标：时间、路径和角度。测量方法详见图6。

记录找到红色标记点（即离群值）所需的时间。该性能指标表示参与者找到红色标记点所需的时间。在结果中，时间以变量“time”表示（单位为毫秒）。

当参与者试图寻找标有红色的点时，记录其行走路径的长度。该计算的基础是所使用的混合现实智能眼镜（见材料表）以每秒60帧的频率采集相对于起始位置的当前三维坐标位置。基于此数据，可计算出参与者行走路径的总长度。该性能指标用于反映参与者行走量的多少。在结果中，该路径长度记为PathLength。基于PathLength，进一步衍生出三个性能指标：PathMean、PathVariance和BoundingBox。PathMean表示参与者每帧行进的平均速度（单位：米/帧），PathVariance表示运动的不规则性，而BoundingBox用于评估参与者是否充分使...

讨论

关于所开发的混合现实智能眼镜（参见材料表）应用，有两个方面尤为有益。一方面，空间声音在异常值检测任务中的应用获得了积极评价（见RQ3的结果）；另一方面，语音指令的使用也得到了正面反馈（见图10）。

关于研究参与者，尽管招募的参与者人数对于一项实证研究而言相对较少，但与许多其他研究相比仍具竞争力。尽管如此，后续计划基于本方案开展更大规模的研究。然而，由于该方案在60名参与者中已显示出可行性，预计增加参与者人数不会带来进一步的挑战。有讨论指出，参与者的遴选范围可以更广泛（即涵盖更多不同专业背景的参与者），且用于区分高表现者与低表现者的基线变量数量也可增加。另一方面，即使这些方面有所增加，该方案本身也无需进行根本性修改。

总体而言，所揭示的局限性不会影响基于本研究中所示方案开展实验，仅会影响受试者的招募以及人口统计学问卷所使用的问题。然而，本研究仍存在一项重要局限性：完成单个受试者实验所需的总时间较长。另一方面，由于受试者并未对佩戴舒适性或...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
edaMove	movisens
HoloLens	Microsoft
Matlab R2017a	MathWorks
RPY2	GNU General Public License v2 或更高版本 (GPLv2+)		https://pypi.org/project/rpy2/
SPSS 25.0	IBM