Summary
此协议描述了用于沉浸式分析的已开发混合现实应用程序的技术设置。在此基础上，提出了一些措施，这些措施在研究中用于深入了解所开发技术解决方案的可用性方面。
Abstract
在医学或工业中，越来越需要分析高维数据集。然而，可用的技术解决方案通常使用起来很复杂。因此，欢迎沉浸式分析等新方法。沉浸式分析有望以方便的方式为各种用户组和数据集体验高维数据集。从技术上讲，虚拟现实设备用于实现沉浸式分析。例如，在工业4.0中，识别高维数据集中的异常值或异常等场景是沉浸式分析的目标。在这种情况下，对于任何已开发的沉浸式分析技术解决方案，都应该解决两个重要问题：首先，技术解决方案是否有帮助？第二，技术方案的身体体验是积极的还是消极的？第一个问题旨在技术解决方案的总体可行性，而第二个问题旨在确保佩戴舒适性。系统地解决这些问题的现有研究和协议仍然很少。在这项工作中，提出了一个研究协议，主要研究工业4.0场景中沉浸式分析的可用性。具体而言，该协议基于四大支柱。首先，它根据以前的体验对用户进行分类。其次，提出任务，可用于评估技术方案的可行性。第三，提出了量化用户学习效果的度量。第四，问卷评估执行任务时的压力水平。基于这些支柱，实施了一个使用混合现实智能眼镜来应用研究方案的技术设置。研究结果表明，一方面该协议的适用性，另一方面表明沉浸式分析在工业4.0场景中的可行性。所提出的协议包括对发现的限制的讨论。
Introduction
虚拟现实解决方案（VR解决方案）在不同领域越来越重要。通常，使用VR解决方案（包括虚拟现实，混合现实和增强现实），许多日常任务和程序的完成应该变得容易。例如，在汽车领域，可以通过使用虚拟现实1 （VR）来支持汽车的配置过程。研究人员和从业人员在这方面调查并开发了多种方法和解决方案。然而，调查可用性方面的研究仍然很少。一般而言，应根据两个主要问题来考虑这两个方面。首先，必须评估VR解决方案是否真的优于不使用VR技术的方法。其次，由于VR解决方案主要依赖于繁重复杂的硬件设备，因此应更深入地研究佩戴舒适度和精神努力等参数。此外，应始终针对所讨论的应用领域调查上述方面。尽管许多现存的方法认为有必要调查这些问题2，但提出结果的研究较少。
VR领域的一个研究课题，目前很重要，用沉浸式分析来表示。它源自可视化分析的研究领域，该领域试图将人类感知纳入分析任务。这个过程也被称为可视化数据挖掘4。沉浸式分析包括数据可视化、可视化分析、虚拟现实、计算机图形学和人机交互等领域的主题5.头戴式显示器（HMD）的最新优势提高了以身临其境的方式探索数据的可能性。沿着这些趋势，新的挑战和研究问题出现了，例如新交互系统的开发，调查用户疲劳的需求或复杂的3D可视化的开发6。在之前的出版物6中，讨论了沉浸式分析的重要原则。鉴于大数据，越来越需要像沉浸式分析这样的方法来更好地分析复杂的数据池。只有少数研究调查沉浸式分析解决方案的可用性方面。此外，在此类研究中也应考虑有关领域或领域。在这项工作中，开发了一个沉浸式分析原型，并在此基础上开发了一个协议，该协议研究了为工业4.0场景开发的解决方案。因此，该协议利用了基于主观，性能和生理方面的体验方法2。在手头的协议中， 主观方面 是通过研究用户的感知压力来衡量的。反过来，性能是通过完成分析任务所需的时间和错误来衡量的。最后，用皮肤电导传感器测量生理参数。前两项措施将在这项工作中介绍，而测量的皮肤电导率需要进一步努力进行评估。
所提出的研究涉及多个研究领域，特别是包括神经科学方面和信息系统。有趣的是，对信息系统神经科学方面的考虑最近引起了几个研究小组7，8的关注，这表明从认知的角度探索IT系统的使用的需求。与这项工作相关的另一个领域是信息系统的人因调查9，10，11。在人机交互领域，存在用于研究解决方案可用性的工具。请注意，系统可用性量表主要用于此上下文12.大声思考协议13 是另一种广泛使用的研究技术，用于了解有关信息系统使用的更多信息。尽管存在许多方法来衡量信息系统的可用性方面，并且其中一些方法很久以前就已经提出14，但仍会出现需要研究新措施或研究方法的问题。因此，该领域的研究非常活跃12，15，16。
在下文中，将讨论为什么在当前工作中没有考虑两种普遍使用的方法的原因。首先，未使用系统可用性量表。该量表基于十个问题17，其使用也可以在其他几个VR研究18中找到。由于本研究主要针对压力的测量19，因此与压力相关的问卷更为合适。其次，没有使用大声思考协议20。尽管这种协议类型在一般情况下已经显示出它的有用性13，但这里没有使用它，因为研究用户的压力水平可能会增加，因为大声思考会议必须与使用繁重而复杂的VR设备并行完成。虽然这两种技术尚未使用，但最近其他研究的结果已被纳入手头的研究中。例如，在之前的作品21，22中，作者在研究中区分了新手和专家。基于这些研究的成功结果，手头的方案利用了这种研究用户的分离。反过来，应力测量基于以下作品15，19，21，22的思想。
首先，为了进行研究，必须找到合适的工业4.0场景来完成分析任务。受作者23的另一部工作的启发，已经确定了两种场景（即分析任务），（1）异常值的检测和（2）集群的识别。这两种情况都具有挑战性，并且在维护高吞吐量生产机器的上下文中高度相关。基于这一决定，六个主要考虑因素推动了这项工作中提出的研究方案：
- 为该研究开发的解决方案将在技术上基于混合现实智能眼镜（见 材料表），并将作为混合现实应用进行开发。
- 必须开发合适的测试，以便能够区分新手和高级用户。
- 绩效指标应考虑时间和错误。
- 必须开发桌面应用程序，该应用程序可以与沉浸式分析解决方案进行比较。
- 必须应用一种措施来评估感知的压力水平。
- 除了后一点之外，还应开发特征以减轻用户完成上述两个分析任务（即（1）异常值检测和（2）集群识别）的过程时的压力水平。
基于上述六点，研究方案包含以下程序。异常值检测和聚类识别分析任务必须使用混合现实智能眼镜以沉浸式方式完成（请参阅 材料表）。因此，开发了一个新的应用程序。空间声音应简化分析任务的执行，而不会增加脑力劳动。语音功能应简化用于混合现实智能眼镜开发应用的导航（请参阅 材料表）。心理旋转测试应作为区分新手和高级用户的基础。压力水平是根据问卷测量的。反过来，性能根据用户执行分析任务所需的 （1） 时间和用户为分析任务所犯的 （2） 错误进行评估。将混合现实智能玻璃的性能与新开发和可比较的 2D 桌面应用程序中相同任务的完成情况进行比较。此外，皮肤电导装置用于测量皮肤电导水平，作为压力的可能指标。该测量的结果有待进一步分析，本文将不讨论。作者在另一项使用相同设备的研究中透露，需要额外的考虑24。
基于该协议，解决了以下五个研究问题（RQ）：
RQ1：参与者的空间想象能力是否显着影响任务的表现？
RQ2：随着时间的推移，任务性能是否有显著变化？
RQ3：在沉浸式分析解决方案中使用空间声音时，任务性能是否有重大变化？
RQ4：开发的沉浸式分析是否被用户感知到压力？
RQ5：与 2D 方法相比，用户在使用沉浸式分析解决方案时的表现是否更好？
图1 总结了关于两个尺度的所提出的协议。它显示了开发和使用的措施及其在互动水平方面的新颖性。由于交互级别构成了为VR设置开发功能的一个重要方面，因此图1应更好地显示本工作中开发的整个协议的新颖性。虽然对两个使用的量表内的方面的评估是主观的，但它们的总体评估是基于当前的相关工作和以下主要考虑因素： 一个重要的原则是使用环境的抽象进行自然交互，用户已经适应其中。关于手头的协议，点云的可视化对用户来说似乎是直观的，并且识别此类云中的模式通常被认为是一项可管理的任务。另一个重要原则是叠加提供。因此，使用手头协议中使用的空间声音就是一个例子，因为它们与搜索对象的接近度相关。作者建议调整表示的方式是大多数信息位于中间区域，这对人类感知是最重要的。作者没有包括这一原则的原因是鼓励用户自己找到最佳位置，并尝试在数据可视化空间中定位自己，该空间太大而无法立即显示。在所提出的方法中，没有进一步考虑要显示的3D数据的特征。例如，如果假定维度是时态维度，则可以显示散点图。作者认为这种可视化在工业4.0的背景下通常很有趣。但是，它必须专注于一组相当小的可视化效果。此外，之前的出版物已经专注于数据的协作分析。在这项工作中，由于本研究中其他解决的问题的复杂性，该研究问题被排除在外。在这里呈现的设置中，用户可以通过四处走动来探索沉浸式空间。其他方法提供了控制器来探索虚拟空间。在这项研究中，重点是通过使用系统可用性量表（SUS）来确定可用性。之前的另一份出版物为经济专家进行了一项研究，但使用的是VR头显。总的来说，最重要的是，这项研究抱怨其他设备的视野有限，比如这项工作中使用的混合现实智能眼镜（见 材料表）。他们的发现表明，VR领域的初学者能够有效地使用分析工具。这与本研究的经验相匹配，尽管在这项工作中，初学者没有被归类为拥有VR或游戏体验。与大多数VR解决方案相比，混合现实不是固定在一个位置，因为它允许跟踪真实环境。VR方法，例如提到使用特殊的椅子进行360°体验，将用户从桌面上解放出来。的作者指出，感知问题会影响沉浸式分析的性能;例如，通过使用阴影。对于手头的研究，这是不可行的，因为使用的混合现实智能眼镜（见材料表）无法显示阴影。解决方法可以是虚拟楼层，但这样的设置超出了本研究的范围。沉浸式分析领域的一项调查研究发现，3D 散点图是多维数据最常见的表示形式之一。总而言之，目前无法找到图 1 中显示的方面，该协议调查了工业 4.0 场景沉浸式分析的可用性方面。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
所有材料和方法均经乌尔姆大学伦理委员会批准，并按照批准的指南进行。所有参与者都给予了书面知情同意。
1. 建立适当的学习环境
注意：该研究是在受控环境中进行的，以应对复杂的硬件设置。向研究参与者解释了使用的混合现实智能眼镜（见 材料表）和用于2D应用程序的笔记本电脑。
- 在每位参与者之前检查技术方案;在默认模式下设置。准备问卷并放在参与者旁边。
- 让参与者在一个会话中解决用例异常值检测和集群识别中的任务（即平均时间为 43 分钟）。
- 通过欢迎参与者并介绍研究的目标以及整个过程来开始研究。
- 使用皮肤电导测量设备（见 材料表）的参与者必须坚持短暂的休息阶段，以接受基线测量。只有一半的参与者使用这种设备。
- 在实验开始之前，所有参与者都必须填写状态特征焦虑量表（STAI）问卷31。
- 接下来，参与者必须进行心理旋转测试（见 图4，该测试评估了空间想象能力），这是区分高绩效和低绩效者的基础（高绩效者是高级用户，而低绩效者是新手），然后是空间声音测试以测量参与者的空间听力能力。
注意：心理旋转测试32 中测试分数的中位数用于区分低绩效和高绩效者。
- 接下来，参与者必须进行心理旋转测试（见 图4，该测试评估了空间想象能力），这是区分高绩效和低绩效者的基础（高绩效者是高级用户，而低绩效者是新手），然后是空间声音测试以测量参与者的空间听力能力。
- 将参与者随机分为两组;从异常值检测或集群识别任务开始，然后继续执行其他用例。对于集群识别任务，一半的参与者首先从使用的混合现实智能眼镜开始（见材料表），然后使用2D应用程序，而另一半首先从2D应用程序开始，然后使用混合现实智能眼镜（见材料表）。对于异常值检测任务，随机选择一组获得声音支持的组，而该组的另一部分没有声音支持。
- 会议结束时，参与者必须再次回答状态特征焦虑量表（STAI）问卷31 ，以及自行开发和人口统计学问卷。
- 会话完成后，将生成的数据存储在笔记本电脑的存储中，这些数据由每个开发的应用程序自动记录。
2. 参与者学习方案
- 为每个参与者准备实验（参见实验房间的 图2 ）。展示台式电脑、二手混合现实智能眼镜，并分发调查问卷。
- 告知参与者实验将需要 40 到 50 分钟，其中一半在预测试后开始（见研究方案第 3-6 点），首先进行异常值检测测试（见研究方案第 7 点），然后是聚类识别测试（见研究方案第 8 点），而其他人则完成这两项测试，反之亦然（即， 研究协议第8点第7点之前）。
- 随机决定是否进行皮肤电导测量。如果是，则准备皮肤电导测量装置33 并通知参与者戴上装置。要求参与者进行短暂的休息，以接受其压力水平的基线测量。
- 要求参与者填写状态特征焦虑量表（STAI）问卷31 ，并告知他们在实验前测量当前感知的压力。
- 进行心理旋转测试。
- 告知参与者他们的心理旋转能力已被评估，并将他们带到台式电脑前。告知参与者有关测试程序的信息。请注意，他们必须识别在模拟3D空间中具有不同位置的相似对象。
- 告知参与者，显示的五个对象中只有两个是相似的，他们将有 2 分钟的时间来完成整个测试。通知参与者可以在给定的 2 分钟内完成七项任务，并告诉他们为每个完成的任务记录绩效度量。
- 评估空间声音能力。
- 告知参与者他们的空间声音能力已得到评估，并将他们带到台式计算机前。告知参与者有关测试程序的信息。向参与者解释必须检测六个声音样本，每个样本将播放 13 秒。
- 告知参与者，他们必须检测声音来自的方向（类似于四个指南针方向）。
- 评估异常值检测技能。
- 要求参与者戴上混合现实智能眼镜。向他们解释，必须在为混合现实智能眼镜创建的世界中找到异常值。
- 进一步告知他们异常值是红色标记的点，所有其他点都是白色标记的。然后向他们解释，他们必须将目光引导到红色点上才能检测到它。
- 进一步告知参与者，不仅提供视觉帮助，还提供环境声音支持他们找到异常值。向参与者提供他们必须完成 8 个异常值任务的信息，这意味着在虚拟世界中必须找到 8 次红色点。对于每个参与者，有 4 个任务支持声音，而 4 个任务不受声音支持。对于每个参与者，随机选择他们是否启动声音支持的任务。然后，从第一个任务开始，无论是否提供声音支持，它都会因任务而异。
- 告诉参与者将记录哪些信息：每项任务所需的时间，步行的长度以及他们的最终移动位置与他们的起始位置的关系。最后告诉参与者，如果检测到红色标记的点，它将变为绿色（见 图3）。
- 评估群集识别技能。
- 为参与者随机决定是首先使用混合现实智能眼镜还是将参与者引导到台式计算机。下面仅介绍混合现实设置的过程。如果参与者首先从台式计算机开始，则过程在更改顺序上是相同的，除了语音命令外，仅在使用混合现实解决方案时提供语音命令。
- 对于使用混合现实的参与者：要求参与者戴上混合现实智能眼镜。告知参与者如何在使用过的混合现实智能眼镜创建的世界中查找群集。向参与者强调，他们必须通过围绕它们移动来区分重叠的集群。
- 对于使用混合现实的参与者：向参与者解释他们可以使用语音命令在虚拟世界和群集中导航。最后告诉参与者，他们必须检测六个集群。
- 对于使用混合现实的参与者：请求参与者取下用过的混合现实智能眼镜。将参与者引导至台式计算机，并告诉他们使用台式计算机屏幕上显示的软件。通知他们，必须使用台式计算机上的软件检测与使用的混合现实智能眼镜中显示的相同类型的群集（请参阅图 7 和 图 8）。
- 要求参与者填写三份问卷，即状态特征焦虑量表（STAI）问卷31，一份自行开发的问卷以收集主观反馈，以及一份人口统计学问卷以收集有关他们的信息。
- 如果参与者在开始时被要求戴上皮肤电导测量装置33 ，请要求他们将其取下。
- 通过感谢参与者的参与来减轻参与者的负担。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
设置试验的度量值
对于异常值检测任务，定义了以下性能度量：时间、路径和角度。测量结果见 图6 。
记录时间，直到找到红色标记的点（即异常值）。此性能度量指示参与者需要多长时间才能找到红色标记的点。时间在结果中表示为变量“时间”（以毫秒为单位）。
当参与者试图找到红色标记点时，他们的步行路径长度已经确定。此计算的基础是，使用的混合现实智能眼镜（请参阅 材料表）以每秒 60 帧的帧速率将当前位置作为相对于起始位置的 3D 矢量收集。基于此，可以计算参与者走过的路径长度。该绩效指标表明参与者是否走了很多路。路径在结果中表示为路径长度。基于PathLength，又推导出了三个性能度量：PathMean，PathVariance和BoundingBox。PathMean表示参与者的平均速度（以米/帧为单位），PathVariance表示运动的不稳定性，BoundingBox表示参与者是否密集使用他们的边界框。后者是根据所有动作的最大和最小位置确定的（即，经常改变步行位置的参与者显示更高的 BoundingBox 值）。
测量的最后一个值用角度平均值表示，并构成角度的派生值，该值用角度平均值表示。后者表示参与者的当前位置和起始位置之间的旋转，帧速率为每秒 60 次。在此基础上，计算出以每帧度为单位的平均旋转速度。根据该值推导，计算使用方差的旋转的不稳定性，表示为 AngleVariance。
为了总结计算路径和角度值的用途，路径指示用户是否走得很多。如果他们走路不多，这可能表明他们缺乏方向。反过来，角度应表明参与者是快速还是突然的头部运动。如果他们多次突然头部运动，这可能再次表明缺乏方向。
对于群集检测任务，定义了以下性能度量：时间和错误。记录时间，直到参与者报告他们检测到多少个集群的时间点。此性能度量指示参与者查找群集所需的时间。时间表示为时间（以毫秒为单位）。错误是在二元决策（真/假）的意义上识别的。报告的聚类数正确（真）或不正确（假）。错误用错误表示。
状态特征焦虑量表（STAI）问卷31 的状态版本用于测量状态焦虑，这是一种类似于状态压力的结构。问卷包括20个项目，在研究开始之前以及之后分发，以评估状态焦虑的变化。对于此问卷的评估，所有积极属性都被翻转（例如，答案“4”变为“1”），并且所有答案都汇总为最终的STAI分数。使用皮肤电导测量装置测量30名随机选择的参与者的皮肤电导率（见 材料表）33。
在完成这两种任务类型后，在研究结束时分发了一份自行开发的问卷，以征求参与者的反馈。问卷如 表1所示。此外，人口统计问卷询问了所有参与者的性别、年龄和教育程度。
整体学习程序和研究信息
整体进行的研究程序如图 9所示。60名参与者参加了这项研究。参与者大多来自乌尔姆大学和乌尔姆的软件公司。参与的学生主要来自计算机科学、心理学和物理学领域。10人为女性，50人为男性。
根据心理旋转预测试，31人被归类为低绩效者，而29人被归类为高绩效者。具体而言，7名女性和24名男性被归类为低绩效者，而3名女性和26名男性被归类为高绩效者。对于统计评估，使用了3种软件工具（见 材料表）。
频率、百分比、均值和标准差作为描述性统计量计算。使用Fisher精确检验和独立样本的t检验在基线人口统计变量中比较低绩效和高绩效者。对于RQ1 -RQ5，执行了具有完全最大似然估计的线性多水平模型。包括两个级别，其中一级代表重复评估（异常值检测或聚类识别），第二级代表参与者。性能度量（误差除外）是这些模型中的因变量。在RQ 1中，还使用了费舍尔对误差概率的精确检验。在RQ3中，研究了空间声音与无声音的时间表现（声音与无声音作为预测因子包含在模型中）。使用t检验对RQ4的依赖样本评估STAI评分。在RQ5中，使用McNemar的误差概率检验研究了2D应用程序与使用的混合现实智能眼镜（参见材料表）的影响。所有统计检验均进行双尾;显著性值设置为 P<.05。
皮肤电导结果尚未进行分析，有待未来的工作。重要的是，作者在另一项使用相同设备的研究中透露，需要额外的考虑因素24。
对于心理旋转测试，使用参与者之间心理旋转测试结果的差异来区分低绩效和高绩效者。在空间能力测试中，所有参与者都表现出良好的分数，因此在空间能力方面都被归类为高绩效者。
首先，总结参与者的重要结果：心理旋转表现不佳和高绩效者在基线变量（性别、年龄和教育程度）方面没有差异。描述性地，低绩效者的女性参与者比例高于高绩效者，高绩效者比低绩效者年轻。 表2 总结了参与者的特征。
关于RQ1的结果，对于集群识别任务，低绩效和高绩效对于2D应用程序（低绩效为4个错误，高绩效为2个错误）和3D方法（低绩效为8个错误，高绩效为2个错误）没有显着差异。对于异常值的检测任务，高绩效者明显快于低绩效者。此外，高绩效者需要更短的步行距离来解决任务。对于异常值的任务， 表 3 总结了详细结果。
关于RQ2的结果，仅针对异常值的检测任务出现了显着结果。边界框、路径长度、路径方差、路径平均值、角度方差和角度均值因任务而异显著增加（参见 表 4）。反过来，使用混合现实智能眼镜，记录的时间在任务之间没有显着变化（请参阅 材料表）。
关于RQ3的结果，基于空间声音，参与者能够比不使用空间声音更快地解决异常值检测案例中的任务（见 表5）。
关于RQ4的结果，在预评估中，STAI分数的平均状态为M = 44.58（SD = 4.67）。在评估后，它是M = 45.72（SD = 4.43）。这种变化没有达到统计学意义（p = .175）。自研问卷中答案的描述性统计如图 10所示。
关于RQ5的结果，混合现实智能眼镜（见 材料表）方法表明，集群识别时间明显快于使用台式计算机（见Table 6）。但是，使用混合现实智能眼镜（请参阅 材料表）时的速度优势相当小（即在毫秒范围内）。
最后，请注意，本研究的数据可以在36中找到。
图1：在互动与新颖性量表上调查了方面。 该图显示了所使用的度量值及其在交互水平方面的新颖性。 请点击此处查看此图的大图。
图2：自习室图片。 展示了两张自习室的照片。 请点击此处查看此图的大图。
图 3：检测到的异常值。 屏幕截图显示了检测到的异常值。 请点击此处查看此图的大图。
图4：心理旋转测试示例。 屏幕截图显示了参与者面对的 3D 对象;也就是说，具有相同对象结构的不同位置的五分之二的物体必须下注检测。该数字根据这项工作进行了修改35. 请点击此处查看此图的大图。
图 5：空间能力测试的设置。 在 （A） 中，显示了任务“返回”的音频配置，而在 （B） 中，显示了测试的示意图用户界面。该数字根据这项工作进行了修改35. 请点击此处查看此图的大图。
图 6：任务异常值检测设置图示。 显示了三个主要方面。首先，对异常值进行说明。其次，显示了绩效指标。第三，显示了声音支持的计算方式。该数字根据这项工作进行了修改35.请点击此处查看此图的大图。
图 7：任务群集识别的设置图示。 考虑场景A-C为了获得更好的印象，参与者必须改变他们的目光以正确识别集群。该数字根据这项工作进行了修改35. 请点击此处查看此图的大图。
图 8：Matlab 中任务集群识别的设置图示。 该图说明了 Matlab 中提供的集群，这是 2D 桌面应用程序的基础。请点击此处查看此图的大图。
图9：整体研究程序一览。 该图按时间顺序列出了参与者必须完成的步骤。该数字根据这项工作进行了修改35. 请点击此处查看此图的大图。
图10：自行编制的调查问卷的结果（见表1）。 结果使用箱线图显示。该数字根据这项工作进行了修改35. 请点击此处查看此图的大图。
| #Question | 问题 | 目标 | 规模 | 意义 |
| 1 | 戴眼镜的压力有多大？ | 穿 | 1-10 | 10 表示高，1 表示低 |
| 2 | 异常值的任务压力有多大？ | 异常 | 1-10 | 10 表示高，1 表示低 |
| 3 | 您体验到的空间声音压力有多大？ | 声音 | 1-10 | 10 表示高，1 表示低 |
| 4 | 在混合现实中查找群集的任务压力有多大？ | 群集 MR | 1-10 | 10 表示高，1 表示低 |
| 5 | 在桌面方法中查找集群的任务压力有多大？ | 集群数字输出 | 1-10 | 10 表示高，1 表示低 |
| 6 | 语音命令的使用压力有多大？ | 声音 | 1-10 | 10 表示高，1 表示低 |
| 7 | 你觉得空间声音支持你了吗？ | 声音 | 1-10 | 10 表示高，1 表示低 |
表1：自行编制的用户反馈问卷。 它包括7个问题。对于每个问题，参与者必须在1-10的范围内确定一个值，其中1表示低值（即不良反馈），10表示高值（即非常好的反馈）。
| 变量 | 低绩效 （n=31） | 高绩效者 | P 值 |
| （n=31） | （n=29） | ||
| 性别，n（%） | |||
| 女性 | 7 (23%) | 3 (10%) | |
| 雄 | 24 (77%) | 26 (90%) | .302（a） |
| 年龄类别，n（%） | |||
| <25 | 1 (3%) | 5 (17%) | |
| 25-35 | 27 (87%) | 21 (72%) | |
| 36-45 | 0 (0%) | 2 (7%) | |
| 46-55 | 1 (3%) | 0 (0%) | |
| >55 | 2 (6%) | 1 (3%) | .099 （a） |
| 最高学历，n（%） | |||
| 高中 | 3 (10%) | 5 (17%) | |
| 学士 | 7 (23%) | 6 (21%) | |
| 主人 | 21 (68%) | 18 (62%) | .692（a） |
| 心理旋转测试，平均值 （SD） | |||
| 正确答案 | 3.03 (1.40) | 5.31 (0.76) | .001 （b） |
| 错误的答案 | 2.19 (1.47) | 1.21 (0.56) | .000 （b） |
| 空间听力测试，平均值 （SD） © | |||
| 正确答案 | 4.39 (1.09) | 4.31 (1.00) | .467（b） |
| 错误的答案 | 1.61 (1.09) | 1.69 (1.00) | .940 （b） |
| a：费雪精确检验 | |||
| b：双样本t检验 | |||
| c：标清标准偏差 | |||
表2：参与者样本描述以及基线变量中低绩效和高绩效者的比较。 该表显示了性别、年龄和教育三个人口统计问题的数据。此外，还介绍了两个预测试的结果。
| 变量 | 估计 | 东南 （a） | 结果 |
| 跨任务的低绩效者的边界框 | 2,224 | .438 | t（60.00） = 5.08;页码<.001 |
| 跨任务更改高绩效者的边界框 | +.131 | .630 | t（60.00） = .21;p=.836 |
| 跨任务的低绩效人员时间 | 20,919 | 1,045 | t（60.00） = 20.02;页码<.001 |
| 跨任务的高绩效人员的时间更改 | -3,863 | 1,503 | t（60.00） = -2.57;p=.013 |
| 跨任务的低绩效者的路径长度 | 5,637 | .613 | t（60.00） = 9.19;页码<.001 |
| 跨任务改变高绩效者的光程 | -1,624 | .882 | t（60.00） = -1.84;p=.071 |
| 跨任务的低绩效者的路径方差 | 4.3E-4 | 4.7E-5 | t（65.15） = 9.25;页码<.001 |
| 跨任务的高绩效者的路径方差变更 | +4.3E-6 | 6.7E-5 | t（65.15） = .063;p=.950 |
| 跨任务的低绩效者的路径平均值 | .0047 | 5.3E-4 | t（60.00） = 8.697;页码<.001 |
| 跨任务的高绩效者的路径均值更改 | +3.8E-5 | 7.7E-4 | t（60.00） = .05;p=.960 |
| 跨任务的低绩效者的角度方差 | .0012 | 7.3E-5 | t（85.70） = 16.15;页码<.001 |
| 改变任务中高绩效者的角度方差 | -2.7E-5 | 1.0E-4 | t（85.70） = -.26;p=.796 |
| 跨任务的低绩效者的角度平均值 | .015 | .001 | t（60.00） = 14.27;页码<.001 |
| 跨任务的高绩效者的角度均值更改 | -3.0E-4 | 1.5E-3 | t（60.00） = -.20;p=.842 |
| （a） SE = 标准误差 | |||
表 3：RQ1 的多级模型的结果（使用智能眼镜进行异常值检测）。 该表显示了异常值检测任务的 RQ1 统计结果（对于所有性能度量）。
| 变量 | 估计 | 东南 （a） | 结果 |
| 第一个任务时的边界框 | .984 | .392 | t（138.12） = 2.51;p=.013 |
| 在任务之间更改边界框 | +.373 | .067 | t（420.00） = 5.59;页码<.001 |
| 第一个任务的时间 | 19,431 | 1,283 | t（302.08） = 15.11;页码<.001 |
| 从一个任务到另一个任务的时间更改 | -.108 | .286 | t（420.00） = -.37;p=.709 |
| 第一个任务的光程 | 3,903 | .646 | t（214.81） = 6.05;页码<.001 |
| 从任务到任务的路径长度的更改 | +.271 | .131 | t（420.00） = 2.06;p=.040 |
| 第一个任务时的路径方差 | 3.1E-4 | 3.7E-5 | t（117.77） = 8.43;页码<.001 |
| 从任务到任务的路径方差的更改 | +3.5E-5 | 4.5E-6 | t（455.00） = 7.90;页码<.001 |
| 路径平均值在第一个任务 | .0033 | 4.2E-4 | t（88.98） = 7.66;页码<.001 |
| 路径均值从一个任务到另一个任务的更改 | +4.1E-4 | 5.2E-5 | t（420.00） = 7.81;页码<.001 |
| 第一个任务的角度方差 | .001 | 5.7E-5 | t（129.86） = 17.92;页码<.001 |
| 角度变化任务之间的方差 | +4.1E-5 | 6.5E-6 | t（541.75） = 6.34;页码<.001 |
| 角度平均在第一个任务 | .0127 | 8.1E-4 | t（82.17） = 15.52;页码<.001 |
| 从任务到任务更改角度平均值 | +6.1E-4 | 9.0E-5 | t（420.00） = 6.86;页码<.001 |
| （a） SE = 标准误差 | |||
表 4：RQ2 的多级模型的结果（使用智能眼镜进行异常值检测）。 该表显示了异常值检测任务的 RQ2 统计结果（针对所有性能度量）。
| 变量 | 估计 | 东南 （a） | 结果 |
| 跨任务的边界框没有声音 | 2,459 | .352 | t（93.26） = 6.98;页码<.001 |
| 跨任务更改带有声音的边界框 | -.344 | .316 | t（420.00） = -1.09;p=.277 |
| 跨任务无声音的时间 | 20,550 | 1,030 | t（161.17） = 19.94;页码<.001 |
| 跨任务声音改变时间 | -2,996 | 1,319 | t（420.00） = -2.27;p=.024 |
| 跨任务的无声音路径长度 | 5,193 | .545 | t（121.81） = 9.54;页码<.001 |
| 跨任务改变带有声音的路径长度 | -.682 | .604 | t（420.00） = -1.13;p=.260 |
| 跨任务的路径无声音方差 | .0004 | 3.5E-5 | t（79.74） = 12.110;页码<.001 |
| 跨任务声音改变路径方差 | +1.3E-5 | 2.2E-5 | t（429.20） = .592;p=.554 |
| 跨任务无声音的路径平均值 | .005 | 4.0E-4 | t（73.66） = 11.35;页码<.001 |
| 跨任务更改带有声音的路径均值 | +1.4E-4 | 2.5E-4 | t（420.00） = .56;p=.575 |
| 角度跨任务无声音方差 | .0012 | 5.4E-5 | t（101.32） = 21.00;页码<.001 |
| 改变角度方差与跨任务的声音 | +3.3E-5 | 3.1E-5 | t（648.56） = 1.07;p=.284 |
| 角度均值跨任务无声音 | .0145 | 7.8E-4 | t（70.17） = 18.51;页码<.001 |
| 改变角度均值与跨任务的声音 | +6.0E-4 | 4.3E-4 | t（420.00） = 1.39;p=.166 |
| （a） SE = 标准误差 | |||
表 5：RQ3 的多级模型的结果（使用智能眼镜进行异常值检测）。 该表显示了异常值检测任务的 RQ3 统计结果（对于所有性能度量）。
| 变量 | 估计 | 东南 （a） | 结果 |
| 跨任务使用桌面的时间 | 10,536 | .228 | t（156.43） = 46.120;页码<.001 |
| 跨任务使用 Hololens 更改时间 | -.631 | .286 | t（660.00） = -2.206;p=.028 |
| （a） SE = 标准误差 | |||
表 6：RQ5 多级模型的结果（使用智能眼镜进行集群识别）。 该表显示了 RQ5 针对群集识别任务的统计结果（对于所有性能度量）。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
关于开发的混合现实智能眼镜（见 材料表）应用，有两个方面特别有益。一方面，将空间声音用于异常值的检测任务是积极的（参见RQ3的结果）。另一方面，语音命令的使用也被积极看待（见 图10）。
关于研究参与者，尽管实证研究招募的参与者数量相当少，但与许多其他工作相比，这个数字具有竞争力。尽管如此，计划根据所示方案进行更大规模的研究。然而，由于它显示了60名参与者的可行性，预计更多的参与者不会透露出进一步的挑战。与会者讨论说，参与者的选择范围可以更广（从参与者来自的领域意义上说），区分高绩效和低绩效者的基线变量的数量可以更多。另一方面，如果将这些方面更改为更高的数字，则协议本身不必发生深刻的变化。
一般来说，所揭示的局限性不会影响基于这项工作中显示的协议进行的研究，它们只影响人口调查问卷的招募和使用的问题。然而，这项研究的一个局限性仍然很重要：完成一个参与者的实验所需的总时间很高。另一方面，由于参与者没有抱怨佩戴舒适性，或者测试设备给他们带来了太多负担，因此为一名参与者进行整体协议的时间可以被认为是可以接受的。最后，在未来的实验中，必须在协议中添加几个方面。特别是，还应在 2D 桌面应用程序中评估异常值检测任务。此外，还必须评估其他硬件设备，例如使用的混合现实智能眼镜（请参阅 材料表）。然而，该协议似乎在更广泛的意义上是有益的。
对所提出的协议获得了以下主要见解。首先，它展示了评估混合现实解决方案沉浸式分析的可行性。具体来说，二手混合现实智能眼镜（见 材料表）揭示了它们在工业4.0场景的混合现实应用中评估沉浸式分析的可行性。其次，将开发的二手混合现实智能眼镜（请参阅 材料表）应用程序与 2D 桌面应用程序进行比较，有助于调查混合现实解决方案的性能是否优于不使用 VR 技术的应用程序。第三，在此类实验中应始终考虑生理参数或生命体征的测量。在这项工作中，使用问卷和皮肤电导装置测量压力。尽管后者在技术上工作正常，但作者在另一项使用相同设备的研究中透露，还需要额外的考虑因素24。第四，空间能力测试和高绩效和低绩效者的分离是有利的。总之，尽管所提出的协议乍一看似乎很复杂（见 图9），但它在技术上显示了它的实用性。关于结果，它也揭示了它的用处。
由于异常值的检测和集群的识别是工业4.0场景中许多高维数据集评估的典型任务，因此它们在实证研究中的使用是该研究领域的代表。该协议表明，这些场景可以很好地集成到沉浸式分析的可用性研究中。因此，在这种情况下，可以推荐使用的环境用于其他研究。
由于所显示的研究结果显示，使用基于所用智能眼镜的混合现实解决方案（参见 材料表）对于调查工业4.0场景的沉浸式分析很有用，因此该协议也可能用于给定上下文中的其他可用性研究。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
作者没有什么可承认的。
Materials
| Name | Company | Catalog Number | Comments |
| edaMove | movisens | ||
| HoloLens | Microsoft | ||
| Matlab R2017a | MathWorks | ||
| RPY2 | GNU General Public License v2 or later (GPLv2+) (GPLv2+) | https://pypi.org/project/rpy2/ | |
| SPSS 25.0 | IBM |
References
- Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , Springer, Cham. 169-189 (2019).
- Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , IEEE. 8-12 (2003).
- Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
- Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
- Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , Springer, Cham. 1-23 (2018).
- Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
- Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. Information Systems and Neuroscience. , Springer. (2018).
- Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
- Preece, J., et al. Human-computer interaction. , Addison-Wesley Longman Ltd. (1994).
- Card, S. K. The psychology of human-computer interaction. , CRC Press. (2018).
- Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
- Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
- Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
- Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
- System Usability Scale (SUS). Assistant Secretary for Public Affairs. , Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013).
- Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
- Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
- Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
- Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
- Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
- Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
- Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
- Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
- Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
- Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
- Cliquet, G., Perreira, M., Picarougne, F., Prié, Y., Vigier, T. Towards hmd-based immersive analytics. HAL. , Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017).
- Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
- Fonnet, A., Prié, Y.
- Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, Palo Alto, CA, USA. 1-24 (1970).
- Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
- Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
- Gautier, L. RPY2: A Simple and Efficient Access to R from Python. , Available from: https://sourceforge.net/projects/rpy/ (2020).
- Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
- Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).
