Name: 评估工业 4.0 方案中沉浸式分析的混合现实解决方案的可用性方面 (视频) | JoVE Journal
Uploaded: 2020-10-06T13:00:00.000+00:00
Duration: 6 min 2 s
Description: 了解工业4.0环境中混合现实智能眼镜的沉浸式数据分析可用性评估方法。本研究通过皮肤电导测量、心理旋转测试和状态-特质焦虑问卷，系统评估用户体验与技术有效性。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

作者无任何需要致谢的内容。

所有材料和方法均经乌尔姆大学伦理委员会批准，并按照批准的指南进行。所有参与者均签署了书面知情同意书。
1. 建立合适的研究环境
注意：本研究在受控环境中进行&#160;应对复杂的硬件设置。所使用的混合现实智能眼镜（参见 材料表）以及用于二维应用的笔记本电脑&#160;向研究参与者进行说明。
<ol>
	<li>每次实验前检查每位参与者的设备技术状态，并设置为默认模式。准备好问卷并放置在参与者旁边。</li>
	<li>让参与者在一次实验会话中完成异常值检测和聚类识别两个用例中的任务（即平均耗时为43分钟）。</li>
	<li>通过欢迎参与者并介绍研究目的及整体流程，开始实验。</li>
	<li>使用皮肤电导测量设备的参与者（见材料表）必须先进行短暂的静息阶段，以获取基线测量值。仅一半参与者使用该设备。</li>
	<li>所有参与者在实验开始前均需填写状态-特质焦虑量表（STAI）问卷31。
	<ol>
		<li>随后，&#160;参与者需完成心理旋转测试（见图4，该测试用于评估空间想象能力），以此区分高表现者与低表现者（高表现者为高级用户，低表现者为新手）；之后进行空间听觉测试，以测量参与者空间听觉能力。 
		注：采用心理旋转测试得分的中位数分割法32来区分低表现者与高表现者。</li>
	</ol>
	</li>
	<li>将参与者随机分为两组；&#160;一组先进行异常值检测任务，再进行聚类识别任务，另一组顺序相反。在聚类识别任务中，一半参与者首先使用混合现实智能眼镜（见材料表），然后使用二维应用程序，而另一半参与者则先使用二维应用程序，再使用混合现实智能眼镜（见材料表）。&#160;在异常值&#160;检测任务中，随机选择其中一组提供声音辅助支持，另一组则不提供声音支持。&#160;&#160;&#160;</li>
	<li>实验会话结束时，&#160;参与者需再次填写状态-特质焦虑量表（STAI）问卷31，以及自研问卷和人口统计学问卷。&#160;&#160;</li>
	<li>实验结束后，将各开发应用程序自动记录生成的数据存储至笔记本电脑中。</li>
</ol>
2. 参与者研究方案
<ol>
	<li>为每位参与者准备实验（实验房间示意图见图2），展示台式计算机、所用的混合现实智能眼镜，并分发问卷。</li>
	<li>告知参与者实验将持续40至50分钟，其中一半参与者在完成前测（见研究方案第3-6步）后，首先进行异常值检测测试（见研究方案第7步），然后进行聚类识别测试（见研究方案第8步）；而另一半参与者则顺序相反（即先完成研究方案第8步，再完成第7步）。</li>
	<li>随机决定是否进行皮肤电导测量。若决定进行，则准备皮肤电导测量设备33，并告知参与者佩戴该设备。要求参与者进行短暂的静息阶段，以获取其压力水平的基线测量值。</li>
	<li>要求参与者填写状态-特质焦虑量表（STAI）问卷31，并告知他们该问卷用于测量实验开始前当前感知到的压力水平&#160;。</li>
	<li>进行心理旋转测试。
	<ol>
		<li>告知参与者将评估其心理旋转能力，并引导他们至台式计算机前。向参与者说明测试流程，指出他们需要在模拟的三维空间中识别出位置不同但形状相似的物体。</li>
		<li>告知参与者，在显示的五个物体中仅有两个是相似的，整个测试限时2分钟。告知参与者在规定的2分钟内可完成七项任务，并说明每项完成任务的表现指标将被记录。</li>
	</ol>
	</li>
	<li>评估空间听觉能力。
	<ol>
		<li>告知参与者将评估其空间听觉能力，并引导他们至台式计算机前。向参与者说明测试流程，解释他们需要检测六个声音样本，每个样本播放13秒。</li>
		<li>告知参与者他们需要判断声音传来的方向（类比于四个罗盘方向）。</li>
	</ol>
	</li>
	<li>评估异常值检测能力。
	<ol>
		<li>要求参与者佩戴混合现实智能眼镜。向他们说明需要在为混合现实智能眼镜构建的虚拟环境中找出异常值。</li>
		<li>进一步告知参与者，异常值为红色标记的点，其余所有点均为白色标记。解释他们必须将视线对准红色标记的点以完成检测。</li>
		<li>进一步告知参与者，除视觉辅助外，环境声音也将辅助他们发现异常值。告知参与者他们需要完成8项异常值检测任务，即在虚拟环境中8次找到红色标记的点。&#160;对每位参与者而言，其中4项任务有声音支持，另外4项无声音支持。每位参与者首先进行有声音支持还是无声音支持的任务将被随机分配，之后任务间交替提供或不提供声音支持。</li>
		<li>告知参与者将记录以下信息：每项任务所需时间、行走距离，以及最终移动位置相对于起始位置的变化情况。最后告知参与者，当红色标记的点被成功检测后，其颜色将变为绿色（见图3）。</li>
	</ol>
	</li>
	<li>评估聚类识别能力。
	<ol>
		<li>为&#160;参与者随机决定是首先使用混合现实智能眼镜，还是首先引导其至台式计算机前。&#160;下文仅描述混合现实条件下的操作流程。若参与者首先使用台式计算机，则流程顺序相反，且不提供语音指令（语音指令仅在使用混合现实方案时提供）。</li>
		<li>对于使用混合现实的参与者：&#160;要求其佩戴混合现实智能眼镜。告知参与者如何在由混合现实智能眼镜构建的虚拟环境中识别聚类，并强调他们需要通过围绕聚类移动来区分重叠的聚类。</li>
		<li>对于使用混合现实的参与者：&#160;向参与者说明他们可通过语音指令在虚拟环境中导航并围绕聚类移动。最后告知参与者他们需要检测六个聚类。</li>
		<li>对于使用混合现实的参与者：&#160;要求参与者取下所用的混合现实智能眼镜，引导其至台式计算机前，并指示其使用屏幕上显示的软件。告知他们需使用台式计算机上的软件识别出与混合现实智能眼镜中显示类型相同的聚类（见图7和图8）。</li>
	</ol>
	</li>
	<li>要求参与者填写三份问卷，分别为状态-特质焦虑量表（STAI）问卷31、自编的主观反馈问卷，以及用于收集人口统计学信息的问卷。</li>
	<li>若参与者在实验开始时被要求佩戴皮肤电导测量设备33，则此时要求其取下该设备。</li>
	<li>感谢参与者的配合，结束实验。</li>
</ol>

<ol><li>Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aKorinth%2C+M+%22Science+and+Information+Conference%22">Science and Information Conference</a>. , Springer, Cham. 169-189 (2019).</li>
<li>Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aWhalen%2C+TE+%22IEEE+International+Symposium+on+Virtual+Environments%2C+Human-Computer+Interfaces+and+Measurement+Systems%2C+2003%22">IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003</a>. , IEEE. 8-12 (2003).</li>
<li>Martens, M. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((It+feels+real%3A+physiological+responses+to+a+stressful+virtual+reality+environment+and+its+impact+on+working+memory%5BTitle%5D)+AND+%22Journal+of+Psychopharmacology%22%5BJournal%5D)">It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory.</a> Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).</li>
<li>Keim, D. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Information+visualization+and+visual+data+mining%5BTitle%5D)+AND+%22IEEE+transactions+on+Visualization+and+Computer+Graphics%22%5BJournal%5D)">Information visualization and visual data mining.</a> IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).</li>
<li>Dwyer, T., et al. Immersive analytics: An introduction. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDwyer%2C+T+%22Immersive+analytics%22">Immersive analytics</a>. , Springer, Cham. 1-23 (2018).</li>
<li>Moloney, J., Spehar, B., Globa, A., Wang, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+affordance+of+virtual+reality+to+enable+the+sensory+representation+of+multi-dimensional+data+for+immersive+analytics%3A+from+experience+to+insight%5BTitle%5D)+AND+%22Journal+of+Big+Data%22%5BJournal%5D)">The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight.</a> Journal of Big Data. 5 (1), 53(2018).</li>
<li>Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDavis%2C+FD+%22Information+Systems+and+Neuroscience%22">Information Systems and Neuroscience</a>. , Springer. (2018).</li>
<li>Huckins, J. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fusing+mobile+phone+sensing+and+brain+imaging+to+assess+depression+in+college+students%5BTitle%5D)+AND+%22Frontiers+in+Neuroscience%22%5BJournal%5D)">Fusing mobile phone sensing and brain imaging to assess depression in college students.</a> Frontiers in Neuroscience. 13, 248(2019).</li>
<li>Preece, J., et al. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aPreece%2C+J+%22Human-computer+interaction%22">Human-computer interaction</a>. , Addison-Wesley Longman Ltd. (1994).</li>
<li>Card, S. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCard%2C+SK+%22The+psychology+of+human-computer+interaction%22">The psychology of human-computer interaction</a>. , CRC Press. (2018).</li>
<li>Pelayo, S., Senathirajah, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+factors+and+sociotechnical+issues%5BTitle%5D)+AND+%22Yearbook+of+Medical+Informatics%22%5BJournal%5D)">Human factors and sociotechnical issues.</a> Yearbook of Medical Informatics. 28 (01), 078-080 (2019).</li>
<li>Bangor, A., Kortum, P., Miller, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Determining+what+individual+SUS+scores+mean%3A+adding+an+adjective+rating+scale%5BTitle%5D)+AND+%22Journal+of+Usability+Studies%22%5BJournal%5D)">Determining what individual SUS scores mean: adding an adjective rating scale.</a> Journal of Usability Studies. 4 (3), 114-123 (2009).</li>
<li>Krahmer, E., Ummelen, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thinking+about+thinking+aloud%3A+A+comparison+of+two+verbal+protocols+for+usability+testing%5BTitle%5D)+AND+%22IEEE+Transactions+on+Professional+Communication%22%5BJournal%5D)">Thinking about thinking aloud: A comparison of two verbal protocols for usability testing.</a> IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).</li>
<li>Hornbæk, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Current+practice+in+measuring+usability%3A+Challenges+to+usability+studies+and+research%5BTitle%5D)+AND+%22International+Journal+of+Human-Computer+Studies%22%5BJournal%5D)">Current practice in measuring usability: Challenges to usability studies and research.</a> International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).</li>
<li>Peppa, V., Lysikatos, S., Metaxas, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human-Computer+interaction+and+usability+testing%3A+Application+adoption+on+B2C+websites%5BTitle%5D)+AND+%22Global+Journal+of+Engineering+Education%22%5BJournal%5D)">Human-Computer interaction and usability testing: Application adoption on B2C websites.</a> Global Journal of Engineering Education. 14 (1), 112-118 (2012).</li>
<li>Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+iterative+convergent+design+for+mobile+health+usability+testing%3A+mixed-methods+approach%5BTitle%5D)+AND+%22JMIR+mHealth+and+uHealth%22%5BJournal%5D)">The iterative convergent design for mobile health usability testing: mixed-methods approach.</a> JMIR mHealth and uHealth. 7 (4), 11656(2019).</li>
<li>System Usability Scale (SUS). Assistant Secretary for Public Affairs. , Available from: 
 <a target="_blank" href="https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html">https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html</a> (2013).</li>
<li>Fang, Y. M., Lin, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Usability+Testing+of+VR+Interface+for+Tourism+Apps%5BTitle%5D)+AND+%22Applied+Sciences%22%5BJournal%5D)">The Usability Testing of VR Interface for Tourism Apps.</a> Applied Sciences. 9 (16), 3215(2019).</li>
<li>Pryss, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Exploring+the+Time+Trend+of+Stress+Levels+While+Using+the+Crowdsensing+Mobile+Health+Platform%2C+TrackYourStress%2C+and+the+Influence+of+Perceived+Stress+Reactivity%3A+Ecological+Momentary+Assessment+Pilot+Study%5BTitle%5D)+AND+%22JMIR+mHealth+and+uHealth%22%5BJournal%5D)">Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study.</a> JMIR mHealth and uHealth. 7 (10), 13978(2019).</li>
<li>Zugal, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigating+expressiveness+and+understandability+of+hierarchy+in+declarative+business+process+models%5BTitle%5D)+AND+%22Software+%26+Systems+Modeling%22%5BJournal%5D)">Investigating expressiveness and understandability of hierarchy in declarative business process models.</a> Software & Systems Modeling. 14 (3), 1081-1103 (2015).</li>
<li>Schobel, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Learnability+of+a+configurator+empowering+end+users+to+create+mobile+data+collection+instruments%3A+usability+study%5BTitle%5D)+AND+%22JMIR+mHealth+and+uHealth%22%5BJournal%5D)">Learnability of a configurator empowering end users to create mobile data collection instruments: usability study.</a> JMIR mHealth and uHealth. 6 (6), 148(2018).</li>
<li>Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Enabling+Sophisticated+Lifecycle+Support+for+Mobile+Healthcare+Data+Collection+Applications%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications.</a> IEEE Access. 7, 61204-61217 (2019).</li>
<li>Hoppenstedt, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dimensionality+Reduction+and+Subspace+Clustering+in+Mixed+Reality+for+Condition+Monitoring+of+High-Dimensional+Production+Data%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data.</a> Sensors. 19 (18), 3903(2019).</li>
<li>Winter, M., Pryss, R., Probst, T., Reichert, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Towards+the+Applicability+of+Measuring+the+Electrodermal+Activity+in+the+Context+of+Process+Model+Comprehension%3A+Feasibility+Study%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study.</a> Sensors. 20, 4561(2020).</li>
<li>Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aButscher%2C+S+%22Proceedings+of+the+2018+CHI+Conference+on+Human+Factors+in+Computing+Systems%22">Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems</a>. , 1-12 (2018).</li>
<li>Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aWagner+Filho%2C+JA+%222nd+Workshop+on+Immersive+Analytics%22">2nd Workshop on Immersive Analytics</a>. , (2017).</li>
<li>Batch, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((There+is+no+spoon%3A+Evaluating+performance%2C+space+use%2C+and+presence+with+expert+domain+users+in+immersive+analytics%5BTitle%5D)+AND+%22IEEE+Transactions+on+Visualization+and+Computer+Graphics%22%5BJournal%5D)">There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics.</a> IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).</li>
<li>Cliquet, G., Perreira, M., Picarougne, F., Prié, Y., Vigier, T. Towards hmd-based immersive analytics. HAL. , Available from: 
 <a target="_blank" href="https://hal.archives-ouvertes.fr/hal-01631306">https://hal.archives-ouvertes.fr/hal-01631306</a> (2017).</li>
<li>Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aLuboschik%2C+M+%22Proceedings+of+the+2016+ACM+Companion+on+Interactive+Surfaces+and+Spaces%22">Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces</a>. , 47-53 (2016).</li>
<li>Fonnet, A., Prié, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Survey+of+Immersive+Analytics%5BTitle%5D)+AND+%22IEEE+Transactions+on+Visualization+and+Computer%22%5BJournal%5D)">Survey of Immersive Analytics.</a> IEEE Transactions on Visualization and Computer. , (2019).</li>
<li>Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((STAI+Manual+for+the+Stait-Trait+Anxiety+Inventory+%28self-evaluation+questionnaire%29%5BTitle%5D)+AND+%22Consulting+Psychologist%22%5BJournal%5D)">STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire).</a> Consulting Psychologist. 22, Palo Alto, CA, USA. 1-24 (1970).</li>
<li>Vandenberg, S. G., Kuse, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mental+rotations%2C+a+group+test+of+three-dimensional+spatial+visualization%5BTitle%5D)+AND+%22Perceptual+Motor+Skills%22%5BJournal%5D)">Mental rotations, a group test of three-dimensional spatial visualization.</a> Perceptual Motor Skills. 47 (2), 599-604 (1978).</li>
<li>Härtel, S., Gnam, J. P., Löffler, S., Bös, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Estimation+of+energy+expenditure+using+accelerometers+and+activity-based+energy+models-Validation+of+a+new+device%5BTitle%5D)+AND+%22European+Review+of+Aging+and+Physical+Activity%22%5BJournal%5D)">Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device.</a> European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).</li>
<li>Gautier, L. RPY2: A Simple and Efficient Access to R from Python. , Available from: 
 <a target="_blank" href="https://sourceforge.net/projects/rpy/">https://sourceforge.net/projects/rpy/</a> (2020).</li>
<li>Hoppenstedt, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Applicability+of+immersive+analytics+in+mixed+reality%3A+Usability+study%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Applicability of immersive analytics in mixed reality: Usability study.</a> IEEE Access. 7, 71921-71932 (2019).</li>
<li>Hoppenstedt, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Applicability+of+Immersive+Analytics+in+Mixed+Reality%3A+Usability+Study%5BTitle%5D)+AND+%22IEEE+Dataport%22%5BJournal%5D)">Applicability of Immersive Analytics in Mixed Reality: Usability Study.</a> IEEE Dataport. , (2019).</li>
</ol>

作者无任何披露信息。

关于所开发的混合现实智能眼镜（参见材料表）应用，有两个方面尤为有益。一方面，空间声音在异常值检测任务中的应用获得了积极评价（见RQ3的结果）；另一方面，语音指令的使用也得到了正面反馈（见图10）。
关于研究参与者，尽管招募的参与者人数对于一项实证研究而言相对较少，但与许多其他研究相比仍具竞争力。尽管如此，后续计划基于本方案开展更大规模的研究。然而，由于该方案在60名参与者中已显示出可行性，预计增加参与者人数不会带来进一步的挑战。有讨论指出，参与者的遴选范围可以更广泛（即涵盖更多不同专业背景的参与者），且用于区分高表现者与低表现者的基线变量数量也可增加。另一方面，即使这些方面有所增加，该方案本身也无需进行根本性修改。
总体而言，所揭示的局限性不会影响基于本研究中所示方案开展实验，仅会影响受试者的招募以及人口统计学问卷所使用的问题。然而，本研究仍存在一项重要局限性：完成单个受试者实验所需的总时间较长。另一方面，由于受试者并未对佩戴舒适性或...

虚拟现实解决方案（VR 解决方案）在不同领域正变得越来越重要。通常情况下，通过使用虚拟现实解决方案（包括虚拟现实、混合现实和增强现实），许多日常任务和操作流程将变得更加便捷。例如，在汽车领域，汽车配置过程可通过虚拟现实1（VR）技术予以支持。研究人员和实践者已在该领域探索并开发了多种方法与解决方案。然而，针对可用性方面的研究仍然较为稀缺。总体而言，相关问题应围绕两个核心问题展开考量：首先，必须评估某种 VR 解决方案是否确实优于不采用 VR 技术的传统方法；其次，由于 VR 解决方案主要依赖于沉重且复杂的硬件设备，诸如佩戴舒适度和认知负荷等参数应得到更深入的研究。此外，上述各项因素始终应结合具体应用领域进行考察。尽管已有大量现有研究认识到探究这些问题的必要性2，但实际提供研究成果的文献仍相对较少。
虚拟现实（VR）领域当前一个重要的研究方向被称为沉浸式分析。该方向源于可视化分析这一研究领域，旨在将人类感知融入分析任务中。这一过程也被称为视觉数据挖掘4。沉浸式分析涵盖了数据可视化、可视化分析、虚拟现实、计算机图形学以及人机交互等多个领域的研究内容5。近年来，头戴式显示器（HMD）技术的进步为以沉浸方式探索数据提供了更好的可能性。伴随这一趋势，新的挑战和研究问题不断涌现，例如新型交互系统的设计、用户疲劳程度的评估需求，以及复杂三维可视化方法的开发6。在先前的一项研究6中，已探讨了沉浸式分析的重要原则。面对大数据背景，诸如沉浸式分析之类的方法正日益成为更有效地分析复杂数据集的必要工具。目前仅有少数研究关注沉浸式分析解决方案的可用性问题，此外，相关研究还应考虑具体应用领域或行业背景。本研究开发了一种沉浸式分析原型系统，并基于此设计了一套用于评估该系统在工业4.0场景中应用效果的实验方案。该方案采用体验式研究方法2，从主观感受、任务表现和生理指标三个方面进行综合评估。在本实验方案中，主观感受通过参与者在实验过程中感知到的压力水平来衡量；任务表现则通过完成分析任务所需的时间及产生的错误数量来评估；生理指标则由皮肤电导传感器采集。本文将展示前两项评估结果，而皮肤电导数据的分析尚需进一步处理。
本研究涉及多个研究领域，特别是神经科学与信息系统领域。有趣的是，有关信息系统神经科学层面的探讨近年来已引起关注&#160;多个研究团队7,8，表明有必要从认知角度探讨信息技术系统的应用。另一相关领域涉及信息系统中人为因素的研究。9,10,11在人机交互领域，已有用于评估解决方案可用性的工具。需要注意的是，系统可用性量表（System Usability Scale）主要在此背景下使用。12出声思考法13 是研究信息系统使用情况的另一种广泛应用的研究技术。尽管存在多种用于衡量信息系统可用性方面的方法，其中一些方法已在文中介绍&#160;很久以前14，仍然存在一些问题需要探索新的测量方法或研究手段。因此，该领域的研究十分活跃12,15,16.
下文将讨论为何在本研究中未考虑两种常用方法&#160;工作。首先，未使用系统可用性量表（System Usability Scale）。该量表基于十个问题17 其应用可见于其他多项虚拟现实研究中18 以及。由于本研究主要旨在测量应激反应19，一种与压力相关的问卷更为合适。其次，没有采用出声思维法20 被使用。尽管此类方案在总体上已显示出其有效性13，此处未采用该方法，因为研究参与者在使用沉重且复杂的虚拟现实设备的同时，还需完成出声思维任务，这可能导致其压力水平升高。尽管未使用这两种技术，但本研究已整合了其他近期研究的结果。例如，在先前的研究中21,22，作者在研究中区分了新手与专家。基于这些研究的成功结果，&#160;本方案利用了上述研究对象的分离方法。压力测量则基于以下文献所提出的思想15,19,21,22.
首先，为了开展本研究，必须选择一个合适的工业4.0场景以完成分析&#160;任务。受作者另一项研究23的启发，确定了两个场景（即分析任务）：（1）异常值检测，以及（2）聚类识别。这两个场景均具有挑战性，在高通量生产设备的维护背景下具有高度相关性。基于这一决策，本研究提出的实验方案由以下六个主要考虑因素驱动：
<ol>
	<li>本研究开发的解决方案在技术上将基于混合现实智能眼镜（参见 材料清单并将被开发为一种混合现实应用。</li>
	<li>必须开发一种合适的测试方法，能够区分新手与高级用户。</li>
	<li>性能指标应&#160;考虑&#160;时间和错误</li>
	<li>必须开发一个桌面应用程序，该程序可用于与沉浸式分析解决方案进行比较。</li>
	<li>一种测量方法&#160;必须加以应用以评估感知压力水平。</li>
	<li>除了上述要点外，还应开发相关功能，以降低用户在完成前述两项分析任务过程中的压力水平&#160;（即：（1）异常值检测，以及（2）聚类识别）。</li>
</ol>
根据上述六点，研究方案包含以下步骤。异常值检测与聚类识别分析任务必须通过混合现实智能眼镜以沉浸式方式完成（参见 材料表）。因此，开发了一种新的应用。空间声音将有助于操作的执行&#160;分析任务，而不会增加认知负担。语音功能应简化用于导航的操作&#160;所开发的应用程序&#160;混合现实智能眼镜（参见 材料表）。心理旋转测试将作为区分新手与高级用户的基础。压力水平通过问卷进行测量。性能评估则基于（1）用户完成分析任务所需的时间，以及（2）用户在分析任务中所犯的错误。在混合现实智能眼镜中的表现将与在新开发的、可比的二维桌面应用程序中完成相同任务的表现进行比较。此外，使用皮肤电导设备测量皮肤电导水平，以评估其作为压力指标的可行性。该测量的结果需进一步分析，本文暂不讨论。作者在另一项使用相同设备的研究中指出，需考虑更多因素24.
根据本方案，将解决以下五个研究问题（RQs）：
研究问题1：参与者的空间想象力是否显著影响任务表现？ 
研究问题2：任务表现是否会随着时间推移发生显著变化？ 
研究问题3：在沉浸式分析解决方案中使用空间声音时，任务表现是否会发生显著变化？ 
研究问题4：用户是否认为所开发的沉浸式分析系统具有较高压力？ 
研究问题5：与二维方法相比，用户在使用沉浸式分析解决方案时表现是否更优？
图1 从两个层面总结了本研究所提出的方案。图1展示了所开发和采用的测量方法及其在交互层次上的创新性。由于交互层次在为虚拟现实（VR）环境开发功能时是一个重要方面，因此图1旨在更清晰地呈现本研究整体方案的创新之处。尽管对这两个量表中各项内容的评估具有一定的主观性，但其总体评估依据当前相关研究以及以下主要考虑因素：一个重要的原则是利用用户已习惯的环境抽象形式实现自然交互。就本方案而言，点云的可视化对用户而言较为直观，且识别此类点云中的模式通常被认为是一项可管理的任务。另一个重要原则是叠加可供性（affordances）信息，例如本方案中采用的空间声音即为一例，因其与目标物体的接近程度相关联。作者建议将信息表达方式进行优化，使大部分信息集中在人类感知最为关键的中间区域。作者未在本方案中纳入此原则的原因在于，鼓励用户自行寻找最佳观察位置，并尝试在一个过大而无法一次性完整呈现的数据可视化空间中进行自主定向。在本研究所提出的方法中，未进一步考虑待展示三维数据的具体特征。例如，若某一维度具有时间属性，则可采用散点图进行呈现。作者认为此类可视化方法在工业4.0背景下总体上具有重要意义，但需聚焦于数量合理且有限的可视化形式。此外，已有前期研究专注于数据的协同分析，在本研究中，由于其他问题的复杂性较高，该研究问题被排除在外。在本研究所展示的设置中，用户可通过实际走动来探索沉浸式空间，而其他方法通常依赖控制器来浏览虚拟空间。本研究的重点在于可用性评估，采用系统可用性量表（System Usability Scale, SUS）进行测评。另一项前期研究曾针对经济学专家开展实验，但使用的是VR头显设备。总体而言，且最为重要的是，该研究指出了其他设备（如本研究所采用的混合现实智能眼镜）视野范围受限的问题（见 材料表）。他们的研究结果表明，虚拟现实领域的初学者能够高效地使用该分析工具。这与本研究的经验相符，尽管在本研究中并未将初学者定义为具有虚拟现实或游戏经验的用户。与大多数虚拟现实解决方案不同，混合现实不受固定位置限制，因为它能够追踪真实环境。一些虚拟现实方案提到使用特殊座椅以实现360°体验，使用户摆脱桌面束缚。有研究指出，感知问题会影响沉浸式分析的性能，例如通过使用阴影效果。但对于本研究而言，此方法不可行，因为所使用的混合现实智能眼镜（见材料表）无法显示阴影。一种可能的替代方案是构建虚拟地面，但此类设置超出了本研究的范围。一项关于沉浸式分析的调查研究指出，三维散点图是多维数据最常见的可视化形式之一。综上所述，上述各方面在 图1 目前尚未找到针对工业4.0场景中沉浸式分析可用性研究的已编译协议。

<table><tbody><tr><td>edaMove</td><td>movisens</td><td></td><td></td></tr><tr><td>HoloLens</td><td>Microsoft</td><td></td><td></td></tr><tr><td>Matlab R2017a</td><td>MathWorks</td><td></td><td></td></tr><tr><td>RPY2</td><td>GNU General Public License v2 或更高版本 (GPLv2+)</td><td></td><td>https://pypi.org/project/rpy2/</td></tr><tr><td>SPSS 25.0</td><td>IBM</td><td></td><td></td></tr></tbody></table>

评估面向工业4.0场景的混合现实沉浸式分析解决方案的可用性特征

Evaluating Usability Aspects of a Mixed Reality Solution for Immersive Analytics in Industry 4.0 Scenarios

在医学或工业领域，对高维数据集的分析需求日益增加。然而，现有的技术解决方案往往使用复杂。因此，诸如沉浸式分析之类的新方法备受期待。沉浸式分析有望以便捷的方式，使不同用户群体和各类数据集均能体验高维数据。从技术上讲，沉浸式分析依赖虚拟现实设备来实现。例如，在工业4.0中，识别高维数据集中的离群值或异常情况，正是沉浸式分析所追求的应用场景。在此背景下，针对任何已开发的沉浸式分析技术解决方案，都应解决两个重要问题：第一，该技术解决方案是否具有帮助作用？第二，用户在使用过程中的身体体验是积极还是消极？第一个问题关注技术方案的总体可行性，第二个问题则关注佩戴舒适性。目前，系统性探讨这两个问题的已有研究和方案仍较为罕见。本文提出了一项研究方案，主要针对工业4.0场景下沉浸式分析的可用性进行考察。具体而言，该方案基于四个支柱：第一，根据用户先前的经验对其进行分类；第二，设计一系列任务，用于评估技术方案的可行性；第三，采用若干测量指标，量化用户的学习效果；第四，通过一份问卷&#160;评估用户执行任务时的压力水平。基于这四个支柱，本研究构建了一个技术环境，采用混合现实智能眼镜来实施该研究方案。所开展研究的结果一方面验证了该方案的适用性，另一方面也证实了沉浸式分析在工业4.0场景中的可行性。本文所提出的研究方案还包括对已发现局限性的讨论。

设置实验测量指标 
针对离群值检测任务，定义了以下性能测量指标：时间、路径和角度。测量方法详见图6。
记录找到红色标记点（即离群值）所需的时间。该性能指标表示参与者找到红色标记点所需的时间。在结果中，时间以变量“time”表示（单位为毫秒）。
当参与者试图寻找标有红色的点时，记录其行走路径的长度。该计算的基础是所使用的混合现实智能眼镜（见材料表）以每秒60帧的频率采集相对于起始位置的当前三维坐标位置。基于此数据，可计算出参与者行走路径的总长度。该性能指标用于反映参与者行走量的多少。在结果中，该路径长度记为PathLength。基于PathLength，进一步衍生出三个性能指标：PathMean、PathVariance和BoundingBox。PathMean表示参与者每帧行进的平均速度（单位：米/帧），PathVariance表示运动的不规则性，而BoundingBox用于评估参与者是否充分使...

本方案阐述了一种用于沉浸式分析的混合现实应用程序的技术设置。在此基础上，介绍了一项研究中所采用的评估方法，以深入了解该技术解决方案的可用性方面。

在医学或工业领域，对高维数据集的分析需求日益增加。然而，现有的技术解决方案通常难以...

在工业4.0背景下，使用智能眼镜进行数据分析具有巨大潜力，因为数据可以直接在设备现场进行分析。通过使用智能眼镜，操作人员能够在保持双手自由以进行维护工作的同时分析数据。请在配备台式计算机和混合现实智能眼镜的房间内开展该实验。请受试者佩戴皮肤电导测量设备，并静坐休息五分钟，以获取基础应激水平数据。随后，告知受试者实验将持续40至50分钟，并要求其填写状态-特质焦虑量表问卷，以评估实验过程中的主观应激感受。为进行心理旋转测试，请受试者坐在台式计算机前，并告知其需要在模拟的三维空间中识别位置不同但形状相同的物体。告知参与者，在展示的五个物体中仅有两个是相似的，且他们需要在两分钟内完成七项任务。为进行空间听觉能力评估，向参与者说明将播放六个声音，每个声音持续13秒，参与者需判断声音发出的方向。为进行异常值检测能力评估，请参与者戴上混合现实智能眼镜，并说明需在为混合现实智能眼镜创建的虚拟环境中找出八个异常项。向参与者解释，异常值是在一组白点中以红色标记的点，当他们通过注视发现该点时，该点会变为绿色。进一步说明，除了视觉提示外，还将提供环境声音线索以帮助定位异常值。然后告知参与者，系统将记录每项任务所需的时间、行走距离以及相对于起始位置的最终移动位置。为了进行聚类识别技能评估，请向参与者说明，他们需要在使用混合现实智能眼镜构建的环境中找到六个聚类，并强调参与者必须通过语音指令在聚类周围移动，以区分相互重叠的聚类。当六个聚类全部被找到后，让参与者取下智能眼镜并在计算机前就座，然后说明现在需要在计算机软件中识别相同类型的聚类。在桌面评估结束时，请参与者填写一份新的状态-特质焦虑量表问卷、一份自行设计的用于收集主观反馈的问卷以及一份人口统计学问卷。移除参与者的皮肤电导测量设备，并感谢其参与。在此代表性分析中，低表现组与高表现组在基线变量上未表现出差异，尽管低表现组中女性参与者比例高于高表现组，而高表现组的年龄低于低表现组。在聚类识别任务中，低表现组与高表现组在二维应用与三维方法之间均无显著差异。在异常值检测任务中，表现优异者显著快于表现较差者，且完成任务所需的行走距离更短。实际上，包围盒（BoundingBox）、路径长度（Pathlength）、路径方差（PathVariance）、路径均值（PathMean）、角度方差（AngleVariance）和角度均值（AngleMean）的数值在各项任务中均显著上升。尽管如此，使用混合现实智能眼镜时，记录的时间在各项任务之间变化较小。根据空间声音，参与者在使用空间声音进行异常检测任务时，解决问题的速度比不使用空间声音时更快。值得注意的是，任务前后评估的焦虑状态-特质问卷（State-Trait Anxiety Inventory）得分之间未表现出显著差异。此外，与使用台式计算机相比，参与者使用混合现实智能眼镜时，聚类识别时间虽小幅缩短，但具有显著性差异。由于在此新领域中筛选专家至关重要，我们加入了大量预测试。尽管我们在中性房间内测试了这些方法，但若能在工厂环境中观察真正的机器教师分析其数据，将十分有意义。

evaluating-usability-aspects-mixed-reality-solution-for-immersive

Research

科研

JoVE Journal

Engineering

工程

评估工业 4.0 方案中沉浸式分析的混合现实解决方案的可用性方面

本文介绍了一种利用网络化计算机实验室进行多人决策与导航实验的方法。...

用于多参与者决策科学与导航实验的网络化桌面虚拟现实系统

虚拟现实（VR）是一种强大但尚未充分利用的方法，可用于推动神经系统疾病的诊断与治疗。克利夫兰诊所虚拟现实购物平台将先进的VR内容与全向跑步机相结合，用以量化日常生活中工具性活动能力——这一指标被认为是神经系统疾病的前驱标志物。...

克利夫兰医学中心用于评估日常生活工具性活动能力的沉浸式虚拟现实购物平台

本研究提出了一种实验范式 a 结合主观与客观评估的可用性测试。客观评估采用神经信息系统（NeuroIS）方法，主观评估采用可用性问卷和美国国家航空航天局任务负荷指数（NASA-TLX）量表。...

增强现实可用性评估：一项神经信息系统研究

本研究开发了一种名为 MRE 的混合现实系统，旨在帮助学生在线上课程之外开展实验操作训练。实验共招募了 30 名学生；其中 10 名学生未使用 MRE，10 名学生使用 MRE，另外 10 名学生在使用 MRE...

混合现实技术在工程学在线课程中的教育应用及实施效果

本文介绍了一种利用360度图像、高斯点阵渲染和虚拟现实集成进行逼真三维重建的系统。该方法可应用于多种场景，例如教育领域用于模拟学习环境；建筑领域用于模拟异地施工和获取测量数据；或医疗领域用于训练自闭症患者完成日常生活任务。...

用于增强现实的基于学习的逼真景观

本文报道了一项针对现有现场工艺及其在封堵渗漏井筒方面改进方法的实验室规模研究。该方法包括对金属套管进行机械膨胀，从而改善金属与水泥之间的胶结，最终封闭水力通道，并防止因微环形通道存在而导致的气体泄漏。...

钢制套管机械膨胀作为解决井眼泄漏的方案

由于钯、金和钴的重要性及其广泛使用...

利用具有纳米级车轮状孔结构的新型传感器/吸附剂从城市矿山中检测和回收钯、金及钴金属

我们提出一种利用预加重技术来扩展相应频率的方法。该方法通过比例-积分-微分控制，补偿振镜在正弦波路径跟踪过程中增益降低的问题。...

使用预加重技术对比例-积分-微分控制下检流计镜正弦扫描进行增益补偿的方法

三电极电池在研究锂离子电池的电化学特性方面具有重要作用。这种电化学装置能够将正极和负极相关的过程解耦，从而实现独立分析。本文介绍了一种三电极纽扣电池的组装与使用方法，重点在于锂沉积分析。...

三电极纽扣电池制备及锂离子电池电沉积分析

本文介绍了一种纯单轴加载装置的构建方案。通过采用关键的设计要素，确保获得准确且可重复的测试结果。...

单轴加载机器开发中的设计要素应用

了解工业4.0环境中混合现实智能眼镜的沉浸式数据分析可用性评估方法。本研究通过皮肤电导测量、心理旋转测试和状态-特质焦虑问卷，系统评估用户体验与技术有效性。

评估面向工业4.0场景的混合现实沉浸式分析解决方案的可用性特征

探索更多视频