评估工业 4.0 方案中沉浸式分析的混合现实解决方案的可用性方面
October 6th, 2020
此协议描述了用于沉浸式分析的已开发混合现实应用程序的技术设置。在此基础上，提出了一些措施，这些措施在研究中用于深入了解所开发技术解决方案的可用性方面。
在工业 4.0 的背景下，使用智能眼镜执行数据分析具有巨大的潜力，因为可以直接在机器现场分析数据。使用智能眼镜，作员能够分析数据，同时解放双手进行维护工作。在配备台式计算机和混合现实智能眼镜的房间中执行实验。
让参与者戴上皮肤电导测量设备，让参与者休息 5 分钟，以获得基线压力水平测量值。然后，告诉参与者实验需要 40 到 50 分钟，并要求参与者填写一份状态-特质焦虑量表问卷，以测量实验期间感知到的压力。要进行心理旋转测试，让参与者坐在台式电脑前，并告诉参与者他们必须在模拟的 3D 空间中识别具有不同位置的相似对象。
告诉参与者，显示的 5 个对象中只有 2 个是相似的，他们将有 2 分钟的时间完成 7 项任务。要进行空间声音能力评估，请向参与者解释，每个声音还将播放 6 个声音，持续 13 秒，并且参与者必须检测声音的发出方向。要执行离群值检测技能评估，请让参与者戴上混合现实智能眼镜，并说明必须在为混合现实智能眼镜创建的世界中找到八个离群值。
向参与者解释异常值是一组白点中的红色标记点，当他们通过引导视线检测到该点时，该点将变为绿色。进一步说明，不仅会提供视觉帮助，还会包括环境声音提示以帮助定位异常值。然后，通知参与者每项任务所需的时间、行走的长度以及他们相对于起始位置的最终移动位置将被记录下来。
要进行集群识别技能评估，请向参与者解释，他们需要在使用的混合现实智能眼镜创建的世界中找到六个集群，并强调参与者必须通过使用语音命令在集群中导航来区分重叠的集群。找到所有 6 个集群后，让参与者坐在没有智能眼镜的电脑前，并解释现在必须在计算机软件中检测到相同类型的集群。在桌面评估结束时，要求参与者填写一份新的 State-Trait Anxiety Inventory 问卷、一份自行开发的收集主观反馈的问卷和一份人口统计问卷。
取下参与者的皮肤电导测量装置并感谢参与者的参与。在这项具有代表性的分析中，低绩效者和高绩效者在基线变量上没有差异，尽管低绩效者的女性参与者比例高于高绩效者，并且高绩效者比低绩效者年轻。对于集群识别任务，2D 应用程序和 3D 方法之间的低绩效和高绩效没有显着差异。
对于异常值检测任务，高绩效者明显比低绩效者快，并且需要更短的步行距离来解决任务。事实上，BoundingBox、Pathlength、PathVariance、PathMean、AngleVariance 和 AngleMean 值因任务而异。尽管使用混合现实智能眼镜时，记录的时间显示任务之间几乎没有变化。
基于空间声音，参与者能够比不使用空间声音更快地解决异常值检测案例中的任务。值得注意的是，状态-特质焦虑量表分数并未显示任务前和任务后评估之间的显着差异。此外，与参与者使用台式计算机时观察到的集群识别时间相比，参与者使用混合现实智能眼镜时观察到的集群识别时间较小但明显更快。
由于对这个新领域的专家进行筛选是必不可少的，因此我们提供了许多预测试。尽管我们在中立室中测试了这些方法，但看到真正的机器讲师在工厂环境中分析他们的数据会很有趣。
View the full transcript and gain access to thousands of scientific videos
概述
本协议概述了为沉浸式分析设计的混合现实应用程序的技术设置。它包括在研究中使用的措施，用于评估这种技术解决方案的可用性方面。
关键研究组成部分
科学领域
- 神经科学
- 混合现实技术
- 可用性研究
背景
- 智能眼镜能够在机器现场进行数据分析。
- 操作员可以在执行维护任务时分析数据。
- 了解可用性对于有效实施至关重要。
- 混合现实应用正在各个领域出现，包括工业4.0。
研究目的
- 评估混合现实应用程序的可用性。
- 探索智能眼镜在数据分析中的有效性。
- 收集应用程序使用期间用户体验的见解。
使用的方法
- 参与者佩戴了皮肤电导测量设备。
- 实验前测量基线压力水平。
- 参与者完成了状态-特质焦虑量表问卷。
- 在模拟3D空间中进行了心智旋转测试。
主要结果
- 从参与者反馈中收集了可用性见解。
- 在整个实验过程中监测了压力水平。
- 评估了心智旋转任务的表现。
- 使用智能眼镜评估了数据分析的有效性。
结论
- 混合现实应用程序在沉浸式分析中显示出前景。
- 用户体验对于此类技术的成功至关重要。
- 需要进一步的研究来完善可用性和功能性。
常见问题
Executive Industry Relevance
Immersive analytics using mixed reality smart glasses enables hands-free data analysis at machine sites, supporting real-time decision-making in Industry 4.0 environments. This approach reduces cognitive load by presenting high-dimensional data in intuitive 3D spatial formats, improving accessibility for operators and maintenance teams. Evaluating usability through structured protocols ensures the technology delivers reliable, stress-tolerant performance in industrial settings.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of complex biological datasets through spatial visualization, supporting hypothesis generation in target identification.
- Operational Value: Facilitates hands-free interaction with multidimensional assay data, allowing scientists to manipulate variables while maintaining sterile workflows.
Screening & Assay Development
- Scientific Value: Supports detection of subtle patterns in high-content screening data via spatial sound and visual cues, improving anomaly recognition.
- Operational Value: Enables standardized, repeatable data exploration across teams through protocol-driven task design and baseline stress normalization.
Translational & Preclinical Research
- Scientific Value: Bridges discovery and preclinical stages by validating analytical approaches in disease-relevant, simulated environments.
- Operational Value: Provides quantitative metrics on user performance and cognitive load, supporting go/no-go decisions in assay translation.
Pipeline & Workflow Integration
The method integrates into discovery biology by enabling spatial exploration of omics or imaging datasets, into screening via standardized anomaly detection tasks, and into translational research through measurable learning effects and stress response tracking.
- Discovery Biology: Supports hypothesis testing by allowing users to navigate and identify patterns in complex biological parameter spaces.
- Screening: Delivers assay readiness through protocolized outlier and cluster detection tasks that quantify user proficiency and system reliability.
- Analytics: Generates quantitative dependent variables such as task completion time, path length, and angular variance to enable condition comparison.
- Translational Research: Connects early discovery to preclinical validation by assessing whether analytical insights remain consistent across 2D and 3D interfaces.
- Enterprise Reuse: Establishes a reusable usability framework for evaluating immersive tools across different industrial and biological data contexts.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in data interpretation by reducing cognitive bias through immersive, multimodal feedback.
- Operational Value: Enhances reproducibility via standardized user stratification, baseline stress measurement, and protocolized task sequences.
- Strategic Value: Reduces late-stage biological risk by improving early detection of data anomalies that may indicate experimental artifacts or false leads.
- Portfolio Impact: Supports risk-adjusted advancement by providing objective usability metrics that inform tool selection for downstream applications.
Implementation Considerations
- Requires expertise in human-computer interaction and physiological monitoring to interpret stress and performance data.
- Depends on mixed reality hardware, eye-tracking, and spatial audio systems for full protocol execution.
- Necessitates cross-team agreement on user grouping criteria and task difficulty thresholds for consistent deployment.
- Must account for variability in user anatomy and sensory perception when adapting the system across different model environments or populations.
- Limited by the need for controlled environments to isolate variables such as ambient light and sound, which may affect immersive fidelity.
