虚拟现实(VR)实验的实施可能较为困难,且需要细致的规划。本方案描述了一种用于设计和实施虚拟现实实验的方法,该实验可采集人类受试者的生理数据。本方法采用虚拟环境实验(Experiments in Virtual Environments, EVE)框架以加速该过程。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
虚拟现实(VR)实验的实施可能较为困难,且需要细致的规划。本方案描述了一种用于设计和实施虚拟现实实验的方法,该实验可采集人类受试者的生理数据。本方法采用虚拟环境实验(Experiments in Virtual Environments, EVE)框架以加速该过程。
由于虚拟现实(VR)实验相较于真实世界观察和实验室实验分别具有更高的内部效度和外部效度,其应用日益广泛。VR 特别适用于地理可视化以及空间行为的研究。在空间行为研究中,VR 提供了一个研究导航行为与生理指标(例如,皮肤电导、心率、血压)之间关系的平台。具体而言,生理指标使研究人员能够探讨新的科学问题,并对以往关于空间能力、策略和表现的理论加以限制和验证。例如,个体在导航表现上的差异,可能通过唤醒水平在多大程度上中介了任务难度的影响来解释。然而,VR 实验在设计与实施上的复杂性可能使实验人员偏离其主要研究目标,并在数据采集与分析过程中引入不一致性。为应对这些挑战,虚拟环境实验(Experiments in Virtual Environments, EVE)框架包含了若干标准化模块,例如参与者对控制界面的操作培训、使用问卷进行数据采集、生理测量的同步以及数据存储。EVE 还为数据管理、可视化和评估提供了必要的基础设施。本文介绍了一种利用 EVE 框架在 VR 环境中结合生理传感器开展导航实验的实验方案。该方案列出了招募参与者、佩戴生理传感器、使用 EVE 系统实施实验以及利用 EVE 评估工具分析所采集数据所需的各项步骤。总体而言,该方案将通过简化结合生理传感器的 VR 实验的设计与实施流程,促进未来相关研究的开展。
理解个体如何进行导航对多个领域具有重要意义,包括认知科学1,2,3、神经科学4,5以及计算机科学6,7。导航行为已在真实环境和虚拟环境中均得到研究。真实世界实验的一个优势在于,导航无需通过控制界面进行中介,因此可能产生更真实的空 间行为。相比之下,虚拟现实(VR)实验能够更精确地测量行为数据(例如,行走轨迹)和生理数据(例如,心率),并提供更高的实验控制性(即,内部效度)。这种方法有助于对数据进行更简明的解释,从而建立更可靠的导航理论。此外,神经科学研究也可从虚拟现实中受益,因为研究人员可以在参与者沉浸于虚拟环境但无法实际移动的情况下,探究导航相关的神经机制。对计算机科学家而言,实现虚拟现实中的导航需要在处理能力、内存和计算机图形方面进行独特的技术发展,以确保沉浸式体验。来自虚拟现实实验的研究成果还可应用于建筑学和制图学,通过优化建筑布局设计8和地图特征9来促进现实世界中的导航。近年来,虚拟现实技术的进步及其成本的显著降低,使得越来越多的实验室在其实验设计中采用虚拟现实。由于其日益普及,研究人员需要考虑如何简化虚拟现实应用的实施过程,并标准化实验流程。这一方法将有助于将资源从技术实现转向理论发展,并进一步拓展虚拟现实现有的能力。
在显示设备和控制方式方面,虚拟现实(VR)系统的设置在真实感上可有高有低。更具真实感的VR系统通常需要额外的基础设施,例如大范围的追踪空间和高分辨率显示器10。这些系统常采用重定向行走算法,将难以察觉的旋转和平移引入提供给用户视觉反馈中,从而有效扩展参与者可移动的虚拟环境11,12。这些算法可以是通用型的,即无需了解环境结构13;也可以是预测型的,即假设用户将沿特定路径移动14。尽管大多数关于重定向行走的研究使用头戴式显示器(HMDs),但一些研究人员将该技术与原地行走结合,应用于大型投影系统(例如,CAVE系统)中15。虽然HMD可佩戴在参与者头部,但CAVE显示器通常能提供更宽的水平视场角16,17。然而,使用桌面显示器的VR系统所需基础设施较少18,19。神经科学研究也已将VR系统与功能磁共振成像(fMRI)在扫描过程中结合使用20,或在扫描后结合使用21,22,以及在记录过程中与脑电图(EEG)结合使用23,24。为了协调用于导航研究的各种显示设备和控制方式,需要相应的软件框架。
结合虚拟现实(VR)与生理数据的研究带来了额外的挑战,例如数据采集与同步问题。然而,生理数据能够用于探究可能介导导航潜力与空间行为之间关系的内隐过程。事实上,已有研究采用桌面式虚拟现实系统及多种生理传感器组合,对压力与导航之间的关系进行了考察。即心率、血压、皮肤电导、唾液皮质醇和α-淀粉酶25,26,27,28例如,van Gerven 及其同事29 使用虚拟现实版的莫里斯水迷宫任务及多种生理学指标,研究了压力对导航策略和行为表现的影响例如皮肤电导、心率、血压)。他们的结果表明,压力能够预测个体在导航策略中对地标使用的倾向即,以自我为中心与以环境为中心)无关,但与导航表现无关。总体而言,先前研究关于压力对导航表现和空间记忆影响的结果存在一定程度的不一致。这种差异可能归因于应激源的差异(例如冷加压试验程序26星形镜像追踪任务25)从实际的导航任务中分离出来,使用简单的迷宫状虚拟环境(例如虚拟莫里斯水迷宫26,虚拟放射臂迷宫28),以及方法学细节的差异(例如,应激源类型,生理数据类型)。所收集的生理数据格式上的差异也可能对这类研究的实施与分析造成问题。
虚拟实验中的实验(EVE)框架可促进虚拟现实实验的设计、实施与分析,尤其适用于配备额外外设的实验例如眼动仪、生理监测设备30EVE 框架作为开源项目在 GitHub 上免费提供(https://cog-ethz.github.io/EVE/)。该框架基于广受欢迎的 Unity 3D 游戏引擎(https://unity3d.com/)和 MySQL 数据库管理系统(https://www.mysql.com/)。研究人员可利用 EVE 框架准备虚拟现实实验的各个阶段,包括实验前后问卷、任何生理数据的基线测量、控制界面的训练、主要导航任务以及对所导航环境的空间记忆测试。 (例如,相对方向的判断)。实验者还可以控制来自不同来源和不同聚合水平的数据同步。例如.,在不同试验、区组或时段之间)。数据源可以是物理的(即,连接至用户;参见 材料表)或虚拟的(即,取决于参与者虚拟形象与虚拟环境之间的交互)。例如,当参与者的虚拟形象穿过虚拟环境中的特定区域时,实验可能需要记录该参与者的心率及位置/方向数据。所有这些数据将自动存储到 MySQL 数据库中,并通过回放功能和 R 软件包进行分析。 evertools (https://github.com/cog-ethz/evertools/)。Evertools 提供数据分布的导出功能、基础描述性统计以及诊断工具。
EVE 框架可与多种物理基础设施和虚拟现实(VR)系统结合使用。在本实验方案中,我们描述了苏黎世联邦理工学院(ETH Zürich)NeuroLab 实验室中的一种具体实施方案(图1)。NeuroLab 是一间 12 米 × 6 米的房间,内设一个用于进行脑电图(EEG)实验的隔离舱、一个配备虚拟现实系统的隔间(2.6 米 × 2.0 米)以及一个用于安装生理传感器的带帘区域。该虚拟现实系统包括一台 55" 超高清电视显示器、一台高性能游戏计算机、一个操纵杆控制接口以及多个生理传感器(见材料表)。在接下来的章节中,我们将介绍在 NeuroLab 中利用 EVE 框架和生理传感器开展导航实验的实验方案,展示一项关于压力与导航研究的代表性结果,并讨论该系统所面临的机遇与挑战。
访问受限。请登录或开始试用以查看此内容。
以下实验方案是根据苏黎世联邦理工学院伦理委员会批准的提案 EK 2013-N-73 中的相关指南进行的。
1. 招募并准备参与者
2. 使用 EVE 准备实验和生理设备
3. 实验步骤
4. 每次实验结束后
访问受限。请登录或开始试用以查看此内容。
在NeuroLab中,我们通常从每位参与者收集生理数据(例如,心电图[ECG])、问卷数据(例如,圣巴巴拉方向感量表[SBSOD]31)以及导航数据(例如,在虚拟环境中的行进路径)。例如,心率变化(源自心电图数据)已与其他生理指标32和自我报告测量结果33结合,被用于反映应激状态的变化。我们的系统支持呈现多种类型的问卷,例如短期应激状态问卷34和SBSOD31。SBSOD是一种用于评估空间能力的自我报告测量工具,常与真实及虚拟大尺度环境中的导航行为相关联35。此外,导航数据还可用于推断参与者在不同应激情境下的空间决策行为(例如,犹豫情况、导航效率)36。
访问受限。请登录或开始试用以查看此内容。
本文介绍了一种利用EVE框架在虚拟现实(VR)环境中结合生理设备开展实验的方案。此类实验具有独特性,原因在于需要额外考虑硬件因素(例如,生理设备及其他外设)、使用VR采集生理数据前的准备步骤,以及数据管理需求。本方案为研究者同时采集多个外设数据提供了必要的操作步骤。例如,使用生理设备时,需对电极进行清洁,并将其固定在受试者身体的特定位置(例如,胸部和手指),同时确保不影响其他外设(例如,操纵杆)的正常使用。这些操作步骤的时间安排必须考虑生理信号可能发生的漂移,以及数据保持可靠的合适时间窗口。在每次实验会话的准备阶段,实验者对时间的把控同样至关重要。例如,受试者需完成一个基线阶段(例如,观看自然视频),以便实验者校正个体间生理反应性的差异;还需完成控制界面的训练阶段,以便实验者将受试者的操作能力与其在VR中的空间决策能力区分开来16,17。此外,随着数据源数量的增加,数据的同步与存储复杂性也随之上升。本文所述的EVE框架为在VR中处理多个数据源的研究提...
访问受限。请登录或开始试用以查看此内容。
作者无任何利益冲突需要披露。
虚拟环境由 VIS Games(http://www.vis-games.de)提供,用于开展虚拟现实研究。
访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Alienware Area 51 主机 | Dell | 210-ADHC | 计算设备 |
| 138 厘米 4K 超高清 LED 电视 | Samsung | UE55JU6470U | 显示设备 |
| SureSigns VS2+ 生命体征监护仪 | Philips Healthcare | 863278 | 血压 |
| PowerLab 8/35 数据采集系统 | AD Instruments | PL3508 | 皮肤电导 |
| PowerLab 26T (LTS) 数据采集系统 | AD Instruments | ML4856 | 心率 |
| Extreme 3D Pro 操纵杆 | Logitech | 963290-0403 | 人机接口设备 |
访问受限。请登录或开始试用以查看此内容。