Name: 使用虚拟现实飞行模拟器评估飞行性能和眼球运动模式 (视频) | JoVE Journal
Uploaded: 2023-05-19T13:50:00.000+00:00
Duration: 3 min 49 s
Description: 了解虚拟现实飞行模拟器评估飞行员表现的方法，通过眼动追踪和三维沉浸式环境分析飞行指标。该低成本平台灵活适用于飞行员选拔及宇航员筛选研究。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

作者非常感谢李 Yan 先生在招募试点参与者方面提供的帮助，并感谢卜 Lingyun 女士在绘图方面的工作。本研究得到国家自然科学基金（项目编号 T2192931、72071185）和国家脑科学计划（项目编号&#160;STI2030-重大项目（2022ZD0208500）、人因工程国家重点实验室项目（项目编号 SYFD062003）、人因工程国家重点实验室项目（项目编号 6142222210201）、2022年度军队后勤科研重大项目及空军装备综合研究重点项目&#160;（资助编号 KJ2022A000415）

本文所描述的所有方法均经清华大学机构审查委员会（IRB）批准，并已获得所有参与者的知情同意。实验完成后，所有参与者均获得 12 美元报酬（或等值礼品）。
1. 受试者选择
<ol>
	<li>根据先前使用 G*Power 软件35（见材料表）进行的效能分析研究招募参与者，以确保参与人数达到 G*Power 计算出的预期样本量，即 21 人。 
	注：G*Power 提供的预期样本量是指在指定效应量、显著性水平和所用统计检验方法的基础上，研究中为达到所需统计效能而估算所需的参与者数量。预期样本量是研究设计中的重要考量因素，有助于研究人员评估其研究方案的可行性与成本效益，并确保研究具备足够的统计效能以检测出有意义的效应。</li>
	<li>确保所有参与者均无癫痫、心脏或脑部疾病病史，近期未使用内分泌或精神类药物，且无严重皮肤过敏。</li>
	<li>使用斯内伦视力表（采用公制系统 6/6）36 确认参与者的视力正常或矫正后正常，并排除色盲或色弱等视觉障碍。</li>
	<li>确保参与者在实验前 24 小时内未摄入可能影响其飞行能力的酒精或药物。</li>
	<li>确保参与者在实验前睡眠时间不少于 6 小时，并处于良好的精神状态。</li>
</ol>
2. 飞行模拟器硬件
<ol>
	<li>检查飞行模拟器的所有硬件是否齐全。根据其功能，这些硬件被分为三个模块（表1）（参见 材料表). 
	注意：研究人员在接触设备前需先触碰金属棒，以避免静电感应带来的风险。
	<ol>
		<li>借助以下组件检查 VR、HMD（头戴式显示器）和眼动追踪模块 表2.</li>
		<li>确保所有飞行模拟器PC模块组件满足以下最低要求：3.6 GHz处理器、4 GB内存、64位操作系统和显卡。该系统将支持所有飞行控制器。</li>
		<li>检查飞行控制模块的各个组件，并确保设备的参数配置与 表3.</li>
	</ol>
	</li>
	<li>根据布局安装飞行模拟器的硬件 图1. 图2 展示硬件的连接方式。
	<ol>
		<li>将油门和控制面板进行物理连接，并将其作为一个整体单元处理。</li>
		<li>将油门、操纵杆和踏板连接到飞行模拟器PC模块 通过 USB</li>
		<li>将头戴式显示器（HMD）连接到飞行模拟器PC模块 通过 链接框</li>
		<li>将基站和VR控制器连接到头戴式显示器（HMD） 通过 PC 上的 VR 软件。</li>
	</ol>
	</li>
</ol>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td rowspan="2">VR头戴式显示器（HMD）与眼动追踪模块</td>
			<td>1. 基站</td>
		</tr>
		<tr>
			<td>2. VR头戴式显示器（HMD）</td>
		</tr>
		<tr>
			<td>飞行模拟器PC模块</td>
			<td>3. 飞行模拟器PC</td>
		</tr>
		<tr>
			<td rowspan="3">飞行控制模块</td>
			<td>4. 飞行油门杆</td>
		</tr>
		<tr>
			<td>5. 飞行操纵杆</td>
		</tr>
		<tr>
			<td>6. 飞行方向舵踏板</td>
		</tr>
	</tbody>
</table>
表1：飞行模拟器硬件三个模块的组成部件。
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>主要组件</td>
			<td>配件</td>
		</tr>
		<tr>
			<td rowspan="4">VR头戴式显示器（HMD）</td>
			<td>头戴设备连接线（已附带）</td>
		</tr>
		<tr>
			<td>面部垫圈（已附带）</td>
		</tr>
		<tr>
			<td>清洁布</td>
		</tr>
		<tr>
			<td>耳机孔塞 × 2</td>
		</tr>
		<tr>
			<td rowspan="4">连接盒</td>
			<td>电源适配器</td>
		</tr>
		<tr>
			<td>DisplayPort 连接线</td>
		</tr>
		<tr>
			<td>USB 3.0 连接线</td>
		</tr>
		<tr>
			<td>安装垫</td>
		</tr>
		<tr>
			<td rowspan="3">控制器（2018款）× 2</td>
			<td>电源适配器 × 2</td>
		</tr>
		<tr>
			<td>挂绳 × 2</td>
		</tr>
		<tr>
			<td>Micro-USB 连接线 × 2</td>
		</tr>
		<tr>
			<td rowspan="2">基站 2.0 × 2</td>
			<td>电源适配器 × 2</td>
		</tr>
		<tr>
			<td>安装套件（2个支架、4颗螺丝和4个墙锚）</td>
		</tr>
	</tbody>
</table>
表2：VR头戴式显示器和眼动追踪模块的组件列表。
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>设备</td>
			<td>参数配置</td>
		</tr>
		<tr>
			<td rowspan="5">飞行操纵杆</td>
			<td>十九个操作按钮</td>
		</tr>
		<tr>
			<td>一个八向“视角”帽开关</td>
		</tr>
		<tr>
			<td>多个三维磁传感器</td>
		</tr>
		<tr>
			<td>一个五线圈弹簧系统</td>
		</tr>
		<tr>
			<td>一个16位分辨率（65536 × 65536 个值）</td>
		</tr>
		<tr>
			<td rowspan="3">飞行控制面板</td>
			<td>十五个操作按钮</td>
		</tr>
		<tr>
			<td>一个配平轮</td>
		</tr>
		<tr>
			<td>五个可编程LED指示灯</td>
		</tr>
		<tr>
			<td rowspan="5">飞行油门杆</td>
			<td>十七个操作按钮</td>
		</tr>
		<tr>
			<td>一个带按压按钮的鼠标帽开关</td>
		</tr>
		<tr>
			<td>一个八向“视角”帽开关</td>
		</tr>
		<tr>
			<td>多个三维磁传感器</td>
		</tr>
		<tr>
			<td>两个14位分辨率</td>
		</tr>
		<tr>
			<td rowspan="2">飞行脚蹬</td>
			<td>张力范围为2.5 kg至5 kg</td>
		</tr>
		<tr>
			<td>角度范围为35°至75°</td>
		</tr>
	</tbody>
</table>
表3：飞行控制模块设备的参数配置。
<img alt="用于飞行员训练的虚拟飞行模拟装置，包含VR头显、操纵杆、油门和脚踏板。" class="xfigimg" src="/files/ftp_upload/65170/65170fig01.jpg" data-altupdatedat="1788304762000" data-alt="图1"> 
图1：VR飞行模拟器硬件布局。 <a href="https://www.jove.com/files/ftp_upload/65170/65170fig01large.jpg" target="_blank">请点击此处查看本图的放大版本。</a>
<img alt="用于训练的飞行模拟装置示意图，包含控制模块、PC 和 VR 设备。" class="xfigimg" src="/files/ftp_upload/65170/65170fig02.jpg" data-altupdatedat="1788304762000" data-alt="图 2"> 
图 2：飞行模拟器硬件的连接方式。（A）飞行控制模块。油门与控制面板在物理上连接为一体，作为一个整体单元处理。本研究中若使用“油门”一词，则同时指代油门和控制面板。（B）飞行模拟器 PC 模块。满足步骤 2.2 中所述要求的计算机。（C）头戴式显示器（HMD）与眼动追踪模块。当眼动追踪软件开发工具包（SDK）与 3D 引擎的 SDK 安装在同一台计算机上时，二者保持同步运行，从而实现眼动追踪功能与操作系统的交互与协同工作。<a href="https://www.jove.com/files/ftp_upload/65170/65170fig02large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
3. 飞行模拟器软件
<ol>
	<li>在实验开始前，请确保已安装所有软件（参见材料表）。实验中使用的所有软件信息见表4。</li>
</ol>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>名称</td>
			<td colspan="4">描述</td>
		</tr>
		<tr>
			<td>VR software</td>
			<td colspan="4">一种广泛使用的工具，用于在硬件设备上体验虚拟现实内容。</td>
		</tr>
		<tr>
			<td>VR app store</td>
			<td colspan="4">虚拟现实应用商店，用户可在其中探索、创建、连接并体验所需和喜爱的内容。</td>
		</tr>
		<tr>
			<td>Eye-tracking software</td>
			<td colspan="4">由研究团队通过眼动追踪和3D引擎SDK开发的眼动追踪软件。</td>
		</tr>
		<tr>
			<td>FlySimulator</td>
			<td colspan="4">飞行模拟器软件的主程序，由研究团队开发。</td>
		</tr>
		<tr>
			<td>Screen recording software</td>
			<td colspan="4">一款免费开源的视频录制和直播软件。</td>
		</tr>
	</tbody>
</table>
表4：实验中使用的所有软件的信息。
4. 启动飞行模拟器前的准备工作
注意：如果这是首次运行眼动追踪程序，请根据图3执行额外步骤。眼动追踪程序在首次运行后将自动激活。
<img alt="VR 系统设置流程图：连接头戴式显示器、启动软件、选择设备、同意条款。" class="xfigimg" src="/files/ftp_upload/65170/65170fig03.jpg" data-altupdatedat="1788304762000" data-alt="图 3"> 
图 3：首次运行眼动追踪程序时的额外步骤。 <a href="https://www.jove.com/files/ftp_upload/65170/65170fig03large.jpg" target="_blank">请点击此处查看本图的放大版本。</a>
<ol>
	<li>确保头戴式显示器（HMD）已开启并连接到计算机。</li>
	<li>将基站斜向放置，以确保头戴式显示器始终处于基站的监控范围内。保持基站固定，以维持稳定的虚拟现实（VR）环境。</li>
	<li>根据计算机上VR软件的提示设置仅限站立的活动区域。 
	注意：提示允许设置房间尺度的活动范围或仅限站立的活动区域。仅限站立模式通常用于体验无需行走的VR场景，当用户活动空间有限时可选择此模式。因此，在本实验中应设置仅限站立的活动区域。</li>
	<li>设置眼动追踪校准。每次更换受试者时，必须重新校准眼动追踪系统。
	<ol>
		<li>确认受试者未佩戴隐形眼镜，以免导致眼动追踪功能异常。</li>
		<li>使用VR控制器启动眼动追踪校准程序（参见材料表）。</li>
		<li>根据系统提示调整设备高度、瞳孔间距（IDP）和注视点。</li>
		<li>让受试者的视线依次顺时针注视每个校准点，每点持续2秒，以验证眼动追踪校准的有效性。</li>
	</ol>
	</li>
	<li>将调校好的飞行控制模块和大屏幕显示器（即至少27英寸的显示器）连接至与VR头戴式显示器相同的计算机。该屏幕可使实验人员同步查看VR头戴式显示器中的画面。</li>
</ol>
5. 实验步骤
注意：实验分为四个步骤：“收集信息”、“介绍任务与操作”、“实验前练习”和“进行正式实验”。实验流程总结于图4中。
<img alt="飞行模拟实验示意图；包含硬件、软件和数据采集过程。" class="xfigimg" src="/files/ftp_upload/65170/65170fig04.jpg" data-altupdatedat="1788304762000" data-alt="图4"> 
图4：实验流程图。 <a href="https://www.jove.com/files/ftp_upload/65170/65170fig04large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<ol>
	<li>收集参与者信息（15 分钟）。
	<ol>
		<li>填写参与者的付款信息表。</li>
		<li>告知参与者阅读知情同意书并签署。</li>
	</ol>
	</li>
	<li>向参与者介绍实验任务及模拟器操作（5 分钟）。
	<ol>
		<li>向参与者说明交通模式和地图（图 5）。</li>
		<li>指导参与者如何使用 VR 飞行模拟器。</li>
		<li>告知参与者，若在飞行模拟过程中感到不适，可随时退出实验。</li>
	</ol>
	</li>
	<li>要求参与者练习使用 VR 飞行模拟器（15 分钟）。
	<ol>
		<li>为参与者佩戴 VR 头戴式显示器（HMD），校准眼动；根据系统提示调节设备高度、瞳距（IDP）和注视点。</li>
		<li>打开屏幕录制软件。</li>
		<li>启动FlySimulator 程序，辅助参与者进行飞行训练。</li>
		<li>指导参与者协同使用飞行踏板、操纵杆和油门，尽可能贴近飞行参考线操控飞机（图 5）。</li>
		<li>退出FlySimulator 程序后，重置飞行油门和发动机开关按钮，并在受试者完成练习后停止屏幕录制。</li>
	</ol>
	</li>
	<li>进行正式飞行实验（20 分钟）。
	<ol>
		<li>为参与者佩戴 VR 头戴式显示器（HMD），运行OBS Studio开始屏幕录制。</li>
		<li>启动FlySimulator 程序，选择合适的视角，启动发动机，松开停留刹车，并将飞行油门推至最大。</li>
		<li>退出FlySimulator 程序后，重置飞行油门和发动机开关按钮，停止屏幕录制。</li>
	</ol>
	</li>
</ol>
<img alt="显示风向、起落航线、最后进近、顺风边、逆风转弯的飞机起落航线示意图。" class="xfigimg" src="/files/ftp_upload/65170/65170fig05.jpg" data-altupdatedat="1788304762000" data-alt="图5"> 
图5：VR飞行模拟器的起落航线示意图。 俯仰角是指飞机绕其左右轴旋转的角度，基准线（或中心参考线）位于红绿两线正中间。 <a href="https://www.jove.com/files/ftp_upload/65170/65170fig05large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
6. 数据分析
<ol>
	<li>分析眼动数据。
	<ol>
		<li>本研究将划分五个兴趣区域（AOI）区域；有关AOI计算的更多信息，请参见图6，该图基于与飞行驾驶舱仪表相对应的实际面板布局（图7）。</li>
		<li>根据本研究所用VR眼动仪的设备特性，采用兴趣区域内注视时间百分比进行AOI差异检验37。 
		注：平均注视时间百分比是指在某一兴趣区域内累计注视时间占总注视时间的百分比，再对所有参与者的数据取平均值。</li>
	</ol>
	</li>
	<li>使用Python 3.10编写的自定义编程脚本分析飞行表现数据。性能指标的核心算法改编自快速存取记录器（QAR）分析方法，灵感来源于美国国家航空航天局（NASA）提供的35架BAE-146飞机QAR数据38。 
	注：本研究的飞行表现指标包括：总飞行时间（每位参与者从起飞到着陆的总时长，单位为秒）、着陆前1秒的俯仰角（从原始数据中获取的飞机着陆前1秒的俯仰角，单位为度）、距参考线的平均距离（飞行过程中飞机与参考线之间空间距离的平均误差，单位为米），以及距参考线距离的标准差（飞行过程中飞机与参考线之间空间距离的标准差，单位为米）。</li>
	<li>进行统计分析。
	<ol>
		<li>采用Shapiro-Wilk检验39确认数据的正态性。</li>
		<li>使用统计软件（见材料表）进行描述性统计、Mann-Whitney U检验和Student t检验。</li>
		<li>绘制小提琴图以更清晰地展示数据分布的形态40。 
		注：采用Cohen's d衡量效应量的解释标准如下：0.1为极小，0.2为小，0.5为中等，0.8为大，1.2为很大，2.0为极大41,42。显著性水平设定为p &lt; 0.05。</li>
	</ol>
	</li>
</ol>
<img alt="AOI注视轨迹与统计分析的逐步数据分析流程图" class="xfigimg" src="/files/ftp_upload/65170/65170fig06.jpg" data-altupdatedat="1788304762000" data-alt="图6"> 
图6：AOI预处理与计算流程。 第1至第4节描述了本研究如何处理飞行员眼动数据，直至进行独立样本t检验。 <a href="https://www.jove.com/files/ftp_upload/65170/65170fig06large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="飞机驾驶舱仪表盘示意图，标有空速、姿态和高度的仪表。" class="xfigimg" src="/files/ftp_upload/65170/65170fig07.jpg" data-altupdatedat="1788304762000" data-alt="图7"> 
图7：飞行仪表AOI分区示意图。 各仪表的功能：(A) 空速表用于指示飞机相对于空气的飞行速度。(B) 姿态指示器用于显示飞机的俯仰和横滚姿态。(C) 垂直速度表用于指示飞机的上升或下降速度。(D) 高度表用于指示飞机的气压高度。(E) 发动机转速表用于指示飞机发动机的转速。 <a href="https://www.jove.com/files/ftp_upload/65170/65170fig07large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>

&#65279;作者声明不存在财务披露或利益冲突。

&#65279;本研究评估了在基于虚拟现实的飞行模拟器中，具有飞行经验的参与者是否比无飞行经验的参与者表现出更优的飞行性能。更重要的是，研究进一步评估了飞行性能更优的参与者是否具有更优化的眼动模式。结果显示，在三项关键的飞行快速存取记录器（QAR）指标上，有飞行经验与无飞行经验的参与者之间存在显著差异：着陆前1秒的俯仰角、距参考线的平均距离以及距参考线距离的标准差。图9B-D）。这些结果表明，具有飞行经验的参与者飞行偏差更小，飞行表现更稳定。同时，具有飞行经验和无飞行经验的参与者在三个关键仪器感兴趣区域（AOI）上的表现也存在显著差异：空速表、垂直速度表和高度表。图8A-C此外，有飞行经验的参与者比无飞行经验的参与者花费更多时间观察关键飞行仪表。
总之，飞行经验水平对飞行表现具有重要影响；专家的飞行表现数据显示，其飞行轨迹更集中于...

欧洲航空安全局（2012）将飞行模拟器归类为培训设施、飞行与导航程序训练器、飞行训练设备以及全功能飞行模拟器1。迄今为止，已有多种飞行模拟器可用于训练，从低级别的桌面系统到高度复杂的基于运动的全功能飞行模拟器2。传统的模拟器包括飞行动力学模型、系统仿真、硬件驾驶舱、外部可视化系统以及可选的运动模拟功能3。
这些传统飞行模拟器作为有效的飞行训练设备具有一些优势。然而，其成本较高，且对环境不友好，因为每个系统的运行都需要消耗大量电能，尤其是全动飞行模拟器，需要高温高压的液体或气压驱动，耗电量大并产生大量噪声4。
然而，简单的桌面模拟器系统具有灵活性高、成本低的优点，但其沉浸感较弱，交互性也低于全动飞行模拟器2。因此，开发新型飞行模拟器至关重要，这类模拟器应结合桌面系统与全动飞行模拟器的优势（即兼具桌面模拟的灵活性，以及接近全动飞行模拟器的沉浸感和交互水平）。
随着计算机技术的发展，尤其是虚拟现实（VR）技术的进步，一种基于新兴VR技术的新型飞行模拟器正成为现实。基于VR的飞行模拟器具有灵活性高、便于携带、成本低以及对空间需求较小等优点，相较于传统飞行模拟器具有明显优势5。在过去20年中，研究人员已开发出多种基于VR技术的飞行模拟器6,7,8,9,10,11；然而，这些VR飞行模拟器主要用于飞行训练，在飞行员选拔方面的应用仍较少。但随着成本降低和技术进步，基于VR的模拟器正在发生变化，已逐渐具备用于个体选拔的可行性。一些研究已在不同领域中使用基于VR的模拟器进行人员选拔：Schijven等人12利用虚拟现实模拟器选拔外科培训学员；Huang等人13开发了基于虚拟现实技术的空军飞行员招募心理选拔工具；Wojciechowski和Wojtowicz14基于VR技术评估候选人担任无人机（UAV）飞行员的能力。鉴于飞行员选拔对航空工业至关重要，开发一种专注于飞行员选拔的新型VR飞行模拟器已迫在眉睫，因为大规模飞行员选拔易受模拟器成本及便携性系统要求的影响。
眼动为飞行员的表现提供了线索。不同研究发现，眼动扫描模式能够区分专家级与新手级飞行员的表现。通过比较专家与新手的扫描模式，可以区分出专家高效且结构化的视觉运动行为，以及初学者不充分的扫描方式。多项航空研究发现，飞行员的眼动扫描策略与其专业水平高度相关15,16,17,18,19,20,21,22,23,24。根据Bellenkes等人25的研究，专家的注视持续时间更短，且对仪表的注视频率高于新手。Kasarskis等人26得出了几乎相同的结论，他们发现专家飞行员的注视次数更多且每次注视的持续时间更短，表明专家飞行员具备优于新手的视觉模式。在另一项研究中，Lorenz等.27发现，专家将更多时间用于观察驾驶舱外部环境，而新手则较少如此。这些结果在新进人员选拔方面具有重要的实践价值。
飞行表现评估是飞行员选拔中的另一个关键因素。然而，当前飞行员飞行表现评估中存在以下问题：专家意见相互冲突、选拔标准过多，以及缺乏统一的选拔理论。在驾驶领域，Horrey 等人28通过比较不同实验条件下偏离车道中心线的绝对值来评估驾驶表现。回到航空领域，飞行快速存取记录器（QAR）在飞行过程中记录了各类飞行员操作参数、飞机参数、环境数据以及警告信息29。更具体而言，作为QAR指标，俯仰角是飞机绕其左右轴旋转的角度30，而参考线（或中心参考线）位于红绿线正中间28；本研究利用这两个飞行参数来评估有无飞行经验参与者的飞行表现。这些QAR数据可用于评估飞行表现，但据我们所知，它们在科学研究中极少被用于个体化训练与选拔31,32。
通过测量眼动模式，可以评估和预测飞行表现，并为飞行员的培训与选拔提供指导。Gerathewohl33 指出，眼睛是飞行员最重要的感觉器官，能够处理80%的飞行信息。飞行员必须从驾驶舱内的仪表中获取视觉信息，并将其整合为连贯的图像以掌控飞行过程22。此外，优化的扫视行为对于实现更佳的飞行表现至关重要15。然而，目前尚无价格适中的飞行模拟器集成眼动追踪设备，以支持对眼动与飞行表现之间关系的定量研究。
本研究开发了一种新的虚拟现实（VR）飞行模拟器，用于评估具有飞行经验的参与者是否比无飞行经验者表现出更优的飞行操作能力。该VR飞行模拟器集成了眼动追踪系统与飞行动力学系统，可实现对眼动模式的分析及飞行表现的评估。特别需要指出的是，该VR飞行模拟器采用了一种VR眼动仪34，而非类似眼镜式或桌面式眼动仪，从而能够基于感兴趣区域（AOI）进行眼动分析，且无需耗时的逐帧计数。
最后，本研究可为未来的飞行员选拔提供一个综合性的评估体系，涵盖从眼动扫描轨迹到客观飞行表现数据的各个方面。借助虚拟飞行模拟器，飞行选拔的成本将显著降低，并可根据大量数据采集建立飞行员的标准化评估体系。该研究填补了传统飞行模拟器与桌面型模拟器在飞行选拔应用需求之间的空白。

<table><tbody><tr><td>3D引擎SDK</td><td>Epic Games</td><td>Unreal Engine 4&lt;br/&gt; GameAnalytics Unreal SDK</td><td>该SDK是一款功能强大且灵活的免费分析工具，专为游戏设计。</td></tr><tr><td>中央处理器（CPU）</td><td>Intel</td><td>IntelCore i9</td><td>主流市场上最强大的CPU之一。</td></tr><tr><td>眼动追踪SDK</td><td>Tobii</td><td>Tobii XR SDK</td><td>该SDK提供与设备无关的眼动追踪数据访问，支持使用来自不同硬件厂商的头显进行开发，并不仅限于使用Tobii眼动追踪硬件的设备。</td></tr><tr><td>眼动追踪软件</td><td>由研究团队开发</td><td></td><td>一种用于追踪用户在使用虚拟现实头戴显示器（HMD）时眼球运动的程序。</td></tr><tr><td>飞行模拟程序</td><td>由研究团队开发</td><td></td><td>一款在虚拟环境中模拟飞行体验的软件，使用VR头戴显示器和手持控制器。</td></tr><tr><td>显卡</td><td>NVIDIA</td><td>GeForce RTX 3090&lt;br/&gt; 10496 NVIDIA CUDA核心&lt;br/&gt; 1.70 GHz加速时钟&amp;nbsp;&amp;nbsp;&lt;br/&gt; 24 GB显存容量&lt;br/&gt; GDDR6X显存类型</td><td>主流市场上最强大的显卡之一。</td></tr><tr><td>操作系统（OS）</td><td>Microsoft</td><td>Windows XP</td><td>由微软公司开发并独家发行的操作系统（OS）。</td></tr><tr><td>仿制控制面板</td><td>THRUSTMASTER</td><td>2960720 2971004 2962072 2960748 2960769</td><td>美国空军A-10C攻击机HOTAS系统</td></tr><tr><td>仿制操纵杆</td><td>THRUSTMASTER</td><td>2960720</td><td>美国空军A-10C攻击机HOTAS系统</td></tr><tr><td>仿制脚踏板</td><td>THRUSTMASTER</td><td></td><td>TPR摆动式方向舵</td></tr><tr><td>仿制油门杆</td><td>THRUSTMASTER</td><td></td><td>美国空军A-10C攻击机HOTAS系统</td></tr><tr><td>连接至PC的显示屏</td><td>Redmi</td><td>RMMNT27NF，27英寸，1920 × 1080分辨率</td><td>该屏幕允许实验人员同步查看VR头戴显示器（HMD）中的画面内容。</td></tr><tr><td>屏幕录制软件</td><td>OBS Project</td><td>OBS Studio版本28.0</td><td>一款免费开源的视频录制与实时直播软件。</td></tr><tr><td>统计功效分析软件</td><td>开源</td><td>G*power版本3.1.9.6</td><td>一款免费且用户友好的统计功效与样本量估算工具。</td></tr><tr><td>统计分析软件</td><td>IBM</td><td>SPSS版本24.0</td><td>一款功能强大的统计分析软件平台。</td></tr><tr><td>多功能统计工具</td><td>GraphPad Software</td><td>GraphPad Prism版本9.4.0</td><td>专为科研人员（而非统计学家）设计的多功能统计分析工具。</td></tr><tr><td>虚拟现实应用商店</td><td>HTC Corporation</td><td>VIVE Software 2.0.17.6 / 2.1.17.6</td><td>一个虚拟现实应用商店，用户可在其中探索、创建、连接并体验所需和喜爱的内容。</td></tr><tr><td>虚拟现实头戴显示器（HMD）</td><td>HTC Corporation</td><td>VIVE Pro Eye</td><td>一款具备高精度眼动追踪功能的VR头戴设备。</td></tr><tr><td>虚拟现实软件</td><td>Steam</td><td>Steam VR版本1.23</td><td>用于在硬件设备上体验虚拟现实内容的工具。</td></tr></tbody></table>

使用虚拟现实飞行模拟器评估飞行表现与眼动模式

Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator

飞行员高效且经济的绩效评估已成为航空业的关键需求。随着虚拟现实（VR）技术的发展以及眼动追踪技术的结合，满足这些需求的解决方案正逐步成为现实。以往的研究探索了基于虚拟现实的飞行模拟器，主要集中在技术验证和飞行训练方面。本研究开发了一种新的虚拟现实飞行模拟器，用于在三维沉浸式场景中基于眼动特征和飞行指标评估飞行员的飞行表现。实验共招募了46名参与者：23名职业飞行员和23名无飞行经验的大学生。实验结果表明，有无飞行经验的参与者在飞行表现上存在显著差异，前者显著高于后者。相比之下，有飞行经验的参与者表现出更结构化且高效的眼动模式。飞行表现差异性的结果证明了当前虚拟现实飞行模拟器作为飞行绩效评估方法的有效性。不同飞行经验者之间的眼动模式差异为未来的飞行员选拔提供了依据。然而，与传统飞行模拟器相比，该基于虚拟现实的飞行模拟器在运动反馈方面仍存在不足。除明显的低成本优势外，该飞行模拟器平台具有高度灵活性，可满足研究者的多样化需求（例如，通过添加相关量表来测量情境意识、虚拟现实晕动症和工作负荷）。

本实验选取了23名具有飞行经验的专家和23名无飞行经验的新手。参与者的年龄在25至58岁之间（专家：M = 32.52岁，SD = 7.28岁；新手：M = 29.57岁，SD = 5.74岁）。所有参与者均为男性。所有新手均来自清华大学（学生或教职工），所有专家均来自中国东方航空公司。
眼动 
根据 Shapiro-Wilk 检验结果，仪器兴趣区（AOIs）的眼动数据（包括空速指示器、垂直速度指示器、高度指示器和发动机转速指示器）均不符合正态分布（所有 p 值 &lt;0.05）。因此采用 Mann-Whitney U 检验进行分析。结果显示，专家（M = 60.79%，SD = 7.72）注视飞行仪表的时间显著长于新手（M = 53.31%，SD = 12.89；U = 141，p &lt; 0.01）。更具体而言，专家比新手更多地注视空速指示...

开发了一种新型虚拟现实飞行模拟器，可高效且低成本地评估飞行性能和眼动模式。该模拟器还为人体工程学及其他研究领域提供了一种具有高潜力的研究工具。

飞行员高效且经济的绩效评估已成为航空业的关键需求。随着虚拟现实（VR）技术的发展以及……

本研究开发了一种新的虚拟现实飞行模拟器，用于在三维沉浸式场景中基于眼动和飞行操作指标评估飞行员表现。该飞行模拟器平台具有高度灵活性，且成本较低，能够满足研究人员的多样化需求。该方法除飞行员外，还可用于航天员的选拔。首先安装飞行模拟器，将油门控制面板连接在一起，视为一个整体单元。通过 USB 将油门、操纵杆和踏板连接到飞行模拟器 PC 模块。然后通过连接盒将头戴式显示器（HMD）连接到飞行模拟器 PC 模块。通过 PC 上的 VR 软件将基站和虚拟现实（VR）控制器连接到 HMD。要设置仅限站立的 VR 游戏区域，请确保 HMD 已开启并连接到计算机。将基站斜向放置，确保头戴式显示器（HMD）始终处于基站监控范围内并保持固定，以维持稳定的虚拟现实（VR）环境。然后根据计算机上VR软件的提示设置仅限站立的活动区域。将调校好的飞行控制模块和大屏幕显示器与VR HMD连接至同一台计算机。通过讲解交通模式和地图，向参与者介绍任务及模拟器操作，并指导其如何使用虚拟现实飞行模拟器。为每位参与者佩戴虚拟现实头戴式显示器（HMD），校准其眼动，调整设备高度、瞳距及注视点。随后，启动屏幕录制软件，并运行飞行模拟器以开展飞行训练。指导参与者如何使用飞行踏板、操纵杆和油门，尽可能贴近飞行参考线进行操控。操作完成后，重置飞行油门和发动机开关按钮，然后停止记录。为了开展正式的飞行实验，为参与者佩戴虚拟现实头戴式显示器（VR HMD），并启动OBS Studio以开始录制屏幕。仪器兴趣区（AOIs）的眼动数据以及空速、垂直速度、高度和发动机转速指示器显示，与新手相比，专家在空速表、高度表、垂直速度表和姿态指示器上的眼动数据分布更接近均值，更为均匀。在总飞行时间、距参考线的平均距离、着陆前一秒的俯仰角以及距参考线距离的标准差等方面，专家的飞行性能数据也较新手更集中于平均值附近。校准每位受试者的眼动数据，并相应调整设备高度、瞳孔间距和注视点。

evaluating-flight-performance-eye-movement-patterns-using-virtual

Research

科研

JoVE Journal

Behavior

行为

使用虚拟现实飞行模拟器评估飞行性能和眼球运动模式

脑卒中后存在视觉障碍的患者报告称，其日常生活受到不同程度的限制，这很可能归因于多种代偿策略，而在临床常规中难以区分这些策略。我们提出了一种临床测试方案，可测量不同的头部和眼动代偿策略，并评估这些策略对驾驶表现的影响。...

临床中的驾驶模拟：在视野缺损患者中测试日常生活活动中的视觉探索行为

本文介绍了一种利用网络化计算机实验室进行多人决策与导航实验的方法。...

用于多参与者决策科学与导航实验的网络化桌面虚拟现实系统

虚拟现实（VR）实验的实施可能较为困难，且需要细致的规划。本方案描述了一种用于设计和实施虚拟现实实验的方法，该实验可采集人类受试者的生理数据。本方法采用虚拟环境实验（Experiments in Virtual Environments,...

结合生理指标测量的虚拟现实实验

本实验方案演示了虚拟棱镜适应疗法（VPAT）在健康成年人中的应用，以及VPAT与功能性近红外光谱技术联合使用以确定VPAT对皮层激活影响的方法。结果表明，VPAT可能具有可行性，并能诱导出与传统棱镜适应疗法相似的行为适应效应。...

虚拟棱镜适应疗法：在健康成人中验证的方案

本方案描述了一种步行模拟器的使用方法，该模拟器可作为一种安全且生态效度高的方法，用于研究行人在移动交通环境中的行为。...

使用虚拟现实步行模拟器研究行人行为

本研究旨在设计、构建并初步验证一种新型虚拟现实任务，用于检测和表征单侧空间忽略症（一种影响23%-46%急性期脑卒中幸存者的综合征），从而拓展虚拟现实在神经系统疾病研究与管理中的应用。...

用于评估单侧空间忽略的虚拟现实工具：一种新颖的数据采集机会

在某些实验、娱乐和教育应用中，对人类观察者的物理旋转进行控制是可取的。本文概述了一种将办公转椅改装成在虚拟现实环境中实现受控物理旋转装置的方法。...

在虚拟现实环境中对人类观察者进行可控旋转

在虚拟现实环境中，运动想象在脑机接口系统中具有广泛的应用。本文阐述了使用个性化的数字化身，这些化身在虚拟现实环境中模拟参与者所想象执行的动作，以增强沉浸感和身体所有权感知。...

基于虚拟现实脑机接口环境中具身化数字孪生的运动想象表现

眼动追踪是一种无创的信息加工研究方法。本文介绍了如何利用眼动追踪技术研究飞行时间较短的飞行员（即飞行时长&lt;350小时）在飞行模拟紧急任务中的注视行为。...

在复杂航空任务中进行眼动追踪以探究信息处理机制

本文描述了在虚拟现实环境中对小鼠行为期间进行皮层双光子成像所涉及的实验步骤。...

小鼠在虚拟现实环境中导航时的双光子钙成像

了解虚拟现实飞行模拟器评估飞行员表现的方法，通过眼动追踪和三维沉浸式环境分析飞行指标。该低成本平台灵活适用于飞行员选拔及宇航员筛选研究。

使用虚拟现实飞行模拟器评估飞行表现与眼动模式

探索更多视频