方法文章

使用虚拟现实飞行模拟器评估飞行表现与眼动模式

2K 次观看

⸱

DOI：

10.3791/65170

⸱

2023年5月19日

 ,  ,  ,  ,  ,  ,  , 
1Psychology Department, School of Social Sciences, Tsinghua University, 2Faculty of Psychology, Beijing Normal University, 3National Key Laboratory of Human Factors Engineering, the China Astronaut Research and Training Center, 4Department of Military Medical Psychology, Air Force Medical University

本文内容

摘要

开发了一种新型虚拟现实飞行模拟器，可高效且低成本地评估飞行性能和眼动模式。该模拟器还为人体工程学及其他研究领域提供了一种具有高潜力的研究工具。

摘要

飞行员高效且经济的绩效评估已成为航空业的关键需求。随着虚拟现实（VR）技术的发展以及眼动追踪技术的结合，满足这些需求的解决方案正逐步成为现实。以往的研究探索了基于虚拟现实的飞行模拟器，主要集中在技术验证和飞行训练方面。本研究开发了一种新的虚拟现实飞行模拟器，用于在三维沉浸式场景中基于眼动特征和飞行指标评估飞行员的飞行表现。实验共招募了46名参与者：23名职业飞行员和23名无飞行经验的大学生。实验结果表明，有无飞行经验的参与者在飞行表现上存在显著差异，前者显著高于后者。相比之下，有飞行经验的参与者表现出更结构化且高效的眼动模式。飞行表现差异性的结果证明了当前虚拟现实飞行模拟器作为飞行绩效评估方法的有效性。不同飞行经验者之间的眼动模式差异为未来的飞行员选拔提供了依据。然而，与传统飞行模拟器相比，该基于虚拟现实的飞行模拟器在运动反馈方面仍存在不足。除明显的低成本优势外，该飞行模拟器平台具有高度灵活性，可满足研究者的多样化需求（例如，通过添加相关量表来测量情境意识、虚拟现实晕动症和工作负荷）。

引言

欧洲航空安全局（2012）将飞行模拟器归类为培训设施、飞行与导航程序训练器、飞行训练设备以及全功能飞行模拟器1。迄今为止，已有多种飞行模拟器可用于训练，从低级别的桌面系统到高度复杂的基于运动的全功能飞行模拟器2。传统的模拟器包括飞行动力学模型、系统仿真、硬件驾驶舱、外部可视化系统以及可选的运动模拟功能3。

这些传统飞行模拟器作为有效的飞行训练设备具有一些优势。然而，其成本较高，且对环境不友好，因为每个系统的运行都需要消耗大量电能，尤其是全动飞行模拟器，需要高温高压的液体或气压驱动，耗电量大并产生大量噪声4。

然而，简单的桌面模拟器系统具有灵活性高、成本低的优点，但其沉浸感较弱，交互性也低于全动飞行模拟器2。因此，开发新型飞行模拟器至关重要，这类模拟器应结合桌面系统与全动飞行模拟器的优势（即兼具桌面模拟的灵活性，以及接近全动飞行模拟器的沉浸感和交互水平）。

随着计算机技术的发展，尤其是虚拟现实（VR）技术的进步，一种基于新兴VR技术的新型飞行模拟器正成为现实。基于VR的飞行模拟器具有灵活性高、便于携带、成本低以及对空间需求较小等优点，相较于传统飞行模拟器具有明显优势5。在过去20年中，研究人员已开发出多种基于VR技术的飞行模拟器6,7,8,9,10,11；然而，这些VR飞行模拟器主要用于飞行训练，在飞行员选拔方面的应用仍较少。但随着成本降低和技术进步，基于VR的模拟器正在发生变化，已逐渐具备用于个体选拔的可行性。一些研究已在不同领域中使用基于VR的模拟器进行人员选拔：Schijven等人12利用虚拟现实模拟器选拔外科培训学员；Huang等人13开发了基于虚拟现实技术的空军飞行员招募心理选拔工具；Wojciechowski和Wojtowicz14基于VR技术评估候选人担任无人机（UAV）飞行员的能力。鉴于飞行员选拔对航空工业至关重要，开发一种专注于飞行员选拔的新型VR飞行模拟器已迫在眉睫，因为大规模飞行员选拔易受模拟器成本及便携性系统要求的影响。

眼动为飞行员的表现提供了线索。不同研究发现，眼动扫描模式能够区分专家级与新手级飞行员的表现。通过比较专家与新手的扫描模式，可以区分出专家高效且结构化的视觉运动行为，以及初学者不充分的扫描方式。多项航空研究发现，飞行员的眼动扫描策略与其专业水平高度相关15,16,17,18,19,20,21,22,23,24。根据Bellenkes等人25的研究，专家的注视持续时间更短，且对仪表的注视频率高于新手。Kasarskis等人26得出了几乎相同的结论，他们发现专家飞行员的注视次数更多且每次注视的持续时间更短，表明专家飞行员具备优于新手的视觉模式。在另一项研究中，Lorenz等.27发现，专家将更多时间用于观察驾驶舱外部环境，而新手则较少如此。这些结果在新进人员选拔方面具有重要的实践价值。

飞行表现评估是飞行员选拔中的另一个关键因素。然而，当前飞行员飞行表现评估中存在以下问题：专家意见相互冲突、选拔标准过多，以及缺乏统一的选拔理论。在驾驶领域，Horrey 等人28通过比较不同实验条件下偏离车道中心线的绝对值来评估驾驶表现。回到航空领域，飞行快速存取记录器（QAR）在飞行过程中记录了各类飞行员操作参数、飞机参数、环境数据以及警告信息29。更具体而言，作为QAR指标，俯仰角是飞机绕其左右轴旋转的角度30，而参考线（或中心参考线）位于红绿线正中间28；本研究利用这两个飞行参数来评估有无飞行经验参与者的飞行表现。这些QAR数据可用于评估飞行表现，但据我们所知，它们在科学研究中极少被用于个体化训练与选拔31,32。

通过测量眼动模式，可以评估和预测飞行表现，并为飞行员的培训与选拔提供指导。Gerathewohl33 指出，眼睛是飞行员最重要的感觉器官，能够处理80%的飞行信息。飞行员必须从驾驶舱内的仪表中获取视觉信息，并将其整合为连贯的图像以掌控飞行过程22。此外，优化的扫视行为对于实现更佳的飞行表现至关重要15。然而，目前尚无价格适中的飞行模拟器集成眼动追踪设备，以支持对眼动与飞行表现之间关系的定量研究。

本研究开发了一种新的虚拟现实（VR）飞行模拟器，用于评估具有飞行经验的参与者是否比无飞行经验者表现出更优的飞行操作能力。该VR飞行模拟器集成了眼动追踪系统与飞行动力学系统，可实现对眼动模式的分析及飞行表现的评估。特别需要指出的是，该VR飞行模拟器采用了一种VR眼动仪34，而非类似眼镜式或桌面式眼动仪，从而能够基于感兴趣区域（AOI）进行眼动分析，且无需耗时的逐帧计数。

最后，本研究可为未来的飞行员选拔提供一个综合性的评估体系，涵盖从眼动扫描轨迹到客观飞行表现数据的各个方面。借助虚拟飞行模拟器，飞行选拔的成本将显著降低，并可根据大量数据采集建立飞行员的标准化评估体系。该研究填补了传统飞行模拟器与桌面型模拟器在飞行选拔应用需求之间的空白。

访问受限。请登录或开始试用以查看此内容。

方案

本文所描述的所有方法均经清华大学机构审查委员会（IRB）批准，并已获得所有参与者的知情同意。实验完成后，所有参与者均获得 12 美元报酬（或等值礼品）。

1. 受试者选择

  1. 根据先前使用 G*Power 软件35（见材料表）进行的效能分析研究招募参与者，以确保参与人数达到 G*Power 计算出的预期样本量，即 21 人。
    注：G*Power 提供的预期样本量是指在指定效应量、显著性水平和所用统计检验方法的基础上，研究中为达到所需统计效能而估算所需的参与者数量。预期样本量是研究设计中的重要考量因素，有助于研究人员评估其研究方案的可行性与成本效益，并确保研究具备足够的统计效能以检测出有意义的效应。
  2. 确保所有参与者均无癫痫、心脏或脑部疾病病史，近期未使用内分泌或精神类药物，且无严重皮肤过敏。
  3. 使用斯内伦视力表（采用公制系统 6/6）36 确认参与者的视力正常或矫正后正常，并排除色盲或色弱等视觉障碍。
  4. 确保参与者在实验前 24 小时内未摄入可能影响其飞行能力的酒精或药物。
  5. 确保参与者在实验前睡眠时间不少于 6 小时，并处于良好的精神状态。

2. 飞行模拟器硬件

  1. 检查飞行模拟器的所有硬件是否齐全。根据其功能，这些硬件被分为三个模块（表1）（参见 材料表).
    注意：研究人员在接触设备前需先触碰金属棒，以避免静电感应带来的风险。
    1. 借助以下组件检查 VR、HMD（头戴式显示器）和眼动追踪模块 表2.
    2. 确保所有飞行模拟器PC模块组件满足以下最低要求：3.6 GHz处理器、4 GB内存、64位操作系统和显卡。该系统将支持所有飞行控制器。
    3. 检查飞行控制模块的各个组件，并确保设备的参数配置与 表3.
  2. 根据布局安装飞行模拟器的硬件 图1. 图2 展示硬件的连接方式。
    1. 将油门和控制面板进行物理连接，并将其作为一个整体单元处理。
    2. 将油门、操纵杆和踏板连接到飞行模拟器PC模块 通过 USB
    3. 将头戴式显示器（HMD）连接到飞行模拟器PC模块 通过 链接框
    4. 将基站和VR控制器连接到头戴式显示器（HMD） 通过 PC 上的 VR 软件。
VR头戴式显示器（HMD）与眼动追踪模块1. 基站
2. VR头戴式显示器（HMD）
飞行模拟器PC模块3. 飞行模拟器PC
飞行控制模块4. 飞行油门杆
5. 飞行操纵杆
6. 飞行方向舵踏板

表1：飞行模拟器硬件三个模块的组成部件。

主要组件配件
VR头戴式显示器（HMD）头戴设备连接线（已附带）
面部垫圈（已附带）
清洁布
耳机孔塞 × 2
连接盒电源适配器
DisplayPort 连接线
USB 3.0 连接线
安装垫
控制器（2018款）× 2电源适配器 × 2
挂绳 × 2
Micro-USB 连接线 × 2
基站 2.0 × 2电源适配器 × 2
安装套件（2个支架、4颗螺丝和4个墙锚）

表2：VR头戴式显示器和眼动追踪模块的组件列表。

设备参数配置
飞行操纵杆十九个操作按钮
一个八向“视角”帽开关
多个三维磁传感器
一个五线圈弹簧系统
一个16位分辨率（65536 × 65536 个值）
飞行控制面板十五个操作按钮
一个配平轮
五个可编程LED指示灯
飞行油门杆十七个操作按钮
一个带按压按钮的鼠标帽开关
一个八向“视角”帽开关
多个三维磁传感器
两个14位分辨率
飞行脚蹬张力范围为2.5 kg至5 kg
角度范围为35°至75°

表3：飞行控制模块设备的参数配置。

用于飞行员训练的虚拟飞行模拟装置，包含VR头显、操纵杆、油门和脚踏板。
图1：VR飞行模拟器硬件布局。 请点击此处查看本图的放大版本。

用于训练的飞行模拟装置示意图，包含控制模块、PC 和 VR 设备。
图 2：飞行模拟器硬件的连接方式。（A）飞行控制模块。油门与控制面板在物理上连接为一体，作为一个整体单元处理。本研究中若使用“油门”一词，则同时指代油门和控制面板。（B）飞行模拟器 PC 模块。满足步骤 2.2 中所述要求的计算机。（C）头戴式显示器（HMD）与眼动追踪模块。当眼动追踪软件开发工具包（SDK）与 3D 引擎的 SDK 安装在同一台计算机上时，二者保持同步运行，从而实现眼动追踪功能与操作系统的交互与协同工作。请点击此处查看此图的放大版本。

3. 飞行模拟器软件

  1. 在实验开始前，请确保已安装所有软件（参见材料表）。实验中使用的所有软件信息见表4。
名称描述
VR software一种广泛使用的工具，用于在硬件设备上体验虚拟现实内容。
VR app store虚拟现实应用商店，用户可在其中探索、创建、连接并体验所需和喜爱的内容。
Eye-tracking software由研究团队通过眼动追踪和3D引擎SDK开发的眼动追踪软件。
FlySimulator飞行模拟器软件的主程序，由研究团队开发。
Screen recording software一款免费开源的视频录制和直播软件。

表4：实验中使用的所有软件的信息。

4. 启动飞行模拟器前的准备工作

注意：如果这是首次运行眼动追踪程序，请根据图3执行额外步骤。眼动追踪程序在首次运行后将自动激活。

VR 系统设置流程图：连接头戴式显示器、启动软件、选择设备、同意条款。
图 3：首次运行眼动追踪程序时的额外步骤。 请点击此处查看本图的放大版本。

  1. 确保头戴式显示器（HMD）已开启并连接到计算机。
  2. 将基站斜向放置，以确保头戴式显示器始终处于基站的监控范围内。保持基站固定，以维持稳定的虚拟现实（VR）环境。
  3. 根据计算机上VR软件的提示设置仅限站立的活动区域。
    注意：提示允许设置房间尺度的活动范围或仅限站立的活动区域。仅限站立模式通常用于体验无需行走的VR场景，当用户活动空间有限时可选择此模式。因此，在本实验中应设置仅限站立的活动区域。
  4. 设置眼动追踪校准。每次更换受试者时，必须重新校准眼动追踪系统。
    1. 确认受试者未佩戴隐形眼镜，以免导致眼动追踪功能异常。
    2. 使用VR控制器启动眼动追踪校准程序（参见材料表）。
    3. 根据系统提示调整设备高度、瞳孔间距（IDP）和注视点。
    4. 让受试者的视线依次顺时针注视每个校准点，每点持续2秒，以验证眼动追踪校准的有效性。
  5. 将调校好的飞行控制模块和大屏幕显示器（即至少27英寸的显示器）连接至与VR头戴式显示器相同的计算机。该屏幕可使实验人员同步查看VR头戴式显示器中的画面。

5. 实验步骤

注意：实验分为四个步骤：“收集信息”、“介绍任务与操作”、“实验前练习”和“进行正式实验”。实验流程总结于图4中。

飞行模拟实验示意图；包含硬件、软件和数据采集过程。
图4：实验流程图。 请点击此处查看此图的放大版本。

  1. 收集参与者信息（15 分钟）。
    1. 填写参与者的付款信息表。
    2. 告知参与者阅读知情同意书并签署。
  2. 向参与者介绍实验任务及模拟器操作（5 分钟）。
    1. 向参与者说明交通模式和地图（图 5）。
    2. 指导参与者如何使用 VR 飞行模拟器。
    3. 告知参与者，若在飞行模拟过程中感到不适，可随时退出实验。
  3. 要求参与者练习使用 VR 飞行模拟器（15 分钟）。
    1. 为参与者佩戴 VR 头戴式显示器（HMD），校准眼动；根据系统提示调节设备高度、瞳距（IDP）和注视点。
    2. 打开屏幕录制软件。
    3. 启动FlySimulator 程序，辅助参与者进行飞行训练。
    4. 指导参与者协同使用飞行踏板、操纵杆和油门，尽可能贴近飞行参考线操控飞机（图 5）。
    5. 退出FlySimulator 程序后，重置飞行油门和发动机开关按钮，并在受试者完成练习后停止屏幕录制。
  4. 进行正式飞行实验（20 分钟）。
    1. 为参与者佩戴 VR 头戴式显示器（HMD），运行OBS Studio开始屏幕录制。
    2. 启动FlySimulator 程序，选择合适的视角，启动发动机，松开停留刹车，并将飞行油门推至最大。
    3. 退出FlySimulator 程序后，重置飞行油门和发动机开关按钮，停止屏幕录制。

显示风向、起落航线、最后进近、顺风边、逆风转弯的飞机起落航线示意图。
图5：VR飞行模拟器的起落航线示意图。 俯仰角是指飞机绕其左右轴旋转的角度，基准线（或中心参考线）位于红绿两线正中间。 请点击此处查看该图的放大版本。

6. 数据分析

  1. 分析眼动数据。
    1. 本研究将划分五个兴趣区域（AOI）区域；有关AOI计算的更多信息，请参见图6，该图基于与飞行驾驶舱仪表相对应的实际面板布局（图7）。
    2. 根据本研究所用VR眼动仪的设备特性，采用兴趣区域内注视时间百分比进行AOI差异检验37。
      注：平均注视时间百分比是指在某一兴趣区域内累计注视时间占总注视时间的百分比，再对所有参与者的数据取平均值。
  2. 使用Python 3.10编写的自定义编程脚本分析飞行表现数据。性能指标的核心算法改编自快速存取记录器（QAR）分析方法，灵感来源于美国国家航空航天局（NASA）提供的35架BAE-146飞机QAR数据38。
    注：本研究的飞行表现指标包括：总飞行时间（每位参与者从起飞到着陆的总时长，单位为秒）、着陆前1秒的俯仰角（从原始数据中获取的飞机着陆前1秒的俯仰角，单位为度）、距参考线的平均距离（飞行过程中飞机与参考线之间空间距离的平均误差，单位为米），以及距参考线距离的标准差（飞行过程中飞机与参考线之间空间距离的标准差，单位为米）。
  3. 进行统计分析。
    1. 采用Shapiro-Wilk检验39确认数据的正态性。
    2. 使用统计软件（见材料表）进行描述性统计、Mann-Whitney U检验和Student t检验。
    3. 绘制小提琴图以更清晰地展示数据分布的形态40。
      注：采用Cohen's d衡量效应量的解释标准如下：0.1为极小，0.2为小，0.5为中等，0.8为大，1.2为很大，2.0为极大41,42。显著性水平设定为p < 0.05。

AOI注视轨迹与统计分析的逐步数据分析流程图
图6：AOI预处理与计算流程。 第1至第4节描述了本研究如何处理飞行员眼动数据，直至进行独立样本t检验。 请点击此处查看该图的放大版本。

飞机驾驶舱仪表盘示意图，标有空速、姿态和高度的仪表。
图7：飞行仪表AOI分区示意图。 各仪表的功能：(A) 空速表用于指示飞机相对于空气的飞行速度。(B) 姿态指示器用于显示飞机的俯仰和横滚姿态。(C) 垂直速度表用于指示飞机的上升或下降速度。(D) 高度表用于指示飞机的气压高度。(E) 发动机转速表用于指示飞机发动机的转速。 请点击此处查看此图的放大版本。

访问受限。请登录或开始试用以查看此内容。

结果

本实验选取了23名具有飞行经验的专家和23名无飞行经验的新手。参与者的年龄在25至58岁之间（专家：M = 32.52岁，SD = 7.28岁；新手：M = 29.57岁，SD = 5.74岁）。所有参与者均为男性。所有新手均来自清华大学（学生或教职工），所有专家均来自中国东方航空公司。

眼动
根据 Shapiro-Wilk 检验结果，仪器兴趣区（AOIs）的眼动数据（包括空速指示器、垂直速度指示器、高度指示器和发动机转速指示器）均不符合正态分布（所有 p 值 <0.05）。因此采用 Mann-Whitney U 检验进行分析。结果显示，专家（M = 60.79%，SD = 7.72）注视飞行仪表的时间显著长于新手（M = 53.31%，SD = 12.89；U = 141，p < 0.01）。更具体而言，专家比新手更多地注视空速指示...

访问受限。请登录或开始试用以查看此内容。

讨论

本研究评估了在基于虚拟现实的飞行模拟器中，具有飞行经验的参与者是否比无飞行经验的参与者表现出更优的飞行性能。更重要的是，研究进一步评估了飞行性能更优的参与者是否具有更优化的眼动模式。结果显示，在三项关键的飞行快速存取记录器（QAR）指标上，有飞行经验与无飞行经验的参与者之间存在显著差异：着陆前1秒的俯仰角、距参考线的平均距离以及距参考线距离的标准差。图9B-D）。这些结果表明，具有飞行经验的参与者飞行偏差更小，飞行表现更稳定。同时，具有飞行经验和无飞行经验的参与者在三个关键仪器感兴趣区域（AOI）上的表现也存在显著差异：空速表、垂直速度表和高度表。图8A-C此外，有飞行经验的参与者比无飞行经验的参与者花费更多时间观察关键飞行仪表。

总之，飞行经验水平对飞行表现具有重要影响；专家的飞行表现数据显示，其飞行轨迹更集中于...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明不存在财务披露或利益冲突。

致谢

作者非常感谢李 Yan 先生在招募试点参与者方面提供的帮助，并感谢卜 Lingyun 女士在绘图方面的工作。本研究得到国家自然科学基金（项目编号 T2192931、72071185）和国家脑科学计划（项目编号 STI2030-重大项目（2022ZD0208500）、人因工程国家重点实验室项目（项目编号 SYFD062003）、人因工程国家重点实验室项目（项目编号 6142222210201）、2022年度军队后勤科研重大项目及空军装备综合研究重点项目 （资助编号 KJ2022A000415）

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
3D引擎SDKEpic GamesUnreal Engine 4
GameAnalytics Unreal SDK		该SDK是一款功能强大且灵活的免费分析工具，专为游戏设计。
中央处理器（CPU）IntelIntelCore i9主流市场上最强大的CPU之一。
眼动追踪SDKTobiiTobii XR SDK该SDK提供与设备无关的眼动追踪数据访问，支持使用来自不同硬件厂商的头显进行开发，并不仅限于使用Tobii眼动追踪硬件的设备。
眼动追踪软件由研究团队开发一种用于追踪用户在使用虚拟现实头戴显示器（HMD）时眼球运动的程序。
飞行模拟程序由研究团队开发一款在虚拟环境中模拟飞行体验的软件，使用VR头戴显示器和手持控制器。
显卡NVIDIAGeForce RTX 3090
10496 NVIDIA CUDA核心
1.70 GHz加速时钟  
24 GB显存容量
GDDR6X显存类型		主流市场上最强大的显卡之一。
操作系统（OS）MicrosoftWindows XP由微软公司开发并独家发行的操作系统（OS）。
仿制控制面板THRUSTMASTER2960720 2971004 2962072 2960748 2960769美国空军A-10C攻击机HOTAS系统
仿制操纵杆THRUSTMASTER2960720美国空军A-10C攻击机HOTAS系统
仿制脚踏板THRUSTMASTERTPR摆动式方向舵
仿制油门杆THRUSTMASTER美国空军A-10C攻击机HOTAS系统
连接至PC的显示屏RedmiRMMNT27NF，27英寸，1920 × 1080分辨率该屏幕允许实验人员同步查看VR头戴显示器（HMD）中的画面内容。
屏幕录制软件OBS ProjectOBS Studio版本28.0一款免费开源的视频录制与实时直播软件。
统计功效分析软件开源G*power版本3.1.9.6一款免费且用户友好的统计功效与样本量估算工具。
统计分析软件IBMSPSS版本24.0一款功能强大的统计分析软件平台。
多功能统计工具GraphPad SoftwareGraphPad Prism版本9.4.0专为科研人员（而非统计学家）设计的多功能统计分析工具。
虚拟现实应用商店HTC CorporationVIVE Software 2.0.17.6 / 2.1.17.6一个虚拟现实应用商店，用户可在其中探索、创建、连接并体验所需和喜爱的内容。
虚拟现实头戴显示器（HMD）HTC CorporationVIVE Pro Eye一款具备高精度眼动追踪功能的VR头戴设备。
虚拟现实软件SteamSteam VR版本1.23用于在硬件设备上体验虚拟现实内容的工具。

参考文献

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What's real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. Flight Simulation. , Cambridge University Press. Cambridge, New York. (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , Lawrence Erlbaum Associates. Mahwah, New Jersey. 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , The Hague. The Netherlands. (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , Honolulu, Hawaii. 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , Shaker Verlag. Aachen. 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , Dallas, Texas. 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , CN111920428-A (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , Pisa, Italy. (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots' visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots' gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439(2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots' expertise: A flight simulator study. PLoS One. 16 (2), e0247061(2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , Columbus, Ohio. (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , Dearborn, Michigan. October 8-10 (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , Springer International Publishing. Vancouver, British Columbia, Canada. 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192(2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, Č, Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027(2022).
  35. Faul, F., Erdfelder, E., Lang, A. -G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, GitHub - tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , Retrieved on December 20,2022 from https://github.com/tanvcodes/qar_analytics (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , Erlbaum, Hillsdale, NJ. (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26(2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. NASA Task Load Index (TLX). , (1986).

访问受限。请登录或开始试用以查看此内容。

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

相关文章