在复杂航空任务中进行眼动追踪以探究信息处理机制

Naila Ayala; Suzanne Kearns; Elizabeth Irving; Shi Cao; Ewa Niechwiej-Szwedo

doi:10.3791/66886

需要JoVE订阅才能观看此内容。请登录或开始免费试用

方法文章

在复杂航空任务中进行眼动追踪以探究信息处理机制

1.9K 次观看

⸱

DOI：

10.3791/66886

⸱

2025年4月4日

Naila Ayala¹^,² , Suzanne Kearns²^,³ , Elizabeth Irving²^,⁴ , Shi Cao²^,⁵ , Ewa Niechwiej-Szwedo¹^,²

¹Department of Kinesiology and Health Sciences, University of Waterloo, ²Waterloo Institute for Sustainable Aeronautics, University of Waterloo, ³Department of Geography and Aviation, University of Waterloo, ⁴School of Optometry and Vision Science, University of Waterloo, ⁵Department of Systems Design Engineering, University of Waterloo

本文内容

摘要

眼动追踪是一种无创的信息加工研究方法。本文介绍了如何利用眼动追踪技术研究飞行时间较短的飞行员（即飞行时长<350小时）在飞行模拟紧急任务中的注视行为。

摘要

眼动追踪已被广泛用作研究技能表现背后认知、感知和感觉运动过程的间接手段。先前的研究表明，传统和高级的注视指标能够可靠地揭示飞行员在专业水平、认知负荷、疲劳程度以及情境意识（SA）方面的显著差异。

本研究描述了一种使用可穿戴眼动仪和视线映射算法的方法，用于在高保真飞行静止模拟器中捕捉自然状态下的头部和眼部运动（即视线）。本文所述方法包括基于感兴趣区域（AOI）的视线分析，该分析可提供更多关于参与者注视位置的上下文信息，以及注视持续时间分析，用以反映其处理注视信息的效率。该方案展示了可穿戴眼动仪与计算机视觉算法在评估飞行中突发紧急情况所引发的视线行为变化方面的应用价值。

代表性结果表明，当引入紧急事件时，注视行为受到显著影响。具体而言，在紧急情境下，注意力分配、注视分散程度和注视序列复杂性均显著降低，并高度集中于前窗外部及空速表的观察（所有p值< 0.05）。本文讨论了在高保真静态飞行模拟环境中使用可穿戴眼动仪来理解航空领域中注视行为的时空特征及其与信息处理关系的实用性与局限性。

引言

人类主要通过首先移动眼睛和头部，将视线（即注视）聚焦于特定物体或感兴趣的位置，来与周围世界进行交互。在飞机驾驶舱等复杂环境中，飞行员面临多种相互竞争的刺激，这一特点尤为明显。注视运动使人类能够获取高分辨率的视觉信息，从而以安全且灵活的方式与环境互动¹，这在航空领域至关重要。研究表明，眼动和注视行为能够揭示多种任务中潜在的感知、认知和运动过程¹^,²^,³。此外，我们的注视位置会直接影响上肢运动的规划与执行³。因此，在航空任务中对注视行为进行分析，提供了一种客观且非侵入性的方法，有助于揭示眼动模式与信息处理及操作表现各个方面的关系。

多项研究已表明，在各种实验室范式以及复杂的现实世界任务（例如驾驶飞机）中，注视行为与任务表现之间存在关联。例如，与任务相关的区域往往被更频繁地注视，且总注视时间更长，这表明在神经认知和航空任务中，注视位置、频率和停留时间可作为注意力分配的指标⁴^,⁵^,⁶。相较于表现较差者或新手，表现优异者和专家在注视任务关键区域时表现出显著的偏向性⁴^,⁷^,⁸。注视行为的时空特征可通过不同兴趣区域（AOIs）的停留时间模式变化或注视分布的测量指标（例如：静态注视熵，Stationary Gaze Entropy: SGE）来捕捉。在基于实验室的范式中，由于解决更复杂任务目标或方案需要更多的扫描与信息处理，平均注视持续时间、扫描路径长度以及注视序列复杂性（例如：注视转移熵，Gaze Transition Entropy: GTE）通常会增加⁴^,⁷。

相反，航空领域的研究表明，随着任务复杂性和认知负荷的增加，视觉扫描路径长度和注视序列的复杂性会降低。这一差异凸显了一个事实：准确解读注视指标的关键在于理解任务的组成部分以及所采用范式的具体要求。总体而言，迄今为止的研究支持以下结论：注视测量能够为任务特异性信息加工过程提供有意义且客观的洞察，从而揭示任务难度、认知负荷与任务表现之间的差异。随着眼动追踪技术的进步（例如便携性、校准方法和成本的改善），在真实环境中考察注视行为正成为一个新兴的研究领域，并在医学⁹^,¹⁰^,¹¹和航空¹²^,¹³^,¹⁴等领域的职业培训发展中具有实际应用价值。

本研究旨在通过在低飞行时长飞行员中进行紧急飞行模拟任务时使用可穿戴眼动仪，进一步探讨基于注视的指标在洞察信息加工过程中的效用。该研究拓展了先前使用头部固定式眼动仪（即 EyeLink II）来分析不同飞行难度（即气象条件变化）下注视行为指标差异的工作⁵。本文所呈现的研究也延伸了其他关于在虚拟现实系统中使用眼动追踪技术的方法学与分析方法的已有研究¹⁵。本研究采用更高保真度的静止模拟器，并对眼动数据进行了额外分析（即熵值分析）。此类分析在以往文献中已有报道；然而，当前文献中的一个局限在于缺乏对分析步骤报告的标准化。例如，报告兴趣区的定义方式至关重要，因为它直接影响最终的熵值结果¹⁶。

综上所述，本研究通过引入飞行中紧急情况（即意外的完全发动机失效）来调节任务难度，考察了传统和动态的注视行为指标。预期引入飞行中紧急情况将有助于揭示在更具挑战性的任务条件下，信息加工过程中注视行为的变化。本报告的研究是更大规模研究的一部分，旨在探讨在飞行模拟器中使用眼动追踪技术以支持基于能力的飞行员培训的实用性。本文所呈现的结果此前尚未发表。

访问受限。请登录或开始试用以查看此内容。

方案

以下方案适用于涉及可穿戴眼动仪与飞行模拟器的研究。本研究在飞行模拟器中记录与复杂航空相关任务同步的眼动数据（参见材料表）。该模拟器配置为模拟塞斯纳172（Cessna 172）机型，配备必要的仪表盘（“蒸汽表”配置）、航空电子设备/GPS系统、音频/灯光面板、断路器面板以及飞行控制单元（FCU）（参见图1）。本研究所使用的飞行模拟器设备符合培训认证标准，并被当地飞行学校用于在低风险环境中培训学员应对各类紧急情况（如发动机故障）所需的技能。本研究的所有参与者均持有有效执照，因此在先前的培训过程中已体验过发动机故障模拟场景。本研究已获得滑铁卢大学研究伦理办公室批准（编号：43564；日期：2021年11月17日）。所有参与者（N = 24；男性14人，女性10人；平均年龄22岁；飞行时长范围：51–280 h）均签署了书面知情同意书。

用于飞行模拟训练的带有数字飞行仪表的驾驶舱界面示意图。
图1：飞行模拟器环境。飞行模拟器环境的示意图。受试者在模拟驾驶舱中的视角与驾驶塞斯纳172（Cessna 172）飞机的飞行员视角一致，预设为从顺风航段转向侧风航段再进入最终进近，目标为中国台湾安大略省布雷斯劳的滑铁卢国际机场（Waterloo International Airport, Breslau, Ontario, CA）。橙色框标示了眼动分析中使用的十个主要兴趣区域，包括（1）空速表、（2）姿态仪、（3）高度表、（4）转弯协调仪、（5）航向指示器、（6）垂直速度表和（7）功率指示器，以及（8）前方、（9）左侧和（10）右侧窗口。本图改编自Ayala等人的研究⁵。请点击此处查看此图的放大版本。

1. 受试者筛选与知情同意

根据纳入/排除标准，通过自评问卷对参与者进行筛选²^,⁵：至少持有私人飞行员执照（PPL）、视力正常或矫正至正常，且无神经精神/神经系统疾病或学习障碍的既往诊断。
由实验人员和负责的飞行教官/模拟器技术人员向参与者详细说明研究目的和流程。回顾机构伦理审查委员会批准的知情同意书中列出的风险，并解答参与者关于潜在风险的任何问题。在开始任何研究程序前，获取书面的知情同意书。

2. 硬件/软件要求及启动

飞行模拟器（通常由模拟器技术人员完成）
1. 打开模拟器和投影屏幕。如果其中一个投影仪未能与其他投影仪同时开启，请重启模拟器。
2. 在教学屏幕上，按下预设选项卡，并确认所需的位置和/或天气预设已存在。如有需要，创建新的预设类型；可咨询技术人员以获取帮助。
数据采集笔记本电脑
1. 打开笔记本电脑并使用凭据登录。
2. 当系统提示时，选择一个已有的配置文件，或为新参与者创建一个新配置文件。或者，选择访客选项以覆盖上一次的校准。
  1. 要创建新配置文件，请滚动到配置文件列表末尾并点击添加。
3. 将配置文件ID设置为参与者ID。该配置文件ID将用于标记文件夹，该文件夹在记录完成后保存眼动追踪数据。
眼镜校准
注意：眼镜必须保持与笔记本电脑连接才能进行记录。使用校准盒仅需在数据采集开始时完成一次。
1. 打开眼动仪箱，取出眼镜。
2. 使用USB转micro-USB线将笔记本电脑与眼镜连接。如果笔记本电脑提示，更新固件。
3. 在眼动仪箱内找到黑色校准盒。
4. 在数据采集笔记本电脑的眼动追踪Hub中，选择工具 | 设备校准。
5. 将眼镜放入校准盒中，然后在弹出窗口中点击开始以启动校准。
6. 校准完成后，将眼镜从校准盒中取出。
鼻托适配
1. 选择合适的鼻托。
2. 指导参与者坐在驾驶舱内并戴上眼镜。
3. 在眼动追踪Hub中，进入文件 | 设置 | 鼻托向导。
4. 在屏幕左侧勾选调整眼镜适配度选项。如果适配度为优秀，则进入下一步。否则，请点击该选项。
5. 指导参与者按照屏幕上显示的适配建议操作：安装鼻托，调整眼镜以确保佩戴舒适，并直视前方的笔记本电脑屏幕。
6. 如有需要，更换鼻托。用手指捏住鼻托中部，将其从眼镜上滑出，再滑入另一个鼻托。持续测试不同鼻托，直至找到最适配参与者鼻型的鼻托。
空中交通管制（ATC）通话
注意：如果研究需要ATC通话，请让参与者自带耳机或使用实验室耳机。只有在参与者戴上耳机后才能进行眼球校准，因为耳机可能移动眼镜位置，从而影响校准准确性。
1. 检查耳机是否已连接至仪表板左下方的插孔。
2. 指导参与者戴上耳机，并提醒他们不要触碰或摘下耳机，直至记录结束。
  注意：每次移动耳机（从而移动眼镜）后，都必须重新校准。
3. 进行无线电通话测试。
眼球校准
注意：每当参与者移动眼镜位置时，必须重复眼球校准。请提醒参与者在试验结束前不要触碰眼镜。
1. 在眼动追踪Hub中，进入屏幕左侧的参数框。
  1. 勾选校准模式，并根据需要选择固定注视或固定头部模式。
  2. 确认校准点为5 × 5 网格，共25个点。
  3. 勾选验证模式，并确保其与校准模式一致。
  4. 检查眼动追踪输出，确认研究所需记录的所有项目均已通过勾选框选中。
2. 点击文件 | 设置 | 高级，并确认采样率为250 Hz。
3. 使用鼠标点击屏幕上的校准你的眼动追踪选项。校准说明将根据所选模式有所不同。为配合当前研究，请使用固定注视校准模式：指导参与者移动头部，使方框与黑色方块重合对齐，然后注视黑色方块中的十字准线，并按下空格键。
4. 点击验证你的设置选项。操作说明与步骤2.6.3相同。检查验证结果的MAE（平均绝对误差）是否<1°。若不符合，则重复步骤2.6.3和2.6.4。
5. 每次完成校准和验证后，点击保存校准，将校准结果保存至配置文件中。
iPad使用
注意：iPad位于仪表板左侧（见图1），通常用于飞行后的问卷调查。
1. 打开iPad，并确保其已连接互联网。
2. 在Safari中打开一个窗口，并输入研究问卷的链接。

3. 数据采集

注意：每次试验均需重复上述步骤。建议将笔记本电脑放置在驾驶舱外的实验台上。

在飞行模拟器计算机的指令界面中，按下预设，然后选择要模拟的所需位置预设。按下应用按钮，并观察模拟器周围的屏幕，以确认更改已生效。
重复步骤3.1以应用天气预设。
向参与者提供有关试验或其飞行路径的任何具体指示。包括在他们开始前告知其调整仪表板上的任何设置。
在指令界面中，按下橙色的停止按钮以开始数据采集。按钮颜色将变为绿色，文本将显示为飞行中。务必向参与者提供口头提示，使其知道可以开始操控飞机。建议在按下橙色停止按钮时使用提示语：“3、2、1，你已获得控制权”。
在数据采集用笔记本电脑上，按下开始记录，以使眼动追踪数据与飞行模拟器数据同步。
当参与者完成飞行航线并着陆后，等待飞机完全停止移动。
注意：等待至关重要，因为在后期处理过程中，数据将在地面速度降至0时被截断。这可确保所有试验终点的一致性。
在指令界面中，按下绿色的飞行中按钮。按钮颜色将恢复为橙色，文本将显示为停止。在数据采集即将结束时，此步骤中应提供口头提示。建议提示语为：“3、2、1，停止”。
指导参与者在iPad上完成试验后的问卷调查。为下一次试验刷新页面。
注意：本研究使用情境意识评定技术（Situation Awareness Rating Technique, SART）自评问卷作为唯一的试验后问卷¹⁷。

4. 数据处理与分析

飞行模拟器数据
注意：从飞行模拟器复制的 .csv 文件包含可在模拟器中控制的 1000 多个参数。相关的主要性能指标已在此列出并描述表1.
1. 对于每位参与者，计算 成功率 使用公式 (1通过计算任务条件下的百分比来评估。失败试验由模拟器内预设的标准判定，当飞机着陆时因姿态和垂直速度超出限制，模拟器将自动终止试验。进行试验后验证，以确保该标准与飞机实际限制相符（即，当垂直速度达到一定值时，Cessna 172起落架损坏/坠毁情况明显）。 > 700 英尺/分钟 [fpm] 着陆时
  成功率 = (1)
  注：较低的成功率数值表示较差的结果，因为这些数值与成功着陆尝试的减少相关。
2. 每次试验的计算方法 完成时间 根据时间戳显示飞机已停在跑道上（即，地速 = 0 节）。
  注意：完成时间较短并不总是等同于表现更佳。必须谨慎分析任务条件（如额外风力、紧急情况等）对完成时间的预期影响。
3. 每次试验时，确定 着陆硬度 基于飞机首次接触跑道时的垂直速度（fpm）。确保该值与首次变化所对应的同一时间戳相关联。 飞机停飞 状态来自 0 (在空气中) 至 1 (在地面上).
  注意：范围内的数值 -700 英尺/分钟 至 0 fpm 被视为安全，数值越接近 0 表示着陆越轻柔（即效果越好）。负值代表 垂直下降速度; 正值代表 垂直上升速度.
4. 每次试验的计算方法如下： 着陆误差（°) 基于接地点坐标与跑道参考点（500英尺标记线中心）之间的差异。利用该参考点，根据公式（Eq）计算着陆误差2).
  差值 = √((Δ 纬度)² +（经度变化量）²) (2)
  注：低于1°的数值显示为正常⁵^,¹⁵较大的数值表示飞机着陆点与着陆区距离较远，对应的着陆误差较大。
5. 计算方法所有参与者中每一项的 绩效结果变量 每 任务条件报告这些数值。
情境意识数据
1. 每次试验后，根据受试者在SART量表的10个维度上的自评得分计算情境意识（SA）评分¹⁷.
  1. 使用SART问卷¹⁷ 用于评估参与者对任务总体难度的主观感受，以及他们在任务执行过程中对可利用和已消耗的注意力资源量的印象。
  2. 使用7点李克特量表，要求参与者对其在探查性问题上的主观体验进行评分，包括情境的复杂性、注意力的分配、剩余心理资源，以及信息的数量与质量。
  3. 将这些量表整合为更广泛的注意力需求（Demand）、注意力供给（Supply）和情境理解（Understanding）维度。
  4. 使用这些评分，根据公式（Eq）计算 SA 的度量值3):
    SA = 理解度 - （需求-供给）3)
    注意：综合多个量表的得分越高，表明参与者对当前任务的理解程度越好。同样，供应维度的得分较高表明参与者拥有充足的注意力资源可用于特定任务。相反，需求得分较高则表明完成该任务需要消耗大量的注意力资源。需要明确的是，这些得分最适宜在不同条件之间进行比较（例如，简单条件与困难条件）来解读，而不建议作为独立指标单独使用。
2. 数据收集完成后，计算每位参与者在各任务条件（即基础条件、紧急条件）下的平均值，并报告这些数值。
眼动追踪数据
1. 使用眼动追踪批处理脚本手动定义感兴趣区域（AOI），用于视线映射分析。该脚本将打开一个用于关键帧选择的新窗口，该窗口应清晰显示所有将被分析的关键AOI。滚动浏览视频，选择一个能清晰呈现所有AOI的帧。
2. 根据屏幕上的提示，在视频帧中绘制一个矩形区域，该区域需在整段视频中始终可见、具有唯一性且保持稳定。
  注意：此步骤的目的是生成一个可在整个视频录制过程中使用的“屏幕内”坐标系，因为头部运动会导致环境中物体在视频录制期间的位置发生变化。
3. 依次在图片中为每个感兴趣区域（AOI）绘制一个矩形，并相应命名。点击 添加更多 添加新的AOI并按下完成在最后一个上。如果在特定注视期间的视线坐标落在“屏幕内”坐标系所定义的物体区域内，则用相应的兴趣区标签标记该注视。
  注意：此步骤的目的是生成一个对象坐标库，随后在将注视坐标与屏幕内坐标进行比较时，该坐标库将用作参考。
  通常有10个兴趣区（AOI），但这取决于飞行模拟器的配置方式，仪表板布局可能有所不同。与以往研究一致⁵^,¹⁸，本研究采用以下方法 关注区域：空速表、姿态仪、高度表、转弯协调仪、航向、垂直速度、动力、前窗、左窗 和右窗（参见图1).
4. 让脚本开始处理兴趣区（AOIs）并生成注视数据。它将生成一幅图表，显示视频中的眼跳和注视情况。
5. 将生成两个新文件：fixations.csv 和 aoi_parameters.yaml。批处理程序将完成对每位参与者每次试验的注视数据的后处理。
  注意：主要的眼动追踪测量指标列于表2 并在每次试验中针对每个感兴趣区域（AOI）进行计算。
6. 每次试验，计算 传统眼动指标⁴^,⁵ 根据 fixation.csv 文件生成的数据，为每个兴趣区域（AOI）进行计算。
  注意：此处，我们重点关注 停留时间（%），通过将特定兴趣区（AOI）的注视次数总和除以所有兴趣区的注视次数总和，再将商乘以100，得到在特定兴趣区所花费时间的百分比。计算得出的停留时间本身不具有内在的正向或负向解释意义，仅反映注意力主要集中于哪些区域。较长的平均注视持续时间表明信息加工需求增加。
7. 每次试验，计算 眨眼频率 使用公式 (4):
  眨眼频率 = 总眨眼次数 / 完成时间4)
  注意：先前的研究表明，眨眼率与认知负荷呈负相关²^,⁶^,¹³^,¹⁹^,²⁰.
8. 每次试验均使用公式（eq）计算SGE5)²¹:
  $图顶点的熵公式 $H_{SGE}(V)$，数学方程表示$ (5)
  何处 v 是观察到第 i 个事件的概率^th AOI 和 V 是感兴趣区域（AOIs）的数量。
  注意：较高的 SGE 值与更大的注视分散度相关，而较低的值则表明注视分配更为集中²².
9. 每次试验中，使用公式（eq）计算GTE6)²³:
  $熵计算公式，$H_{GTE}(M)$，求和，对数，数学方程。$ (6)
  何处 V 是观察到第 i 个事件的概率^th AOI，以及 M 查看 j 的概率^th AOI 在先前观察 i 后的注视区域^th AOI
  注意：较高的 GTE 值与更不可预测、更复杂的视觉扫描路径相关，而较低的 GTE 值则表明视觉扫描路径更可预测、更常规。
10. 计算 意味着 针对每位参与者在每项眼动追踪输出变量（以及标明情况下的兴趣区AOI）和每项任务条件下报告这些数值。

术语	定义
成功次数 (%)	成功着陆试验所占的百分比
完成时间 (s)	从着陆场景开始到飞机在跑道上完全停止所持续的时间
着陆硬度 (fpm)	触地时刻的下降速率
着陆误差 (°)	触地时刻飞机中心与500英尺跑道标记中心之间的偏差角度

表1：模拟器性能结果变量。 飞行器性能相关变量及其定义。

显示空速和襟翼设置的飞机着陆航线图；跑道标记细节。
图 2：着陆情景飞行路径。 （A）所有试验中完成的着陆航线示意图，以及（B）带有500英尺标记的跑道，这些标记用作着陆区的参考点（即中心橙色圆圈）。请点击此处查看此图的放大版本。

驾驶舱仪表盘模拟、飞行导航训练、航空学习界面。
图3：兴趣区域映射。批处理脚本的示意图，展示用于帧选择的窗口。选择最优帧的过程包括选取一个包含大部分或全部待映射兴趣区域的视频帧。请点击此处查看此图的放大版本。

飞机驾驶舱界面、导航仪器、模拟、图形界面、数据分析工具。
图 4：生成感兴趣区域映射的“屏幕内”坐标。 批处理脚本的示意图，展示用于选择“屏幕内”坐标的窗口。此步骤包括选择一个在录制过程中始终可见、图像中唯一且保持静止的方形或矩形区域。请点击此处查看此图的放大版本。

用于数据分析设置的飞机驾驶舱显示屏上的感兴趣区域选择工具界面。
图5：确定待映射的感兴趣区域。批处理脚本窗口示意图，用于选择和标注感兴趣区域。缩写：AOIs = 感兴趣区域。请点击此处查看此图的放大版本。

数据处理脚本输出；数值、文件路径、数据集分析、视频进度。
图6：批处理脚本处理。批处理脚本处理视频并进行注视点映射，以标示整个试验过程中产生的注视位置示意图。请点击此处查看此图的放大版本。

术语	定义
Dwell time (%)	某一兴趣区（AOI）内所有注视持续时间之和占所有兴趣区注视持续时间总和的百分比
Average fixation duration (ms)	从进入至离开某一兴趣区内单次注视的平均持续时间（毫秒）
Blink rate (blinks/s)	每秒眨眼次数
SGE (bits)	注视分散度
GTE (bits)	扫描序列复杂度
Number of Bouts	认知隧道事件次数（>10 秒）
Total Bout Time (s)	认知隧道事件的总持续时间（秒）

表2：眼动追踪结果变量。 依赖于注视行为的变量及其定义。

访问受限。请登录或开始试用以查看此内容。

结果

任务需求对飞行表现的影响
数据基于基本条件和紧急条件下的成功着陆试验进行分析。所有指标均进行配对样本t检验（被试内因素：任务条件（基本、紧急））。所有t检验的显著性水平α均设定为0.05。有四名参与者在紧急情景试验中发生坠毁，由于数据稀疏无法得出有意义的结论，因此未纳入主要分析。除成功率外，所有变量仅针对成功试验进行分析。

成功率（%）在条件间产生主效应，t(23) = 2.145，p = 0.043。具体而言，紧急试次（平均值 = 83%）的着陆失败率（即坠毁）显著高于基础试次（平均值 = 100%）（图7A）。完成时间（s）在条件间亦产生主效应，t(19) = 8.420，p < 0.001。紧急试次的完成时间显著更短（平均值 = 121 s，SD = 3.9），相较于基础试次（平均值 = 174 s，SD = 5.6）（图...

访问受限。请登录或开始试用以查看此内容。

讨论

本文所述的眼动追踪方法通过可穿戴眼动仪，实现了在飞行模拟器环境中对信息加工过程的评估。对注视行为时空特征的分析有助于理解人类的信息加工机制，这一机制已通过高度受控的实验室范式得到广泛研究⁴^,⁷^,²⁸。借助近年来的技术进步，眼动追踪研究得以推广至更为真实、高保真的实验范式，从而更贴近自然情境。本研究旨在表征任务难度对低飞行时长飞行员在模拟着陆场景中的注视行为、飞行表现以及情境意识（SA）的影响。要求受试者在高能见度目视飞行规则（VFR）条件下完成着陆任务，该任务包括基础着陆场景以及一项挑战性操作，即意外引入飞行中紧急情况（如发动机完全失效）。结果与预期一致，在着陆过程中引入紧急情况导致飞行表现和情境意识显著下降，同时注视行为发生明显改变。下文将进一步讨论这些方法、结果以及通过注视行为分析所获得的关于信息加工、飞行表现和情境意识的深入见解。

在方法学方面，有几个关键点需要注意，包括对方案的修改以及该方...

访问受限。请登录或开始试用以查看此内容。

披露

不存在竞争性财务利益。

致谢

本工作部分得到了加拿大自然科学与工程研究理事会（NSERC）的加拿大研究生奖学金（CGS）以及新前沿研究基金的探索资助（00753）的支持。本文材料中表达的观点、发现、结论或建议均为作者（们）的观点，不一定反映资助方的意见。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名	公司	目录编号	评论
飞行模拟器	ALSIM	AL-250	固定式全沉浸式飞行模拟训练设备
笔记本电脑	Hp	Lenovo	眼动数据采集笔记本电脑；要求：Windows 10 和 Python 3.0
便携式眼动仪	AdHawk		MindLink 眼动追踪眼镜（250 Hz，<2° 视线误差，前置摄像头）；眼动追踪批处理脚本随 AdHawk 设备购买提供

参考文献

de Brouwer, A. J., Flanagan, J. R., Spering, M. Functional use of eye movements for an acting system. Trends Cogn Sci. 25 (3), 252-263 (2021).
Ayala, N., Kearns, S., Cao, S., Irving, E., Niechwiej-Szwedo, E. Investigating the role of flight phase and task difficulty on low-time pilot performance, gaze dynamics and subjective situation awareness during simulated flight. J Eye Mov Res. 17 (1), (2024).
Land, M. F., Hayhoe, M. In what ways do eye movements contribute to everyday activities. Vision Res. 41 (25-26), 3559-3565 (2001).
Ayala, N., Zafar, A., Niechwiej-Szwedo, E. Gaze behavior: a window into distinct cognitive processes revealed by the Tower of London test. Vision Res. 199, 108072(2022).
Ayala, N. The effects of task difficulty on gaze behavior during landing with visual flight rules in low-time pilots. J Eye Mov Res. 16, 10(2023).
Glaholt, M. G. Eye tracking in the cockpit: a review of the relationships between eye movements and the aviators cognitive state. , (2014).
Hodgson, T. L., Bajwa, A., Owen, A. M., Kennard, C. The strategic control of gaze direction in the Tower-of-London task. J Cognitive Neurosci. 12 (5), 894-907 (2000).
van De Merwe, K., Van Dijk, H., Zon, R. Eye movements as an indicator of situation awareness in a flight simulator experiment. Int J Aviat Psychol. 22 (1), 78-95 (2012).
Kok, E. M., Jarodzka, H. Before your very eyes: The value and limitations of eye tracking in medical education. Med Educ. 51 (1), 114-122 (2017).
Di Stasi, L. L., et al. Gaze entropy reflects surgical task load. Surg Endosc. 30, 5034-5043 (2016).
Laubrock, J., Krutz, A., Nübel, J., Spethmann, S. Gaze patterns reflect and predict expertise in dynamic echocardiographic imaging. J Med Imag. 10 (S1), S11906-S11906 (2023).
Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PloS One. 13 (11), e0207439(2018).
Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. Int J Aero Psych. 28 (3-4), 98-112 (2018).
Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. Int J Aviat Psychol. 26 (3-4), 75-104 (2016).
Ke, L., et al. Evaluating flight performance and eye movement patterns using virtual reality flight simulator. J. Vis. Exp. (195), e65170(2023).
Krejtz, K., et al. Gaze transition entropy. ACM Transactions on Applied Perception. 13 (1), 1-20 (2015).
Taylor, R. M., Selcon, S. J. Cognitive quality and situational awareness with advanced aircraft attitude displays. Proceedings of the Human Factors Society Annual Meeting. 34 (1), 26-30 (1990).
Ayala, N., et al. Does fiducial marker visibility impact task performance and information processing in novice and low-time pilots. Computers & Graphics. 199, 103889(2024).
Recarte, M. Á, Pérez, E., Conchillo, Á, Nunes, L. M. Mental workload and visual impairment: Differences between pupil, blink, and subjective rating. Spanish J Psych. 11 (2), 374-385 (2008).
Zheng, B., et al. Workload assessment of surgeons: correlation between NASA TLX and blinks. Surg Endosc. 26, 2746-2750 (2012).
Shannon, C. E. A mathematical theory of communication. The Bell System Technical Journal. 27 (3), 379-423 (1948).
Shiferaw, B., Downey, L., Crewther, D. A review of gaze entropy as a measure of visual scanning efficiency. Neurosci Biobehav R. 96, 353-366 (2019).
Ciuperca, G., Girardin, V. Estimation of the entropy rate of a countable Markov chain. Commun Stat-Theory and Methods. 36 (14), 2543-2557 (2007).
Federal aviation administration. Airplane flying handbook. , Federal Aviation Administration. Washington, DC. FAA-H-8083-3C (2021).
Brown, D. L., Vitense, H. S., Wetzel, P. A., Anderson, G. M. Instrument scan strategies of F-117A Pilots. Aviat, Space, Envir Med. 73 (10), 1007-1013 (2002).
Lu, T., Lou, Z., Shao, F., Li, Y., You, X. Attention and entropy in simulated flight with varying cognitive loads. Aerosp Medicine Hum Perf. 91 (6), 489-495 (2020).
"Automation surprise" in aviation: Real-time solutions. Dehais, F., Peysakhovich, V., Scannella, S., Fongue, J., Gateau, T. Proceedings of the 33rd Annual ACM conference on Human Factors in Computing Systems, , 2525-2534 (2015).
Kowler, E. Eye movements: The past 25 years. J Vis Res. 51 (13), 1457-1483 (2011).
Zafar, A., et al. Investigation of camera-free eye-tracking glasses compared to a video-based system. Sensors. 23 (18), 7753(2023).
Leube, A., Rifai, K. Sampling rate influences saccade detection in mobile eye tracking of a reading task. J Eye Mov Res. 10 (3), (2017).
Diaz-Piedra, C., et al. The effects of flight complexity on gaze entropy: An experimental study with fighter pilots. Appl Ergon. 77, 92-99 (2019).
Shiferaw, B. A., et al. Stationary gaze entropy predicts lane departure events in sleep-deprived drivers. Sci Rep. 8 (1), 1-10 (2018).
Parker, A. J., Kirkby, J. A., Slattery, T. J. Undersweep fixations during reading in adults and children. J Exp Child Psychol. 192, 104788(2020).
Ayala, N., Kearns, S., Irving, E., Cao, S., Niechwiej-Szwedo, E. The effects of a dual task on gaze behavior examined during a simulated flight in low-time pilots. Front Psychol. 15, 1439401(2024).
Ayala, N., Heath, M. Executive dysfunction after a sport-related concussion is independent of task-based symptom burden. J Neurotraum. 37 (23), 2558-2568 (2020).
Huddy, V. C., et al. Gaze strategies during planning in first-episode psychosis. J Abnorm Psychol. 116 (3), 589(2007).
Irving, E. L., Steinbach, M. J., Lillakas, L., Babu, R. J., Hutchings, N. Horizontal saccade dynamics across the human life span. Invest Opth Vis Sci. 47 (6), 2478-2484 (2006).
Yep, R., et al. Interleaved pro/anti-saccade behavior across the lifespan. Front Aging Neurosci. 14, 842549(2022).
Manoel, E. D. J., Connolly, K. J. Variability and the development of skilled actions. Int J Psychophys. 19 (2), 129-147 (1995).

访问受限。请登录或开始试用以查看此内容。

在复杂航空任务中进行眼动追踪以探究信息处理机制

本文内容

摘要

摘要

引言

方案

结果

讨论

披露

致谢

材料

参考文献

重印与许可

标签