在复杂的航空任务中进行眼动追踪，以深入了解信息处理
2025年4月4日
眼动追踪是一种探测信息处理的非侵入性方法。本文介绍了如何使用眼动追踪来研究低时飞行员在飞行模拟紧急任务期间（即 <350 飞行小时）的注视行为。
我们的研究使用眼动追踪来加强数据驱动、基于能力的培训和评估，从而开发飞行员态势感知的客观心理生理测量。眼动追踪技术的进步通过监测注意力状态（如疲劳、认知负荷和走神）来增强航空训练，从而提高飞行员的表现和安全性。模拟器、VR 和 AR 中的集成眼动追踪能够对飞行员的精神状态和扫描行为进行真实评估，将研究从实验室推进到实际驾驶舱和高保真模拟。
一个关键挑战是感兴趣区域分割和标签验证，这是劳动密集型的，但至关重要。我们的实验探索了一种需要进一步开发的早期自动化方法。我的工作支持航空训练中的眼动追踪，以评估飞行员的信息处理、注意力分配、压力管理和注视行为，这些行为表明影响飞机监控和安全的风险。
首先，打开飞行模拟器和投影仪屏幕。在 Instruction 屏幕上，按 Presets 选项卡并验证所需的 Position 和/或 Weather 预设是否可用。接下来，打开集合笔记本电脑并使用凭据登录。
出现提示时，选择预先存在的配置文件，为新参与者创建一个新配置文件，或选择 Guest 选项以覆盖其上次校准。要校准眼镜，请打开眼动仪盒并取出眼镜。然后选择物镜转盘。
将 USB 连接到从笔记本电脑到眼镜的 Micro-USB 电缆。然后找到眼动仪外壳内的黑色校准框。将眼镜放入校准盒内。
在采集笔记本电脑的眼动追踪中心中，选择 Tools（工具），然后选择 Device Calibration（设备校准）。按弹出窗口上的 Start 开始校准。校准完成后，从包装盒中取出眼镜。
为确保物镜转盘正确佩戴，请指示参与者坐在驾驶舱内并戴上眼镜。检查屏幕右下角的 adjust fit of your glasses 框。如果拟合标记为“极好”，请继续执行下一步。
否则，请单击该框。然后指导参与者按照屏幕上的佩戴建议，调整物镜转换器，确保眼镜舒适贴合，并直视前方的笔记本电脑。现在，捏住中间的物镜转盘，将其从眼镜中滑出，然后将另一个滑入。
要遵循研究的固定凝视校准模式，请指示参与者移动他们的头部，使框与黑色方块重叠并对齐。然后让参与者将目光集中在黑色方块内的十字准线上，然后按空格键。然后检查耳机是否连接到仪表板左下方的插孔。
在进行眼球校准之前，请导航到眼动跟踪中心的 Parameter 框。选中 Calibration 模式，然后根据研究的需要选择 ether Fixed gaze 或 Fixed head （固定头部）。确保校准点显示为总共 9 个点的 3×3 网格。
验证模式是否与校准模式匹配。然后检查眼动追踪的输出，并确保使用复选框选中研究所需的所有参数。在 Eye tracking Hub 中，单击 File （文件）、Settings （设置） 和 Eye tracking （眼动追踪）。
检查采样率是否设置为 250 赫兹。按 Validate your setup 框，检查平均绝对误差是否小于 1 度，然后将校准保存到配置文件中。对于数据收集，向参与者提供有关试验或飞行路径的明确说明，包括如何在模拟开始前调整仪表板上的设置。
在 Instruction 屏幕上，按橙色的 Stopped 按钮开始数据收集。确认颜色变为绿色，并且文本更新为 Flying。在采集笔记本电脑上，按 Start Recording 将眼动仪数据与飞行模拟器数据同步。
当参与者完成绕行并降落后，请等待飞机完全停止。在说明屏幕上，按绿色的 Flying 按钮停止数据收集。确认颜色变回橙色，并且文本更新为 Stopped （已停止）。
运行眼动追踪批处理脚本以手动定义注视映射的感兴趣区域 （AOI）。该脚本将打开一个新窗口用于关键帧选择。滚动视频并选择一帧，该帧清楚地显示要分析的所有关键 AOI。
按照屏幕上的说明在帧的某个区域上绘制一个矩形，该矩形在整个视频中可见、唯一且保持稳定。然后为帧中的每个 AOI 绘制一个矩形，一次绘制一个矩形。相应地命名每个矩形。
使用 Add more 按钮添加新的 AOI，然后按最后一个 AOI 上的 Done。启动脚本以处理 AOI 并生成注视数据，这将生成一个图，显示视频上的扫视和注视。与基本条件相比，紧急任务条件显著降低了着陆成功率。
与基础试验相比，紧急试验的完成时间显著缩短。与基础试验相比，紧急试验中的着陆误差也显著更高。与基本任务相比，紧急任务期间的主观态势感知得分显着降低。
态势感知供需从基础到应急试验增加，态势感知理解从基础到应急试验下降。Gaze 指标显示，在紧急情况下，在高度计和姿态指示器等关键仪器上的停留时间显著减少。与基本条件相比，紧急情况下的闪烁率显着增加。
在紧急情况下，高级眼动指标（如 SGE 和 GTE）显著降低。
查看完整文字稿并访问数千部科学视频
概述
本文探讨了在飞行模拟紧急任务中使用眼动追踪作为一种非侵入性方法来研究低经验飞行员的凝视行为。它强调了监控注意状态以提高飞行员培训和安全性的重要性。
关键研究组成部分
科学领域
- 神经科学
- 航空心理学
- 人因工程学
背景
- 眼动追踪提供了飞行员情境意识的客观测量。
- 技术进步允许监控疲劳和认知负荷等认知状态。
- 在模拟器和VR中集成眼动追踪增强了培训的真实性。
- 挑战包括兴趣区域分割和标签验证的劳动密集型工作。
研究目的
- 评估飞行员的信息处理和注意力分配。
- 改进航空培训和评估方法。
- 探索眼动追踪分析的自动化方法。
使用的方法
- 将眼动追踪技术集成到飞行模拟器中。
- 在紧急任务中监控注意状态。
- 收集凝视行为和认知负荷的数据。
- 探索兴趣区域分割的自动化。
主要结果
- 眼动追踪有效地监控了飞行员的心理状态。
- 识别了表示飞机监控风险的凝视行为。
- 增强了对认知负荷和注意力分配的理解。
- 初步发现支持进一步发展自动化方法。
结论
- 眼动追踪是提高航空培训的有价值工具。
- 它提供了飞行员认知过程和风险的洞察。
- 需要进一步研究以完善自动化技术。
常见问题
Executive Industry Relevance
Objective eye tracking in high-fidelity simulation environments enables quantifiable assessment of information processing, attention allocation, and cognitive load during complex operational tasks. For biopharma R&D, such methodologies inform the design and validation of translational models that require robust measurement of human performance and cognitive state. These capabilities support predictive confidence in early-stage target validation and mechanistic de-risking for neurocognitive and human factors research portfolios.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables objective quantification of cognitive and perceptual responses to defined stimuli.
- Supports mechanistic de-risking by linking gaze metrics to information processing efficiency.
- Facilitates functional validation of neurocognitive targets in translational research settings.
Screening & Assay Development
- Provides validated behavioral endpoints for screening interventions affecting attention or cognitive load.
- Standardizes measurement of gaze allocation and dwell time as reproducible quantitative outputs.
- Enables assay development for compounds or devices targeting cognitive performance.
Translational & Preclinical Research
- Aligns human behavioral metrics with disease-relevant endpoints for translational continuity.
- Supports risk-adjusted advancement of neurocognitive interventions based on objective readouts.
- Facilitates cross-species or cross-model comparison of attention and information processing metrics.
Pipeline & Workflow Integration
Wearable eye tracking and AOI-based gaze analysis integrate into the discovery-to-preclinical continuum for neurocognitive and behavioral research.
- Discovery Biology: Quantifies attention allocation and cognitive load as mechanistic endpoints for hypothesis testing.
- Screening: Delivers reproducible, quantitative gaze metrics for evaluating intervention effects.
- Analytics: Provides statistical outputs such as dwell time, gaze dispersion, and blink rate for condition comparison.
- Translational Research: Bridges human simulation data with preclinical models for biomarker alignment.
- Enterprise Reuse: Establishes a scalable, reusable platform for cognitive and behavioral assessment across programs.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces ambiguity in neurocognitive target validation.
- Operational Value: Standardizes behavioral measurement and enhances reproducibility across studies.
- Strategic Value: Informs go/no-go decisions and portfolio triage based on objective cognitive endpoints.
- Portfolio Impact: Supports risk-adjusted prioritization of neurocognitive and behavioral intervention programs.
Implementation Considerations
- Requires expertise in psychophysiological measurement and behavioral analytics.
- Demands high-fidelity simulation infrastructure and validated eye tracking instrumentation.
- Necessitates rigorous AOI segmentation and label validation for reproducibility.
- Must address adaptation of gaze mapping algorithms across different simulation or model systems.
- Current automation of AOI labeling is early-stage and may require manual validation.
