视觉语言理解中的眼动追踪: 发现视觉语境效果的灵活性和局限性
November 30th, 2018
本文综述了一种用于语言理解研究的眼动追踪方法。为了获得可靠的数据, 必须遵循协议的关键步骤。其中包括眼动仪的正确设置 (例如, 确保眼睛和头部图像的高质量) 和准确的校准。
该方法有助于回答心理语言学中有关语言理解的心理过程的关键研究问题。该技术的优点是，它提供了一个具有高时态分辨率的视觉关注指数，旨在检查视觉世界与语言处理之间的关系。由于协议必须以高度的精度执行，因此对此方法的个体可能非常难以操作。
此方法的可视化演示至关重要，因为该方法的正确实现通常需要临时故障排除。要确定眼部优势，请参与者伸出一只手臂，将拇指与双眼睁开的远方物体对齐。让参与者交替闭上每只眼睛。
主导眼是当眼睛睁开时拇指与物体保持对齐的眼睛。然后，请学员坐在桌旁，下巴休息，额头靠在头枕上。接下来，单击图像以显示电脑。应显示一个大图像和两个较小的参与者的眼睛图像。
使用键盘箭头键选择较小的显性眼睛图像之一，然后按 A 将搜索限制框居中放在瞳孔位置。眼睛周围应出现一个红色方块，瞳孔底部附近有一个绿松石圆。学生本身应该是蓝色的。
确认屏幕上存在两个十字线，一个在瞳孔中心，另一个在角膜反射中心。调整角膜反射的大小至关重要。这是正确校准眼动仪的基础。
手动转动对焦镜头以根据需要调整相机，注意不要触摸镜头前部，直到角膜反射尽可能小。然后按 A 自动设置主机上的瞳孔和角膜阈值，使整个瞳孔和只有瞳孔为蓝色。要校准眼动仪，请让参与者在相机设置窗口的视图中一次查看屏幕的四个角，同时仔细查找当参与者注视角时干扰角膜反射的任何不规则反射。
如果眼睛周围的红色框或十字线之一在任何点都不可见，请让参与者先查看屏幕中心，然后查看有问题的角落以确定问题的来源。重新调整参与者头部的位置，以检查这是否带来任何改进。接下来，通知参与者，眼动仪将被校准，当圆圈移动到屏幕的不同部分时，它们将固定在较大的黑色圆圈内的小灰点上。
当参与者准备就绪时，单击校准以开始九点校准过程，在参与者准确固定到屏幕中间的第一个点进行自动校准后按下 Enter。在校准过程结束时，实验者屏幕上应显示一个几乎矩形的图案，该图案表示参与者的眼睛凝视模式。良好的校准结果将突出显示为绿色。
要验证结果，请让学员重复该过程，提醒学员查看点并保持静止。单击"验证"并输入以接受每个固定。结果将显示在主机监视器上。
请注意平均误差和最大误差。这些数据表示跟踪的图像偏离参与者实际凝视位置的度。如果平均误差高于 0.5 度和/或最大误差高于 1 度，请学员重新调整头部位置并重新启动校准过程。
将最大错误率控制在一度以下对于高质量数据收集至关重要。请注意，这些是在口语理解过程中跟踪对相对较大的对象的凝视的阈值。阅读期间眼动追踪的阈值甚至更低。
校准过程成功完成后，单击输出记录开始实验。作为在定位阅读过程中跟踪眼动的一个例子，首先显示两张牌，它们要么更靠近，要么相距更远。然后让学员阅读一个句子，内容是关于两个概念的相似或不同，以评估卡片之间的距离是否可以调节对语言相似性的理解。
作为在听觉语言理解过程中记录眼部运动的一个例子，首先向参与者展示感兴趣的事件的视频。然后向学员显示一个目标场景，其中包含代理图像和视频中的对象，以及异性的代理以及另一个对象的图像。同时，播放一个句子，描述与上一个视频匹配或不匹配的事件，以评估在先前事件中，代理人员手中的性别在多大程度上会影响参与者在口语理解过程中预期的目标场景中的哪个面孔。
在这个具有代表性的阅读眼动追踪实验中，与牌移近距离时相比，相似性形容词的一次传递读取时间比观察两张牌更靠近时更短。在这里，对听觉理解测试动词区域中平均日志凝视比率的分析表明，当对象和后续句子中提到的动词与视频一致且定型匹配此代理时，参与者更有可能检查其性别匹配事件的代理的图片，而与在这两个维度上不匹配时。在执行此过程时，必须记住，执行每个步骤的精度对于高质量数据收集至关重要。
这样，我们就可以深入了解图片上下文在何种程度上逐渐调节实时语言理解。句子后或实验后度量值（如响应时间和准确性）或其他离线测试的数据可以丰富从在线固定度量中获取的见解。这种技术使心理语言学家能够研究与语言理解有关的心理表现和实时过程。
概述
本文回顾了一种用于研究语言理解的眼动跟踪方法，强调了精确执行协议对可靠数据收集的重要性。
关键研究组成部分
科学领域
- 心理语言学
- 语言理解
- 眼动跟踪方法
背景
- 眼动跟踪提供了一个具有高时间分辨率的视觉注意指数。
- 该方法检查了视觉刺激和语言处理之间的关系。
- 适当的校准和设置对于准确的数据收集至关重要。
- 参与者可能需要指导以有效执行协议。
研究目的
- 探索语言理解中涉及的心理过程。
- 评估视觉背景如何影响语言处理。
- 为眼动跟踪研究建立可靠的校准方法。
使用的方法
- 通过参与者视线固定校准眼动追踪器。
- 提供视觉演示以帮助理解协议。
- 跟踪阅读和听觉理解任务中的眼动。
- 分析对视觉和听觉刺激的反应的视线模式。
主要结果
- 成功校准可实现对眼动的准确跟踪。
- 参与者根据视觉背景显示不同的视线模式。
- 协议执行的精确度对高质量数据至关重要。
- 结果表明视觉接近度对语言理解有影响。
结论
- 眼动跟踪是心理语言学研究中的有价值工具。
- 准确的校准对于获得可靠数据至关重要。
- 视觉背景显著影响语言处理结果。
常见问题
Executive Industry Relevance
Eye-tracking methodology provides a high-temporal-resolution visual attention index to probe the interplay between visual context and language processing, offering mechanistic insights into cognitive functions relevant to neuropsychiatric target validation. Precise calibration and protocol execution are essential for generating reliable, quantitative gaze data that can inform biomarker development and preclinical model refinement in CNS drug discovery.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses by quantifying how visual context modulates real-time language comprehension, supporting pathway clarification and biological de-risking of CNS targets.
- Operational Value: Provides a standardized, reproducible method for assessing cognitive phenotypes with high temporal resolution, facilitating consistent target engagement measurements across studies.
Screening & Assay Development
- Scientific Value: Generates quantitative dependent variable measurements (e.g., gaze fixation duration, saccade patterns) that enable objective assessment of compound effects on visual-linguistic integration.
- Operational Value: Supports assay standardization through defined calibration thresholds (average error <0.5°, max error <1°), ensuring reproducibility and scalability for high-throughput screening applications.
Translational & Preclinical Research
- Scientific Value: Aligns with disease-relevant systems by capturing visual context effects on language processing, offering translational biomarker potential for disorders involving attentional or linguistic deficits.
- Operational Value: Facilitates continuity from discovery through preclinical validation by providing a cross-species adaptable method for evaluating cognitive endpoints in mechanistic de-risking workflows.
Pipeline & Workflow Integration
Eye-tracking fits within the discovery continuum from hypothesis testing in early discovery to lead identification and preclinical validation, where quantitative gaze outputs support go/no-go decisions based on target-mediated cognitive effects.
- Discovery Biology: Supports hypothesis testing by isolating the independent variable (visual context) to measure its dependent variable effect on language processing gaze patterns.
- Screening: Delivers assay readiness through precise calibration protocols and quantifiable outputs that enable reliable compound evaluation in cognitive assays.
- Analytics: Provides statistical analysis-ready measurements (mean gaze ratios, fixation times) that help teams compare conditions and assess significance of visual context effects.
- Translational Research: Connects to preclinical continuity by offering a method to evaluate visual-linguistic integration in disease models, supporting biomarker alignment and risk-adjusted advancement.
- Enterprise Reuse: Functions as a reusable capability across CNS programs due to its standardized setup, cross-study comparability, and adaptability to various visual and linguistic stimuli.
Operational & Enterprise Impact
- Scientific Value: Predictive confidence in target validation through mechanistic de-risking of visual context effects on language comprehension, reducing ambiguity in cognitive phenotype interpretation.
- Operational Value: Standardization and reproducibility via strict calibration thresholds and protocol precision, enabling multi-site consistency in cognitive assay deployment.
- Strategic Value: Better go/no-go decisions by quantifying target effects on visual-linguistic processing, improving capital efficiency and reducing late-stage biological risk in CNS development.
- Portfolio Impact: Risk-adjusted prioritization through objective, quantitative cognitive endpoints that inform advancement decisions based on target-mediated changes in gaze behavior.
Implementation Considerations
- Requires expertise in psycholinguistic experimental design and eye-tracking instrumentation for proper stimulus design and data interpretation.
- Dependent on high-resolution eye-tracking systems capable of corneal reflection tracking and sub-degree accuracy calibration.
- Necessitates cross-team standardization between neuroscience, behavioral science, and data analytics groups to ensure protocol adherence and reproducible outcomes.
- Involves adaptation considerations across model systems, including validation of visual stimuli relevance and gaze measurement fidelity in preclinical species.
- Practical limitations include the need for participant stillness during calibration and sensitivity to irregular reflections, which can compromise data quality if not addressed per protocol thresholds.
