利用视觉世界范式中的眼球运动探索口语的在线处理
2018年10月13日
可视化世界范式监视参与者在视觉工作区中的眼球运动, 因为他们正在听或说口语。此范式可用于调查各种心理语言学问题的在线处理, 包括语义复杂的语句, 如析取语句。
此方法可以帮助回答在线处理口语时的关键问题，包括语义复杂的句子，如分离和条件。该技术的主要优点是，它可以在广泛的人群中执行，以研究语言处理领域的大多数主题。展示这个程序的将是研究生徐静。
曹一凡、王蒙、杨晓同、詹敏、周学涵是我研究小组的学生。要准备视觉刺激，请从互联网上下载 60 张动物的版权免费剪贴画图像，并在相应的图像编辑器中打开图像。单击"工具"并使用快速选择从每个图像中选择和删除背景。
单击"图像"和"图像大小"可将图像调整为 120 x 120 像素，并绘制一个大开 320 x 240 像素框、一个小闭合 160 x 160 像素框和两个小型打开 160 x 240 像素框。打开新文件，为第一个测试图像创建 1，024 x 768 像素模板，然后将框拖动到指定位置。将两个剪贴画图像拖动到大打开框中，将相同的两个图像中的一个拖动到两个小打开框中。
然后再创建 59 个测试图像，就像每个动物图像使用两次一样，平衡图像中四个框的空间位置。为了准备口语刺激，设计四个与学员母语的每个测试图像对应的测试句子，总共要记录240个测试句子，其中至少三个四个句子和每个表格中，如图示。招募一名女性母语人士录制四个示例语句，以及实验中使用的所有动物的音频。
将 240 个测试句子分为四组，每组包含 15 个连词语句、15 个分离语句、15 个但语句和 15 个填充句。然后，将有关测试刺激的所有重要信息保存到选项卡分隔的文本文件中，每一行对应于 240 个试验中的每个。要构建实验序列，请打开实验生成器并创建新项目。
将显示屏幕对象拖动到工作区中，然后重命名工作区说明。单击"插入多行文本资源"并双击以打开块序列以生成块序列。将 EI 摄像机设置节点拖动到块序列中，在 EyeLink 主机 PC 上打开摄像机设置屏幕，以方便摄像机设置校准和验证。
单击属性面板中的"校准类型"字段，然后从下拉列表中选择 HV5。要生成试用序列，请将显示屏幕节点拖动到试用序列中，并将其重命名Animal_1_Image。将播放声音节点拖动到试用序列中，并将其重命名Animal_1_Audio。
将计时器节点拖动到试用序列中，并将其重命名Animal_1_Audio_Length。继续将其他显示屏幕、播放声音和计时器节点拖动和重命名到试用序列中，直到每个剪贴画图像创建三个节点。然后将漂移校正节点拖动到试用序列中，以引入漂移校正。
要生成录制序列，请将新的"显示屏幕"节点拖动到记录序列中。重命名节点Test_Image。双击"显示屏幕"节点以打开屏幕生成器，单击"插入矩形兴趣区域区域"，并绘制四个感兴趣的矩形区域。
将计时器节点拖动到工作区中，重命名节点"暂停"，并更改持续时间属性为 500 毫秒。将 Play Sound 节点拖动到工作区并重命名节点Test_Audio，然后将计时器节点拖动到工作区中并将其重命名Test_Audio_Length。然后向工作区中添加键盘节点，重命名节点行为响应，并将"可接受键"属性更改为"向上"、"向下"，向左。
若要执行实验，请启动主机 PC 上的系统以启动摄像机的主机应用程序，然后单击显示 PC 上实验项目的可执行版本。输入参与者的名称，然后单击"选择条件值"以运行以从提示窗口中选择组。将小目标贴纸贴在参与者的额头上，以跟踪头部位置，即使瞳孔图像丢失，例如在眨眼或突然移动期间。让学员从 21 英寸 4:3 彩色显示器上放置约 60 厘米，分辨率为 1，024 x 769 像素，其中 27 像素等于一度角度。
调整显示器的高度，以确保当参与者直视前方时，他们垂直地观察显示器的中间到顶部 75%的顶部，然后旋转桌面支架上的对焦臂，使眼睛图像对焦。接下来，单击主机 PC 上的"校准"，要求参与者固定五个固定目标的网格，随机连续无任何显著的行为反应，以将参与者的眼睛运动映射到视觉世界中的注视。单击"验证"，要求学员固定在同一固定目标网格上以验证校准结果。
通过要求参与者在固定屏幕中央黑点时按键盘上的空格键执行漂移检查。然后通过显示器的显示屏 PC 监视器呈现视觉刺激，同时通过显示器左侧和右侧的一对外部扬声器播放听觉刺激。对于数据编码和分析，打开数据查看器并单击"文件"、导入文件并导入多个 EyeLink 数据文件以导入所有录制的眼动仪文件。
将文件保存在单个 evs 文件中，然后打开 evs 文件，然后单击"分析、报告"和"示例报告"以导出没有聚合的原始示例数据。对连词语句的正确响应是大开箱，而对"可语句"的正确响应是包含语句中第一个提及的动物的小打开框。关键是，为连结语句选择哪个框取决于条件语句的处理方式。
例如，只有在计算标量与无知推论时，才选择小闭合框，这是对分离语句的理解的结果。如面板所示，小闭合盒上的眼固定不会增加，除非寄送连接是分离连接或增加开始不迟于分离连接的偏移。视觉世界范式是一种多功能的眼动追踪技术，用于从真实世界中的眼动中推断参与者对口语的在线理解。
招聘学员时记得，他们应具有正常或正确的正常视觉能力和正常的听力能力。要设计一个合格的真实世界研究，可能影响参与者眼睛运动的其他因素应该被控制或排除。在统计分析结果时，应考虑边界响应可能产生的问题，所有自动关联或自动比较。
查看完整文字稿并访问数千部科学视频
概述
视觉世界范式是一种用于在参与者接触口语语言时监测其眼动的方法。该方法使研究人员能够探究复杂心理语言学结构（如析取性陈述）的在线加工过程。
关键研究组成部分
科学领域
- 心理语言学
- 语言加工
- 眼动追踪
背景
- 视觉世界范式能够实时追踪眼动。
- 该范式可应用于不同人群，用于研究语言理解。
- 它在考察语义复杂句子方面尤为有用。
- 研究可包含析取句和条件句。
研究目的
- 探究人们如何实时处理口语语言。
- 研究对复杂语言结构的理解过程。
- 通过视觉刺激材料演示实验步骤。
使用的方法
- 在监测参与者眼动的同时，让他们聆听或说出语言。
- 使用无版权图片准备视觉刺激材料。
- 去除图片背景，以突出主体。
- 收集数据以分析不同语境下的语言加工过程。
主要结果
- 该方法能有效捕捉语言任务期间的眼动数据。
- 它揭示了语义复杂句子加工过程中的认知机制。
- 研究结果可为语言理解理论提供依据。
- 学生演示有助于加深对该方法的理解。
结论
- 视觉世界范式是研究语言加工的有力工具。
- 该范式可针对不同研究人群和主题进行调整。
- 未来的研究可在此基础上进一步探索心理语言学问题。
常见问题
行业重要性概述
视觉世界范式能够实时监测口语理解过程中的认知加工，为在线语言操作提供了一种无创的观察窗口。该方法通过量化注意力和语义加工的动态变化，支持神经精神疾病和神经发育疾病药物研发中的靶点验证。通过将药理学干预与语言引导的注视行为可测量变化相联系，该范式为靶向中枢神经系统的治疗药物提供了机制层面的风险降低依据。
生物制药研发中的战略应用
早期发现与靶点验证
- 科学价值：通过测量语言理解过程中瞬时的注意力分配，验证治疗假设。
- 操作价值：利用与语义加工相关的可量化眼动指标，实现对中枢神经系统靶点的生物学风险降低。
- 预测价值：通过识别在语言复杂情境中调节注意力控制的化合物，支持项目组合的筛选决策。
筛选与检测方法开发
- 检测准备就绪：为神经精神类化合物文库的高通量筛选提供经过验证的眼动读数。
- 定量输出：生成适用于剂量-反应建模的注视持续时间和扫视反应时间指标。
- 可扩展性：通过标准化的视觉和听觉刺激，支持在临床前模型和临床人群中跨平台重复使用。
转化与临床前研究
- 转化连续性：通过将眼动生物标志物与语言加工终点指标相联系，架起从发现到临床前验证的桥梁。
- 疾病相关系统：适用于存在语言相关认知缺陷的人群，包括模拟神经退行性或神经发育性疾病的群体。
- 风险调整型进展评估：通过检测语义整合和注意力脱离的细微变化，为“继续/终止”决策提供依据。
流程与工作流整合
该方法可融入从假设验证到先导化合物优化的整个发现流程，尤其适用于以语言理解作为皮层完整性的功能读出指标的中枢神经系统研究项目。
- 发现生物学：利用自然语言刺激，检验关于注意网络和语义整合的机制性假设。
- 筛选：提供可重复、定量的注视指标，用于注意力和语言处理领域的化合物筛选。
- 分析：提供时间锁定的注视和瞳孔测量数据，以比较不同实验条件下神经参与程度。
- 转化研究：通过捕捉与临床语言生物标志物相关的在线加工缺陷，实现与临床前研究的连续性对接。
- 企业级复用：作为模块化、标准化平台，可用于评估不同治疗领域和干预方式下的认知效应。
运营与企业影响
- 科学价值：通过将靶点结合与语言理解过程中的实时认知加工联系起来，减少机制上的模糊性。
- 操作价值：通过固定的视觉阵列、受控的听觉时序以及基于注视的试验设计，确保实验的标准化和可重复性。
- 战略价值：通过在药物发现早期检测到脱靶认知效应，改善“进行/不进行”的决策，降低后期研发失败率。
- 项目组合影响：根据化合物对注意力控制和语义整合的影响，实现风险调整后的化合物优先排序。
实施注意事项
- 需要具备心理语言学、眼动追踪方法学以及语言加工研究实验设计方面的专业知识。
- 依赖高分辨率的眼动追踪系统、刺激呈现软件以及同步音频传输基础设施。
- 需要神经科学、行为药理学和数据分析团队之间进行跨团队标准化，以确保终点指标的一致性。
- 在将实验范式应用于不同物种、年龄组或基线眼动功能不同的临床人群时，需考虑适应性调整。
- 由于需要控制环境以尽量减少对注视的干扰因素（如环境光照或头部运动伪影），其应用受到限制。
