利用视觉世界范式中的眼球运动探索口语的在线处理

可视化世界范式监视参与者在视觉工作区中的眼球运动, 因为他们正在听或说口语。此范式可用于调查各种心理语言学问题的在线处理, 包括语义复杂的语句, 如析取语句。

此方法可以帮助回答在线处理口语时的关键问题，包括语义复杂的句子，如分离和条件。该技术的主要优点是，它可以在广泛的人群中执行，以研究语言处理领域的大多数主题。展示这个程序的将是研究生徐静。

曹一凡、王蒙、杨晓同、詹敏、周学涵是我研究小组的学生。要准备视觉刺激，请从互联网上下载 60 张动物的版权免费剪贴画图像，并在相应的图像编辑器中打开图像。单击"工具"并使用快速选择从每个图像中选择和删除背景。

单击"图像"和"图像大小"可将图像调整为 120 x 120 像素，并绘制一个大开 320 x 240 像素框、一个小闭合 160 x 160 像素框和两个小型打开 160 x 240 像素框。打开新文件，为第一个测试图像创建 1，024 x 768 像素模板，然后将框拖动到指定位置。将两个剪贴画图像拖动到大打开框中，将相同的两个图像中的一个拖动到两个小打开框中。

然后再创建 59 个测试图像，就像每个动物图像使用两次一样，平衡图像中四个框的空间位置。为了准备口语刺激，设计四个与学员母语的每个测试图像对应的测试句子，总共要记录240个测试句子，其中至少三个四个句子和每个表格中，如图示。招募一名女性母语人士录制四个示例语句，以及实验中使用的所有动物的音频。

将 240 个测试句子分为四组，每组包含 15 个连词语句、15 个分离语句、15 个但语句和 15 个填充句。然后，将有关测试刺激的所有重要信息保存到选项卡分隔的文本文件中，每一行对应于 240 个试验中的每个。要构建实验序列，请打开实验生成器并创建新项目。

将显示屏幕对象拖动到工作区中，然后重命名工作区说明。单击"插入多行文本资源"并双击以打开块序列以生成块序列。将 EI 摄像机设置节点拖动到块序列中，在 EyeLink 主机 PC 上打开摄像机设置屏幕，以方便摄像机设置校准和验证。

单击属性面板中的"校准类型"字段，然后从下拉列表中选择 HV5。要生成试用序列，请将显示屏幕节点拖动到试用序列中，并将其重命名Animal_1_Image。将播放声音节点拖动到试用序列中，并将其重命名Animal_1_Audio。

将计时器节点拖动到试用序列中，并将其重命名Animal_1_Audio_Length。继续将其他显示屏幕、播放声音和计时器节点拖动和重命名到试用序列中，直到每个剪贴画图像创建三个节点。然后将漂移校正节点拖动到试用序列中，以引入漂移校正。

要生成录制序列，请将新的"显示屏幕"节点拖动到记录序列中。重命名节点Test_Image。双击"显示屏幕"节点以打开屏幕生成器，单击"插入矩形兴趣区域区域"，并绘制四个感兴趣的矩形区域。

将计时器节点拖动到工作区中，重命名节点"暂停"，并更改持续时间属性为 500 毫秒。将 Play Sound 节点拖动到工作区并重命名节点Test_Audio，然后将计时器节点拖动到工作区中并将其重命名Test_Audio_Length。然后向工作区中添加键盘节点，重命名节点行为响应，并将"可接受键"属性更改为"向上"、"向下"，向左。

若要执行实验，请启动主机 PC 上的系统以启动摄像机的主机应用程序，然后单击显示 PC 上实验项目的可执行版本。输入参与者的名称，然后单击"选择条件值"以运行以从提示窗口中选择组。将小目标贴纸贴在参与者的额头上，以跟踪头部位置，即使瞳孔图像丢失，例如在眨眼或突然移动期间。让学员从 21 英寸 4:3 彩色显示器上放置约 60 厘米，分辨率为 1，024 x 769 像素，其中 27 像素等于一度角度。

调整显示器的高度，以确保当参与者直视前方时，他们垂直地观察显示器的中间到顶部 75%的顶部，然后旋转桌面支架上的对焦臂，使眼睛图像对焦。接下来，单击主机 PC 上的"校准"，要求参与者固定五个固定目标的网格，随机连续无任何显著的行为反应，以将参与者的眼睛运动映射到视觉世界中的注视。单击"验证"，要求学员固定在同一固定目标网格上以验证校准结果。

通过要求参与者在固定屏幕中央黑点时按键盘上的空格键执行漂移检查。然后通过显示器的显示屏 PC 监视器呈现视觉刺激，同时通过显示器左侧和右侧的一对外部扬声器播放听觉刺激。对于数据编码和分析，打开数据查看器并单击"文件"、导入文件并导入多个 EyeLink 数据文件以导入所有录制的眼动仪文件。

将文件保存在单个 evs 文件中，然后打开 evs 文件，然后单击"分析、报告"和"示例报告"以导出没有聚合的原始示例数据。对连词语句的正确响应是大开箱，而对"可语句"的正确响应是包含语句中第一个提及的动物的小打开框。关键是，为连结语句选择哪个框取决于条件语句的处理方式。

例如，只有在计算标量与无知推论时，才选择小闭合框，这是对分离语句的理解的结果。如面板所示，小闭合盒上的眼固定不会增加，除非寄送连接是分离连接或增加开始不迟于分离连接的偏移。视觉世界范式是一种多功能的眼动追踪技术，用于从真实世界中的眼动中推断参与者对口语的在线理解。

招聘学员时记得，他们应具有正常或正确的正常视觉能力和正常的听力能力。要设计一个合格的真实世界研究，可能影响参与者眼睛运动的其他因素应该被控制或排除。在统计分析结果时，应考虑边界响应可能产生的问题，所有自动关联或自动比较。