利用视觉世界范式中记录的眼动数据探究口语的在线加工过程

该方法有助于回答在线处理口语语言中的关键问题，包括语义复杂的句子，例如析取句和条件句。该技术的主要优势在于，其可应用于广泛的人群，以研究语言处理领域的大多数课题。演示该实验流程的将是研究生徐 Jing。

曹一凡、王萌、杨晓彤、詹敏和周雪涵是我研究小组的学生。为准备视觉刺激材料，请从互联网下载60张无版权的动物剪贴画图像，并在合适的图像编辑软件中打开这些图像。点击“工具”，使用快速选择功能选中每张图像的背景并将其删除。

单击“图像”和“图像大小”，将图像调整为 120 × 120 像素，并绘制一个大的开放式 320 × 240 像素方框、一个小的闭合式 160 × 160 像素方框，以及两个小的开放式 160 × 240 像素方框。新建一个文件，创建一幅 1,024 × 768 像素的模板作为第一张测试图像，并将方框拖动至指定位置。将两个剪贴画图像拖入大的开放式方框中，再将相同的两个图像各一个分别拖入两个小的开放式方框中。

然后按照上述方法再创建59张测试图像，每张动物图像在每张测试图像中使用两次，并在各图像间对四个方框的空间位置进行反平衡。为了准备口语刺激材料，需用参与者的母语为每张测试图像设计四句对应的测试句子，共需录制240句测试句子，其中至少包含四句中的三句，以及如示例所示的每种句型各一句。招募一名母语为该语言的女性 speaker 录制四个示例陈述句，以及实验中使用的所有动物的音频。

将240个测试句子分为四组，每组包含15个联合句、15个析取句、15个转折句以及15个填充句。然后将有关测试刺激的所有重要信息保存为制表符分隔的文本文件，每一行对应一个测试试验，共240个试验。为构建实验序列，请打开实验设计软件并创建一个新项目。

将一个显示屏幕对象拖入工作区，并将该工作区重命名为“Instruction”。点击插入多行文本资源，然后双击以打开块序列，构建块序列。将一个EI Camera Setup节点拖入块序列中，以便在EyeLink主机PC上弹出摄像头设置界面，从而辅助完成摄像头的设置、校准与验证。

在属性面板中点击“校准类型”字段，从下拉列表中选择 HV5。要构建试验序列，请将一个“显示屏幕”节点拖入试验序列中，并将其重命名为 Animal_1_Image。再将一个“播放声音”节点拖入试验序列中，并将其重命名为 Animal_1_Audio。

将一个计时器节点拖入试验序列，并将其重命名为 Animal_1_Audio_Length。继续拖拽并重命名额外的显示屏幕、播放声音和计时器节点到试验序列中，直到为每张剪贴画图像创建三个节点。然后将一个漂移校正节点拖入试验序列，以引入漂移校正。

要构建录制序列，将一个新的“显示屏幕”节点拖入录制序列中，并将该节点重命名为 Test_Image。双击“显示屏幕”节点以打开屏幕构建器，点击“插入矩形兴趣区域”，然后绘制四个矩形兴趣区域。

将一个计时器节点拖入工作区，将该节点重命名为暂停，并将持续时间属性更改为500毫秒。将一个播放声音节点拖入工作区，并将其重命名为测试_音频，再将一个计时器节点拖入工作区并重命名为测试_音频_长度。然后在工作区中添加一个键盘节点，将其重命名为行为_响应，并将可接受按键属性设置为上、下、右、左。

进行实验时，首先在主机PC上启动系统以运行相机的主机应用程序，然后在显示PC上点击实验项目的可执行版本。输入参与者姓名，点击“选择条件值”以从提示窗口中选择一个组。在参与者额头上贴一个小目标贴纸，以便在瞳孔图像丢失时（如眨眼或突然移动期间）仍能追踪头部位置。让参与者坐在距离21英寸4:3彩色显示器约60厘米的位置，该显示器分辨率为1,024 × 768像素，其中27像素对应1度视角。

调整显示用电脑显示器的高度，确保受试者平视时，视线垂直对准显示器中上部75%的区域；然后旋转桌面支架上的对焦臂，使眼睛图像清晰对焦。接下来，在主机电脑上点击“校准”（Calibrate），并要求受试者依次随机注视五个注视目标（无需明显的外在行为反应），以建立受试者眼动与其视觉世界中注视方向的映射关系。随后点击“验证”（Validate），并要求受试者再次注视相同的五个注视目标，以验证校准结果。

通过要求参与者在注视屏幕中央的黑点时按下键盘上的空格键来进行漂移检查。然后通过显示用PC显示器呈现视觉刺激，同时通过位于显示器左右两侧的外部扬声器播放听觉刺激。进行数据编码和分析时，打开数据查看软件，点击“文件”、“导入文件”，并选择“导入多个EyeLink数据文件”以导入所有记录的眼动仪数据文件。

将文件保存为单个 evs 文件，然后打开该 evs 文件，点击分析、报告和样本报告，以导出未经汇总的原始样本数据。对于并列关系陈述句，正确反应是选择大的开口方框；而对于转折关系陈述句，正确反应是选择包含陈述中首先提到的动物的小开口方框。关键在于，针对并列关系陈述句选择哪个方框，取决于条件句的加工方式。

例如，只有当计算出标量含义和无知推论时，才会选择小的封闭盒子，这是理解析取语句的结果。如图所示，除非连接词是析取连接词，或在析取连接词结束之前没有开始增加，否则对小封闭盒子的眼动注视不会增加。视觉世界范式是一种多功能的眼动追踪技术，可通过参与者在真实世界中眼动的变化来推断其对口语的实时理解过程。

招募参与者时需注意，其视力应正常或矫正至正常水平，且听力功能正常。为了设计一项符合实际的有效研究，应控制或排除其他可能影响参与者眼动行为的因素。在对结果进行统计分析时，应考虑由有界响应、自相关或自动比较可能引发的问题。