利用视觉世界范式中记录的眼动数据探究口语的在线加工过程

摘要

视觉世界范式通过监测参与者在倾听或说出口语时其在视觉工作区中的眼动，来研究心理语言学中的多种在线加工问题，包括诸如析取语句等语义复杂的陈述。

摘要

在使用视觉世界范式的典型眼动追踪研究中，当参与者产出或理解描述当前视觉场景的口语时，眼动仪会记录他们对视觉工作区内物体或图片的眼动。该范式具有高度的适用性，可用于多种人群，包括无法阅读和/或无法明确给出行为反应的个体，例如前阅读期儿童、老年成人以及患者。更重要的是，该范式对言语信号的细微操控极为敏感，可用于研究语言理解中大多数主题的在线加工过程，涵盖多个层面，如精细的声学语音特征、词汇属性以及语言结构。本文所描述的实验方案展示了如何开展一项典型的视觉世界眼动追踪研究，并通过一个实例说明如何利用视觉世界范式探究某些语义复杂语句的在线加工过程。

引言

口语是一种快速、持续的信息流，转瞬即逝。对这种具有时间性且快速变化的言语信号进行实验研究具有挑战性。通过视觉世界范式中记录的眼动数据，可以克服这一挑战。在典型的采用视觉世界范式的眼动研究中，当参与者聆听或产出描述视觉场景内容的口语时，研究人员会监测他们对显示屏中图片或视觉工作区中真实物体的眼动情况^1,2,3,4。该范式背后的基本逻辑，即关联假设，是理解或计划说出某个语句时，会（外显或内隐地）将参与者的视觉注意力转移到视觉世界中的某个特定物体上。这种注意力的转移极有可能引发扫视眼动，使被注意的区域进入中央凹视野。借助这一范式，研究人员旨在确定相对于言语信号中某一听觉标志点，在什么时间点会出现参与者视觉注意力的转移，该转移通过向视觉世界中某个物体或图片的扫视眼动来测量。扫视眼动在何时、何地随着言语信号的发生而启动，可用于推断语言的在线加工过程。视觉世界范式既可用于研究口语理解^1,2，也可用于研究口语产出^5,6。本文将重点介绍理解过程的研究。在采用视觉世界范式的理解研究中，研究人员在参与者聆听描述视觉显示内容的口语语句时，监测其在视觉显示界面上的眼动行为。

历史上设计了多种眼动追踪系统。其中最简单、成本最低且最便携的系统仅使用一台普通摄像机，记录被试眼睛的图像。随后通过逐帧回放视频录像，人工编码眼动行为。然而，这种眼动仪的采样率相对较低，且编码过程耗时较长。因此，现代商用眼动追踪系统通常采用光学传感器来测量眼球在眼眶中的方位^7,8,9。为了理解现代商用眼动追踪系统的工作原理，需考虑以下几点。首先，为了准确测量中央凹视觉的方向，通常将一个红外照明器（波长通常在780-880 nm左右）置于摄像机光轴上或偏离光轴的位置，使瞳孔图像明显比周围虹膜更亮或更暗。然后利用瞳孔图像和/或瞳孔角膜反射（通常为第一普尔金耶像）来计算眼球在眼眶中的方位。其次，视觉世界中的注视位置实际上不仅取决于眼睛相对于头部的方向，还取决于头部相对于视觉世界的方向。为了从眼球方位准确推断出注视方向，眼动仪的光源和摄像机要么相对于被试头部固定（头戴式眼动仪），要么相对于视觉世界固定（桌面式或远程眼动仪）。第三，被试的头部方位必须相对于视觉世界保持固定，或在头部可自由移动时通过计算进行补偿。当在头部可自由移动模式下使用远程眼动仪时，通常通过在被试前额贴一个小标记来记录其头部位置。然后通过计算将头部方位从眼球方位中扣除，从而恢复视觉世界中的注视位置。第四，需要进行校准和验证过程，以将眼球方位映射到视觉世界中的注视方向。在校准过程中，记录被试对已知目标点的注视样本，将原始眼动数据映射到视觉世界中的注视位置。在验证过程中，向被试呈现与校准过程相同的靶点。通过比较校准结果计算出的注视位置与视觉世界中实际靶点位置之间的差异，来评估校准的准确性。为进一步确认映射过程的准确性，通常在每次试验中进行漂移检查，即向被试呈现单个注视靶点，以测量计算出的注视位置 与当前靶点实际位置之间的差异。

视觉世界研究的主要数据是在眼动仪的采样频率下记录的、贯穿整个或部分试验时长的视觉场景中的一系列注视位置。视觉世界研究中使用的因变量通常是，在特定时间窗口内，参与者注视位于视觉场景中某一特定空间区域的样本所占的比例。为了分析数据，首先需要选择一个时间窗口，通常称为感兴趣时间段。该时间窗口通常与听觉输入中某些语言事件的呈现时间点对齐。此外，还需要将视觉场景划分为若干个感兴趣区域（ROIs），每个区域对应一个或多个物体。其中一个区域包含与口语理解正确的物体相对应的内容，因此 常被称为目标区域。一种典型的数据可视化方法是注视比例图，即在时间窗口内的每个时间 bin 中，对每位参与者和每个实验项目在各个感兴趣区域上的注视样本比例进行平均。

利用视觉世界研究获得的数据，可以回答不同的研究问题：a) 在粗粒度层面上，参与者的视觉世界眼动是否受到不同听觉语言输入的影响？ b) 如果存在影响，这种影响在试验过程中的发展轨迹是怎样的？是线性效应还是高阶效应？ c) 如果存在影响，那么在细粒度层面上，这种效应最早在什么时间点出现，持续时间有多长？

为了对结果进行统计分析，应考虑以下几点。首先，响应变量， 即，注视比例在0到1之间，具有上下界，服从多项分布而非正态分布。因此，基于正态分布的传统统计方法，如t检验、方差分析以及线性（混合效应）模型¹⁰，除非将比例数据通过经验logit公式等方法转换为无界变量，否则无法直接使用¹¹ 或已被替换为无界因变量，例如欧几里得距离¹²不需要正态分布假设的统计技术，例如广义线性（混合效应）模型¹³ 也可使用其他方法。其次，为了探究所观察效应的动态变化轨迹，需要在模型中加入一个表示时间序列的变量。该时间序列变量最初是将眼动仪的采样点重新对齐至语言输入的起始点。由于变化轨迹通常并非线性，因此一般会在（广义）线性（混合效应）模型中加入时间序列的高阶多项式函数。 即，生长曲线分析¹⁴此外，参与者在当前采样点的眼动位置在很大程度上依赖于之前的采样点，尤其是在记录频率较高的情况下，这会导致自相关问题。为了降低相邻采样点之间的自相关性，原始数据通常会被降采样或分箱处理。近年来，广义加性混合效应模型（GAMM）也被用于处理自相关误差。^12,15,16时间窗口的宽度在不同研究中有所差异，范围从几毫秒到几百毫秒不等。某项研究可选择的最窄时间窗口受到该研究中所使用眼动仪采样率的限制。例如，若眼动仪的采样率为500 Hz，则时间窗口的宽度不能小于2 ms = 1000/500。第三，当对感兴趣时间段内的每个时间窗口重复进行统计分析时，必须处理由这些多次比较所引起的族系误差（familywise error）。如前所述，轨迹分析可告知研究者在粗粒度水平上观察到的效应是否随时间变化呈线性关系，但无法显示该效应从何时开始出现以及持续多长时间。为了确定观察到的差异开始分化的具体时间点，并明确该效应所持续的时间段长度，需要对每个时间窗口重复进行统计分析。这些多次比较将引入所谓的族系误差，无论采用何种统计方法均无法避免。传统上，族系误差通过邦弗罗尼校正（Bonferroni adjustment）进行校正。¹⁷最近，一种称为非参数置换检验的方法，最初用于神经影像学领域¹⁸ 已应用于视觉词汇范式¹⁹ 以控制族系误差。

采用视觉世界范式的科研人员旨在通过参与者在视觉场景中的眼动来推断其对口语的理解情况。为确保这一推论的有效性，必须排除或控制其他可能影响眼动的因素。以下两个因素是需要考虑的常见因素之一。第一个因素涉及参与者在无语言输入条件下眼动注视的某些系统性模式，例如倾向于注视视觉场景的左上象限，以及水平方向的眼动比垂直方向更容易等^12,20。为确保所观察到的注视模式与物体本身相关，而非由物体所在的空间位置引起，应在不同试验或不同参与者之间对物体的空间位置进行平衡设计。可能影响参与者眼动的第二个因素是视觉世界中物体的基本图像特征，例如亮度对比度、颜色和边缘朝向等²¹。为了检验这一潜在的混杂效应，通常在口语呈现开始之前，或在关键语音标记出现之前约1000毫秒，先呈现视觉显示画面。从测试图像呈现开始到测试音频开始之间的这一时间段内，参与者尚未听到语言输入或语言的歧义消解点。在此期间不同条件下观察到的任何差异，应归因于视觉显示本身等其他混杂因素，而非语言输入。因此，该预览阶段所记录的眼动数据可作为判断语言输入效应的基线。此外，该预览阶段还使参与者能够熟悉视觉显示内容，从而在口语呈现时减少解释性注视的系统性偏差。

为了说明如何开展一项采用视觉世界范式的典型眼动追踪研究，以下方案描述了一项改编自 L. Zhan 的实验。 ¹⁷ 探索语义复杂语句的在线加工过程 即， 析取语句S1 或 S2），联合陈述（S1 和 S2），以及 但-陈述（S1 但非 S2）。在通常的语用推理中，某些话语所表达的信息实际上比其字面含义更强。诸如析取式的陈述 小明的盒子里有一头牛或一只公鸡 只要两个析取支为真，析取命题在逻辑上即为真 小明的盒子里有一头牛 和 小明的盒子里有一只公鸡 不同时为假。因此，当两个析取支均为真时，析取命题为真，而相应的合取命题 小明的盒子里有一头牛和一只公鸡 这一点也成立。然而在日常对话中，听到析取命题通常暗示相应的合取命题为假。标量含义推断）；并表明说话者不知道这两个析取项的真值无知推断）。文献中的观点在两种推断属于语法过程还是语用过程的问题上存在分歧^{22,23,24,25,26}该实验通过探究三个复杂语句的在线加工过程，展示了视觉世界范式如何用于判定上述不同理论解释。

方案

所有受试者在实施实验方案前必须签署知情同意书。所有实验程序、知情同意书及实验方案均已通过北京语言大学研究伦理委员会的批准。

注意：采用视觉世界范式进行理解研究的实验通常包含以下步骤：介绍拟探讨的理论问题；设计实验方案；准备视觉和听觉刺激材料；结合实验设计阐述理论问题；选择眼动仪以记录被试的眼动轨迹；选择软件并利用该软件编写程序以呈现刺激材料；对记录的眼动数据进行编码与分析。具体实验在上述任一步骤中均可能存在差异。本文以一个具体实验方案为例，介绍如何实施此类实验，并讨论研究人员在设计和开展基于视觉世界范式的自主实验时需注意的一些关键问题。

1. 准备测试刺激

1. 视觉刺激
   1. 从互联网下载60张无版权的动物剪贴画。使用图像编辑软件（例如 Pixelmator）逐一打开每张图像，点击 工具 | 快速选择工具 选择并删除背景。点击 图像 | 图像尺寸 调整其大小至 120 x 120 像素。
   2. 邀请一位主修绘画的学生绘制四个浅绿色的方框，如图所示 图1使用图像编辑器将大开箱调整为 320 x 240 像素，小闭箱调整为 160 x 160 像素，两个小开箱分别调整为 160 x 240 像素。
   3. 点击 Pixelmator | 文件 | 新建 构建一个大小为 1024 × 768 像素的测试图像模板。拖动动物和方框至 校正位置在图中所示 图1.
      注意：测试图像的布局在不同研究之间可能有所差异，但最佳方式是使用四个物体，并将它们分别放置在测试图像的四个象限中。这样更容易对物体的空间位置进行平衡。
   4. 创建60张测试图像，如 图1，每张动物图像使用两次。在图像中平衡四个方框的空间位置。
      注意：图像数量不必恰好为60张，只要其效应可与实验操作的效应相区分即可。
2. 口语语言刺激
   1. 为每张测试图像设计四个对应的测试句子，共240个测试句子用于录制。确保四个句子中的三个采用以下形式 图2；填充句的形式为 小明的盒子里没有公鸡，而有一头牛.
      注意：测试句子应以受试者所使用的母语呈现。本实验的受试者为中国大陆北京地区的中国人，因此测试语言为普通话。
   2. 招募一名以普通话为母语的女性，录制四个示例语句，如 图2以及实验中使用的所有动物的音频。在录制单独的动物名称时，要求说话者想象这些动物名称是简单句子中的完整组成部分，例如 小明的盒子包含一个 ___，但她只需大声说出动物的名称即可。
   3. 将示例语句中两种动物的音频片段替换为每次试验所用的两种动物的音频，以生成完整的测试音频列表。首先，打开 Praat（其他任何音频编辑软件也可作为替代选项），然后点击 打开 | 从文件读取 | 导航至文件 | 打开并编辑, 导航至要替换的元素，然后单击 查看与编辑 | 编辑 | 复制所选内容至声音剪贴板. 其次，使用相同的步骤打开一个示例陈述，点击 请提供需要翻译的源文本内容。第三，单击 保存 | 另存为 wav 文件 保存已编辑的声明. 对所有待更改的元素及所有测试句子重复该过程。
   4. 招募约10名测试语言（此处为普通话）的母语者，以判断所构建的测试音频是否可懂且自然。
      注意：测试音频传统上是作为整体录制的，而不是以单独的词语分别录制。如果测试音频本身即为独立的词语，这种传统录制方法是合理的。然而，如果口语刺激材料为句子而非独立词语，则该传统方法存在若干缺陷：第一，连续语音普遍存在的一种特性是两个或多个语音在时间和空间上倾向于重叠，这使得难以确定关键词语的起始点；第二，不同试验之间音频长度的差异也使得将所有试验数据合并进行统计分析变得困难；第三，当测试音频数量相对较大时（例如本实验方案中所报告的实验），传统录制方法往往耗时较长。为克服传统录制方法的上述缺点，本文提出一种新的构建口语测试音频的方法。首先，录制一组包含所有测试音频中共有词语的例句；其次，将各试验间变化的词语单独录制；最后，通过将例句中的相应部分替换为单独录制的词语，构建完整的测试音频列表。与传统方法相比，新方法具有多项优势：第一，除关键词语外，所有测试音频内容完全相同，从而有效控制了测试音频中所有潜在的混杂效应；第二，由于音频长度一致，相较于整体录制的方式，对测试音频的分割也更为简便。该方法的一个潜在缺点是所构建的音频可能不够自然，因此在用于实际测试之前，必须对测试音频的自然度进行评估。
3. 将240个测试句子分为四组，每组包含15个合取命题、15个析取命题、15个 但 陈述句和15个填充句。确保每位参与者仅接触一组240次试验：他/她看到所有测试图像，但只听到一组测试音频。
   注意：这是为了应对一种担忧，即如果重复相同的刺激，参与者可能会逐渐适应这些刺激，甚至可能在应对刺激时变得具有策略性。
4. 将有关测试刺激的所有重要信息保存到一个以制表符分隔的 txt 文件中，每一行对应 240 次试验中的一次。确保文件至少包含以下列： 实验组, 句间连接词, 试验编号, 测试图像, 测试音频, 测试音频时长, 感兴趣区域左上, 感兴趣区域右上, 感兴趣区域左下, 感兴趣区域右下, 动物1图像, 动物1音频, 动物1音频时长, 动物2图像, 动物2音频, 动物2音频时长.
   注意： 实验组 用于将240次试验分为4组。 句间连接词 对应不同的实验条件。 动物_1_图像 对应于将首先呈现给参与者的动物图像，以使他们熟悉测试图像中使用的动物。 测试图像, 测试音频，以及 测试音频时长 参考当前试验中使用的测试图像、测试音频及其持续时间。 ia_top_left, ia_top_right, ia_左下角, ia_右下角 参考当前试验中四个兴趣区域的名称， 即，无论是 "大型开放" 盒 "小型封闭" 盒，包含小开口盒的 "首次提及" 测试音频中的动物，或包含小空盒的 "第二点提到的" 测试音频中的动物。 动物_1_音频 和 动物1音频时长 参考音频及其对应时长 动物_1_图像. 动物2图像, 动物2音频，以及 动物2音频时长 对应将要呈现的第二只动物。需要强调的是，两只动物的呈现顺序在测试音频的前半部分或后半部分被提及的条件之间进行了平衡设计。

2. 根据实验设计提出理论预测。

1. 确保实验设计中参与者的行反应和眼动可用于区分对测试句的理解情况，并可用于判定待检验的不同理论解释之间的优劣。
   注意：根据实验设计，对合取句的正确反应是大的开口盒子，例如图1中的盒子A。对but句的正确反应是包含测试音频前半部分所提及动物的小开口盒子，例如图1中的盒子D。然而，参与者对析取句的反应取决于两种相关推论是否以及如何被加工。如果参与者既未计算标量含义，也未计算无知推论，则四个盒子均为可选选项。如果参与者计算了标量含义但未计算无知推论，则大的开口盒子（如图1中的盒子A）将被排除，其余三个盒子B、C和D均为可选选项。如果参与者计算了无知推论但未计算标量含义，则小开口盒子 将被排除，i.e., 盒子C和D将被排除。综上所述，只有当标量含义和无知推论均被计算时，小闭合盒子（如图1中的盒子B）才会被选为析取句的最终选项。

3. 构建实验脚本

1. 打开 实验设计工具, 点击 文件 | 新建 创建一个实验项目。输入项目名称，例如 vwp_disjunction. 选择 项目地点检查 眼动实验 并选择 Eyelink 1000plus 从下拉列表中选择。这些操作将创建一个包含与实验相关所有文件的子目录，该子目录将被命名为 vwp_disjunction 名为 "图.ebd" 在文件夹中。
   注意：实验设计软件（Experiment Builder）用于构建实验脚本，以呈现测试刺激材料，并记录被试的眼动数据及其行为反应。实验设计软件是一种所见即所得的实验脚本构建工具，操作简便，但也可使用其他任何合适的刺激呈现软件作为替代方案。
2. 使用视觉世界范式观察典型眼动追踪实验的层级结构 图3图中每个粉色矩形均通过一个 SEQUENCE 对象实现。 实验设计工具；每个具有灰色背景的对象均被实现为一个节点对象。
   注意：实验构建器中的“序列”（SEQUENCE）是一种实验循环控制器，用于将不同的对象连接在一起，形成一个复杂的节点。一个序列始终以一个 开始 节点。可以将数据源连接到序列节点，以在每次试验中提供不同的参数。
3. 构建实验流程
   1. 点击 文件 | 打开，浏览至实验目录，然后双击 graph.ebd 在项目目录中打开已保存的实验项目文件。
   2. 点击 编辑 | 图书馆管理器 | 图像 | 添加 将图像加载到实验项目中。同样，单击 编辑 | 图书馆管理器 | 声音 | 添加 将音频加载到实验项目中。
   3. 拖动一个 显示屏幕 将对象放入工作区，并在属性面板中更改其标签值，将其重命名为 Instruction。双击以打开 说明 节点，然后单击 插入多行文本资源 按钮以输入实验指令。确保该指令包含以下信息：
      在每次试验中，您将首先看到两种动物的图像，每种动物的图像会依次单独显示在屏幕上，同时通过位于屏幕两侧的两个扬声器播放相应动物的声音。随后，屏幕中央将出现一个黑点。您应在注视黑点的同时按下空格键。接下来，您将看到屏幕上显示由四个方框组成的测试图像，并通过两个扬声器听到一段测试句子。您的任务是根据所听到的测试句子找出小明的盒子，并尽快按下对应的按钮：
      左上角方框 — 左箭头
      右上角方框 — 向上箭头
      左下角方框 — 左箭头
      右下角方框 — 右箭头
      在每张测试图像中，您将看到位于四个象限的四个方框，每个方框内包含动物。这四个方框在两个维度上有所变化：封闭性与大小。方框是否封闭会影响我们对该方框的认知知识，但不影响其内部所含动物本身。若方框为开启状态，则其中所含动物是已知的；若方框为关闭状态，则其中所含动物是未知的。方框的大小影响其所含动物的数量，但不影响我们对该方框的认知知识。无论方框是否关闭，小方框始终且仅包含一只动物，大方框始终包含两只不同的动物。
      如果您已了解实验目的和操作流程，请告知实验人员，我们将协助您完成标准的眼动追踪校准和验证程序。如有任何疑问，请随时提出。
      ​注意：这是在实验开始前将显示在屏幕上的说明（说明应使用参与者所使用的母语书写，例如此处的中文）。
   4. 拖动一个 键盘 将物体放入工作区。
      注意：此步骤用于终止 说明 屏幕
   5. 拖动一个 序列 将物体放入工作区并重命名为 封闭.
   6. 选择 封闭 序列，点击该值字段 数据来源 属性以调出 数据源编辑器. 点击 导入数据 在数据源编辑器界面中点击按钮，浏览至步骤1.4中创建的.txt文件以导入数据源。
   7. 点击 随机化设置 数据源编辑器中的按钮，检查 启用试验随机化，选择 试验编号 来自值字段的 柱 领域，并选择 实验组 从下拉列表中 分柱 领域
   8. 拖动第二个 显示屏幕 将对象添加到工作区并将其重命名为 再见. 双击 再见 节点并插入以下信息：  以参与者的母语（本方案中为普通话）：实验已结束，非常感谢您的参与。
   9. 左键单击 开始 节点，拖动箭头至 说明 节点，并释放鼠标按钮以连接 开始 节点到 说明 节点。重复相同的鼠标操作以连接 指导 节点到 键盘 节点 键盘 节点到 封闭 节点，然后 封闭 节点到 再见 节点。点击 查看 | 排列布局 在工作区中排列节点。
4. 构建模块序列
   1. 双击以打开 封闭 序列。拖动一个 El_CAMERA_SETUP 节点到 阻断 序列以在EyeLink主机电脑上打开摄像头设置界面，供实验人员进行摄像头设置、校准和验证。点击 校准类型字段 在属性面板中，从下拉列表选择 HV5。
      注意：映射过程中采样位置的数量因不同实验设计而异。采样位置越多，覆盖空间越广，预期精度越高。但样本量增加会导致完成整个流程所需时间延长。因此在实际操作中，特定研究的采样位置数量不宜过多，尤其是当 参与者为文盲儿童或临床患者。在视觉世界范式中，感兴趣区域的数量相对较少，且感兴趣区域通常较大。通过相对较少的定位点即可达到令人满意的映射水平。在本方案中 描述，I 采用五点校准和验证。
   2. 拖动一个 序列 将节点插入到Block序列中并将其重命名为 试验连接 开始 节点到 相机设置 节点，然后到 测序E 节点
5. 构建试验序列
   1. 双击以打开 试验 序列，拖拽 a 显示屏幕 节点到 试验 序列并将其重命名为 动物_1_图像. 双击以打开 屏幕构建器 节点并单击 插入图像资源 单击屏幕构建器工具栏上的按钮，从已上传的图像源中插入动物图片。单击值字段 源文件名 属性，导航至 数据源 附着于 封闭 序列；然后双击 动物_1_图像 柱用于连接 显示屏幕 与数据源的正确列对应。
   2. 拖动一个 播放声音 节点到 试验 序列并将其重命名为 动物1音频. 单击 声音文件 的属性 动物1音频 节点并将其与数据源的正确列连接（如步骤 3.5.1 所述）。
   3. 拖动一个 时间调节器 节点到 试验 序列并将其重命名为 动物1音频时长. 单击 持续时间 性质 的 时间相关事件测量（TIMER） 节点并导航至在 3.4.1 中创建的数据源的正确列。
   4. 拖动另一个 显示屏幕 节点，另一个 播放声音 节点，以及另一个 时间相关事件测量（TIMER） 节点到 试验 序列，将其重命名为 动物2图像, 动物2音频, 和 动物2音频时长, 重复步骤 3.5.1 - 3.5.3 中所述的操作。
      注意：这些步骤旨在控制同一图像可能因不同参与者而被赋予不同名称的潜在混杂因素。针对测试音频前半部分或后半部分提及的顺序，对两种动物的呈现顺序进行平衡设计。
   5. 拖动一个 准备序列 物体放入 试验 序列与属性修改 绘制到 Eyelink 主机以显示图像.
      注意：该节点用于将图像和音频文件预加载到内存中，以实现实时图像绘制和声音播放。同时，该节点还用于在主机PC上绘制反馈图形，以便监控参与者的注视准确性。
   6. 拖动一个 DRIFT_CORRECT 节点到 试验 引入漂移校正的序列。
   7. 拖动一个新 序列 节点并将其重命名为 记录连接 开始 依次连接到这些节点。
6. 构建 记录 序列
   1. 检查属性面板中“记录”字段的 记录 序列，双击以打开 记录 序列
      注意：一个序列包含 记录 属性勾选表示将记录参与者在此期间的眼球运动。
   2. 拖动一个新 显示屏幕 进入 记录 序列，将其重命名为 测试图像添加信息 测试图像呈现 进入 消息 的性质 测试图像 节点
      注意：  在数据分析阶段，信息在 测试图像 节点和消息在 测试音频 节点（第3.6.6节）对于定位每次试验中测试图像和测试音频的起始时刻至关重要。
   3. 双击以打开 屏幕构建器 节点并单击 插入图像资源 单击屏幕构建器工具栏上的按钮，从已上传的图像源中插入任意动物图像。单击值字段 源文件名 属性，导航至 数据源 附着于 封闭 序列；然后双击 测试图像 柱以连接 显示屏幕 与数据源的正确列对应。
   4. 双击 显示屏幕 节点以打开 屏幕构建器，点击按钮 插入矩形兴趣区域，并按照图中蓝色方框所示绘制四个感兴趣矩形区域 图1. 将四个感兴趣区域的标签更改为 左上, 右上, 左下，以及 右下，并连接 数据查看器名称 已与数据源的正确列对齐。
      注意：这些区域对参与者不可见。为了使感兴趣区域更具意义，将示例中左上区域的名称标注为 "A盒（大开口）"，右上区域 "B盒（小型封闭式）"，左下区域作为 "C盒（第二次提及）"，以及右下区域 "盒 D（首次提及）"因为两个小的开放方框分别包含测试音频前半部分和后半部分所提及的两只动物。
   5. 拖动一个 TIMER 节点拖入工作区，重命名为 暂停，并更换 持续时间 属性设置为 500 毫秒。
      注意：该 TIMER 节点会在测试图像出现与测试音频开始之间引入一定的延迟时间。这一时间延迟使参与者有机会熟悉测试图像。在此预览期间参与者的 eye movements 还可为判断口语输入的影响提供基线数据，尤其是在关键词位于测试音频开头的情况下。
   6. 拖动一个 播放声音 节点添加到工作区并重命名为 测试音频. 单击 声音文件 属性并将其与数据源的正确列连接（如步骤 3.5.1 中所述），然后添加消息 测试音频起始 进入 消息 性质。
   7. 拖动一个 时间相关事件测量（TIMER） 节点拖入工作区，并将其重命名为 测试音频时长. 更换 持续时间 属性设置为 10500 毫秒。
   8. 拖动一个 无操作 - 将节点插入工作区。
   9. 添加新的 时间相关事件测量（TIMER） 节点，将其重命名为 记录扩展，并更改 持续时间 将属性设置为 4000 毫秒。
   10. 添加新的 键盘 节点拖入工作区，重命名为 行为反应，并更改可接受的 关键词 性质到 "[上、下、右、左]".
       注意：参与者的行为选择可用于进一步验证从其眼动数据推导出的结论的有效性。
   11. 连接 开始 节点到 暂停, 测试音频, 测试音频时长，NULL 操作，然后至 记录扩展 节点。添加另一条连接从 测试音频时长 到 行为反应 节点
       注意：添加这些连接后，当前试验将结束并开始新的试验 在参与者按键选择后 Xiaoming's 盒，或在测试音频结束后的 4000 毫秒。
   12. 拖动一个 可变的 节点拖入工作区，重命名为 按键按下，并将其值属性连接到 行为反应 键盘 | 触发数据 | 关键步骤.
   13. 拖动一个 结果文件 节点拖入工作区，拖动一个 添加至结果文件 节点到工作区，并连接两者 记录扩展 节点和 行为反应 节点到 添加到结果文件 节点
7. 点击 实验 | 构建 构建实验脚本时，单击 实验 | 测试 运行以测试实验。所有步骤完成后，点击 实验 | 部署 创建实验项目的可执行版本。
   注意：有关如何使用实验构建器的更多信息，请参阅软件手册²⁷.

4. 招募参与者

1. 确保参与者具有正常视力或矫正后正常的视力。建议近视的参与者佩戴隐形眼镜，但只要镜片清洁，佩戴框架眼镜也可接受。确保所有参与者均为测试语言（如本实验中的普通话）的母语者。
   注意：作为一般准则，只要参与者能够在约60厘米的距离清晰看到测试图像，即可视为符合参与条件。关于参与者人数，根据一些经验法则，进行回归分析时参与者数量不应少于50人。本实验共有来自北京语言大学的37名研究生参与，略少于推荐人数。

5. 进行实验

注意：当受试者为正常发育的成年人时，一名实验人员足以完成实验操作。但如果受试者为特殊人群（如儿童），则需要两名或以上的实验人员。

1. 选择一款眼动仪来记录参与者的 eye movements。
   注意：本实验所用眼动仪为 Eyelink 1000plus，运行于头部自由移动模式。该设备是一种基于视频的台式眼动追踪系统，采用瞳孔与角膜反射（CR）相结合的原理来追踪眼球转动。在头部自由移动模式下，眼动仪的单眼采样率为 500 Hz，空间分辨率为 0.01°，平均误差小于 0.5°。有关该系统的更详细信息，请参考其技术规格说明^28,29可以使用其他类型的追踪器，但具有远程追踪模式的追踪器更为理想，尤其是在参与者为尚未具备读写能力的儿童时。
2. 在主机PC上启动系统以运行相机的主机应用程序。
3. 要将系统配置为桌面远程模式，请单击 设置选项 按钮，设置 配置 选项 桌面式 —— 目标贴纸 —— 单目 —— 16/25 毫米长度 —— RTARBLER
4. 单击显示计算机上实验项目的可执行版本，输入 参与者姓名，并选择一个 组 来自提示窗口 到 选择运行的条件值.
   注意：每次测试会话将在实验项目的结果子目录下创建一个以输入名称命名的文件夹。该文件夹中的EDF文件包含相关的眼动数据。
5. 让受试者坐在距离一台21英寸、4:3比例、分辨率为1024像素×768像素的彩色显示器约60厘米的位置，其中27像素对应1度视角。
6. 调整显示用电脑显示器的高度，确保受试者坐定后平视前方时，视线垂直对准显示器中上部至顶部75%的区域。
   注意：如果椅子、桌子和/或电脑显示器具有高度可调节性，则更为理想。应避免使用带脚轮的椅子和桌子，因其容易导致无意的移动和滚动。
7. 在受试者额头上贴一个小的目标贴纸，以便在瞳孔图像丢失时（如眨眼或突然移动期间）仍能追踪头部位置。
   注意：不同的眼动仪可能采用不同的方法来追踪受试者的头部。为了最大限度地扩大受试者的横向活动范围，被追踪的眼应与照明器位于同一侧。
8. 旋转桌面支架上的调焦臂，使眼睛图像对焦清晰。
9. 点击 校准 在主机电脑上点击按钮，启动校准程序，要求参与者依次随机注视五个注视目标，期间无需做出明显的外在行为反应，以建立参与者眼动与视觉场景中注视方向的映射关系。
10. 点击 验证 在主机PC上点击按钮，通过让参与者注视相同的注视点网格来验证校准结果。当误差大于1°时，需重复校准和验证程序。
11. 在实验开始时以及每次测量精度不佳时执行这两个程序例如，尤其是在剧烈的头部运动或参与者体位改变后。
12. 点击 记录 单击主机PC上的按钮以开始实验。
13. 在每次试验中通过要求参与者按压来执行漂移检查 太空 注视屏幕中央呈现的黑点，同时按住键盘上的键。
    注意：当受试者为尚未掌握读写能力的儿童或临床患者时，明确要求其在注视黑点的同时按压键盘通常是不切实际的。然而，他们的注意力和眼动注视往往会自然地被屏幕上呈现的黑点所吸引。在此情况下，应由实验人员在受试者注视黑点时负责按压键盘。
14. 通过显示电脑的显示器呈现视觉刺激，并通过位于显示器左右两侧的外部扬声器播放听觉刺激（耳机也可接受）。
    注意：录音以24 kHz单声道音频片段的形式从硬盘播放。若无特殊原因，建议使用单声道音频片段而非立体声音频片段。在立体声音频片段中，两个声道之间以及两个扬声器之间的差异可能会影响受试者的眼动行为。有关眼动仪使用的更多信息，请参阅用户手册。³⁰.

6. 数据编码与分析

1. 打开数据查看器，点击 文件 | 导入文件 | 导入多个Eyelink数据文件 导入所有记录的眼动仪文件（扩展名为EDF），并将其保存为一个单一文件 .EVS 文件。
2. 打开已保存的EVS文件并点击 分析 | 报告 | 样本报告 导出未经汇总的原始样本数据。
   注意：如果眼动仪的采样率为 500 Hz，则导出的数据每秒每试次将包含 500 个数据点，即 500 行。若追踪的是被试的左眼，请确保导出以下列以及数据源中创建的变量：RECORDING_SESSION_LABEL、LEFT_GAZE_X、LEFT_GAZE_Y、LEFT_INTEREST_AREA_LABEL、LEFT_IN_BLINK、LEFT_IN_SACCADE、LEFT_PUPIL_SIZE、SAMPLE_INDEX、SAMPLE_MESSAGE。有关如何使用 Data Viewer 的更多信息，请参阅软件手册³¹.
3. 将统计分析限制在测试图像呈现开始至测试音频结束的时间窗口内。 即持续时间为11秒的时间窗口。
4. 删除未记录到参与者眼动的数据样本，例如参与者眨眼的情况，这类情况大约影响10%的记录数据。
   注：此步骤为可选，因为无论是否删除这些样本，通常结果都相同。
5. 对数据进行编码。针对某一特定采样点上感兴趣区域的数据构建，若参与者的视线注视位于该采样点待分析的兴趣区域内，则将数据编码为1；若视线注视未位于该采样点的兴趣区域内，则将数据编码为0。
6. 绘制注视比例图以直观展示所获得的数据。为计算特定兴趣区域的注视比例，需在每种条件下，对每个采样点的所有试验和所有被试的编码数据取平均值。以y轴表示计算得到的注视比例，x轴表示采样点，绘制图表；不同子图表示不同的兴趣区域，不同绘图颜色表示不同的实验条件。
   注意：在实验中，四个面板展示了参与者在四个兴趣区域上的注视模式。红色、绿色和蓝色线条分别表示测试语句为合取命题时参与者的注视模式S1 和 S2），但-语句（S1 而非 S2）和分离（disjunctions）S1 或 S2），分别使用 R 环境中的 ggplot2 软件包绘制描述性图表。也可使用其他软件。 图5 是此类图的一个示例。
7. 在每个采样点对每个感兴趣区域拟合二项分布广义线性混合模型（GLMM），因为数据被编码为1或0，取决于参与者在该采样点的注视点是否位于感兴趣区域内。
   注意：由于数据未进行分组，且编码后的数据只能为1或0，因此编码数据的分布为二项分布而非正态分布。因此， 使用二项分布族的广义线性混合模型（GLMM）。该GLMM模型包含一个固定效应项（实验条件）和两个随机效应项（参与者和项目）。对这两个随机效应项的公式中同时包含了截距和实验条件的斜率。用于模型拟合的软件是 lme4 从 R 环境中打包。其他软件也可用。需要提及的一点是，当分析的兴趣区域不同时，固定项目的基线存在差异。 即，所分析的区域框是不同的。具体而言，该联合（S1 和 S2在分析大开盒（Box A）和分离情况时，被选为基线。A 和 B分析小封闭盒（Box B）时，选择“小封闭盒”作为基线；分析首次提及的盒子（Box D）时，选择“但是”语句作为基线。
8. Bonferroni 校正 p Wald 法获得的值 z 检验，以减少多重比较引起的族系误差。
   注意：Bonferroni 校正法是应对多重比较所引起的族系误差的传统方法。其他方法也可使用，我们在引言部分已有描述。

结果

参与者的行为反应总结如下 图4. 正如我们之前所述，对合取命题的正确反应是（S1 和 S2）是一个大的开口箱，例如A箱 图1对一个的正确反应 但-声明（S1 而非 S2) 是包含前述动物的小型开放盒，例如 D 盒 图1. 关键在于，选择哪一个盒子作为析取命题S1 或 S2) 取决于析取命题的处理方式：小的封闭盒子，例如盒子 B 中的 图1只有当计算了与析取陈述相关的标量含义和无知推论时，才选择该选项。 图4 说明在理解一个析取命题（S1 或 S2），参与者会同时计算这两种推论。

讨论

进行视觉世界研究时，需遵循若干关键步骤。首先，研究人员旨在通过参与者在视觉世界中的眼动来推断其对听觉呈现语言的理解。因此，在设计视觉刺激的布局时，应控制自然任务中可能影响参与者眼动的眼动特性，从而能够识别出言语对参与者眼动的影响。其次，口语中的声学线索具有瞬态性，且不存在仅对应于特定语言类别的声学特征。为了将参与者的眼动与某一语言标记的起始时间精确同步，研究人员需要找到一种客观且一致的方法来界定某种语言结构的边界。第三，为了准确地将参与者眼球相对于头部的旋转映射到其在视觉世界中的注视点，研究人员需要执行一次或多次校准、验证和漂移校正过程。第四，视觉世界研究获得的数据具有一些特殊性质，例如存在上下界限制以及误差自相关等。在选择统计分析方法时，应充分考虑这些特殊性质。

视觉世界研究包含三个基本组成部分：视觉显示、口语刺激和实验任务。研究者可根据具体研究目的对其中任一组分进行调整。首先，视觉显示通常是一个呈现多幅图片的屏幕画面，但也可能是一个呈现多个印刷词汇的屏幕³²、一个示意图景³³

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	图像编辑应用程序
Praat	开源软件	http://www.fon.hum.uva.nl/praat/	声音分析与编辑软件
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	远程红外眼动仪
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	眼动仪软件
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	眼动仪软件
R	开源软件	https://www.r-project.org	用于统计计算和图形的免费软件环境