视觉世界范式通过监测参与者在倾听或说出口语时其在视觉工作区中的眼动，来研究心理语言学中的多种在线加工问题，包括诸如析取语句等语义复杂的陈述。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
在使用视觉世界范式的典型眼动追踪研究中，当参与者产出或理解描述当前视觉场景的口语时，眼动仪会记录他们对视觉工作区内物体或图片的眼动。该范式具有高度的适用性，可用于多种人群，包括无法阅读和/或无法明确给出行为反应的个体，例如前阅读期儿童、老年成人以及患者。更重要的是，该范式对言语信号的细微操控极为敏感，可用于研究语言理解中大多数主题的在线加工过程，涵盖多个层面，如精细的声学语音特征、词汇属性以及语言结构。本文所描述的实验方案展示了如何开展一项典型的视觉世界眼动追踪研究，并通过一个实例说明如何利用视觉世界范式探究某些语义复杂语句的在线加工过程。
引言
口语是一种快速、持续的信息流，转瞬即逝。对这种具有时间性且快速变化的言语信号进行实验研究具有挑战性。通过视觉世界范式中记录的眼动数据，可以克服这一挑战。在典型的采用视觉世界范式的眼动研究中，当参与者聆听或产出描述视觉场景内容的口语时，研究人员会监测他们对显示屏中图片或视觉工作区中真实物体的眼动情况1,2,3,4。该范式背后的基本逻辑，即关联假设，是理解或计划说出某个语句时，会（外显或内隐地）将参与者的视觉注意力转移到视觉世界中的某个特定物体上。这种注意力的转移极有可能引发扫视眼动，使被注意的区域进入中央凹视野。借助这一范式，研究人员旨在确定相对于言语信号中某一听觉标志点，在什么时间点会出现参与者视觉注意力的转移，该转移通过向视觉世界中某个物体或图片的扫视眼动来测量。扫视眼动在何时、何地随着言语信号的发生而启动，可用于推断语言的在线加工过程。视觉世界范式既可用于研究口语理解1,2，也可用于研究口语产出5,6。本文将重点介绍理解过程的研究。在采用视觉....
访问受限。请登录或开始试用以查看此内容。
方案
所有受试者在实施实验方案前必须签署知情同意书。所有实验程序、知情同意书及实验方案均已通过北京语言大学研究伦理委员会的批准。
注意：采用视觉世界范式进行理解研究的实验通常包含以下步骤：介绍拟探讨的理论问题；设计实验方案；准备视觉和听觉刺激材料；结合实验设计阐述理论问题；选择眼动仪以记录被试的眼动轨迹；选择软件并利用该软件编写程序以呈现刺激材料；对记录的眼动数据进行编码与分析。具体实验在上述任一步骤中均可能存在差异。本文以一个具体实验方案为例，介绍如何实施此类实验，并讨论研究人员在设计和开展基于视觉世界范式的自主实验时需注意的一些关键问题。
1. 准备测试刺激
- 视觉刺激
- 从互联网下载60张无版权的动物剪贴画。使用图像编辑软件（例如 Pixelmator）逐一打开每张图像，点击 工具 | 快速选择工具 选择并删除背景。点击 图像 | 图像尺寸 调整其大小至 120 x 120 像素。
- 邀请一位主修绘画的学生绘制四个浅绿色的方框，如图所示 图1使用图像编辑器将大开箱调整为 320 x 240 像素，小闭箱调整为 160 x 160 像素，两个小开箱分别调整为 160 x 240 像素。
- 点击 Pi....
访问受限。请登录或开始试用以查看此内容。
结果
参与者的行为反应总结如下 图4. 正如我们先前所述，对一个合取命题的正确反应（S1 和 S2）是较大的开口箱，例如A箱 图1对一个的正确反应 但-声明（S1 而非 S2) 是包含前述动物的小型开放盒，例如 D 盒 图1. 关键在于，哪一个盒子被选中作为析取命题S1 或 S2) 取决于析取命题的处理方式：小的封闭盒子，例如盒子 B 中的 图1只有当计算了与析取陈述相关的标量含义和无知推论时，才选择该选项。 图4 说明在理解一个析取命题（S1 或 S2），参与者会同时计算这两种推论。
访问受限。请登录或开始试用以查看此内容。
讨论
进行视觉世界研究时，需遵循若干关键步骤。首先，研究人员旨在通过参与者在视觉世界中的眼动来推断其对听觉呈现语言的理解。因此，在设计视觉刺激的布局时，应控制自然任务中可能影响参与者眼动的眼动特性，从而能够识别出言语对参与者眼动的影响。其次，口语中的声学线索具有瞬态性，且不存在仅对应于特定语言类别的声学特征。为了将参与者的眼动与某一语言标记的起始时间精确同步，研究人员需要找到一种客观且一致的方法来界定某种语言结构的边界。第三，为了准确地将参与者眼球相对于头部的旋转映射到其在视觉世界中的注视点，研究人员需要执行一次或多次校准、验证和漂移校正过程。第四，视觉世界研究获得的数据具有一些特殊性质，例如存在上下界限制以及误差自相关等。在选择统计分析方法时，应充分考虑这些特殊性质。
视觉世界研究包含三个基本组成部分：视觉显示、口语刺激和实验任务。研究者可根据具体研究目的对其中任一组分进行调整。首先，视觉显示通常是一个呈现多幅图片的屏幕画面，但也可能是一个呈现多个印刷词汇的屏幕32、一个示意图景33
访问受限。请登录或开始试用以查看此内容。
披露
作者声明其不存在竞争性经济利益。
致谢
本研究由中央高校基本科研业务费专项资金北京语言大学科研基金资助（批准号 15YJ050003）。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Pixelmator | Pixelmator Team | http://www.pixelmator.com/pro/ | 图像编辑应用程序 |
| Praat | 开源软件 | http://www.fon.hum.uva.nl/praat/ | 声音分析与编辑软件 |
| Eyelink 1000plus | SR-Research, Inc | https://www.sr-research.com/products/eyelink-1000-plus/ | 远程红外眼动仪 |
| Experimental Builder | SR-Research, Inc | https://www.sr-research.com/experiment-builder/ | 眼动仪软件 |
| Data Viewer | SR-Research, Inc | https://www.sr-research.com/data-viewer/ | 眼动仪软件 |
| R | 开源软件 | https://www.r-project.org | 用于统计计算和图形的免费软件环境 |
参考文献
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language p....
访问受限。请登录或开始试用以查看此内容。
重印与许可
