本文介绍了如何使用眼动追踪方法来研究文本理解过程中的认知活动。内容包括眼动追踪设备的描述、实验刺激材料的设计方法以及实验操作建议。文中提供的信息适用于大多数使用语言刺激材料的研究。
本文介绍了如何使用眼动追踪方法来研究文本理解过程中的认知活动。内容包括眼动追踪设备的描述、实验刺激材料的设计方法以及实验操作建议。文中提供的信息适用于大多数使用语言刺激材料的研究。
本文介绍了如何使用眼动追踪方法来研究文本理解过程中涉及的认知过程。在阅读过程中测量眼动是评估文本理解期间逐时(在线)加工需求最精确的方法之一。认知加工需求体现在眼动行为的多个方面,例如注视时间、注视次数以及回视次数(返回到文本先前部分的次数)。文中还描述了研究人员需要考虑的眼动追踪设备的重要特性,包括眼位测量频率(采样率)、眼位确定的准确性、允许头部移动的程度以及设备的易用性。此外,还介绍了影响眼动并需要在文本理解研究中加以控制的刺激材料特性,例如目标词的位置、出现频率和长度。本文提供了有关被试准备、设备设置与校准以及实验实施的操作建议。通过展示代表性结果,说明了数据的评估方法。尽管本文以阅读理解为例描述该方法,但其中大部分内容也可应用于任何涉及被试阅读语言刺激材料的研究。
当读者阅读文本时,他们的眼睛会通过注视(眼睛静止并聚焦于某个词的位置)和眼跳(眼睛在词之间移动的瞬间)交替的模式,从一个词移动到下一个词。在眼跳之后,如果眼跳使读者在文本中向前移动,随后的注视称为前向注视;如果眼跳使读者回到文本中先前的位置,随后的注视称为回视。眼动追踪方法的基本假设是,加工需求的增加与加工时间的延长或注视模式的变化相关。加工时间的增加可能表现为注视持续时间更长,或注视次数(包括前向注视和回视)更多。
眼动为研究阅读行为提供了相较于整段或逐句阅读时间测量的多个重要优势。首先,监测眼动可获得连续的、实时的阅读表现记录,从而能够在全局水平(整篇文本)、句子水平(单个句子)或局部水平(单个词或短语)上考察文本加工需求。例如,全局难度的变化会引起多项表现指标的改变,如总阅读时间、前向注视次数和回视次数。局部难度的变化也会影响多个指标,如单个词的阅读时间、对词进行注视的概率以及回视特定词的可能性。而整体阅读时间或逐句阅读时间无法提供如此精细的阅读表现测量。其次,眼动是阅读的自然组成部分,因此不会对读者施加额外的任务负担。第三,可对眼动的多个方面进行分析(例如 注视持续时间、眼跳幅度和回视频率),从而揭示阅读过程中的不同加工成分。第四,眼动直接反映了与所读文本特征相关的加工需求。例如,眼动会随词频10,11、词长7、词汇歧义2、语境约束性1以及重复呈现10,13等因素而变化。第五,眼动反映了读者之间的个体差异。例如,眼动会因阅读能力1、对特定主题的先验知识9以及读者年龄14的不同而有所差异。Rayner, Pollatsek, Ashby 和 Clifton13 对阅读过程中的眼动现象进行了全面综述。综上所述,这些优势使眼动成为研究阅读行为的理想指标。
本研究采用眼动方法来探讨文本理解过程中涉及的认知机制。具体而言,实验旨在探究熟悉和不熟悉隐喻的加工方式4。在本研究中,参与者阅读呈现在电脑显示器上的简短文本,同时其眼动被记录。每篇文本包含四个句子:前两个句子提供与隐喻预期含义一致的上下文;隐喻出现在第三个句子中;第四个句子作为中性结尾。以下列出了包含熟悉(1)和不熟悉(2)隐喻的文本示例,其中隐喻部分已加下划线以便识别。
以往基于多种方法的研究表明,熟悉的隐喻比不熟悉的隐喻更容易理解(处理速度更快)3,6。眼动追踪方法的优势在于,能够将理解困难的来源定位到特定词语。例如,研究人员可以确定,理解不熟悉隐喻所需的额外时间,是由于在阅读隐喻中每个词语时速度变慢,还是仅在阅读隐喻的最后一个词时才变慢(此时才明确前面的短语是一个隐喻)。此外,眼动模式有助于推断理解隐喻所涉及的认知过程。例如,当阅读新颖或不熟悉的隐喻时,读者需要进一步加工以提取其比喻意义,这可能表现为眼动模式中的回视行为,即视线返回到隐喻的起始位置,然后再次通读整个隐喻。读者也可能尝试比较隐喻中两个关键词语的含义(例如 love 和 flower),从而导致视线在两个关键词之间来回移动。相反,在阅读熟悉的隐喻时,读者可能在看到隐喻的瞬间就立即提取其比喻意义,因此无需发生回视。关键在于,眼动模式使研究人员能够推断出理解隐喻时的实时认知加工过程,这比仅仅指出“不熟悉隐喻的整体加工时间长于熟悉隐喻”能得出更为详尽的结论。
本文所述研究展示了一种常见的对比方法,用于分析针对两种不同类型书面刺激材料的眼动模式,并提供了一个具体情境,以描述眼动研究方法中的关键方面。重要的是,此处描述的眼动研究方法可推广应用于许多其他问题的研究,例如读者如何解决复杂程度不同的基于文字的数学问题(例如 高复杂度与低复杂度),或领域专家与新手在解决文字题时的差异。眼动数据可用于确定问题中的哪些词语吸引了最多的注意力(即 最长的注视持续时间和最多的注视次数),以及专家与新手是否关注相同的信息。在每种情况下,监测眼动都能提供一份记录,反映阅读理解过程中加工需求随时间变化的动态情况。
1. 眼动仪设备的特性
眼动仪在测量眼动方式、眼位测量频率(采样率)、确定眼位的准确性、允许头部移动的程度以及使用便捷性方面各有不同。这些因素的重要性取决于所进行的研究类型及受试者特征。例如,在大多数阅读研究中,需要高精度来确定受试者正在注视哪一个单词。再如,当以儿童为受试者时,对头部运动的容忍度和操作便捷性则至关重要。
本文所述研究采用SR Research公司生产的EyeLink 1000眼动仪(SR Research Ltd)进行。眼动系统示意图见图1。EyeLink系统通过测量视频图像中瞳孔位置的变化来追踪眼动。该过程通过向受试者眼睛投射弥散的红外光(对受试者不可见)实现,并利用高分辨率红外感应摄像机记录单眼(或双眼)的红外反射图像。红外光源和摄像机位于用于呈现刺激的显示器下方。使用红外光可避免可见光谱光源产生的干扰反射。红外光会在瞳孔所在位置产生一个亮斑(光线进入瞳孔后由视网膜反射,使瞳孔变亮),并在眼球表面产生一个称为角膜反射的微小光点。视频图像被数字化,以便测量视频帧中瞳孔(即亮斑)的水平和垂直运动。角膜反射是一个固定的反射点,除非头部移动,否则其位置不变(因其为眼球表面的反射,故眼球运动时该反射点不移动)。通过测量角膜反射,可区分由头部移动引起的反射点位移与单纯的眼球运动(后者不引起角膜反射点移动)。为尽量减少头部移动并使受试者保持在摄像机的焦距范围内,参与者在阅读计算机屏幕上呈现的文本时需将头部置于额托和颏托上。以下介绍眼动追踪系统的若干关键特性。
2. 刺激材料准备
在比较不同条件下刺激材料的眼动情况时,需要对已知会影响眼动的特征进行匹配。本文所使用的隐喻文本说明了在比较两种刺激材料的阅读过程时应控制的若干重要属性。
3. 实验运行
眼动的多个方面均可进行分析,通常可分为整体性指标和局部性指标。整体性指标反映整个试验过程中的眼动行为,例如总体阅读时间、所有词语的平均注视时间以及注视总次数(包括前向和回视)。局部性指标则反映特定目标词或一组目标词(如隐喻中的词语)的眼动行为,称为感兴趣区域。局部性指标包括对目标词的注视时间、对目标词的注视概率、在目标词上的注视次数以及回视到目标词的次数等。此外,局部性指标通常按首遍注视、再访注视和总时间来讨论。首遍注视(也称首遍通过)指在首次移向其他词之前对目标词的注视,可视为对目标词的初次接触。再访注视(也称第二遍通过)指初次离开目标词后再次返回并对目标词进行的注视,通常为回视行为。总时间则包括对目标词的所有注视(所有遍次的总和)。此外,还有更复杂的指标用于评估加工时间和眼动模式,例如回视路径持续时间,其定义为从首次接触到某个词到最终移向后续词的总时间。例如,若读者(1)注视了隐喻中的最后一个词,(2)返回并重新注视隐喻中的第一个词,(3)再次注视隐喻的最后一个词,然后(4)注视下一句的第一个词,则该例中的回视路径持续时间将包括前三个注视过程。
一个示例试验的眼动轨迹如图2所示。圆圈代表注视位置,黄色线条代表扫视路径,显示了读者从一个词移动到另一个词的过程。通过隐喻部分注视点的密集程度,可以看出隐喻带来的额外加工难度。可将注视点按感兴趣区域(例如 隐喻中的词语)进行分组,以确定读者在每个词上花费的时间以及在每个词上的注视次数,从而比较熟悉与不熟悉隐喻之间的差异。如图3所示的结果表明,在处理不熟悉隐喻中的两个关键内容词时,所花费的时间显著多于熟悉隐喻中的相应词语。
与记录整段或逐句阅读时间相比,记录眼动的优势如图2和图3所示。例如,在隐喻区域出现了五次注视(图2),包括三次向前注视和两次回视,反映了读者在阅读隐喻时先向前读至“doorway”,随后又回视至“degree”。本质上,该隐喻被阅读了两次。如果仅测量句子阅读时间或总体阅读时间,这一现象将无法被察觉。再以图3为例,读者在阅读隐喻的最后一个词时所花费的时间多于隐喻中其余三个词,且对于四个词中的三个,熟悉隐喻的阅读速度比不熟悉隐喻更快。若仅测量逐句阅读时间,可能显示包含熟悉隐喻的句子阅读时间更长,但无法判断额外的阅读时间是分布在隐喻的所有词上,还是仅集中在特定词上,也无法得知每个词的具体阅读时长。这两个例子说明了记录连续、实时阅读行为的优势。

图1. 左侧图片显示一名受试者将前额/下巴置于托架上,正在注视计算机显示屏。 红外光源和摄像机位于显示屏下方。右侧图片显示实验者的监控界面。上方主画面显示受试者右眼周围面部区域(右眼为被追踪眼),小画面为右眼的放大图像。蓝色区域表示来自受试者头发(主画面)和瞳孔(小画面)的强红外光反射区域。覆盖在眼睛上的十字线标示出瞳孔中心以及靠近瞳孔底部的角膜反射点。 点击此处查看高清图像。

图 2. 来自包含陌生隐喻(a degree is a doorway)示例段落的眼动轨迹。 圆圈表示注视位置,黄色线条表示扫视路径。较大的圆圈代表更长时间的注视。圆圈旁的小数字表示以毫秒(msec)为单位的注视持续时间。间隙(无扫视线,例如在 many people 两个词之间)表示由于伪迹(如受试者短暂闭眼)导致的追踪丢失点。该图显示了在隐喻内部从 doorway 回溯到 degree 的眼动回归现象。

图 3. 对熟悉与不熟悉隐喻中词语的总注视时间(毫秒)。 横轴上的词语对应示例中的熟悉(F)和不熟悉(U)隐喻。数据为10个熟悉隐喻和10个不熟悉隐喻的平均值。
技术的进步使得高精度、高可靠性且易于使用的眼动追踪系统得以广泛应用。在语言研究领域,监测眼动能够帮助研究人员确定读者如何评估文本。通过分析注视模式,可以判断文本中哪些部分最难或最容易处理,哪些部分仅需一次注视即可理解,而哪些部分需要多次注视或回视,以及读者处理文本的顺序。这些指标共同支持关于文本理解过程中所涉及的认知过程的结论。
理解能力取决于文本所含信息与读者应用的认知技能和知识之间的相互作用;因此,只有采用对文本属性和读者特征均敏感的加工测量方法,才能全面理解文本理解过程。如前所述,眼动会根据语言特征(如词频、词长和句子复杂性1,2,7,10,11)以及读者特征(如阅读能力和主题知识1,9)而发生变化。因此,眼动为文本理解提供了一个理想的测量指标。
由于眼动会因多种语言特征而变化,因此在研究文本理解所涉及的认知过程时,对刺激材料进行精确控制至关重要。研究人员通常需要投入大量精力来设计受控的刺激材料,其所需付出的努力往往与实际开展实验相当。事实上,研究的质量完全取决于刺激材料的优劣。
眼动追踪方法可为任何向参与者呈现视觉刺激并要求其对刺激进行评估的研究领域提供有价值的数据。例如,在广告领域,可通过测量人们观看视觉广告时注视最多的区域,来确定广告的哪些部分最能吸引注意力5,8。在医学研究中,可通过观察眼动扫描路径以及评估关键解剖结构所花费的时间,判断实习医生与经验丰富的医师在解读X光片或MRI图像时是否存在差异15。在这些例子中,眼动模式反映了图像中哪些部分吸引了观看者的注意力。
不存在利益冲突。作者与本文所述设备的制造商无任何经济利益关系。
我们感谢所有参与过伊利诺伊大学芝加哥分校语言研究实验室开展的研究工作的人员。同时感谢弗朗西斯·丹尼尔(Frances Daniel),她在开发用于收集本文所呈数据的程序过程中发挥了关键作用。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 眼动仪 | SR Research Ltd. | EyeLink 1000 Remote Desktop model | |
| 实验控制软件 | SR Research Ltd. | Experimental Builder | |
| 眼动数据分析软件 | SR Research Ltd. | Data Viewer |
申请许可以重复使用本 JoVE 文章的文本或图表
申请许可