需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

眼动监测记忆

14.6K 次观看

DOI:

10.3791/2108

2010年8月15日

本文内容

勘误通知

Important: There has been an erratum issued for this article. View Erratum Notice

摘要

眼动监测(或称眼动追踪)能够揭示眼睛在空间中的注视位置、注视时间以及持续时长。在此,我们演示如何利用眼动追踪技术,在无需言语或其他明确报告的情况下,研究多种受试人群的记忆完整性。

摘要

明确的(通常是口头的)报告通常被用于研究记忆(例如:“请告诉我你对昨天在银行看到的那个人还记得些什么。”),然而这类报告往往不可靠,或容易受到反应偏差的影响。1,且在某些受试者群体中可能无法获取。此外,显式报告仅能揭示信息何时进入意识状态,而无法说明在信息处理过程中记忆何时被提取,无论该信息后续是否以意识方式被访问。眼动监测(眼动追踪)提供了一种工具,可在不要求受试者对其记忆内容进行主观陈述的情况下探测记忆,并能够在线揭示此类记忆的提取过程2,3. 基于视频的眼动仪(头戴式或远程式)利用摄像头和红外标记系统,在受试者观看显示器时检测其双眼的瞳孔及角膜反射。对于头戴式眼动仪,红外标记还可用于确定头部位置,从而允许头部移动并更精确地定位眼动位置。本文演示了使用头戴式眼动追踪系统来研究神经系统完整与神经系统受损成人的记忆表现。眼动监测流程首先将眼动仪佩戴在受试者身上,并设置头戴和眼动摄像头。随后进行校准和验证程序,以确保眼动位置记录的准确性。显示器上X、Y坐标位置的实时记录被转换后,用于描述眼睛静止(即注视)与运动(即扫视)的时间段。注视和扫视与视觉刺激的呈现/消失或其他外部事件(例如按键)在时间上同步锁定。通过设计实验操控,考察不同类型先前经验如何以及何时改变注视和扫视的模式。记忆的影响体现在:对新图像的扫描模式与对先前学习过的图像的扫描模式之间的差异程度。2, 4-5记忆的特异性也可以被检测;例如,面对先前学习过的图像的相同版本和修改版本,眼动模式的差异可以揭示记忆中存储了被修改的细节信息2-3, 6-8这些记忆指标可以在不同参与者群体之间进行比较,从而为研究健康个体记忆的组织方式,以及神经系统受损或衰退时记忆发生的具体变化提供了一种强有力的工具。2-3, 8-10.

方案

数据采集过程中使用的设备

眼动仪

本方案中使用的眼动仪为 EyeLink II 系统(SR Research Ltd;Mississauga, Ontario, Canada)。该头戴式视频眼动仪以每秒 500 或 250 次的采样率,在 X、Y 坐标系中记录眼动位置,空间分辨率为 < 0.1°。一个摄像头通过将红外标记发送至参与者所观看显示器四角的传感器,以监测头部位置。另外两个摄像头安装在头带下方,分别位于每只眼睛的下方,同时使用红外照明器记录瞳孔和角膜反射。眼动位置的计算可基于瞳孔与角膜反射,也可仅基于瞳孔。眼动仪的衬垫头带可在两个平面上调节,以舒适地适配成年参与者的头型。大多数眼镜和隐形眼镜均可兼容该眼动仪。

计算机

使用两台计算机支持眼动记录。其中一台计算机作为显示计算机,向参与者呈现校准界面、必要的任务说明以及实验范式中使用的图像。显示计算机设定数据采集参数,这些参数由第二台主机计算机控制。主机计算机计算实时注视位置,记录眼动数据以供后续分析,同时记录参与者按下的任何按钮或键盘反应。参与者设置和眼动仪的操作均通过主机计算机进行。

软件

在本实验方案中,实验刺激呈现给受试者的时间和顺序,以及主机PC采集眼动位置数据的方式,均通过Experiment Builder软件进行编程。该软件由SR Research Ltd专门开发,用于与眼动仪主机计算机进行交互。然而,刺激呈现也可通过其他软件程序实现(例如,Presentation软件,Neurobehavioral Systems;Albany,CA)。将眼动数据转换为一系列与刺激呈现(或其他外部事件)时间同步的注视和扫视事件,可通过主机计算机完成,并使用SR Research Ltd开发的Data Viewer软件进行分析;但同样,也可使用其他程序提取所需的眼动参数。在此过程中,注视和扫视的检测依赖于一个在线解析器,该解析器将原始眼动采样数据划分为有意义的状态(扫视、眨眼和注视)。若连续两个眼动采样点之间的速度超过每秒22度,且移动距离超过0.1°,则被标记为一次扫视。若瞳孔信号连续缺失3个或以上采样点,则在数据流中标记为一次眨眼。非扫视且非眨眼的眼动活动被视为注视。

眼动追踪实验步骤。

以下,我们详细说明获取每位参与者眼动记录的操作步骤。

  1. 知情同意。在参与者准备开始实验前,向其展示眼动仪头带。实验人员需向参与者说明,头带上的摄像头会监测头部和眼部的位置。
  2. 实验范式设置。在特定实验范式中,参与者需坐在距离显示器固定距离的位置,以确保所有参与者具有相同的视觉角度。
  3. 眼动仪摄像头设置。调整眼动仪头盔,使其紧贴头部且不易移动,但佩戴舒适。进一步调整头盔,使头戴摄像头能够向显示器上的外部标记发送红外照明。每个眼动摄像头安装在从头盔延伸出的独立杆件上,可在所有轴向上进行调节。摄像头应位于每只眼睛的正下方并略微外移,确保不遮挡参与者对显示器的视线(见图1)。调节摄像头焦距,以获得清晰且稳定的眼瞳和角膜反射图像。主机电脑上的状态面板会显示是否成功捕获眼瞳和角膜反射信号。可调节照明阈值,以获得最稳定的眼瞳和角膜反射记录。随后,实验人员选择相应的实验范式,并为即将开始的眼动记录指定文件名。

    使用头戴式设备和计算机界面进行视觉分析的眼动实验设置。
    图1. 头戴式基于视频的眼动仪(左)及显示与主机电脑(右)示例。注意,位于参与者前方的显示器上会显示瞳孔位置(带十字线的蓝色圆点)和角膜反射(带十字线的黄色圆点),以辅助摄像头设置。
  4. 校准。为准确记录参与者在显示器上的眼动位置,在完成摄像头设置后需进行校准程序。在校准过程中,指导参与者注视屏幕上不同位置依次出现的一系列目标点。通常使用九个校准点,但也可使用最少三个点完成校准。基于这九个记录位置,可对屏幕上任意位置的眼动进行插值计算。
  5. 验证。校准完成后,进行验证程序以检查眼动记录的准确性。向参与者呈现相同的九个目标点,要求其注视,系统计算当前注视位置与先前记录位置之间的差异。若单眼或双眼的位置记录平均误差超过可接受范围(平均误差 < 0.5°,任一点最大误差 < 1.0°),则需重复校准和验证程序。在确认准确性达标后,实验人员可决定是否进行单眼或双眼记录。若为单眼记录,实验人员可指定记录哪只眼的数据,或由主机电脑自动选择平均误差和最大误差均较低的一只眼。尽管校准和验证过程中允许轻微头部移动,但建议参与者尽可能保持静止。同时指导参与者不要预判目标点的出现位置,而应在目标点出现后,有意识地移动视线并注视目标,直至其消失。
  6. 实验范式执行。向参与者呈现特定范式的指导语(例如:“请自由观看以下每幅图像”),并开始本阶段的数据记录。
  7. 漂移校正。在每个实验刺激呈现前,可通过让参与者注视中央注视点,并按下手柄或键盘上的按钮确认注视位置,以执行漂移校正。当启用漂移校正时,只有当参与者成功将注视点保持在中心目标点2.0°范围内时,试验才会开始。若参与者持续注视偏离超过2.0°,则需重新进行校准和验证程序。在数据处理中,将记录的眼动位置与校准/验证阶段获得的初始注视位置之间的差异(小于2.0°)视为误差并予以校正。
  8. 刺激呈现。每次刺激呈现时,在完成漂移校正后,系统记录包括注视和扫视事件在内的所有眼动位置信息。实验人员可通过主机电脑实时监控记录的准确性。
  9. 眼动记录结束后,可使用多种软件包(如SR Research Ltd的Data Viewer)对不同类型图像(例如:新异图像、重复图像)的眼动扫描模式进行分析。此外,通过分析眼动轨迹相对于实验者划定的兴趣区域(ROI)的分布情况,可进一步刻画参与者对图像特定区域(例如:未修改区域、修改区域)的注视行为。这些兴趣区域可在实验范式编程阶段或数据采集完成后为每幅图像创建。
  10. 实验结束后,向参与者说明实验目的并进行解盲说明。

代表性结果

可以从眼动记录中提取多种测量指标,包括描述对整幅图像总体观看行为的指标(涵盖每次注视/眼跳的特征),以及描述针对图像中特定感兴趣区域观看模式的指标3。对图像总体观看行为的测量指标可能包括(但不限于):对图像产生的注视次数和眼跳次数、每次注视的平均持续时间,以及用于注视图像的总观看时间。针对特定感兴趣区域观看模式的测量指标可能包括(但不限于):对感兴趣区域的注视次数、在感兴趣区域内停留的时间,以及进入或离开感兴趣区域的转换次数。此外,还可从眼动记录中提取描述特定眼动事件发生时间进程(即发生时间的早晚)的指标,例如在刺激呈现后眼睛何时首次注视特定感兴趣区域、图像上首次眼跳发生的时间,以及眼动模式序列中固有的熵值(约束性/随机性)。

对于任意给定的图像,眼动指标可以详细描述眼睛注视的位置、时间以及持续时长。为了获得记忆的指标,我们可以让观察者以不同种类或不同程度接触不同的图像集合,然后比较这些集合之间以及不同参与者之间的观看模式。例如,为了探究图像重复呈现后的记忆情况,可以对比新图像与在测试过程中多次呈现过的图像之间的扫描模式。在测试过程中反复观看图像会导致对图像的整体注视程度下降2, 4-5, 8。这一点在图2中可以清楚看到。在Riggs等人11的一项代表性结果中,参与者在五个测试区块中各观看一次新的面孔图片;随着暴露次数增加,观察者对这些面孔的注视次数逐渐减少。为了探究图像中特定细节的记忆情况,可以对比那些以原始未修改形式被反复观看的图像(重复图像)与那些在测试过程中同样被反复观看但在最后一次呈现时场景中的某个元素发生了改变的图像( manipulated images,即 manipulated images)。在这种情况下,与重复图像中相同但未修改的区域相比,观察者的扫描模式会更多地被吸引到 manipulated image 中被修改过的区域2-3, 7-8。然而,这类基于眼动的记忆指标在某些人群中并不存在,例如当评估健康老年人以及因内侧颞叶损伤导致失忆的患者对场景中物体间空间关系的记忆时,如图3所示2, 8。因此,眼动监测的研究结果可用于比较具有不同神经心理学状态的参与者群体之间的记忆表现2-3, 8-10

注视次数下降趋势;折线图;数据分析;视觉行为研究;区块比较。
图2. 眼球运动揭示对重复信息的记忆。 在本实验室的一项代表性结果中[11],参与者在5个学习区块中观看人脸图像;随着观看次数的增加(从1次到5次),对人脸的注视次数逐渐减少。

柱状图比较不同年龄组和条件下注视比例:新异、重复、被操纵。
图 3. 眼动揭示对变化细节的记忆。 与未发生变化的新异图像和重复图像相比,年轻成年人 [2(实验 1、2),8(自由观看条件)] 在先前观看后发生过变化的被操纵图像的关键区域上投入了更高比例的总眼动注视。此类记忆效应在健康的老年人 [8(自由观看条件)] 以及遗忘症患者 [2] 中均未出现。

访问受限。请登录或开始试用以查看此内容。

讨论

眼动监测是一种高效且实用的工具,可用于评估多种人群的记忆功能。本方案描述了使用头戴式基于视频的眼动仪的方法,但该方案也可轻松适用于远程眼动设备;由于远程眼动仪无需调整头盔,且能简化摄像头的调节过程,因而使用更为方便。然而,使用远程眼动仪时必须限制头部运动,以保持眼动记录的准确性。准确的眼动校准对于获取有效且可解释的数据至关重要。

通过眼动监测获得的记忆指标无需获取明确的(即言语的)记忆报告,这在快速研究沟通能力受损人群的记忆时具有优势。眼动追踪还可与明确报告结合使用,以确定是否存在保留在记忆中但无法被意识内省所获取的信息。此外,可通过分析眼动模式来判断记忆的影响何时导致这些模式发生变化。总体而言,与明确报告相比,从眼动监测中得出的测量指标能够更全面地揭示记忆中保留的内容以及记忆被提取的时间2-3

比较不同人群群体的眼动模式,有助于了解记忆功能的完整性如何随年龄变化,和/或受神经心理学状态改变的影响。通过研究脑部特定区域受损个体的记忆眼动指标,可以揭示对形成和维持特定类型信息至关重要的神经区域...

访问受限。请登录或开始试用以查看此内容。

披露

未声明任何利益冲突。

致谢

作者谨向参与眼动监测记忆研究的合作者致以谢意,特别感谢 Eyal Reingold、Jiye Shen、Neal J. Cohen、Robert R. Althoff、Deborah Hannula 和 Dave Warren。本研究得到了加拿大自然科学与工程研究理事会(NSERC)、加拿大卫生研究院(CIHR)、加拿大研究主席计划以及加拿大创新基金会(CFI)的资助。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
眼动仪SR Research Ltd.Eyelink II
实验控制软件SR Research Ltd.Experiment Builder
眼动分析程序SR Research Ltd.Data Viewer

参考文献

  1. Bradfield, A. L., Wells, G. L., Olsen, E. A. The damaging effect of confirming feedback on the relation between eyewitness certainty and identification accuracy. J. Appl. Psychol. 87 (1), 112-120 (2002).
  2. Ryan, J. D., Althoff, R. R., Whitlow, S., Cohen, N. J. Amnesia is a deficit in relational memory. Psych. Sci. 11 (6), 454-461 (2000).
  3. Ryan, J. D., Cohen, N. J. The nature of change detection and online representations of scenes. J. Exp. Psych. Hum. Percept. Perfor. 30, 98-1015 (2004).
  4. Althoff, R. R., Cohen, N. J. Eye-movement-based memory effect: a re-processing effect in face perception. J. Exp. Psychol. Learn Mem. Cog. 25 (4), 997-1010 (1999).
  5. Heisz, J. J., Shore, D. More efficient scanning for familiar faces. J. Vis. 8 (1), 1-10 (2008).
  6. Parker, R. E. Picture processing during recognition. J. Exp. Psych. Hum. Percept. Perfor. 4, 284-293 (1978).
  7. Hollingworth, A., Williams, C. C., Henderson, J. M. To see and remember: Visually specific information is retained in memory from previously attended objects in natural scenes. Psychon Bull. Rev. 8, 761-768 (2001).
  8. Ryan, J. D., Leung, G., Turk-Browne, N. B., Hasher, L. Assessment of age-related changes in inhibition and binding using eye movement monitoring. Psychol. Aging. 22 (2), 239-250 (2007).
  9. Hannula, D. E., Ryan, J. D., Tranel, D., Cohen, N. J. Rapid onset relational memory effects are evident in eye movement behavior, but not in hippocampal amnesia. J. Cog. Neuro. 19 (10), 1690-1705 (2007).
  10. Bate, S., Haslam, C., Tree, J. J., Hodgson, T. L. Evidence of an eye movement-based memory effect in congenital prosopsagnosia. Cortex. 44 (7), 806-819 (2008).
  11. Riggs, L., McQuiggan, D., Chan, J., Anderson, A. K., Ryan, J. D. Emotion- modulated viewing of faces by association. , Forthcoming Forthcoming.
  12. Kramer, A. F., McCarley, J. S. Oculomotor behaviour as a reflection of attention and memory processes: Neural mechanisms and applications to human factors. Theor. Issues Ergon. Sci. 4 (1), 21-55 (2003).

访问受限。请登录或开始试用以查看此内容。

重印与许可

勘误


Formal Correction: Erratum: Eye Movement Monitoring of Memory
Posted by JoVE Editors on 9/16/2010. Citeable Link.

A correction was made to Eye Movement Monitoring of Memory. There was an error in the author, Douglas A. McQuiggan's, name. The author's name has been corrected to:

Douglas A. McQuiggan

instead of:

Doug McQuiggan

标签

记忆表现头戴式眼动仪注视-扫视分析校准验证程序瞳孔角膜反射实验范式设计神经功能完整但存在认知障碍者视觉显示监控Data Viewer 软件