我们提出了一种利用眼动追踪技术监测受试者在基于视觉事件的时间间隔比较(时长感知)任务中眼动行为的实验方案。该方案旨在初步指导如何将受试者在时长感知任务(时间间隔的比较或分辨)中的眼动反应与对刺激本身的眼动反应区分开来。
我们提出了一种利用眼动追踪技术监测受试者在基于视觉事件的时间间隔比较(时长感知)任务中眼动行为的实验方案。该方案旨在初步指导如何将受试者在时长感知任务(时间间隔的比较或分辨)中的眼动反应与对刺激本身的眼动反应区分开来。
眼动追踪方法可能实现对视觉时距知觉任务中认知加工过程的在线监测,此类任务要求参与者估计、辨别或比较由视觉事件(如闪烁的圆圈)定义的时间间隔。然而,据我们所知,目前针对这一可能性的验证尝试仍无定论,相关结果仍局限于刺激呈现后做出的行为决策的离线分析。本文介绍了一种眼动追踪实验方案,用于探究在时间间隔比较任务中行为反应之前的认知加工过程,参与者需观察两个连续的时间间隔,并判断其是加速(第一个间隔长于第二个)还是减速(第二个间隔长于第一个)。
我们的主要关注点是将对视觉刺激本身的视觉运动反应与和时长判断相关的反应区分开来。为此,我们根据关键事件定义了三个连续的时间窗口:基线开始、第一区间开始、第二区间开始以及刺激结束。随后,我们提取了每个时间窗口的传统眼动指标(注视次数、瞳孔大小),并着重分析与时间窗口相关的变化,以区分对视觉刺激的反应和与区间比较相关的反应 本身如示例结果所示,眼动追踪数据表现出与行为结果一致的显著差异,从而提出了有关所涉机制的假设。该方案尚处于初级阶段,还需诸多改进,但代表了当前技术水平的重要进展。
近年来,时间感知能力吸引了越来越多的研究关注,部分原因是不断积累的证据表明这些能力可能与阅读技能或病理状态相关1,2,3,4,5。视觉持续时间感知——即估计、区分或比较由视觉事件定义的时间间隔的能力——是其中一个受关注的子领域6,7,眼动追踪方法在该领域可能发挥重要作用。然而,现有研究结果仍主要集中于刺激后的行为决策任务,例如通过按键来报告经过的时间(估计)、判断时间间隔是否相同或不同(区分),或判断一系列时间间隔中哪一个最长或最短。少数研究曾尝试将行为结果与眼动数据进行相关性分析8,9,但均未能发现两者之间存在显著相关性,提示二者之间可能不存在直接关联。
本文介绍了一种在视觉持续时间感知任务中记录和分析眼动反应的实验方案。具体而言,该方法描述了一项区间比较任务,参与者观察由三个事件组成的序列,这些事件定义了两个时间间隔,并被要求判断序列是加速(第一个间隔长于第二个)还是减速(第一个间隔短于第二个)。研究中使用的时间间隔范围为133 至733 ms,符合时间采样框架(Temporal Sampling Framework, TSF)的原则10。TSF理论认为,大脑的振荡活动(特别是在delta频段,1-4 Hz)会与传入的语音单元(如重音序列)同步。这种同步可增强语音编码、提高对语音单元的注意力,并有助于提取序列中的规律性信息,这对于理解诸如阅读障碍等表现为异常低频振荡的状况具有重要意义。本研究旨在探讨阅读障碍者在视觉持续时间感知方面的困难(在区间比较任务中表现出的组间效应)是否反映了其对视觉对象本身(即运动和亮度对比度)加工的缺陷11。如果确实如此,我们预期阅读障碍者相较于对照组在具有运动和低亮度对比度的刺激条件下表现更差(组别与刺激类型之间的交互效应)。
原始研究的主要结果基于刺激后的行为判断。在刺激呈现期间记录的眼动数据——瞳孔大小和注视次数——被用于探索行为决策之前的心理过程。然而,我们认为,只要研究目标设置得当,当前方案可独立于行为数据的采集而使用。该方案也可能被调整用于时距辨别任务。将其用于时间估计任务则不那么直接,但我们不会排除这种可能性。我们使用瞳孔大小作为指标,因为它反映了认知负荷12,13,14等多种心理状态,因此可能提供关于被试能力水平的信息(认知负荷越高,表明能力越低)。至于注视次数,更多的注视可能反映被试对任务的参与程度更高15,16。原始研究使用了五种刺激类型,为简化起见,当前方案仅使用其中两种(球体运动 vs. 闪光,代表与运动相关的对比)。
我们试图解决的主要挑战是,将对视觉刺激本身的反应与涉及时间间隔比较的反应区分开来,因为已知眼动反应会随着运动或亮度对比度等特征而变化17。基于视觉刺激一旦出现在屏幕上即被处理(第一个时间间隔),而只有在第二个时间间隔开始后才能进行时间间隔比较这一前提,我们定义了三个时间窗口:刺激前窗口、第一个时间间隔、第二个时间间隔(不包括行为反应)。通过分析从刺激前窗口到第一个时间间隔的变化,我们可以获得参与者对刺激本身反应的指标。而通过比较第一个与第二个时间间隔,则可探测到可能反映时间间隔比较的眼动特征——这正是要求参与者完成的任务。
从社区(通过社交媒体和便利性电子邮件联系)以及一所大学课程中招募了52名参与者(25名被诊断为阅读障碍或疑似病例,27名为对照组)。在完成确认性神经心理学评估及后续数据分析后(更多细节参见Goswami10),有7名参与者被排除出研究。排除原因包括:4名阅读障碍者未达到诊断标准,2名阅读障碍参与者在主要实验任务中存在离群值,以及1名对照组参与者的眼动追踪数据受到噪声干扰。最终样本包括45名参与者,其中19名为阅读障碍成人(男性1名),26名为对照组(男性5名)。所有参与者均为葡萄牙语母语者,视力正常或矫正至正常,且均无已诊断的听力、神经或言语障碍。本研究所采用的方案已获得波尔图大学心理与教育科学学院本地伦理委员会批准(编号:2021/06-07b),所有参与者均根据《赫尔辛基宣言》签署知情同意书。
1. 刺激材料的制作
2. 实验准备
3. 仪器设置

图1:眼动追踪实验装置示意图。 记录系统的空间布局包括刺激计算机、记录计算机、眼动仪、反应装置(按钮盒)和键盘。受试者坐在距离刺激屏幕55 cm的位置。请点击此处查看该图的放大版本。
4. 数据采集的准备工作
5. 实验操作
6. 创建分析时间窗口

图2:刺激类型。 实验中使用的弹跳球序列(左侧)和闪光序列(右侧)。虚线表示用于分析的时间窗口:TW0 为刺激前时期;TW1 为刺激首次出现在屏幕上的时刻,标志着第一个时间间隔——此时参与者已获得关于刺激特征及第一间隔时长的信息;TW2 标志着第二个时间间隔——此时参与者可将第一间隔与第二间隔进行比较,以做出判断(变慢或变快)。请点击此处查看该图的放大版本。
7. 提取测量指标
8. 去除含有伪迹的试验数据
9. 统计学分析
为了更好地理解与时间窗口(TW)相关的变化,我们的分析重点关注了时间窗口(TW0 与 TW1、TW1 与 TW2)与刺激类型及分组之间的交互作用。如图3所示,在两种与时间窗口相关的比较(TW01 和 TW12)中,根据刺激类型的不同(TW × 刺激类型的交互作用),TW相关变化的程度存在差异;在两组中,球体刺激引发的眼动反应在时间窗口上的变化均大于闪光刺激(无 TW × 刺激类型 × 分组的三重交互作用)。这一现象在瞳孔大小和注视次数上均有体现。关于分组的影响,我们发现从 TW0 到 TW1(即对刺激 onset 的反应)的注视次数变化存在 TW × 分组的交互作用:阅读障碍者的变化幅度较小,主要归因于其刺激前数值较低。TW、刺激类型与分组之间的三重交互作用不存在,表明两组在球体和闪光刺激下的分组效应相似。

图 3:结果。 瞳孔大小和注视次数随时间窗口(对照组 vs. 阅读障碍组,TW × 组别)和刺激类型(球体 B vs. 闪光 F,TW × 刺激)的变化情况。TW 0-1 反映无刺激与刺激可见性之间的对比;TW 1-2 比较第一和第二时间区间,以评估区间差异。垂直条表示 95% 置信区间。在两种眼动追踪指标和两组受试者中,球体刺激相较于闪光刺激在 TW0 到 TW1 期间引起更大的下降变化,在 TW1 到 TW2 期间引起更大的上升变化(TW × 刺激,无 TW × 刺激 × 组别交互效应)。无论刺激类型如何,阅读障碍组在 TW 0-1 期间注视次数的变化均小于对照组(TW × 组别,无 TW × 刺激 × 组别交互效应)。请点击此处查看该图的放大版本。

图 4:行为学结果。(A)各组别及刺激类型在加速与减速序列辨别任务中的表现(d-prime 值)。(B)行为表现(d-prime 值)与眼动在时间窗口相关变化之间的显著相关性,均为刺激平均数据。请点击此处查看该图的放大版本。
关键的是,这些数值结果与行为学发现一致(图4A),符合本研究的主要结论:行为学结果显示出刺激效应(Balls 的准确率低于 Flashes)和组间效应(阅读障碍者表现更差),但不存在组别与刺激类型的交互作用。此外,在包含五种不同刺激的原始研究中,我们将行为学数据与眼动数据(所有刺激类型平均的注视次数)进行相关性分析,发现在阅读障碍组中存在相关性:从 TW0 到 TW1 的变化越小,行为表现改善越明显。总体而言,结果似乎支持这一假设,即这些(成年)阅读障碍者可能在刺激呈现前阶段采用了补偿性策略,以有意识地控制对刺激本身的注意力(在空白屏幕上的注视次数越少,越有利于刺激出现时集中注意力)。在对照组中未发现此类相关性,提示他们可能无需依赖此类策略即可维持注意力。本研究为说明目的所采用的受限数据集(仅包含两种刺激:Balls 和 Flashes)也呈现出相同模式(图4B):仅在阅读障碍者中,d-prime(行为辨别指数)与 TW01 相关的变化之间存在显著相关性,而对照组则无此现象。
综上所述,眼动追踪结果在刺激呈现初期(时间窗 0-1)和时间间隔比较阶段(时间窗 1-2)均重复验证了行为学证据,即在有或无阅读障碍的个体中,球体与闪光刺激引发的反应存在差异(眼动指标上的时间窗 × 刺激交互效应,以及刺激对辨别力指标 d-prime 的影响)。眼动追踪结果的一部分还与 d-prime 上的组间效应一致,表现为阅读障碍者在刺激呈现初期(时间窗 0-1)的注视次数变化较小。此外,刺激类型与组别之间的交互作用(阅读障碍者对球体与闪光的偏离程度不同)在行为学数据和眼动追踪数据中均不显著。最后,在阅读障碍组中,行为表现与眼动反应之间的相关性达到显著水平。
| 序列 | 类型 | 间隔 1 | 间隔 2 | 差值 |
| 1 | 加速 | 433 | 300 | 133 |
| 2 | 加速 | 300 | 167 | 133 |
| 3 | 加速 | 467 | 433 | 34 |
| 4 | 加速 | 733 | 167 | 566 |
| 5 | 加速 | 467 | 300 | 167 |
| 6 | 加速 | 433 | 134 | 299 |
| 7 | 加速 | 534 | 233 | 301 |
| 8 | 加速 | 500 | 433 | 67 |
| 9 | 减速 | 300 | 433 | -133 |
| 10 | 减速 | 167 | 300 | -133 |
| 11 | 减速 | 433 | 467 | -34 |
| 12 | 减速 | 167 | 733 | -566 |
| 13 | 减速 | 300 | 467 | -167 |
| 14 | 减速 | 133 | 434 | -301 |
| 15 | 减速 | 233 | 534 | -301 |
| 16 | 减速 | 433 | 500 | -67 |
| 平均间隔 | 377.1 | |||
| 平均差值 | 212.6 | |||
| 平均差值/间隔 | 294.8 | |||
表1:时间间隔持续时间。 加速和减速序列的刺激序列(单位:毫秒)。
当前方案包含一个新颖的组成部分,该部分可能对解决目前在视觉持续时间感知任务中引入眼动追踪技术所面临的障碍至关重要。此处的关键步骤是根据推测在各个时间窗口内发生认知过程来定义时间窗口。在我们使用的系统中,时间窗口只能被定义为兴趣区域(一种与这些系统中时间相关联的空间概念),但在其他系统中,可以通过导出试验的不同片段来实现。除了对试验进行这种时间上的分割之外,重要的是应关注分析跨时间窗口的变化,而非每个时间窗口内的参数本身。
关于必须对实验方案进行的修改,这些修改主要与感兴趣区域的尺寸有关。我们最初尝试使用动态感兴趣区域(AOI),即在刺激物周围定义一个随其移动的空间选择区域,而非整个屏幕。然而,我们很快意识到,这种方法可能会遗漏该区域外的相关事件。鉴于我们的测量指标与对刺激物的关注无关(瞳孔大小预计会随认知负荷变化,而非随对闪光或球体的注意力变化;注视次数预计会反映空间搜索行为),因此我们选择将整个屏幕作为感兴趣区域。
目前的方案仍是一项初步设想,尚需进行诸多完善。尽管还有大量可改进之处,我们仅强调其中两点。第一点涉及三个时间窗口时长的差异,这使我们无法解释时间窗口对注视次数的影响(例如,较长的时间窗口会导致更多的注视次数,因此从TW0到TW1呈现下降趋势,见图3)。解决这一问题的一种方法是考虑单位时间内的注视次数。
第二个问题涉及时间窗口与假设的持续过程之间的对应关系,其中包含多种问题。其一是,TW1 不仅代表刺激的出现,还可能包含一种明确的时间间隔估计形式(第一个间隔),这种估计是时间间隔比较的辅助过程,而在 TW0 中可能并不存在。类似地,不同时间窗口之间的变化也可能反映了持续性注意和工作记忆等一般性过程的变化18,尽管其中一些变化在时间间隔比较任务中是可以预期的(例如,工作记忆负荷预计会从 TW1 到 TW2 逐渐增加)。为减轻这些潜在的混淆因素,一种方法是引入与纯粹时长估计、持续性注意和工作记忆相关的控制任务,然后基于实验任务(时间间隔比较)与控制任务之间的比较来开展眼动数据的分析。另一个问题是,TW0 的持续时间与任务无关,而已知任务无关的时长可能对任务表现产生不利影响19。未来的研究可致力于改进这一点,例如通过在 TW0(无关间隔)与 TW1 之间设置 300 ms 的差异,以更清晰地界定视觉加工反应,因为仅仅在时间上邻近的位置添加另一个事件,就可能导致对短暂事件的感知时间被偏向性地判断为早于或晚于其实际呈现时间20,21。
最后,自发性眨眼可能通过扭曲时间感知(如果眨眼发生在时间间隔之前,则会拉长时间感知;如果同时发生,则会压缩时间感知),从而可能引入个体内时间判断表现的变异性22。减少这一问题的一种方法是在参与者的行為判断中应用基于眨眼的校正因子(例如,根据刺激呈现前或呈现期间是否出现眨眼,为每次判断分配相应的可靠性评分)。此外,采用将试验视为随机变量的统计方法也可能有助于解决这一问题。
关于未来的研究,一个重要的课题是自发性眨眼率(EBR)与时间知觉之间的关联。已知EBR是中枢多巴胺功能(DA)的一种非侵入性间接指标23,而最近的研究发现较高的EBR与较差的时间感知能力相关。该研究提示多巴胺在区间计时中的作用,并指出可将EBR作为多巴胺水平的替代测量指标24。另一个重要课题是我们所分析的(与变化相关的)测量指标的功能意义,这在本实验范式中的确切含义仍有待确定。在原始研究以及当前简化的数据集中,瞳孔尺寸从TW0到TW1的增加与认知负荷增强的假设一致,但该指标缺乏组间效应,因此无法进行进一步推论。一个似乎存在的模式是:在不同时间窗口中变化越小,行为表现越好(闪光条件优于小球条件,且阅读障碍者的d-prime值与较小的变化相关),但仍需进一步研究加以验证。
尽管存在局限性,但据我们所知,本实验方案是首个在眼动追踪和行为数据方面均显示出平行结果(相同效应模式)以及两者之间存在相关性的一些证据的方案。
作者声明无利益冲突。
本工作由葡萄牙科学技术基金会资助,项目编号为 UIDB/00050/2020 和 PTDC/PSI-GER/5845/2020。文章处理费由葡萄牙科学技术基金会全额资助,项目编号为 PTDC/PSI-GER/5845/2020(http://doi.org/10.54499/PTDC/PSI-GER/5845/2020)。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Adobe Animate | Adobe | 它是一种用于设计 Flash 动画影片、GIF 和卡通的工具。 | |
| EyeLink 数据查看器 | 这是一款功能强大的软件,可为 EyeLink 眼动仪捕获的注视数据提供全面的可视化与分析解决方案。该软件可在 Windows、macOS 和 Linux 平台上使用。Data Viewer 具备先进的功能,能够轻松实现 EyeLink 注视数据的可视化、分组、处理和报告。 | ||
| 眼动追踪系统 | SR Research | EyeLink 1000 Portable Duo | 该系统包含便携式双摄像头、笔记本电脑主机和响应装置。EyeLink 可与 SR Research Experiment Builder、Data Viewer 和 WebLink 集成,同时也兼容多种第三方刺激呈现软件和工具。 |
| 显示器 | 三星 Syncmaster | 957DF | 这是一台 19" 平面显示器 |
| SR Research 实验构建器 | SR Research | 这是一种先进且用户友好的拖放式图形化编程平台,专为心理学和神经科学领域的计算机化实验设计而开发。该平台以 Python 为基础,兼容 Windows 和 macOS 系统,可方便地创建包含 EyeLink 眼动追踪和非眼动追踪功能的实验。 |