本方案旨在通过结合功能磁共振成像(fMRI)、MRI兼容的书写平板和眼动追踪技术,同步记录受试者在完成标准纸质认知测试时的视觉运动行为与脑部活动,以提升此类测试的应用价值。本文展示了年轻健康成人执行连线测验(Trail-Making Test)的初步研究结果。
本方案旨在通过结合功能磁共振成像(fMRI)、MRI兼容的书写平板和眼动追踪技术,同步记录受试者在完成标准纸质认知测试时的视觉运动行为与脑部活动,以提升此类测试的应用价值。本文展示了年轻健康成人执行连线测验(Trail-Making Test)的初步研究结果。
基于纸张的认知测试(如连线测试,即TMT)长期以来在临床和研究环境中被用于评估健康或受损大脑对行为表现的支持作用。尽管这类测试应用广泛,但其神经相关机制仍不甚明确,且测试的敏感性和特异性均未达到理想水平。为解决这些不足,本研究提出了一种多模态研究方案,通过同时结合新型平板技术、眼动追踪和功能性磁共振成像,探索认知测试表现中运动学与视觉行为同神经活动之间的关系。本文提供了该方案的理论依据、逐步操作方法以及一名代表性受试者的结果,以验证方案的有效性,并展示研究代表性认知测试在运动学、视觉及神经层面相关特征的潜力。当前方案可拓展现有临床磁共振神经科学研究的边界,对未来多种认知障碍的诊断与管理具有重要意义。
认知测试(ToC)在20th世纪首次得到广泛推广,用于研究和表征正常与异常或病理性认知行为。自问世以来,这些测试已在科研和临床环境中被广泛采用1。许多ToC采用简单的应答方式开发而成,例如口头表达或使用纸笔进行书写/绘图。属于后一类的典型例子是连线测验(Trail-Making Test, TMT),这是一种广泛应用的代表性认知测试,因其对认知功能障碍具有高度敏感性而备受青睐2。TMT包含两个部分:TMT-A(仅数字)和TMT-B(数字与字母交替),要求受试者使用笔将页面上伪随机排列的25个字符按升序(对于TMT-B还需交替)顺序连接起来(即TMT-A:1-2-3-4-5-6…;TMT-B:1-A-2-B-3-C…)。为评估TMT上的认知表现,需记录完成时间及错误数量,并根据年龄范围和教育程度与常模值进行比较2。TMT被认为涉及并评估了多种复杂的认知过程,包括任务转换、视觉搜索、记忆、视动控制以及注意力——这些均为额叶执行功能的重要组成部分1,3。
TMT 在检测认知功能障碍(ToC)方面具有较高的敏感性,但在诊断方面,其特异性较差是公认的局限性4。总体而言,敏感性和特异性问题是 ToC 应用和有效性的一大缺陷,尤其是在临床环境中4。传统上为缓解这一问题的做法是采用“成套测验”(通常包括 TMT),以提高对认知受损与认知正常人群的鉴别能力。然而,成套测验耗时较长、成本较高,且需要相当的专业知识进行施测和分析5。这些操作上的困难进而促成了“认知评估”工具的发展:即大幅简化的(且 increasingly computerized)成套测验,可在资源有限的环境中(如医疗机构)快速实施,但代价是部分牺牲了敏感性和特异性方面的优势。蒙特利尔认知评估(Montreal Cognitive Assessment, MoCA)便是此类工具的一个例子6。
计算机化评估工具(如改良版 MoCA)已通过与纸质版本的对比7,以及与 ToC 测验组合的对比,成功完成了有效性验证8。然而,所有这些行为测试工具仍存在一些基本局限性,包括难以充分区分正确与错误的表现、侧重于整体测试得分而非测试内部效应,以及对支持 ToC 表现的各种行为策略及其相关脑活动提供的洞察有限4,9。然而,通过结合详细的行為记录、任务内行为评估10以及功能神经影像技术(例如脑电图10、功能近红外光谱成像11和功能磁共振成像12)的研究,有望克服这些局限性。
功能性磁共振成像(fMRI)通过映射血流动力学反应作为神经激活的间接指标,生成高分辨率的脑活动图像。尽管成本较高,但fMRI在空间分辨率上优于脑电图(EEG) 和功能性近红外光谱成像,能够实现全脑范围内脑活动的精确定位。因此,本研究以追踪测试(TMT)作为代表性示例,介绍了一种新颖的ToC施测方法,该方法结合fMRI与基于计算机化的磁共振兼容平板设备及眼动追踪系统的详细、连续且同步的行为数据记录。这一多模态实验方案显著提升了对认知任务表现与fMRI估计的神经活动之间关系的评估能力,有助于深入理解现有的ToC,并可能为未来更优ToC的开发提供新的见解。
在详细描述同步采集平板电脑、眼动追踪和功能性磁共振成像(fMRI)数据的实验装置之前,有必要先对整体概念框架与研究方法进行简要概述。图1)。出于磁共振成像兼容性和人体工学的考虑,该平板系统与市售的商用平板设备略有不同。常见的平板设备通常在计算机显示屏上方安装一块透明的触控屏幕,使用户能够直接注视平板屏幕,并实时看到包含其手写和绘图响应的视觉反馈。而在当前设计中,触敏屏幕下方并无计算机显示屏。这种设计避免了复杂的显示屏电子元件在磁共振环境中安全运行的需求 磁体孔道中心存在强磁场,且不会对磁共振图像产生负面影响。从人体工程学角度来看,磁体孔道内的空间也相当有限,使得受试者在书写和绘图时难以直接观察自己的手部动作。
实验装置要求受试者在腰部高度的支架上操作平板电脑,同时将所有视觉信息(测试刺激、触控笔反应、手部操作触控笔的视频)通过镜面反射,整合后从磁体孔道后端开口处进行观察。视觉信息由市售的磁共振兼容投影仪投射到背投屏幕上(具体参数见下文)。同样,市售的眼动追踪系统(具体参数亦见下文)安装在磁体后端孔道内,通过同一镜面快速记录眼动视频。投影仪、屏幕和眼动追踪设备必须精心布置,以避免彼此之间发生物理干扰。最后,平板电脑、投影仪和眼动追踪系统之间的电源与数据连接通过多种屏蔽电缆实现,这些电缆穿过射频屏蔽室的“穿墙面板”,该屏蔽室用于保护磁体室和磁共振系统免受周围电磁干扰的影响。数据电缆由计算机控制,其概念示意图如图1所示,表现为位于磁共振控制台区域内的单一设备,由操作者控制(该计算机控制台与用于操作磁共振系统的计算机控制台相互独立)。如下所述,本实验装置涉及多台计算机协同工作。
平板系统
定制的计算机化平板系统由与磁共振成像兼容的组件构成(包括触敏表面、可调节的抬高支撑平台、力敏触控笔和投影系统)12,其中还包含一个配备4.3 mm镜头的摄像机(实验室中称为“TabletCam”)和一个定制的发光二极管(LED)照明装置13,可在fMRI扫描期间在磁体孔道内实施ToC测试,并记录自然状态下的书写或绘画反应(图2A,B)。位于控制室的两台互联计算机用于系统控制:一台负责接收和处理来自摄像机的视频数据(称为“平板摄像机计算机”),另一台用于测试管理、视觉刺激呈现、记录平板数据,并生成一个视频文件,该文件包含随时间变化的视觉刺激内容,叠加触控笔的书写和绘画反应(称为“刺激/反应计算机”;图2C)。采用双计算机架构旨在确保每组对延迟敏感的功能均可无阻碍地实时运行,同时提供模块化支持,以适应不同研究配置需求(例如不同的基于平板的行为任务、摄像机的可选使用),并提高兼容性(唯一要求是具备兼容的视频输出格式)。
该平板系统此前已在多项ToC的fMRI研究中使用,均表明其具有较高的生态效度14。在原始平板配置基础上增加了可选的视频摄像头,以便在任务执行期间为受试者提供手部位置的视觉反馈(VFHP),在交互式增强现实(AR)环境中,能够实时观察任务刺激以及叠加显示的触控笔响应和手部运动13(图2D)。在早期的摄像头数据处理实现方法中13,通过皮肤颜色检测算法从每一视频帧中分离出手部和触控笔,其中触控笔采用红色设计,使其落入皮肤颜色的红-绿-蓝(RGB)分布范围内。最近,为简化流程并获得其他优势,已采用“蓝幕”方法。该方法通过在平板的触控表面覆盖蓝色美纹纸胶带以形成蓝色背景,从而可在每一视频帧中基于胶带与手部/触控笔显著不同的颜色分布实现分割。同时,该过程还能生成一个二值掩膜,其中手部或触控笔占据的位置值为“1”,其余位置值为“0”。随后通过生成合成帧将刺激/响应视频与摄像头视频叠加:a)在掩膜值为零的区域显示刺激/响应视频数据,b)在掩膜值为一的区域显示摄像头(手部和触控笔)视频数据。美纹纸胶带还具有额外优势,即当触控笔尖在表面移动时增加摩擦力,使书写体验更接近于在纸上使用钢笔或铅笔书写,相比移除胶带后“塑料在塑料上”低摩擦的触感更为真实。总体而言,这种交互式AR环境进一步提升了平板设计的生态效度,同时减少了对本体感觉的依赖(当缺乏手部视觉反馈时通常需要依赖本体感觉)13,15。
该平板装置与一个磁共振成像兼容的投影仪(图2E)以及安装在磁体孔道后部的定制背投屏幕配合使用。受试者通过安装在头部线圈上的倾斜镜面观察屏幕。受试者使用指尖或触控笔(触控笔也包含用于记录接触力的传感器)与安装在支撑平台上的触敏表面进行交互;该平台位于腰部高度,可针对每位受试者进行调节。平板的模拟信号通过射频屏蔽间壁上的电磁干扰(EMI)滤波器,随后由磁体室外的平板接口盒转换为触摸数据(包括表面位置和压力数据),在刺激/反应计算机上记录并解析为触摸响应的图形显示,再与视觉刺激以及分段的手部和触控笔视频数据合并,最终通过投影仪呈现给受试者。
TMT 区组设计
TMT 采用固定的区组设计,包括交替进行的 TMT-A 和 TMT-B 任务执行阶段,以及注视呈现在白色背景上的中央黑色十字准线的视觉静息阶段。整体任务设计借鉴了现有的 TMT 文献1,16,17,18,其中 TMT-A 要求受试者将屏幕上伪随机分布的带圆圈数字(1 至 25)按升序依次连接。类似地,TMT-B 要求将带圆圈的数字(1–13)和字母(A–L)以交替且升序的方式依次连接。设置视觉注视条件的目的是,使得与 TMT-A 和 TMT-B 相关的大脑活动能够通过统计对比方法,分别与这种简单、稳定且认知负荷较低的状态下的脑活动进行比较分析。由于功能性磁共振成像(fMRI)实验中固有的信号对比噪声比较低,每个行为条件(TMT-A、TMT-B、视觉注视)均重复多次试验,以增强在合并分析 fMRI 数据时检测脑活动的统计效能。每次试验所用的 TMT 图案均在标准 TMT 布局基础上进行调整,调整方式包括将刺激分布旋转 180°,交换仅含数字的刺激与数字-字母混合刺激,或同时采用这两种方式,从而最大限度地减少因 TMT-A 和 TMT-B 图案上字符和数字分布差异所导致的视觉和运动干扰18。
当前的实验和训练任务在商业化的刺激呈现软件中实现,用于行为学和神经影像学研究,并在刺激/反应计算机上运行。实际操作中,连线测试(TMT)分为两个“轮次”进行,每轮持续4分50秒。每轮包括最开始10秒的静息注视阶段,随后依次进行两次TMT-A任务(40秒)、静息注视(20秒)、TMT-B任务(60秒)以及静息注视(20秒)(图3)。在每轮开始时,向受试者提供与标准化纸质TMT测试中使用的指导语相同的说明16,17,18,19:尽可能快速且准确地从“开始”连接到“结束”的圆圈,在触摸敏感表面上操作时不得抬起触控笔。与传统的纸质TMT测试不同,测试管理员(研究实验室成员)不会在受试者出现错误时暂停并重新启动TMT任务。相反,受试者被要求直接继续完成序列中下一个正确的字符连接。这一修改消除了在单次TMT试验中因停止和重启眼动追踪及fMRI数据采集而可能带来的数据分析混淆。然而,这也要求在数据收集完成后实施错误检测与分类方法(详见方案与讨论部分)。此外,测试管理员在TMT执行过程中实时目视监控触控笔的响应,以记录是否发生错误,并确保触摸敏感表面保持良好校准。当出现平板校准错误或其他硬件故障(如断电或设备故障)时,测试管理员还需决定是否重复当前的TMT数据采集轮次(可能包括重新校准触摸敏感表面),或终止测试并排除该受试者的数据用于后续分析。
眼动追踪
当人类视觉系统处理一个场景(例如在进行TMT任务时),快速的眼球运动(扫视)之前和之后均伴随着短暂的稳定期(注视)20。因此,在本研究中使用一种与MRI兼容的高速眼动追踪系统,通过红外照明(波长910 nm)和1 kHz的采样频率,实现对注视和扫视的长距离单眼追踪(图4A)。根据投影显示器下方眼动追踪相机的位置,可在头部线圈的反射镜中定位受试者的眼睛(图4B-D)。需要注意的是,为实现高质量的眼动追踪,原MRI系统配套提供的头部线圈反射镜已被眼动仪制造商提供的前表面反射镜所替代。瞳孔通过标准的质心拟合算法进行检测,该算法同时追踪角膜反射(图4D),并测量以下指标:注视、扫视,以及 眨眼频率 和瞳孔大小 ——这两个额外参数与认知加工过程相关(见讨论部分)。fMRI扫描开始时,MRI系统发出的触发脉冲用于实现脑激活记录的时间同步:a)与TMT任务的刺激呈现及手写笔反应(由刺激/反应计算机控制)同步;b)与眼动追踪数据及TMT任务表现同步。为便于数据分析,眼动追踪数据还被额外“打上时间戳”,以标注实验过程中关键事件的时间标签,包括每次运行中各个TMT-A和TMT任务区块的起始与结束时间。
另一名实验室成员主要负责与受试者进行眼动仪设备的设置、眼动追踪校准,以及眼动数据采集过程的实时视觉监控。眼动追踪系统的校准与验证在首次进行TMT测试前完成。图4E),以及在一个 "在第一次和第二次 TMT 运行之间进行“漂移检查”程序,以确保结果的一致性,同时校正头部位置可能发生的轻微变化(具体参数和顺序详见下方方案)。校准过程包括一个九点眼动追踪测试,要求受试者依次注视屏幕中央的一个目标,随后以伪随机顺序依次注视八个不同的周边目标。为进行验证,受试者需再次追踪相同的九个目标,系统利用校准模型估算注视位置,从而获得一组误差测量值,即估算注视点与实际目标位置之间的差异。测试完成后,空间误差以视觉角度的度数表示。若平均误差在可接受范围内,则初始校准和验证通过。 <0.5o 最大误差为 <1.0o,对应于眼动追踪软件提供的“GOOD”评级。其他错误程度依次加重的类别则被评定为, 例如,“优秀”、“较差”或“失败”,此时需要重新校准和验证。实验人员还可检查是否存在离群误差,这可能提示某一点的注视错误,或系统性误差模式,后者可能表明眼动仪设置存在问题。在每次运行之间,需进行漂移检查,仅对中心目标进行一次验证测试。若检查成功(最大误差 < 2.0o)允许进行第二次TMT运行;否则,实验人员必须执行校准,然后进行验证,直至平均误差达到要求 <1.0o,最大误差为 <2.0o所有误差值均被记录以供后续评估。采用眼动追踪系统软件的标准设置将眼动数据分类为扫视和注视。扫视通过以下检测阈值进行分类:运动 0.1o;速度 30o/s;加速度 8,000o/s。所有其他眼动追踪数据均被归类为注视。
神经影像学
采用配备64通道头部线圈的3特斯拉磁共振成像(MRI)系统获取高质量的神经影像数据。解剖结构成像首先通过高分辨率、三维、矢状位T1加权的磁化准备快速梯度回波(MPRAGE)序列进行(重复时间/回波时间/反转时间/翻转角 TR/TE/TI/FA = 2,500 ms/4.37 ms/1,100 ms/7o,广义自动校准部分并行采集(GRAPPA)因子为2,矩阵大小256 × 256,192层,体素各向同性1 mm,成像时间3分45秒)。随后通过功能性磁共振成像(fMRI)检测血氧水平依赖(BOLD)信号对比度 来间接测量脑活动 ,该信号源于神经血管耦合21。对于fMRI,典型的T2*加权BOLD成像采用平面回波成像(EPI)序列(TR/TE/FA = 1,750 ms/30 ms/40o,层加速因子2, 相位加速因子2,矩阵大小80 × 80,60层,体素各向同性2.5 mm,共165个时间点,成像时间4分49秒)。针对上述TMT任务,共进行两次此类fMRI扫描。
实验方案的测试与开发通过志愿者参与者进行,每位参与者均自愿提供书面知情同意书,同意参加本研究。本研究已通过加拿大安大略省多伦多市松树园健康科学中心研究伦理委员会(REB)的审查与批准。
1. 实验步骤
注意:步骤 1–5 在参与者于 MRI 系统检查床就位之前进行。相关的 MRI 系统区域包括控制台区域、磁体室和相邻的设备间。穿透面板处的控制台区域计算机及连接如图 5所示。
2. 分析
利用眼动追踪屏幕录制文件,图7A和B分别展示了增强现实环境中某一时间点的TMT-A和TMT-B的代表性表现。图7C和D分别展示了TMT-A和TMT-B任务表现(蓝线)以及在连续2.5秒时间间隔内的注视数据(红线)。选择该时间间隔是为了便于在单幅图中直观呈现多个连续的连接行为实例。较短的时间间隔仅显示一个连接(或无连接),而较长的时间间隔则显示更多的连接,图像更杂乱,视觉解读更为困难。特别观察图7C和D可以明显看出,在执行TMT-A和TMT-B任务的最初几秒内,参与者在移动触控笔之前,会先通过视觉搜索并编码需要建立的第一个连接。此外还可以看出,在所示时间间隔内完成TMT-A和TMT-B任务的过程中,注视行为(及视觉搜索行为)均先于相应的触控笔连接动作。
表1总结了参与者在所有试验中完成连线测验(TMT)时的平均运动学和眼动追踪指标(在两次独立运行中,各包含四次TMT-A和四次TMT-B)。TMT-B的完成时间(31.3 秒 ± 6.0 秒)较TMT-A(24.0 秒 ± 5.7 秒)有延长趋势(p = 0.06),这与执行TMT-B所需更复杂的认知加工过程一致。连接绘制的平均速度在TMT-A(0.35 ± 0.04 像素/毫秒)与TMT-B(0.36 ± 0.13 像素/毫秒)之间无显著差异(p = 0.91),而每次连接的平均注视持续时间(SPL)在TMT-B(1.31 ± 0.25 秒)中较TMT-A(1.00 ± 0.24 秒)有延长趋势(p = 0.06)。平均连接阶段持续时间在TMT-B(702 ± 299 毫秒)与TMT-A(729 ± 221 毫秒)之间无显著差异(p = 0.92),非连接阶段持续时间亦无显著差异(TMT-B为576 ± 451 毫秒,TMT-A为260 ± 29 毫秒,p = 0.23)。TMT-B的总移动距离(D)(10,300 ± 1,270 像素)与TMT-A(10,600 ± 1,930 像素)相比无显著差异(p = 0.52)。相对于最短可能路径的额外路径百分比(EDT)在TMT-A中为27.1 ± 7.1%,在TMT-B中为24.2 ± 6.3%(p = 0.59)。每条连接的距离(DPL)在TMT-A中为442 ± 80 像素/连接,在TMT-B中为429 ± 53 像素/连接(p = 0.52)。触控笔施加力在TMT-B中平均略高于TMT-A(TMT-B:9.3 ± 1.8;TMT-A:5.5 ± 3.5)(p = 0.11)。在任一任务条件下均未出现错误。总体而言,这些结果表明,在TMT-A和TMT-B任务中,运动表现存在显著个体间变异,因此在单个参与者水平上,由于刺激在显示屏上的伪随机呈现,认知复杂性可能引起的连接绘制平均速度、连接阶段持续时间、非连接阶段持续时间、总距离(D)、额外路径百分比(EDT)、每条连接距离(DPL)及触控笔施力等方面的潜在差异在分析中被掩盖。然而,正如预期,TMT-B相较于TMT-A更长的SPL趋势与完成时间的结果高度一致,反映出这两个指标之间存在强相关性。
眼动追踪数据显示,TMT-B中的扫视次数(90 ± 24)较TMT-A(71 ± 22)略高,呈上升趋势(p = 0.10)。由于扫视与注视密切相关,因此注视次数的相应结果几乎相同。TMT-A的平均注视时间为308 ± 40 ms,而TMT-B的平均注视时间为314 ± 32 ms(p = 0.32)。TMT-A的注视时间占比(注视百分比)平均为90.0 ± 2.3%,显著高于TMT-B的88.7 ± 2.1%(p = 0.01)。每轮试验中的眨眼次数在TMT-B中(5.0 ± 2.6)显著高于TMT-A(2.0 ± 1.2)(p = 0.04)。在考虑两项测试平均完成时间差异的情况下,TMT-B的眨眼率(0.15 ± 0.06 次/秒)仍显著高于TMT-A(0.08 ± 0.05 次/秒)(p = 0.03),这一结果符合预期,因为前者任务的认知负荷更高。不同条件下平均瞳孔大小保持高度相似(TMT-A为1,588 ± 140;TMT-B为1,648 ± 59)(p = 0.29)。
在分析两种任务条件(TMT-A 和 TMT-B 与视觉固定)下的脑活动时,观察到显著且广泛的正向激活,同时存在多个负向激活的脑区簇(这些脑区簇通常较小)。按体积排序的前25个脑区簇中,正向激活出现在小脑的内侧和外侧部分、左侧楔前叶、顶上小叶和顶下小叶、左侧中枕回、中央前回、左侧中央后回、左侧额上回、右侧枕上回、辅助运动区、左侧中扣带皮层、右侧缘上回、左侧额中回以及右侧距状回。部分激活区域在图8的代表性图像中展示。负向激活出现在角回、左侧额上回、颞中回、右侧顶下小叶、右侧颞上回、右侧中央后回、右侧缘上回、左侧额下回(眶部)、右侧旁中央小叶以及右侧中央前回。然而,在 TMT-B 与 TMT-A 的对比中,未观察到任何显著的正向或负向激活。如讨论部分所述(见下文),这些综合的 fMRI 观察结果与本实验室先前获得的 fMRI 结果一致。

图1: 实验装置的概念示意图。(A)计算机显示器用于控制装置、执行认知测试以及可视化结果,由(B)计算机完成。电源线、控制线和数据记录线缆穿过(C)射频屏蔽穿透面板。关键设备包括(D)计算机化的MRI兼容平板,其包含触敏表面和触控笔、发光二极管照明器,以及“平板视频摄像头”摄像机,用于捕捉手部和触控笔的运动。(E)安装在头部线圈上的反射镜使受试者在(F)MRI系统的检查床上躺卧时,可通过(G)远程视频记录系统进行眼动追踪。该反射镜还使受试者能够看到由(I)远程MRI兼容投影系统投射在(H)后置投影屏幕上的测试刺激、平板响应以及相关手部/触控笔运动。请点击此处查看此图的放大版本。

图 2: 平板电脑 设置。 (A)志愿者受试者在患者检查床上的平板电脑布局。(B)平板电脑、支架和触控笔(黄色)的特写,展示两种不同方向下的“平板视频摄像头”和发光二极管照明器的排列方式。(C)从MRI控制台区域控制平板系统的平板视频摄像头及刺激/反应计算机。(D)受试者执行TMT-A任务时增强现实环境的代表性视图。红点表示瞬时注视位置,该红点不会向受试者显示。(E)用于向受试者呈现增强现实环境的MRI兼容投影系统,投影至背投屏幕。屏幕安装在磁体孔内,在此视图中不可见;详见图 4中的清晰展示。缩写:TMT = 连线测试(Trail-Making Test)。 请点击此处查看此图的放大版本。

图3: 连线测验 示意图。 fMRI扫描期间TMT施测的时间流程图。上方:时间流程图,显示每次运行中TMT-A、TMT-B和注视任务区块的持续时间。下方:各条件的示例图像显示。请注意,TMT-A和TMT-B的每次试验均采用不同的刺激模式,以防止受试者依赖空间记忆完成任务。所有视觉注视试验均使用相同的图像显示。缩写:TMT = 连线测验;fMRI = 功能性磁共振成像;TMT-A = A部分;TMT-B = B部分;Fix = 视觉注视。请点击此处查看该图的放大版本。

图4:眼动追踪装置设置。(A)与MRI兼容的眼部视频摄像头、照明器及其支架的图像。(B)从前磁体孔径开口拍摄的图像,显示眼动追踪装置与平板电脑、头部线圈和反射镜以及投影屏幕之间的空间关系。(C)移除平板电脑和头部线圈后从前磁体孔径开口拍摄的图像,显示投影仪与用于平板电脑的投影屏幕之间,以及眼动追踪摄像头与照明器之间的关系。(D)眼动追踪软件界面,显示受试者的视频记录,左侧为大视野图像,右侧为裁剪和放大后的视野,其中检测角膜反射以实现眼动追踪,并检测瞳孔以记录瞳孔直径。(E)眼动追踪校准与验证过程中的示例截图。请点击此处查看该图的放大版本。

图5:控制台与穿透面板设置。 (A) MRI控制台区域,显示实验中使用的四个显示器。从左至右依次为:眼动仪;平板视频摄像头;平板刺激/反应显示器;以及MRI系统控制台。(B) 穿透面板磁体室侧的图像,展示所有相关硬件连接。(C) 设备室侧的对应连接。缩写:BNC = 卡口螺母耦合器。 请点击此处查看此图的放大版本。

图6: 言语任务说明。 训练任务要求参与者使用平板电脑和触控笔,在引导线之间练习绘制平滑线条,以在正式进行认知测试前熟悉设备操作。连线测试(TMT)包含两个部分:A部分要求按数字升序连接标有数字的圆圈,B部分则需交替按数字和字母的升序连接相应圆圈。缩写:TMT = 连线测试(Trail-Making Test)。 请点击此处查看该图的放大版本。

图 7:TMT 表现。 增强现实环境下参与者视角下的(A)TMT-A 表现和(B)TMT-B 表现的时间样本。每幅图像中的红点代表注视点。图像来自眼动仪屏幕录制的视频文件;请注意,参与者在测试过程中无法看到注视点。(C、D)TMT-A 和 TMT-B 表现的连续 2.5 秒时间区间(蓝线),分别包含随时间变化的注视数据(红线)。快速眼动表现为细红线条,而注视则表现为注视点移动不迅速的“结”状区域。缩写:TMT = 连线测验(Trail-Making Test)。 请点击此处查看该图的放大版本。

图 8:fMRI 激活图谱。 TMT-A和TMT-B任务相对于静息状态的激活(fMRI信号对比)。切片位置在立体定位图谱空间中沿Z坐标以14 mm间隔分布。彩色标尺表示显著激活区域的BOLD信号变化百分比,正值代表高于基线水平的激活。缩写:fMRI = 功能性磁共振成像;TMT = 迹线连接测试;L = 左侧;R = 右侧;BOLD = 血氧水平依赖信号。请点击此处查看此图的放大版本
| 参数 | 定义 | TMT A | TMT B | P值(双尾,配对) |
| 完成时间(秒) | 完成每次试验的平均时间(秒) | 24.0 (± 5.7) | 31.3 (± 6.0) | 0.06 |
| 速度(像素/毫秒) | 触控笔移动的平均速度(像素/毫秒) 每次试验过程中 | 0.35 (± 0.04) | 0.36 (± 0.13) | 0.91 |
| 每链接秒数,SPL (s/Link) | 每次试验中完成每个链接的平均时间(秒) | 1.00 (± 0.24) | 1.31 (± 0.25) | 0.06 |
| 连接持续时间(ms) | 在整个过程中连接每个链接所花费的平均时间(毫秒) 每次试验 | 729 (± 221) | 702 (± 299) | 0.92 |
| 非连接持续时间 毫秒 | 寻找下一个连接所花费的平均时间(毫秒) 每次试验过程中 | 260 (± 29) | 576 (± 451) | 0.23 |
| 总距离(像素) | 每次试验中触控笔移动的平均距离(像素) | 10600 (± 1930) | 10300 (± 1270) | 0.52 |
| 额外距离 迁移率,EDT (%) | 每次试验中多走的平均距离,表示为 最优(最短)路径的百分比 | 27.1 (± 7.1) | 24.2 (± 6.3) | 0.59 |
| 每连接距离,DPL (px/Link) | 每次试验中形成一个连接所移动的平均距离(像素) | 441 (± 80) | 429 (± 53) | 0.52 |
| 力(任意单位) | 每次试验中施加在平板屏幕上的平均力(任意单位) | 5.5 (± 3.5) | 9.3 (± 1.8) | 0.11 |
| 扫视计数 | 每次试验中的平均扫视次数 | 71 (± 22) | 90 (± 24) | 0.10 |
| 固定次数 | 每次试验中的平均注视次数 | 71 (± 22) | 90 (± 24) | 0.09 |
| 固定时间(ms) | 每次试验中每次注视的平均时间(毫秒) | 308 (± 40) | 315 (± 32) | 0.32 |
| 固定率 (%) | 每次试验中注视时间所占的平均百分比 | 90.0 (± 2.3) | 88.7 (± 2.1) | 0.01 |
| 眨眼次数 | 每次试验中的平均眨眼次数 | 2.0 (± 1.2) | 5.0 (± 2.6) | 0.04 |
| 眨眼频率(次/秒) | 每次试验中每秒平均眨眼次数 | 0.08 (± 0.05) | 0.15 (± 0.06) | 0.03 |
| 瞳孔大小(任意单位) 单位 | 每次试验中的平均瞳孔大小 | 1588 (± 140) | 1648 (± 59) | 0.29 |
表1:年轻健康成年女性完成TMT-A和TMT-B任务时平板运动学指标与眼动指标的汇总统计。 各项指标的定义见正文,标准差以括号表示。斜体显示的指标表示先对每次试验中的连线表现取平均值,再对所有试验的平均值分别针对TMT-A和TMT-B进行二次平均。P值基于双尾配对t检验,用于比较TMT-A与TMT-B之间指标值的差异。以粗体显示的P值表示在双尾检验中具有显著性差异(p < 0.05)。斜体 = 每项测试的平均值的再平均。粗体 = 通过双尾配对检验。
本研究展示了一种在基于平板电脑的认知测试(ToC)过程中同步采集眼动追踪和功能性磁共振成像(fMRI)数据的全面方案。以下讨论首先评估该方案的各个方面,然后重点分析一位代表性受试者所呈现的结果。文中还 throughout 提及了该方案未来的应用前景。
该方案经过多年的精心设计,基于在开发平板系统以及开展涉及平板或眼动追踪(但未将后两者结合)的fMRI研究过程中积累的丰富经验。特别是,所有与校准相关的步骤均旨在确保所获得的数据能够准确反映受试者的表现。在每次实验开始时进行的平板校准,可确保在增强现实显示中,尽管操作过程中摄像头视角可能发生改变,触控笔(及光标)仍能准确追踪书写和绘图行为。为确保头部运动不会显著干扰实验结果,眼动追踪的校准和漂移校正均依据制造商的建议和现有系统软件实施,并在整个实验过程中持续监测眼动数据流。若未正确执行或遗漏平板或眼动追踪系统的校准,可能导致结果出现偏差。然而,本文及本实验室其他研究中获得的平板与眼动追踪结果表明,在健康成年人中可以获得高质量的数据。但对于其他研究人群(如老年人或患有神经或精神疾病患者),未来可能需要额外的数据处理步骤。例如,根据方案第2.6.1.2节中获得的运动估计结果,若存在间歇性过度头部运动,则可能需要将部分数据从分析中剔除。此外,首次运行数据的初始部分也可能因学习或适应效应(即使在初步训练后仍持续存在)而需要排除,尽管这些效应的时间进程本身也值得在未来研究中进一步表征,并可能为区分这些人群与年轻健康成年人的TMT表现提供额外的分析机制。
触发脉冲对于该实验方案至关重要,可实现平板设备、眼动追踪和fMRI数据流的时间同步记录。fMRI信号基于BOLD血流动力学反应,其变化通常发生在秒级时间尺度上,而眼动追踪和平板运动学数据在10-100毫秒范围内即包含有意义的信息。因此,对这些多模态数据集进行时间同步,为研究TMT任务期间感知、认知和行为机制提供了前所未有的时间分辨率。初步研究可分析特定脑区的脑活动与TMT-A和TMT-B试验中时间平均后的眼动参数之间的关联。对于一组受试者,可通过简单的线性回归和相关系数计算,探究特定脑区活动与各个眼动参数之间可能存在的关联。未来还值得关注的是,是否可利用平板和眼动数据中的快速波动,进一步解析fMRI数据中更精细的时空激活特征。新兴研究表明,可通过调整fMRI数据采集参数以更精细的时间采样测量BOLD信号;例如,采用INI fMRI技术实现100毫秒的采样周期,已显著提升对脑激活动态的检测能力31。 近期一项基于平板TMT任务的EEG研究也表明,任务中的连接期与非连接期与不同空间分布的频段功率变化相关10,这进一步支持了本方案在寻找类似fMRI信号关联方面的应用价值。然而,需认识到fMRI信号所依赖的血流动力学反应远慢于眼跳和注视的时间尺度,因此该方向的初步探索可能首先聚焦于分析TMT-A与TMT-B任务中,链接序列早期与晚期发生的行为表现之间的潜在差异(后者在TMT-B中尤为困难);以及基于眼动和平板运动学数据的视觉检查,分析较难完成的链接与较易完成的链接之间可能存在的神经活动差异。
该方案包含一个训练模块,可使参与者熟悉基于平板电脑的应答操作以及完成连线测试(TMT)所需的连接性动作。此类训练(包括未来针对其他任务或正在研究的其他执行功能(ToC)所设计的改进版本)旨在帮助那些较少接触计算机平板设备的人群(如部分老年人)以及因脑功能障碍而在这种交流模式中可能面临困难的个体,提升其操作熟练度。通过平板电脑摄像头视频流提供的增强现实环境(包括视觉反馈手部位置,VFHP),实现了生态效度较高的平板交互体验,但其体验并不完全等同于使用纸笔进行常规书写和绘图的过程。例如,参与者需在磁共振扫描仪内仰卧状态下进行应答,通过计算机图形观察其手部,此时呈现的是脱离实际身体感知的手部视觉图像,缺乏正常的本体感觉输入和以身体为中心的空间坐标参考。尽管未来研究可进一步探讨上述后两种因素调控所带来的影响,但目前的初步观察证据表明,经过简单训练后,健康个体能够迅速且轻松地掌握该平板技术,因此在完成简短训练模块后,基于平板的fMRI研究中的学习效应可忽略不计。
未来可结合训练模块期间进行的fMRI,采用本方案为支持或反驳上述说法提供定量的科学证据。(在以往未包含训练模块的基于平板电脑的TMT fMRI研究中,为避免学习效应,TMT-A和TMT-B首次试验的神经影像数据被舍弃10,19。)此外,探索基于平板电脑和ToC在不同患者群体(如认知功能障碍患者)中的学习效应也将具有重要意义,这可能需要对训练模块进行优化增强。在磁共振扫描环境之外的其他研究中,该训练模块也可被调整用作有效的筛查工具,以便排除那些无法遵从指令或不能充分完成任务的患者受试者,从而确保影像学研究的可靠性。
最后,在与训练任务相关的讨论中,需要注意的是,心智理论(ToC)的功能神经影像研究通常受限于脑激活信号的噪声特性,以及需要分析多次任务重复的长时间序列数据,才能获得具有统计学意义的脑激活图谱32。这一过程与ToC的典型施测方式相矛盾,因为该测试通常仅施测一次。随着功能神经影像技术未来不断进步(例如,在7 T及以上超高磁场中进行fMRI扫描),或许将有可能比较单次认知测试与多次测试所获得的脑区激活情况。然而目前已有研究表明,基于平板电脑的多试次TMT表现与传统的纸质版测试表现具有合理的聚合效度15。
尽管本方案旨在促进使用fMRI对ToC进行评估,但其本身具有高度灵活性,可根据广泛的研究目标进行调整。例如,平板电脑的视频摄像头是专门添加的,以增强VFHP的生态效度,但如果不需要,可以将其移除,或在不同任务条件下开启和关闭(如在探索视觉、本体感觉与运动处理之间整合的研究中)。此外,该平板电脑还可轻松地在非MRI环境中与眼动追踪系统同步使用,仅用于行为测试,或与其他功能神经影像技术结合使用,如脑电图(EEG)、功能性近红外光谱成像(fNIRS)和正电子发射断层扫描(PET)。在涉及脑磁图(MEG)的研究中,可能需要对硬件进行修改,以将平板电脑在MEG磁场传感器处产生的杂散磁场抑制到远低于飞特斯拉(femtoTesla)的水平。根据实验需求,该方案还可扩展,以纳入其他感觉刺激呈现和反应记录设备。例如,可包括与MRI兼容的耳机用于呈现听觉刺激,以及按钮盒用于记录按键反应,从而最终允许将任意ToC任务所诱发的大脑激活信号,与功能神经影像学领域更常采用的组块设计或事件相关设计任务所产生的信号进行比较。也可对方案进行其他修改,以适应不同患者群体中的运动或视觉功能障碍。例如,可增加额外的控制任务,包含简单的绘图动作(如重复连接两个刺激,认知负荷显著降低),从而估算运动功能障碍对整体TMT表现的贡献(即通过分析脑激活差异:TMT-A与静息态对比;简单绘图与静息态对比;TMT-A与简单绘图对比;TMT-B同理)。TMT-A和TMT-B中所需的连接数量可适当减少,以降低肌肉疲劳的可能性。对于视觉障碍,可通过呈现更大的视觉刺激或更高对比度的显示刺激来适应。然而,若进行上述修改,则必须对对照组进行额外的fMRI扫描,以便对患者组与对照组之间的脑活动差异做出无偏评估。
尽管该方案具有较强的稳健性,但仍可进行若干改进。特别是,该方案执行起来较为耗时费力:建议配备三名或以上的实验人员(包括一名技术人员负责操作MRI系统),以在设备安装与拆卸以及数据采集期间实现高效率(一名人员负责监控平板电脑,另一名人员负责监控眼动追踪计算机)。在我们实验点,目前由两名经过培训的工作人员操作,MRI扫描前后的设备安装与拆卸各需10分钟,但如果增加一名实验室成员协助,这些时间有望缩短。未来,可通过"预配置" 某些硬件组件、更高效地利用设备推车以方便运输和建立线缆连接,从而提高时间效率。如果空间和设备条件允许,将设备永久安装(部分或全部)在MRI检查室内将是最佳选择。
接下来,通过获取一名年轻健康成年志愿者的代表性药片、眼动追踪和功能性磁共振成像(fMRI)结果,演示了本实验方案。结果在很大程度上符合预期,如下所述。但需要强调的是,所获得的各种行为指标数值及激活脑区数据仅在个体内部水平上进行了统计评估,尚未考虑群体水平的均值与变异性。未来需要对大量健康个体进行多模态测试,以获取群体水平的数据信息 “规范的” 数据,最终可与脑功能障碍患者群体类似测试所获得的结果进行比较。此类研究的样本量计算可能主要受fMRI信号的低对比度噪声比以及获取此类数据的成本驱动。科学文献中已有一些可用于fMRI样本量估算的工具。32在这一前提下,本综述主要简要解读所观察到的趋势及显著效应。
该受试者在TMT-B任务中的完成时间略长,非连接持续时间也更长,与先前基于平板电脑的研究结果一致,且符合已确立的纸质TMT表现特征2,18,33这些发现可能反映了在完成TMT-B时相较于TMT-A需要更多时间来处理、搜索并识别下一个正确目标,因为TMT-B被认为在认知上更具挑战性。两种任务条件下均未记录到错误,所有TMT测试均在规定时间内完成,这与受过良好教育的健康年轻成年人的标准TMT完成情况一致。2TMT-B 的 SPL 值大于 TMT-A,这与预期一致,因为 TMT-B 和 TMT-A 的总连接数相同,且 TMT-B 的完成时间更长。尽管 TMT-B 的视觉搜索复杂性增加,但 TMT-A 的 D 值和 EDT 值略高。这两个指标均为本研究新开发的指标,因此无法与以往基于平板电脑的 TMT 文献中的报告进行具体比较。然而,推测 TMT-B 表现较慢可能影响了个体在测试过程中的位置分布 “速度-准确性” 权衡34 与他们在TMT-A中较快的表现相关的图示—从而实现与降低的D值和EDT值更精确的关联。这一解释有待在未来的测试中进一步验证。
该受试者的眼动追踪指标结果颇具启发性。与执行TMT-A相比,受试者在执行TMT-B时表现出略多的扫视次数和注视次数、眨眼次数以及更高的眨眼频率。扫视和注视次数的增加可能表明在B条件下,受试者对视觉刺激的视觉搜索效应增强。这一解释得到了先前研究的支持,已有研究表明,随着处理更复杂搜索阵列所需的心理负荷增加,扫视和注视次数均会上升35。TMT-B相较于TMT-A更高的眨眼次数和眨眼频率可能反映了前者任务条件下更高的认知控制需求。有趣的是,大量研究支持自发性眨眼频率(以及在固定试验时长内的眨眼次数,如本研究中所考察的)可作为多巴胺活动的有效代理指标36。多巴胺是一种重要的神经递质,参与学习、工作记忆以及目标导向行为37 这些功能均是成功完成TMT任务的基础,且在TMT-B中比在TMT-A中需求更高。大量关于自发性和任务诱发性眨眼的研究表明,这两项指标均对认知控制的调节具有敏感性38。最后,两个TMT部分的平均瞳孔大小非常接近,提示该受试者能够以相似的心理努力水平完成两部分任务,而未超出其信息处理能力上限38。这些解释再次与关于TMT表现的文献一致2,并表明该受试者在无错误的情况下高效地完成了两个部分。未来的研究需要进一步探讨与TMT任务内部行为相关的详细眼动特征。此类研究将极具意义,有助于评估视觉搜索行为:a)是否先于平板设备上的反应发生;b)是否会因数字与字母刺激的空间分布导致某些连接任务较难或较易完成而发生变化;c)在TMT表现出现错误时是否发生改变。
关于TMT表现中的错误问题,错误记录与量化将是未来研究的重要方面,超出了本项针对表现良好的年轻健康成年人的概念验证研究的范围。当前方案仅限于在数据采集时记录TMT表现错误,但可轻松扩展,以包含TMT-A和TMT-B测试中发生的错误次数,以及基于对触控笔交互的数字化视频 文件进行人工评估所得出的个体参与者在集中趋势与变异程度上的统计指标。此外,还需制定评分标准,用于对TMT表现错误类型进行分类。一旦通过人工检查积累足够的错误数据,便有望开发出人工智能方法,以准确检测和分类错误,从而显著减少错误评估所需的时间投入。
神经影像学分析显示,在大脑多个区域存在显著且广泛的激活(将TMT-A和TMT-B任务合并分析与静息状态相比),包括负责视觉处理、运动功能以及感觉感知与整合的脑区。这些区域的激活模式与以往TMT神经影像研究中观察到的fMRI激活模式相似15,19。以与运动功能相关的激活为例,对侧(左侧)中央前回的手部区域因右手的运动反应而呈现正向激活,同时还存在一小簇同侧的负激活区域(未在图8中显示),这是任务相关运动过程中初级感觉运动区典型的激活模式39,40。即使采用了相对保守的阈值和校正方法,该受试者的fMRI激活强度仍表明,该任务可有效探测视运动功能,包括小脑和中脑的活动。然而,不应基于该单个受试者的数据得出关于支持TMT表现的具体脑区的结论,该数据仅用于演示目的。还需注意的是,单个受试者在TMT-B与TMT-A对比中未观察到明显活动并不令人意外。这一特定对比已知属于"弱效应",通常需要更大样本量的fMRI数据分析,以及经过精心优化的图像处理流程,才能可靠地检测到激活信号41。这些要点再次强调,当前的神经影像工作仅展示了实验设计、fMRI记录与分析的概念验证,未来还需开展涉及一个或多个受试者群体(例如神经系统疾病患者与健康对照)的研究,以获得具有人群可推广性的结果。
需要强调的是,本方案所开发的用于量化TMT相关药片反应、眼动追踪反应以及fMRI期间脑激活的指标并非详尽无遗。相反,它们是在已有基础上进一步发展而来的 近年来在开展基于平板电脑的TMT-fMRI研究以及结合眼动追踪的fMRI研究方面积累了丰富经验。平板电脑指标与眼动追踪指标并非完全独立,可能存在一定的相互依赖性,因此建议采用偏最小二乘法等多元分析方法,对这些指标与TMT-fMRI数据之间的关联性进行综合分析。42未来,量化注视路径特征的新指标将有助于表征健康个体之间以及患者群体在正确完成测试(及错误)过程中的个体内和个体间变异情况。预期此类研究将显著提高基于平板电脑的TMT结合眼动追踪和fMRI数据及相关量化指标在区分患者与对照组时的敏感性和特异性,相较于传统的纸笔TMT施测方式和标准评分方法具有更优性能。若该预测成立,则还可进一步探索是否能通过多种人工智能方法,以及基于本研究项目所获得的洞见开发全新的现代版ToC,从而进一步提升鉴别效能。
综上所述,本文提出了一种新颖的多模态方案,用于通过计算机化平板技术、眼动追踪和功能性磁共振成像(fMRI)评估人类执行认知转换(ToC)的能力。与相关但更为简单的研究方案20,43,44,45相比,本方案因结合了生态效度高的平板技术与眼动追踪,同时保持了符合人体工学且高效的研究设计,被认为能提供更丰富的信息。该方案可在多种多变量及机器学习框架下,实现任务表现、神经活动与眼动指标之间的无缝关联,从而探索ToC的神经基础。初步试验数据表明,一名代表性年轻健康成人执行基于平板的TMT任务时表现十分乐观。因此,该方案为开展大规模研究打开了大门,不仅有助于更深入地理解ToC的神经机制,还可通过结合眼动追踪与功能神经影像技术,利用现有及新开发的ToC任务,对不同脑功能障碍患者与健康个体进行更为敏感和特异的表征分析。
作者声明无利益冲突。
作者感谢加拿大卫生研究院、加拿大心脏与中风基金会以及加拿大创新基金会对本研究提供的资金支持。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 配备64通道头部线圈的3T磁共振成像系统 | Siemens Healthineers (Erlangen, GER) | Magnetom Prisma | 用于记录功能性磁共振成像(fMRI)数据。 |
| 电磁干扰滤波器 | Spectrum Control Inc. (Fairview, PA, USA) | 56-705-005-LI | 将平板电脑和触控笔信号从磁体室传输至平板接口盒。 |
| 眼动追踪软件 | SR Research Ltd. (Ottawa, ON, CAN) | EyeLink Explorer (版本 4.3.1, 64位) | 实现眼动数据的可视化与处理。 |
| 图形编辑应用程序 | Microsoft Inc. (Redmond, WA, USA) | Paint | 用于使受试者熟悉在平板上书写和绘图操作。 |
| MATLAB | MathWorks Inc. (Natick, MA, USA) | R2022a | 用于分析平板运动学数据并进行统计分析。 |
| 磁共振兼容眼动追踪仪 | SR Research Ltd. (Ottawa, ON, CAN) | EyeLink 1000 Plus | 在功能性磁共振成像期间记录眼动追踪数据。 |
| 磁共振兼容投影仪 | Avotec, Inc. (Stuart, FL, USA) | Silent Vision | 向受试者呈现增强现实视觉刺激。 |
| 磁共振兼容平板组件(包括触敏表面、可调节抬高支撑平台、力敏触控笔、发光二极管照明器) | 不适用 | 不适用 | 实验室自行设计与组装。详见参考文献12、13。 |
| 刺激呈现软件 | Psychology Software Tools (Sharpsburg, PA, USA) | E-Prime,版本 2.0 | 用于开发和实施所有基于平板的训练与任务程序。 |
| 刺激/反应计算机 | 不适用 | 不适用 | 多组件设计。详见参考文献13。 |
| 触敏表面驱动应用程序 | ELO Touch Solutions Inc. (Milpitas, CA, USA) | Single Touch Driver | 在受试者执行触控目标任务时,用于校准触敏表面。 |
| 触发与反应装置 | Rowland Institute (Cambridge, MA, USA) | Rowland USB Response Box | 用于时间同步基于平板的任务、眼动追踪与功能性磁共振成像数据流。 |
| 视频摄像机 | MRC Instruments GmbH (Heidelberg, GER) | 12M-i | 记录手部与触控笔在平板触敏表面上的交互视频。 |
| 视频摄像机计算机 | 不适用 | 不适用 | 多组件设计。详见参考文献13。 |