使用计算机触摸感应平板、眼动追踪和功能性磁共振成像评估认知测试

Summary

一种方案，用于在标准纸质认知测试中同时记录视觉运动行为和脑部活动，使用兼容MRI的平板电脑和眼动追踪技术，同时结合功能性MRI，旨在提升此类测试的使用率。初步结果由一名年轻健康成年人进行“开辟”测试时呈现。

Abstract

基于纸质的认知测试（如Trail-Making测试，简称TMT）长期以来在临床和研究环境中被用于评估健康或受损大脑如何支持行为表现。尽管广泛使用，但这些测试的神经相关性仍不充分，且其敏感性和特异性都不理想。为解决这些不足，提出了一种多模态研究方案，结合新型平板技术、眼动追踪和功能性磁共振成像，探索运动学和视觉行为与认知测试表现相关的神经活动之间的关系。提供了方案理由、逐步方法论及代表性参与者的结果，以证明方案的有效性，并展示探索代表性认知测试运动学、视觉和神经相关性的潜力。当前方案可扩展现有临床MRI神经科学研究的边界，对未来多种认知障碍的诊断和管理具有重要意义。

Introduction

认知测试（ToC）最早在20^世纪被普及，旨在调查和描述正常与异常或病理性的认知行为。自从这些检测出现以来，这些检测已被广泛应用于研究和临床领域^。1.许多 ToC 采用了简单的响应格式，比如说话或用笔和纸写作/绘画。作为后者类别的例子，Trail-Making Test（TMT）是一种广泛使用的代表性ToC，因其对认知障碍的敏感性而受到青睐^。测试分为两部分，TMT-A（仅数字）和TMT-B（数字和字母），参与者需用笔连接（链接）25个伪随机排列的字符，按递增顺序排列（TMT-B则为交替排列）（即TMT-A：1-2-3-4-5-6...;TMT-B：1-A-2-B-3-C...）。为评估TMT的认知表现，完成时间和错误会被统计并与基于年龄范围和^{教育水平的}正常值进行比较。TMT被认为能招募和评估复杂的认知过程，包括任务切换、视觉搜索、记忆、视觉运动控制和注意力——这些都是执行额^{叶功能的重要}方面^1,3。

TMT在ToC中表现出高敏感性，但在诊断方面，其特异性低被公认为局限性⁴.一般来说，敏感性和特异性问题是 ToC 应用和有效性的一个缺点，尤其是在^{临床环境中。}传统的缓解这一问题的手段是通过“测试电池”（通常包括TMT）来实施ToC，以改善认知障碍者与认知健全群体之间的区分。然而，测试电池耗时、成本高昂，且需要相当的专业知识来管理和分析^5。这些后勤问题反过来促成了“认知评估”工具的发展：在资源有限的环境中（如医疗诊所），实现大幅简化（且越来越多地实现计算机化）的测试电池，但代价是部分灵敏度和特异性提升。其中一个例子是蒙特利尔认知评估（MoCA）⁶。

计算机化评估，如改良版的MoCA，已通过与纸笔模拟⁷的比较以及ToC⁸电池的测试成功验证。然而，所有这些行为测试工具都存在根本性的局限性，包括对适当与错误表现的区分不足，过于关注整个测试的测试分数而非测试内效果，以及对支撑ToC^表现的各种行为策略和相关脑活动的理解有限^4,9.然而，这些局限性可以通过结合详细行为记录、任务内行为评估¹⁰和功能性神经影像（例如脑电图¹⁰、功能性近红外光谱¹¹和功能性磁共振成像¹²）的研究来克服。

功能性磁共振成像（fMRI）通过将血流动力学反应映射为神经激活的代理，生成大脑活动的高分辨率图像。虽然成本高昂，但fMRI相较于脑电图（EEG）和功能性近红外光谱的空间分辨率更高，使其能够定位整个大脑的活动。因此，本研究描述了一种以TMT为代表性示例的新型ToC施药方法，将fMRI与使用计算机化兼容MRI平板和眼动追踪系统进行详细、连续和同步的行为记录相结合。该多模态协议极大地增强了认知任务表现与fMRI估计神经活动关系的评估，有助于加深对现有ToC的理解，并可能为未来增强ToC的开发提供启示。

在详细描述同时获取平板、眼动追踪和功能性磁共振数据的实验装置之前，有必要总结其概念布局和方法（见图1）。出于MRI兼容性和人体工学考虑，该平板系统与市售平板略有不同。流行的平板电脑配备了安装在电脑显示屏顶部的透明触感屏幕，使用户能够直接观看平板，并无缝接收包括基于触控笔的书写和绘画反应在内的视觉输入。目前，触摸屏下方没有电脑显示。这种设计避免了复杂的计算机显示电子设备，以便在磁铁孔中心的强磁场下安全工作，且不会对磁共振成像产生负面影响。从人体工学角度看，磁孔空间也相当有限，使得研究参与者在写作和绘画时无法直接看着自己的手。

实验装置中，参与者在腰部的支撑架上进行平板作，所有视觉信息（测试刺激、触控笔反应、手触摸笔视频）整合在一起，通过镜子在磁铁孔后部开口处观看。视觉信息通过商业化的MRI兼容投影仪在背投屏幕上显示（详情见下文）。同样，商业化的眼动追踪系统（详情见下文）安装在后磁孔内，可通过同一镜子快速记录眼球运动。投影仪、屏幕和眼动追踪设备必须精心布置，避免物理上相互干扰。最后，平板电脑、投影仪和眼动追踪系统的电源和数据连接通过各种屏蔽电缆，这些电缆穿过保护磁场室和MRI系统的“穿透面板”，该屏蔽屏蔽体免受周围电磁干扰。数据线缆由计算机控制，图 1 概念上显示为MRI控制台区域由操作员控制的单一设备（不同于用于作MRI系统的计算机控制台）。如下所述，当前实验装置涉及多台计算机。

平板系统

该定制的计算机化平板系统由兼容MRI的组件组成（触摸感应表面、可调节的高支撑平台、力感触笔、投影仪系统¹²），包括一台配备4.3毫米镜头的摄像机（实验室中称为“TabletCam”）和一个定制的发光二极管（LED）照明器¹³，支持在fMRI过程中管理ToC并记录磁孔内自然的书写或绘图反应（见图2A），B）。控制台区域内使用两台连接的计算机进行系统控制：一台负责接收和处理摄像机的视频数据（“平板摄像机计算机”），另一台用于测试管理、视觉刺激传递、平板数据记录，以及创建由时间依赖的视觉刺激与写笔写入和绘画反应叠加的视频文件（“刺激/响应计算机”; 图2C）。选择双计算机方法以保证每组延迟敏感功能的实时性能不受阻碍;模块化，适用于需要不同配置的研究（例如，不同的平板行为任务，可选使用摄像机）;以及兼容性的便利性（唯一要求是兼容的视频输出格式）。

该片系统此前已被用于多项功能性磁共振成像（fMRI）ToC研究，均表明其生态学上具有很高的有效性¹⁴。可选的摄像机被添加到原始平板配置中，为参与者在任务执行过程中提供手部位置（VFHP）的视觉反馈，在交互式增强现实（AR）环境中实现实时叠加，从而能够实时观看任务刺激以及手写笔响应和手部动作¹³（图2D）。在视频摄像机数据处理¹³的原始实现中，手和触控笔通过肤色检测算法从每个视频帧中隔离，触控笔以红色实现，以符合肤色的红绿蓝（RGB）分布。近年来，由于其简洁性和其他优势，采用了“蓝幕”方法。通过用蓝色画家胶带覆盖平板的触感表面，形成蓝色背景。然后可以根据录像带显著不同的色彩分布，将手和触控笔与背景画面分割。同时，这一过程还允许创建一个二进制遮罩，在手或触控笔占据的每个位置值为“1”，其他位置为“零”。然后叠加刺激/反应视频和摄像机视频，创建帧：a）在给定掩模为零处的刺激/反应视频数据，以及b）摄像机（手和触控笔）在给定掩码为1处的视频数据。美纹纸胶带还有一个好处，就是当笔尖在触控笔表面移动时会产生额外的摩擦力，更接近用笔或铅笔在纸上书写的感觉，而胶带被拆除时则是低摩擦的“塑料贴塑料”感觉。总体而言，交互式增强现实环境进一步提升了平板设计的生态效度，同时减少了对本体感觉执行精细运动动作（如无VFHP时的依赖）^13,15。

该平板配置配合兼容MRI的投影仪（见图2E）和磁体孔后部的定制背投屏幕使用。参与者通过安装在头部线圈上的斜角镜子观看屏幕。使用指尖或触控笔（还配有记录接触力的传感器），参与者与安装在腰部、可根据每个人调整的支撑平台上的触感表面互动。模拟平板信号通过射频穿透面板的电磁干扰（EMI）滤波器，通过磁场室外的平板接口盒转换为触控数据（表面位置和力数据），记录并解读以图形化表示触控响应，随后与视觉刺激及分段手写笔视频合并;并通过投影仪向参与者展示。

TMT区块设计

TMT采用固定区块设计，由TMT-A和TMT-B任务执行交替周期组成，视觉聚焦于白色背景中央黑色十字准星。整体任务设计借鉴了现有的TMT文献^{1、16、17、18}，其中TMT-A涉及将圈出的数字（1到25）伪随机分布在屏幕上，按升序排列。同样，TMT-B涉及连接的圈出数字（1–13）和字母（A-L），以交替且递增的方式排列。视觉凝视状态的纳入，是为了将与TMT-A相关的脑活动以及与TMT-B单独关联的脑活动，作为统计对比，分别对关注的激活与简单稳定且认知需求低的状态进行对比。由于fMRI实验中观察到的信号对比与噪声比固有较低，每种行为状况（TMT-A、TMT-B、视觉凝视）会在多次试验中重复出现，增强了在分析集体fMRI数据时检测大脑活动的统计能力。每次试验的TMT图基于标准TMT布局调整，通过旋转刺激分布180°、交换仅数字刺激和数字字母刺激，或两者兼用——从而最大限度地减少TMT-A和TMT-B图中因特征和数字分布差异引起的视觉和运动混^淆。

当前的实验和训练任务已通过商业刺激呈现软件实现，用于行为和神经影像研究，并在刺激/反应计算机上执行。实际上，TMT分为两次“运行”，每次持续4分钟50秒。每次运行包括初始10秒的静息固定，随后进行两次TMT-A任务（40秒）、静息固定（20秒）、TMT-B任务（60秒）和静息固定（20秒）的试验（见图3）。每次跑步开始时，参与者会获得与标准化纸质TMT测试^{16、17、18、19}中使用的指示相呼应：尽可能快速且准确地将“开始”与“结束”连接的圆圈，同时不将触控笔从触控表面抬起。与传统的纸质TMT施法不同，测试管理员（研究实验室成员）不会在参与者出现错误时停止或重新启动TMT的执行。相反，参与者只需继续前往序列中对应的下一个字符链接。该修改消除了在特定TMT试验中停止和重启眼动追踪和fMRI数据收集时存在的数据分析混淆。然而，这就需要在数据收集后实现错误检测和分类方法（详见协议和讨论部分）。此外，测试管理员在TMT运行过程中实时目视监控触控笔的响应，记录是否有错误，并确保触控表面保持良好校准。在平板校准错误及其他硬件错误（如电源或设备故障）的情况下，测试管理员还需决定是否重复当前的TMT数据采集，可能包括触摸敏感表面的重新校准，或停止并排除参与者数据的后续分析。

眼动追踪

当人类视觉系统处理场景时，如TMT表演时，弹道性眼球运动（扫视）之前和之后都会有时间稳定期（注视）²⁰。因此，在当前情境下，采用兼容MRI的高速眼动追踪系统，在红外照明（910 nm波长）和1 kHz采样频率下，对注视和扫视进行长距离单眼眼动追踪（见图4A）。从眼动追踪摄像头在投影显示器下方的位置，参与者的眼睛被定位在头部线圈镜中（图4B-D）。请注意，随MRI系统出厂的产品头部线圈镜被眼动追踪器制造商提供的前表面镜子取代，以实现高质量跟踪。瞳孔通过标准的类心拟合算法检测，该算法追踪角膜反射（见图4D），并测量以下指标：注视、扫视，以及眨眼频率和瞳孔大小，这两项额外指标与认知处理相关（见讨论）。MRI系统在fMRI开始时发射的触发脉冲用于与a）TMT任务刺激传递和触控笔响应（由刺激/反应计算机控制）同步大脑激活记录;b）具有 TMT 性能的眼动追踪数据。为便于数据分析，眼动跟踪数据还带有“时间戳”，以显示实验中的关键事件，包括每次运行中每个TMT-A和TMT区块的开始和结束时间。

另一名实验室成员主要负责与参与者的眼动追踪设置、眼动跟踪校准以及眼动追踪数据采集的实时视觉检查。在第一次TMT运行前（图4E）对眼动追踪系统的校准和验证，并在第一次和第二次TMT运行之间采用“漂移检查”程序，以确保结果一致，同时考虑头部位置可能的细微变化（具体规格和顺序见下文协议）。校准包括九点眼动跟踪测试，每次参与者需定视显示中心的目标，随后依次按伪随机顺序锁定八个不同的周边目标。为验证，参与者再次跟踪相同的九个目标，并使用校准模型估计视线位置。这使得可以收集一组误差测量值，构成估计视线与实际目标位置之间的差值。测试完成时，空间误差以可见角度度数报告。如果平均误差为<0.5o，最大误差为<1.0o，即眼动追踪软件提供的“良好”等级，初始校准和验证是可接受的。其他错误逐渐严重的类别则被评为“一般”、“差”或“失败”，需要重新校准和验证。实验室成员还可以检查异常值错误，这可能表明某一时刻存在误注，或系统性误差模式，提示眼动追踪器设置存在问题。在运行间隙，漂移检查过程仅在中心目标进行验证测试。成功检查（最大误差<2.0^o）允许第二次TMT运行继续;否则，实验室成员必须进行校准并验证，直到平均误差达到<1.0^o，最大误差为<2.0^o。所有误差值都会被记录以备后续评估。眼动追踪系统软件的标准设置用于将眼动跟踪数据分类为扫视和注视。扫视通过以下检测阈值分类：运动0.1^o;速度：30^O/s;加速度为8,000^o/s。所有其他眼动追踪数据都归类为注视。

神经影像学

采用3特斯拉MRI系统，配备64通道头线圈，以获得高质量的神经影像数据。解剖采集始于高分辨率、三维矢状T1加权、磁化预备的快速梯度回波（MPRAGE）序列（重复时间/回声时间/反转时间/翻转角TR/TE/TI/FA=2,500毫秒/4.37毫秒/1,100毫秒/7^欧，广义自动校准部分平行采集（GRAPPA）因子2,256 x 256矩阵，192片，1毫米各向同性体素，成像时间3分45秒）。随后通过fMRI间接测量由神经血管耦合引起的血氧水平依赖性（BOLD）信号对比，²¹。对于fMRI，典型的T2*加权BOLD采集采用回声平面成像（EPI，TR/TE/FA = 1,750毫秒/30毫秒/40^光，切片加速度2，相位加速度2,80×80矩阵，60切片，2.5毫米各向同性体素，165个时间点，4分49秒成像时间）。针对TMT会进行两次此类fMRI检查（如上所述）。

Protocol

实验方案的测试和制定由志愿参与者完成，他们各自提供了免费书面知情同意。本研究已经过加拿大多伦多桑尼布鲁克健康科学中心研究伦理委员会（REB）审查和批准。

1. 实验程序

注意：第1至5步发生 在 参与者在MRI系统患者桌上建立之前。相关的MRI系统位置包括控制台区域、磁铁室和相邻的设备室。控制台区域的计算机及穿透面板的连接如 图5所示。

1. 一般配置
   注：该方案针对Sunnybrook研究所合著者所使用的特定MRI系统和实验室环境进行了描述。其他MRI系统和环境可能需要不同的协议变体。完整的硬件和软件列表请参见 材料表 。根据研究人员的本地环境，已提供不同版本的触控平板。
   1. 准备平板电脑以获得手部位置（VFHP）的视觉反馈。
   2. 确保平板牢固固定在框架上，并且兼容MRI的平板摄像机也已安装好。
   3. 在绘图板表面贴上新的蓝色胶带，确保整个触控面积都覆盖，没有明显的折痕，以免影响绘图或校准偏差。去除平板边缘多余的胶带。
2. 平板系统设置（控制台区域）
   1. 在射频（RF）穿透面板的设备室侧（ERS），插入平板电脑视频摄像机电源适配器，并将其连接到摄像机滤镜盒。
   2. 将滤镜盒上的刺刀螺母耦合（BNC）视频线连接到平板电脑视频电脑的手持视频输入端。
   3. 将一根9针D型微型连接器（DB9）延长线从平板接口盒连接到射频穿透面板ERS上的滤波器。
   4. 当Stimulus/Response和Tablet Video Camera计算机运行后，将两根通用串行总线（USB）线缆从接口盒连接到Stimulus/Response计算机，并将平板接口盒接入电源。
   5. 使用高清多媒体接口（HDMI）线缆将刺激/反应电脑显示输出连接到平板电脑视频摄像机的刺激/反应视频输入。
   6. 要将处理好的平板视频摄像头显示传输到fMRI投影系统，需在两台设备之间连接一根视频图形阵列（VGA）线缆。打开兼容MRI的投影仪。
   7. 将USB响应盒（URB）BNC连接到MRI触发脉冲输出系统。在开始fMRI实验前，将线缆的USB端插入刺激/反应计算机。
3. 平板电脑系统设置（磁性房）
   1. 把平板、手写笔、平板连接器（DB9）和平板电脑摄像头连接线带进磁铁房。
   2. 将平板链路和摄像机链路线缆从平板系统连接到射频穿透面板的磁室侧（MRS）。
      注意：确保MRS电缆没有打结或环路，否则可能导致射频发热。
   3. 通过将兼容MRI的平板夹滑入患者桌的导轨，每侧两夹，将平板系统固定在病床上。
   4. 将兼容MRI的投影仪放置在磁铁后端，距离磁铁孔约1米处。将兼容MRI的后投影屏幕安装在磁柱内，距离投影仪约2米（见 图4B，C）。
4. 眼动追踪系统设置（磁力房，无参与者）
   注意：详细的远程安装MRI安装说明载于眼动追踪系统（详见材料表）安装指南中。在磁性房内，眼动追踪摄像头的位置应采纳眼动追踪系统关于MRI环境中元件布置和布线的建议，具体建议可能因地点而异（眼动追踪系统安装指南 - 远程安装 - MRI安装，第47-57页）²²。
   1. 将支持MRI的眼动追踪摄像头放置在磁膜内，投影幕与镜筒边缘之间，使摄像机支架与镜筒外缘齐平。通过调整相机安装座上的塑料螺丝，将相机系统固定在内膛上。
   2. 将光纤（FO）电缆连接到兼容MRI的眼动追踪摄像头。将FO线缆从控制台的波导引到控制台区域，连接到MRI不安全的眼部摄像头接口。
   3. 将眼动追踪电源线带入磁铁室，将DB9端连接到穿透面板滤镜，另一端连接兼容MRI的眼动追踪摄像头和照明器。取下相机镜头盖。
      注意：DB9电源线端可能存在MR安全问题;进入磁铁环境后，立即将该端牢固连接到穿透面板，同时保持与磁铁的最大距离。此外，请将FO电缆和眼动追踪电源线保持距离，也远离磁铁房地板上的其他电缆，以避免可能的纠缠和信号干扰。
5. 眼动追踪系统设置（控制台区域，无参与者）
   1. 在穿透面板的ERS处，将眼动追踪电源适配器连接到插座和相应的DB9滤波口。
   2. 要在眼动追踪计算机上捕捉刺激/反应计算机触发，需用DB25线连接它们的并行端口。
   3. 为了在眼动追踪系统与平板电脑视频摄像机之间通信，通过Category-5e（CAT5e）以太网网线连接两者。启动眼动追踪电脑。
6. 参与者设置（磁场内）
   1. 准备配备64通道头部线圈的患者桌，并要求参与者仰卧，头部尽可能深入线圈内。为了防止移动，可以在头部周围加垫，确保贴合。使用标志性激光确认磁头是否位于头部线圈中心。
   2. 调整头部线圈镜的位置，直到参与者能清晰无阻地看到后投影屏幕。
   3. 将平板电脑支架放在参与者腰部，使触感表面处于舒适的位置，便于书写和绘画动作。
   4. 将平板笔放在参与者的惯用手上，让他们像拿笔一样握住笔。让参与者用触控笔触摸触控面的四个角落，以评估舒适度。调整平板位置，并在肘部下方加垫，以减少压力或阻塞。
   5. 一旦找到舒适姿势，使用魔术贴带将平板系统紧紧固定在病床上。小心地将参与者和平板系统移入磁孔。确保平板系统不会撞到管的边缘，也不要让平板线缠绕（见图2A）。
7. 眼动追踪软件设置（控制台区和磁力房）
   注意：所有在平板电脑视频摄像机或刺激/反应计算机上进行的软件设置均由研究实验室成员通过相应的键盘作和鼠标点击完成。
   1. 在平板电脑视频摄像机电脑上，打开视频camera.exe程序。系统初始化时，等待设置 对话框 出现，然后用鼠标按 确定 键。
      注意：此时，参与者应能看到其手部位置/触控笔的全屏视频反馈（图2D）。
   2. 在平板电脑视频摄像机电脑上，打开 屏幕录制 程序。
   3. 为参与者的眼动追踪数据创建一个新的屏幕录制会话，使用其参与者ID。
   4. 遵循眼动追踪系统用户手册的建议，配置瞳孔和角膜反射阈值，并校准和验证眼动追踪摄像头（眼动追踪系统用户手册 - 教程：运行实验，第81-91页）²³。
      1. 通过切换不同摄像机视角、聚焦镜头和调节照明器，调整参与者右眼的眼动追踪摄像头视角。
      2. 一旦设定好瞳孔阈值和角膜反射（CR）值，记录这些值，然后进行9点校准（按 C键）。
      3. 验证校准（按 V键）。在进行fMRI实验前，记录平均和最大验证角度值。如果校准结果不理想（FAIR 或 POOR），则重复校准/验证直到获得 GOOD 结果，平均误差为<0.5^o ，最大误差为<1.0^o （见图4D，E）。
8. 平板校准
   1. 使用刺激/反应计算机校准平板触摸表面。
   2. 打开 ELO三点校准 以开始平板校准。
   3. 指导参与者用触控笔在限定时间内连续触摸并释放屏幕上出现的三个目标。
   4. 校准完成后，打开参考的图形编辑应用程序（见 材料表），指示参与者自由绘画，以确认触控笔的跟踪是否正确。根据需要重复8.1–8.4步骤。
      注意：平板响应图形中频繁的抖动或跳动表明触控笔追踪不佳，需要重新校准。
9. 训练方案
   1. 为了让参与者熟悉在平板界面上书写和绘画，请他们按照《基本震^颤研究》中的自学训练任务进行指导提示。这包括参与者签名并执行Fahn-Tolosa-Marin震颤任务，该任务包括在越来越窄的指导线之间画螺旋线和水平线。
   2. 为了让参与者熟悉TMT，引导他们完成一个自我进度的培训任务，该任务包含简化版的TMT-A和TMT-B，仅有12条。培训结束后，引导他们体验TMT-A和TMT-B的全尺寸替代版本，物品重新排列，时间安排与实验任务相同。监控参与者的表现，确保平板校准良好，并且参与者按照提示执行TMT任务。
10. 实验范式
    注意：本工作流程实现了上述TMT模块设计。
    1. 开始眼动追踪器录制。在平板电脑摄像机电脑上，选择屏幕录制程序中的“开始录制”。
    2. 在刺激/反应电脑上，打开 TMT-Run1_slow.ebs2 E-Prime（E-Run）脚本文件。
    3. 最后连接到MRI系统的触发输出：将URB连接到刺激/反应计算机。
    4. 在E-Run脚本提示时输入 参与者ID 和 会话编号 。
    5. 通过MRI系统对讲机口头指示参与者完成TMT（见图6）。确认参与者已准备好继续。
    6. E-Run脚本会向参与者展示TMT的作说明。首次TMT-A、TMT-B和视觉注视条件的执行将在MRI开始时通过URB从MRI系统发送触发脉冲后开始。
    7. 运行过程中监控眼动数据，确保信号稳定（一名实验室成员）。此外，监测参与者的TMT表现（触控笔反应），确保他们遵循指示，且设置无问题（如视频投影不可靠、触控笔追踪不良等;第二实验组成员）。让第二位实验室成员也记录TMT-A或TMT-B的表现错误，以及试验编号。
    8. 运行结束后，停止眼动记录并按照眼动追踪系统用户手册（第91-92页）的建议进行漂移^校正。如果漂移检查误差<2.0°，则继续。如果误差为≥2.0，则进行校准/验证，直到平均误差为<1.0°，最大误差<2.0°。
    9. 对于第二次运行，重启眼睛记录会话，并在刺激/反应计算机上打开E-Run脚本文件 TMT-Run2_slow.ebs2 。输入与第一轮相同的 参与者ID 和 会话编号 。重复任务指令（见图6）。同样，fMRI开始后，触发脉冲将启动任务。至于第一次TMT运行，请让第二位实验室成员注意任何TMT性能错误。
    10. 实验完成后，完成最后一次眼动追踪验证（步骤7.4.3），并记录平均和最大误差值。然后，点击 “文件 |关闭 眼动追踪软件导出数据。将参与者从磁铁中取出，开始拆除设备。
11. 设备拆卸与数据保存
    1. TMT数据会自动保存在刺激/反应计算机上，与TMT脚本同一个文件夹。
    2. 眼动追踪数据将在录制会话结束后保存。
    3. 在平板电脑视频摄像头电脑上的 SR研究屏幕录制 程序中，进入 文件 并选择 关闭 ——这将文件从眼动追踪计算机传输到平板电脑视频摄像头电脑。
       注意：仅仅退出程序窗口 无法 正确传输/保存实验数据。
    4. 数据传输完成后，关闭所有电脑并存放设备。

2. 分析

1. 参赛者
   1. 为展示该方案及其潜在影响，我们从一名无神经、心理或写作障碍报告史的健康右撇子女性（22岁）参与者中收集了基于平板电脑的TMT、眼动追踪和fMRI数据。
2. 平板运动学指标
   1. 使用GitHub²⁵上用MATLAB编写的自定义脚本分析原始运动学绘图板数据（触控笔在x、y坐标中的位置）。原始数据通过自定义脚本 NPTF2F_CompleteAnalysis.m 处理，该脚本调用了额外的自定义脚本：NPTF2F_RemoveErrors.m;NPTF2F_SpeedData年;NPTF2F_SignalData.m;getAverageForce.m;getTotalDistance.m;sigfilt1.m;spikeRemoval.m;以及零X.m。运行时NPTF2F_CompleteAnalysis.m，输入参与者身份、数据采集日期和脉冲序列顺序（EPI/INI或INI/EPI），其中INI表示反成像²⁶。
      注意：作者所在机构的TMT相关fMRI数据收集可采用任一影像模式，此处选择EPI（见上 文神经影像）。 INI功能性磁共振成像以更高时间分辨率记录脑活动，超出本研究范围。脚本运行后，分析分为多个部分进行。第0和第1节填充MATLAB工作区，分别读取和存储输入文本文件的数据。
      1. 第二部分要求用户输入TMT-A试验表现视觉分析中总链接数、正确链接数和错误链接数。确保视觉分析倾向于宽容;如果参与者没有接触到圆圈，但明显尝试朝圆圈方向尝试，则该链接算作正确。同样，如果参与者在将唱针重新引导到下一个正确圆圈时“越过”了一个圆圈，并与邻近的另一个圆接触，也不要将其视为额外的（且错误的）连接。
         注意：当前分析范围仅审查完全正确的试验或试验中建立的正确关联。第3条允许在每次试验中删除关联错误。本案无需删除，因为参与者未犯链接错误。
      2. 等待第4节通过调用NPTF2F_SpeedData（）函数计算试验数据统计数据。
      3. 等待第5部门打电话给NPTF2F_SignalsData（）。
      4. 观察第6节以适合进一步数据处理的格式输出平板运动学数据（16次试验×15参数）。
3. 汇总数据以量化性能特征和描述性统计数据，针对每次试验进行量化。
   1. 确定 完成时间 为参与者从TMT试验开始到最终序列字符所需的时间，上限由最大区块时长40秒（TMT-A试验）或60秒（TMT-B试验）设定。
   2. 计算 速度 （像素每秒，[px/s]）是x，y坐标随时间变化（随触控笔运动的函数）。触摸面板的活动区域为129毫米 x 97毫米，刺激显示区域为103毫米×77毫米（1024 x 768像素，9.0° x 6.7°视觉角，不包括实时视频中显示平板和参与者手部的周围区域）。
   3. 考虑到固定区块时长可能导致的上限效应（即未能在最大时间内完成TMT-A或TMT-B），通过将完成时间（秒）除以连接数量（正确的触控笔响应，连接两项项之间）来计算另一个指标—— 每链路秒 数（SPL）¹⁵。
      注意：声压值越高表示连接性能越慢，反 之亦然。
   4. 使用眼动追踪屏幕录制视频文件确认整体任务完成情况，并记录任何错误行为（例如错误链接、触控笔抬起）。
      注：本案参与者的TMT表现没有错误。
   5. 使用平均、第一和三四分位速度值区分每个试验的 联结周期和非联结周期 ，如下所述。
   6. 定义 连接周期 （速度值高于第一四分位数），即快速加速至峰值速度值后，随后进行类似减速。
   7. 将第一四分位以下的速度定义为 非链接期，表现为有意链接行为前的视觉搜索行为。
      注意：这些连接和非连接行为及其神经相关性，最近在一项针对年轻成人脑电图期间基于平板的TMT表现的研究中得到了表^征。
   8. 分别使用链接和非链接时间来确定 连接时长 （连接链路的平均时间，[ms]）和 非链接时间 （寻找下一个连接的平均时间，[ms]）。
   9. 计算试验期间触控笔响应 的总距离 （D），以像素为单位，作为试验间变异的另一个指标。计算每次试验的平均 额外行驶 百分比（EDT），以最优（最短）路径的百分比表示。
   10. 计算 每个链路的距离 （DPL，px/link），即每次试验中形成一个链路的平均行驶距离。
   11. 计算连接期和非连接期 的平均力 （任意单位，[au]），省略试次间的数据。
4. 眼动追踪指标
   1. 使用眼动追踪系统的原生软件（详见 材料表），按每次试验查看和处理眼动追踪数据。
   2. 在完整的TMT-A和TMT-B性能条件下，分别对眼动追踪数据进行了时间平均，展示了概念验证和潜力。根据刺激/反应计算机生成的时间戳触发码，解析并分离每次运行的连续数据流，这些代码表示眼动追踪 EDF数据文件中每个TMT-A和TMT-B任务块的起点和结束点。
   3. 报告描述性统计数据，包括扫视次数、凝视次数、凝视时间（毫秒）、凝视百分比、眨眼次数、眨眼频率（眨眼次数/秒）和瞳孔大小（单位为任意单位[au]）。
      注意：每个参数的具体定义列于 表1。与注视和扫视相关的统计数据通过软件内置的报告生成器生成，使用默认阈值和幅度值。
5. 统计报告
   1. 鉴于实验具有概念验证性质，涉及单一研究参与者，需对多次比较进行简单的统计检验，无需校正。计算TMT-A和TMT-B在两次实验中的平均平板和眼动追踪指标（每个测试条件共计四次）。
   2. 对于每个片和眼动追踪指标，使用配对双尾 t检验评估两个TMT部分（TMT-B与TMT-A）之间是否存在统计学显著差异。
6. 神经影像数据
   1. 利用功能神经影像学（AFNI）免费软件²⁷生成脑活动的概念验证fMRI图谱，该软件在研究界广泛采用。
      注意：详细说明具体成像分析流程和参数选择的脚本可在GitHub²⁵上提供。简而言之，AFNI图像处理流程步骤如下，用于评估大脑中每个体积元素（体素）位置的脑活动：
      1. 将两次TMT扫描的fMRI数据串接起来。
      2. 在激活图生成前进行预处理步骤，包括对fMRI信号振幅随时间变化的峰值（离群值）进行体素校正，以及与呼吸和心搏相关生理效应²⁸、图像切片采集时间和运动。
      3. 通过非线性变形程序，将T1加权解剖MRI数据对齐到标准脑图谱模板^29,30。
      4. 将曲速参数应用于fMRI数据。
      5. 利用5毫米的半高宽（FWHM）高斯核对fMRI数据进行空间过滤。
      6. 将每个体素的fMRI时间程除以均值，然后乘以100，将fMRI信号重新标放为百分比单位。
      7. 将fMRI数据输入通用线性模型（GLM），包括表示TMT-A和TMT-B任务块活动时间的箱形波形（源自平板数据），并与典型血流动动力学响应函数交织，以及用于低频波动、运动及其导数的回归器，以及用于消除心肺周期残留效应的生理回归器。
      8. 计算对应脑激活的初始映射（基于体素的GLM分析的β系数），a）TMT-A加TMT-B的平均表现与注视状态;b）平均TMT-B至TMT-A表现。在 p < 0.0005 处报告每张地图，然后在 p < 0.05 处应用一个簇大小阈值以校正多次比较。

Results

利用眼动追踪屏幕录制文件，图7A和图7B分别展示了TMT-A和TMT-B在增强现实环境中某一时刻的代表性表现。TMT-A和TMT-B的表现（蓝线）以及凝视数据（红线）分别在连续2.5秒间隔内的表现见图7C，D。选择此时间区间是为了便于在单一图中可视化多个连续的链接行为实例。较短的时间区间仅显示一个链接（或无链接），而较长的时间区间则显示更多链接和杂乱，视觉上更难解读。特别是在查看图7C、D时，可以明显看出，在执行TMT-A和TMT-B的最初几秒钟内，参与者会在移动触控笔前，视觉上搜索并编码第一个需要连接的链接。还有迹象表明，在所示时间段内，TMT-A和TMT-B的表现中，凝视（及视觉搜索行为）会先于相应的触控笔连接动作。

表1 总结了参与者在所有试验中TMT表现的平均运动学和眼动追踪指标（4次TMT-A，4次TMT-B，跨越两次独立运行）。TMT-B的完成时间（31.3秒 ± 6.0秒）趋势上比TMT-A（24.0秒 ± 5.7秒）更长（p = 0.06）。这与执行TMT-B所需的更复杂的心理处理是一致的。TMT-A的平均链路绘制速度（0.35 ± 0.04 px/ms）并未显著慢于TMT-B（0.36 ± 0.13 px/ms）（p = 0.91），而 TMT-B 的 SPL 趋势较快（1.31 ± 0.25 秒），而 TMT-A（1.00 ± 0.24 秒）（p = 0.06）。平均连接周期无显著差异（TMT-B为702 ± 299毫秒，TMT-A为729 ± 221毫秒）（p = 0.92）），非连接周期持续时间也无显著差异（TMT-B为576 ± 451毫秒，TMT-A为260 ± 29毫秒）（p = 0.23））。TMT-B的总距离（D）与TMT-A（10,600 ± 1,930 px）与TMT-A（10,600 ± 1,930 px）无显著差异（p = 0.52）。相对于最短可能距离的额外行驶百分比（EDT）为27.1 ± TMT-A为7.1%，TMT-B为24.2% ± 为6.3%（p = 0.59）。TMT-A的每链路距离（DPL）为442 ± 每链路80 px，TMT-B为429 ± 53 px/链路（p = 0.52）。唱针力平均略高于TMT-B（9.3 ± 1.8），低于TMT-A（5.5 ± 3.5）（p =0.11）。在这两种任务条件下均未出现错误。综合来看，这些结果与TMT-A和TMT-B运动表现存在显著差异的解释一致，因此由于平均绘制链接速度、链接时间、非链接时间、D、EDT、DPL和触控笔力等认知复杂性导致的TMT部分之间可能存在的差异，在单一参与者层面的分析中，由于刺激的伪随机呈现而被掩盖。然而，正如预期的那样，TMT-B的SPL较高于TMT-A的趋势与完成时间的发现高度一致，反映了两指标之间的强相关性。

眼动追踪数据显示，TMT-B的扫视次数略多（90±24次），而TMT-A则略多于TMT-A（71±22次）（p = 0.10）。由于扫视和注视高度相关，注视的类似结果几乎相同。TMT-A的平均注视时间为308±40毫秒，而TMT-B的平均凝视时间为314±32毫秒（p = 0.32）。TMT-A在固定中停留的平均时间百分比为90.0±2.3%，与TMT-B的平均88.7±2.1%显著不同（p = 0.01）。TMT-B的眨眼次数显著高于TMT-A（2.0±±1.2）（p = 0.04）。考虑到测试间的平均完成时间差异，TMT-B的眨眼频率仍显著较大（0.15±0.06眨眼/秒），而TMT-A则为0.08±0.05眨眼/秒）（p = 0.03），这在前者任务中也较为需要认知，因此更具认知需求。不同病症的平均学生人数保持非常相似（TMT-A为1,588±140;TMT-B为1,648±59）（p = 0.29）。

在分析两种任务条件下的大脑活动（TMT-A和TMT-B对视觉注视）时，观察到显著的广泛正向激活，以及几个负激活的簇（通常较小）。按大小排名前25的群聚包括内侧和外侧小脑部分正激活、左前枕、上和下顶叶小叶、左中枕回、前中心回、左后中央回、左上额回、右上枕回、辅助运动区、左中扣带皮层、右上缘回、左中额回和右钙化回。这些激活的子集在 图8的代表性图像中展示了。负向激活表现见于角回、左上额回、中颞回、右下顶回、右上颞回、右中后回、右上缘回、左下额回（眼窝部）、右中旁小叶和右前中心回。然而，TMT-B与TMT-A对比中未观察到显著的阳性或负性活化。如讨论中所述（见下文），这些集体fMRI观测结果与实验室先前获得的fMRI结果一致。

图1：实验装置的概念图。 （A）计算机显示器用于控制设备和认知测试的执行，并可视化结果，由（B）计算机执行。电源、控制和数据记录电缆通过（C）射频穿透面板。关键设备包括（D）计算机化MRI兼容平板电脑，该平板由触摸感应表面和触控笔组成，发光二极管照明器，以及“平板摄像机”，用于捕捉手部和触控笔的动作。（E）安装在头部线圈上的反射镜可通过（G）远程视频录制系统，对躺在（F）MRI系统患者桌上的参与者进行眼动追踪。镜子还使参与者能够通过（H）后投屏幕查看测试刺激、平板反应及相关的手/触控笔运动，这些画面由（I）远程兼容MRI投影系统呈现。请点击此处查看该图的放大版本。

图2：平板电脑的配置。（A） 患者桌上平板电脑的布局，参与者为志愿者。（B） 绘图板、卡口和触控笔（黄色）的特写，以两种不同方向展示“平板摄像机”和发光二极管照明器的布置。（c）平板电脑摄像机和刺激/响应计算机，用于控制平板电脑系统，从MRI控制台区域作。（D） 参与者进行TMT-A时，呈现增强现实环境的代表性视角。红点表示瞬时的凝视位置，参与者不会看到。（E）兼容MRI的投影系统，用于向参与者展示增强现实环境，在背投屏幕上。屏幕安装在磁铁孔内，在此视角下看不到;详见图4以获得清晰的描绘。缩写：TMT = 开辟步道测试。请点击此处查看该图的放大版本。

图3：开辟轨迹测试的化学特性。功能性磁共振成像期间TMT施用的时间图。顶部：时间图，显示了TMT-A、TMT-B和固定块的持续时间，分别在两次运行中进行。底部：每种病症的示例图像显示。注意，TMT-A和TMT-B的试验每次都涉及不同的刺激模式，因此参与者的表现并非基于空间记忆。所有视觉凝视试验均涉及相同的图像显示。缩写：TMT = 开辟轨迹测试;fMRI = 功能性磁共振;TMT-A = A部分;TMT-B = B部分;固定=视觉注视。请点击此处查看该图的放大版本。

图4：眼动追踪器 套件。 （A） MRI兼容眼部摄像机、照明器和支架的图像。（B）前磁孔开口图像，显示眼动追踪装置与平板、头部线圈、镜面及投影屏的空间关系。（C）前磁孔开口图像，去除平板和磁头线圈，显示投影仪与平板配合投影幕、眼动追踪摄像机和照明器之间的关系。（D） 眼动追踪软件环境，展示参与者在大视野和裁剪缩放的区域录制视频，通过检测角膜反射以实现眼动追踪，并检测瞳孔以记录瞳孔直径。（E） 眼动仪校准和验证时的示例截图。 请点击此处查看该图的放大版本。

图5：控制台和p输出，panel setup。（A）MRI控制台区域，显示实验中使用的四个显示器。从左到右：眼动追踪器;平板电脑摄像机;平板刺激/反应;以及MRI系统控制台。（B）穿透面板磁室侧的图像，显示所有相关硬件连接。（C）设备室侧的类似连接。缩写：BNC = 刺刀螺母联结。请点击此处查看该图的放大版本。

图6：口头询问指令。训练任务包括使用平板和触控笔练习在指南之间画出平滑的线条，在认知测试前熟悉设备。TMT由两部分组成：A部分要求按升序连接编号圆圈，B部分则在数字和字母之间交替排列。缩写：TMT = 开辟轨迹测试。请点击此处查看该图的放大版本。

图7：TMT的表现。从参与者视角对（A） TMT-A表现和（B） TMT-B在增强现实中的表现进行时间样本。每张图片中的红点代表视点。这些图像是眼动追踪屏幕录制视频文件中的帧;注意，参与者在测试表现中无法看到视线点。（C，D）TMT-A和TMT-B表现连续2.5秒的时间区间（蓝线），包括时间相关的凝视数据（红线）。扫视表现为细红线，而“结”则在视线移动不快的地方显现，表明注视。缩写：TMT = 开辟轨迹测试。请点击此处查看该图的放大版本。

图8：功能性磁共振成像（fMRI）扫描，APS。激活（fMRI信号对比）对（TMT-A和TMT-B）与固定的区别。在立体定向图谱空间中，切片位置在所示的Z坐标处相距14毫米。颜色条表示显著激活区域中BOLD信号对比度的百分比，正值表示激活率高于基线。缩写：fMRI = 功能性MRI;TMT = 开辟步道测试;L = 左;R = 右;BOLD = 血液血氧水平相关。请点击此处查看该图的放大版本。

参数	定义	TMT A	TMT B	P值（双尾，配对）
完成时间（s）	完成每个试验的平均时间（秒数）	24.0（± 5.7）	31.3（± 6.0）	0.06
速度（px/ms）	触控笔运动的平均速度（像素每毫秒） 在每场审判中	0.35（± 0.04）	0.36（± 0.13）	0.91
每链路秒数，声压 （链接）	每个试验中完成每个环节的平均时间（秒数）	1.00（± 0.24）	1.31（± 0.25）	0.06
链接时长（毫秒）	连接每条链路的平均时间（以毫秒计） 每场审判	729（± 221）	702（± 299）	0.92
非连结持续时间 （手稿）	寻找下一个连接的平均时间（毫秒） 在每场审判中	260（±29）	576（± 451）	0.23
总距离（px）	每次试笔平均移动的距离（像素数）	10600（±1930年）	10300（±1270）	0.52
额外距离 出差，东部时间（%）	每次试验的平均额外行驶距离，表示为 最优（最短）路径的百分比	27.1（± 7.1）	24.2（± 6.3）	0.59
每链路距离，DPL （px/链接）	每次尝试中形成一个链接的平均距离（像素单位）	441（± 80）	429（±53）	0.52
力量（略称单位）	每次试验中对平板屏幕施加的平均力（单位为任意单位）	5.5（± 3.5）	9.3（± 1.8）	0.11
扫视伯爵	每场扫视的平均次数	71（±22）	90（± 24）	0.10
注视计数	每次试验中固定的平均数量	71（±22）	90（± 24）	0.09
凝视时间（毫秒）	每次试验中每次固定的平均时间（毫秒）	308（± 40）	315（±32）	0.32
固定百分比 (%)	每次试验中在一次注视中平均停留的时间百分比	90.0（± 2.3）	88.7（± 2.1）	0.01
眨眼计数	每次试验的平均眨眼次数	2.0（± 1.2）	5.0（± 2.6）	0.04
眨眼频率（眨眼次数/秒）	每次试验中每秒平均眨眼次数	0.08 （± 0.05）	0.15（± 0.06）	0.03
瞳孔大小（清外） 单位）	每次试验的平均瞳孔大小	1588年（±140年）	1648年（±59年）	0.29

表1：平板电脑运动学指标和眼动追踪指标的汇总统计，汇总中年轻健康女性使用TMT-A和TMT-B的表现。 每个度规的定义以括号内的标准差给出。斜体显示的指标包括对每个试验的连锁表现进行平均，随后分别对TMT-A和TMT-B进行所有试验的平均值。P值用于对TMT-A和TMT-B之间度规值差异进行双尾 配对t检验。加粗显示的P值表示双尾检验在p<0.05时有显著效应。 斜体 = 每次测试平均值的平均值。 加粗 = 通过双尾配对测试。

Discussion

本研究展示了一套全面的协议，可在基于平板的ToC运行过程中同时获取眼动追踪和fMRI数据。以下讨论首先评估该方案的各个方面，然后聚焦于代表性参与者所显示的结果。书中还提及了该协议未来的应用。

该方案基于多年精心设计，基于在平板系统开发和进行功能性磁共振成像（fMRI）研究（包括平板或眼动追踪）中积累的经验（但未将后两者结合）。特别是，所有与校准相关的步骤确保获得的数据准确反映参与者的表现。在会话开始时的绘图板校准确保触控笔（和光标）在增强现实显示器中准确跟踪书写和绘图行为，即使相机视角在作过程中可能发生变化。为确保头部运动不会显著干扰结果，基于制造商建议和系统软件实施并验证眼动跟踪校准和漂移校正，同时在整个试验过程中持续监测眼动追踪数据流。对于平板或眼动追踪系统进行不当或省略的校准，可能导致结果偏颇。然而，这里展示的平板和眼动追踪结果，以及实验室产生的其他结果，表明健康成年人中也能获得高质量的数据。未来，对于其他研究人群，如老年人或神经系统或精神疾病患者，可能需要额外的数据处理。例如，由于头部间歇性过度运动（根据协议第2.6.1.2节获得的运动估计确定），数据可能需要排除分析。由于学习或习惯效应（即使初始训练后仍存在）可能也需要排除首轮数据，尽管其时间路径在未来研究中也具有重要性，可能为区分这些人群中TMT表现与年轻健康成年人提供额外机制。

触发脉冲对该方案至关重要，支持平板的时间同步记录、眼动追踪和功能性磁共振成像数据流。fMRI信号基于BOLD血流动力学反应，通常在时间尺度上以秒为单位变化，而眼动追踪和平板运动学数据显示有意义的内容在10-100毫秒之间。因此，集体数据集的时间同步为研究TMT表现期间感知、认知和行动机制提供了前所未有的时间细节。初步研究可描述特定脑区活动与TMT-A和TMT-B试验中时间平均的眼动跟踪参数之间的关联。对于一组参与者，这将使得通过简单的线性回归和相关系数计算，研究给定脑区活动与每个眼动追踪参数之间的可能关联。未来还将探讨是否可以通过平板和眼动追踪数据的快速波动，在fMRI数据中解析更多时空激活特征。新兴研究显示，fMRI数据采集参数可以通过更细的采样调整以测量BOLD信号;例如，使用INI fMRI采样100毫秒，已改善了大脑激活动态的检测效果³¹。最近利用脑电图研究基于平板的TMT还显示，任务内连接和非连接周期与频率频段^功率10的不同空间模式相关，这促使该协议用于寻找相似的fMRI信号关联。识别fMRI信号背后的血流动动力学反应远慢于扫视和注视的时间尺度，但迈向这一方向的第一步可能是描述TMT-A和TMT-B表现的潜在差异，涉及连接序列早期与后期行为的差异（后者在TMT-B中尤为困难）;以及基于眼动追踪和运动学数据的视觉检查，识别难度较高的链路与较难的链路之间的潜在差异。

该方案包含一个培训模块，使参与者能够熟悉基于平板的反应以及执行TMT所需的连接动作。此类培训（包括未来针对其他任务或正在研究的目录的调整）旨在提升那些几乎没有使用平板电脑经验的人群，如一些老年人，以及因脑功能障碍而可能在这种沟通模式中遇到挑战的人。增强现实环境，包括来自平板摄像机视频信号的VFHP，使平板间的互动具有高度生态效度，但无法提供与典型笔和纸写作完全相同的体验。例如，参与者必须在磁铁中躺下并观看计算机图形时做出反应，包括手部的无实体呈现，没有正常的本体感觉输入和以身体为中心的空间坐标。虽然未来研究可以探讨控后两者的影响，但现有的轶事证据表明，通过简单的训练，健康个体能够迅速且轻松地熟练使用该平板技术，因此在短暂的培训模块后，基于平板的fMRI研究中的学习效应可以被忽视。

目前的方案未来可在培训模块中进行fMRI，以提供支持或反对后者观点的定量科学证据。（在之前基于平板的fMRI研究中，未包含训练内容，为避免学习效应，放弃了TMT-A和TMT-B首次试验的神经影像数据^10,19。）同时，探讨基于平板和ToC学习对不同患者群体（如认知障碍患者）的影响也将非常有趣，这可能需要对培训模块进行强化。在磁铁之外的其他研究中，培训模块也可以被调整为有用的筛查工具，使不遵守指示或无法充分完成任务的患者参与者被排除在影像研究之外。

作为与训练任务相关的最后一个讨论点，需要注意的是，ToC的功能性神经影像通常受限于大脑激活信号的噪声特性，以及需要分析多次任务重复的长时间序列数据以获得具有统计意义的大脑激活图谱³²。这一程序与典型的ToC表现方式不同，后者通常只进行一次检测。随着功能性神经影像技术未来能力的提升（例如在7特斯拉及以上超高磁场下进行fMRI），或许可以比较单次认知试验与多次试验获得的大脑激活效果。然而，目前已证明多项试验基于平板的TMT表现与实际纸上测试的表现具有合理的收敛效度¹⁵。

虽然设计目的是通过fMRI促进ToC评估，但该方案本身具有灵活性和可调整性，以适应广泛的研究目标。例如，平板电脑摄像机的加入是专门为了支持VFHP，以增强生态效度，但如果不需要，可能会被排除，或者根据不同任务条件（如探索视觉、本体感觉和运动处理整合的研究）开启或关闭。此外，该平板还可以轻松地与眼动追踪系统同步使用，仅用于行为测试，或与其他功能性神经影像技术如脑电图、功能性近红外光谱和正电子发射断层扫描等配合使用。在涉及脑磁图（MEG）的研究中，可能需要硬件改造，以将平板的磁场条隙压制到远低于MEG磁场传感器的飞特斯拉。根据实验需求，该方案还可以扩展，加入其他感官刺激呈现和反应记录设备。例如，这可能包括兼容MRI的耳机用于呈现听觉刺激，以及用于记录按钮响应的按钮框，最终使任意ToC的大脑激活信号能够与功能神经影像学领域更常用的块状或事件相关设计任务生成的信号进行比较。还可以调整其他方案以考虑不同患者群体的运动或视觉障碍。例如，还可以添加额外的控制任务，包括简单的绘画动作（例如以较低认知需求反复连接两个刺激），从而能够估计运动障碍对整体TMT表现的贡献（即通过观察大脑激活对比（TMT-A与静止;简单绘画与休息;TMT-A与简单绘画;TMT-B亦然。TMT-A和TMT-B所需的连锁数量可以减少，以减少肌肉疲劳的可能性。视觉障碍可以通过呈现更大范围的视觉刺激或显示对比度更强的刺激来缓解。然而，需要对对照组进行额外的fMRI并进行此类修改，以提供对患者与对照组脑活动的无偏评评估。

尽管协议鲁棒，但仍有若干改进空间。特别是，执行起来较为繁重：为了在设备安装和拆卸以及数据收集（一人监控平板电脑，一人监控眼动追踪计算机）中，需要三名或更多实验室人员（包括一名技术人员作MRI系统）的高效作。我们现场有两名受过培训的工作人员，目前MRI的设置和拆卸需要在前后各10分钟进行，尽管如果有其他实验室成员协助，这些时间可能会缩短。未来 ，通过“预配置”某些硬件组件，并更高效地利用设备推车，便于运输和建立电缆连接，可以实现时间效率提升。如果空间和设备允许，在MRI室内永久安装（部分或全部）是最简单的选择。

接着，通过获取代表性平板、眼动追踪和功能性磁共振成像（fMRI）结果，验证了该方案。结果大体符合预期，如下所述，但首先应强调，各行为指标和激活脑区的数值是在参与者内部进行统计评估的，未考虑群体层面的平均值和变异性。未来需要对大量健康个体进行多模式检测，以获得作为 “规范性” 数据的群体级信息，最终可与脑功能障碍患者群体类似测试结果进行比较。此类研究的样本大小计算很可能受fMRI信号低对比度及获取成本的影响。科学文献中有一些用于fMRI样本量估计^的工具。基于此前提，本叙述主要聚焦于简要解读所观察到的趋势和显著影响。

参与者在TMT-B的完成时间和非连锁时间上略长于TMT-A，重复了之前的片剂检测结果，并^{与2、18、33}篇论文中已确立的TMT表现一致。这些发现可能反映了TMT-B在处理、搜索和识别下一个正确目标方面需要更多时间，因为TMT-B被认为更具智力挑战性。两种任务条件均未记录错误，所有TMT试验均在规定时间内完成，符合年轻、受过教育、健康成年人的标准TMT完成标准^2。由于TMT-B和TMT-A的总链路数相同，且TMT-B完成时间更长，TMT-B的SPL值比TMT-A大于预期。尽管TMT-B的视觉搜索复杂度增加，但TMT-A的D和EDT值略高。这两种指标均为本研究新开发，因此无法与以往基于平板的TMT文献进行具体比较。然而，有推测认为，TMT-B中较慢的性能可能改变了个体在 “速度-准确性” 权衡^图34图中的位置，相对于TMT-A中更快的表现，从而使得与相关D和EDT降低的值更准确地关联起来。这一解释需要在未来的测试中得到确认。

该参与者的眼动追踪指标结果令人感兴趣。参与者在进行TMT-B时，扫视和注视次数、眨眼次数和眨眼频率均略高于TMT-A。在条件B中，扫视和注视计数增加可能表明视觉刺激的视觉搜索效果增强。支持这一可能性的是，先前研究显示，随着处理更复杂搜索阵列的心理成本增加，这两种计数都会增加。³⁵。TMT-B相比TMT-A的眨眼次数和眨眼频率增加，可能代表前者在认知控制方面有所增强。有趣的是，许多研究支持自发眨眼的频率（以及这里研究的固定试验时间内的眨眼次数）是多巴胺活动的有用代理指标³⁶。多巴胺是一种重要的神经递质，参与学习、工作记忆和目标导向行为³⁷，这些都是成功TMT表现的基础，且TMT-B对TMT-B的需求比TMT-A更高。大量研究自发和任务诱发的眨眼都显示，这两种指标都对^{认知控制的}调节很敏感。最后，TMT两部分的平均瞳孔大小非常相似，表明参与者能够以相似的心理努力完成两部分，而不消耗处理能力³⁸。这些解释再次与TMT表现² 的文献一致，即参与者高效地完成了两部分，没有出现错误。未来工作将需要研究与任务内TMT行为相关的详细凝视特征。此类工作将极具趣味性，能够评估视觉搜索行为a）先于平板反应的程度;b）由于数量和字母刺激的空间分布，对难以执行的链接与易于执行的链接进行了调整;c）当TMT表现出现错误时，也会被修改。

关于TMT表现误差，错误记录和量化将成为未来研究的重要方面，超出当前高绩效年轻健康成人概念验证研究的范畴。当前协议仅限于数据采集时的TMT性能错误记录，但可轻松补充，包括TMT-A和TMT-B试验中出现的错误数量，以及基于数字化触控笔交互视频文件的统计测量，针对特定参与者的中心倾向和变异。除此之外，还需要一个评分标准来分类TMT性能错误的类型。一旦通过人工检查积累了足够的错误数据，也应能开发出准确检测和分类错误的人工智能方法，使错误评估过程大大减少。

神经影像分析显示，TMT-A和TMT-B任务同时分析时，在包括负责视觉处理、运动功能以及感觉感知和整合的区域中，存在显著广泛的激活。这些区域的激活类似于之前TMT神经影像研究中fMRI的激活，^15,19。作为与运动功能相关的简单激活示例，右手运动反应正向激活了对侧（左侧）前中心回手部区域，同时还有一小群同侧负向激活（图8未显示），这是任务相关运动中初级感觉运动区域的典型激活模式^39,40.即使阈值和矫正相对保守，该参与者fMRI激活强度也表明该任务是视力运动功能的良好探测，包括小脑和中脑。然而，对于支持TMT表现的大脑区域，不应仅从该单一参与者的数据中得出具体结论，该数据仅供演示使用。还需注意，TMT-B与TMT-A对比剂缺乏活性对单个参与者的现象并不令人意外。这种对比度被认为是“弱”的，通常需要分析更大样本组的fMRI数据，并需要精心优化的图像处理流程以可靠检测激活信号⁴¹。后面这些点再次强调，当前的神经影像学工作在实验设计、fMRI记录和分析中已证明了概念验证，但未来仍需开展涉及一或多组参与者（如神经疾病患者和健康对照组）的研究，以获得在人群层面具有普遍性的结果。

需要强调的是，该方案开发的指标（用于量化TMT相关的片剂和眼动追踪反应，以及fMRI期间的大脑激活）并不全面。相反，他们基于过去几年进行基于平板的TMT-fMRI研究以及涉及眼动追踪的fMRI研究的经验。平板和眼动追踪指标不一定独立，可能存在某些共依存性，这表明对其与TMT-fMRI数据的关联进行多变量分析是有益的，例如使用偏最小二乘法⁴²。未来，量化凝视路径某些方面的新指标将非常有用，作为描述个体内外正确测试表现（及误差）变异性的一部分，包括健康个体组和患者组之间的差异。预计此类研究将揭示在使用基于平板的TMT、眼动追踪、fMRI数据及相关定量指标下，区分患者与对照组时，TMT的敏感性和特异性显著提升，相较于标准笔纸TMT施药和标准TMT评分。如果这一预测正确，也将有机会利用这一整体研究项目获得的洞见，探索是否可以通过各种人工智能方法和开发全新的现代ToC来进一步改善歧视。

综上，提出了一种新型多模态方案，用于利用计算机化平板技术、眼动追踪和fMRI评估人类ToC表现。与相关但更简单的研究方案^{20、43、44、45}相比，本方案因采用具有高生态效度的平板电脑技术和眼动追踪，同时保持符合人体工学且高效的研究设计，被认为更具信息量。该协议为任务表现、神经活动和眼动指标在不同多变量和机器学习框架中无缝关联提供了机会，以探索ToC的神经基础。试点数据中，一位代表性年轻健康成年人进行基于平板的TMT，表现非常有希望。因此，该方案为庞大的研究项目打开了大门，包括对ToC神经基础的更细致理解，以及利用现有和新开发的ToC结合眼动追踪和功能性神经影像技术，对不同脑功能障碍患者进行更敏感和具体的表征。 与健康个体相比。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
3T MRI系统，配备64通道磁头线圈	西门子健康保险（德国埃尔朗根）	磁光棱镜	记录功能性磁共振成像数据。
电磁干扰滤波器	Spectrum Control Inc.（美国宾夕法尼亚州费尔维尤）	56-705-005-LI	将磁力室的绘图板和触控笔信号传递到绘图板接口盒。
眼动追踪软件	SR Research Ltd.（加拿大安大略省渥太华）	EyeLink Explorer（版本4.3.1,64位）	支持眼动数据可视化和处理。
图形编辑应用	Microsoft Inc.（美国华盛顿州雷德蒙德）	油漆	用于让参与者熟悉平板书写和绘画。
MATLAB	MathWorks Inc. （美国马萨诸塞州纳蒂克）	R2022a	用于分析运动学平板数据并进行统计分析。
兼容MRI的眼动追踪器	SR Research Ltd.（加拿大安大略省渥太华）	EyeLink 1000 Plus	在功能性磁共振成像（fMRI）期间记录眼动追踪数据。
兼容MRI的投影仪	Avotec公司（美国佛罗里达州斯图尔特）	无声幻视	向参与者呈现增强现实视觉刺激。
兼容MRI的平板电脑组件（包括触摸感应表面、可调节的升降支撑平台、力感触笔、发光二极管照明器）	不适用	不适用	在实验室定制设计和组装。详情见参考文献12、13。
刺激呈现软件	心理学软件工具（美国宾夕法尼亚州夏普斯堡）	E-Prime，版本2.0	用于开发和管理所有基于平板的培训及任务实现的软件。
刺激/反应计算机	不适用	不适用	多元设计。详情见参考文献13。
触摸感应表面驱动应用	ELO Touch Solutions Inc.（美国加利福尼亚州米尔皮塔斯）	单触驱动器	用于校准参与者执行触点目标任务时的触感表面。
触发与响应装置	罗兰学院（美国马萨诸塞州剑桥）	罗兰 USB 响应盒	用于同步基于平板的任务、眼动追踪和功能性磁共振成像数据流。
摄像机	MRC Instruments GmbH（德国海德堡）	12M-i	在触摸感应面板上录制手与触控笔互动的视频。
摄像机计算机	不适用	不适用	多元设计。详情见参考文献13。