动态行为中儿童动态视觉注意的头戴式眼动追踪研究

摘要

幼儿并非被动地观察世界，而是主动探索并积极与周围环境互动。本方案提供了使用头戴式眼动仪记录婴儿和幼儿在自然行为情境下动态视觉环境及视觉注意力的指导原则和实用建议。

摘要

幼儿的视觉环境是动态变化的，随着儿童对空间、物体进行身体和视觉探索，并与周围人互动，其视觉场景时刻发生改变。头戴式眼动追踪技术为捕捉儿童动态的以自我为中心的视觉画面，以及他们在这些画面中如何分配视觉注意力，提供了独特的机会。本方案为研究人员在实验室环境以及更接近自然的情境下使用头戴式眼动仪，提供了指导原则和实用建议。与基于屏幕的眼动追踪相比，头戴式眼动追踪具有更高的便携性，允许头部和身体更自由地活动，从而在生态效度更高的情境中拓展了数据采集的可能性，是对其他实验方法的有力补充。该方案还可与其他技术（如动作追踪和心率监测）相结合，以获取高密度的多模态数据集，从而更深入地研究自然行为、学习过程与发展机制。本文通过一项旨在探究幼儿在自然情境下视觉注意力的研究——与父母自由玩耍玩具的过程——展示了头戴式眼动追踪所产生的数据类型。成功应用本方案将使研究人员能够收集到不仅可用于分析视觉注意力，还可用于探讨广泛的其他感知、认知和社会技能及其发展过程的科学问题的数据。

引言

近几十年来，人们对婴幼儿视觉注意力发展的研究兴趣日益增长。这一兴趣在很大程度上源于将注视时间测量作为评估婴儿期其他认知功能的主要手段，并逐渐发展为对婴幼儿视觉注意力本身的独立研究。当前对婴幼儿视觉注意力的研究主要通过基于屏幕的眼动追踪任务来测量眼动行为。婴儿坐在椅子上或家长的膝上，面对屏幕，在静态图像或事件呈现过程中其眼动被持续监测。然而，此类任务未能捕捉到自然视觉注意力的动态特性，也未能反映儿童如何通过主动探索来构建其自然视觉环境。

婴儿和幼儿是活跃的生物，他们会通过移动双手、头部、眼睛和身体来探索周围的物体、人物和空间。身体形态、运动技能和行为的每一次新发展——如爬行、行走、抓取物体、与社交伙伴互动——都伴随着早期视觉环境的相应变化。由于婴儿的行为决定了他们所看到的内容，而他们所看到的内容又服务于视觉引导下的行为活动，因此对视觉注意力自然发展的研究最好在自然行为的背景下进行¹。

头戴式眼动仪（ETs）已被发明并用于成人研究数十年^2,3。直到最近，技术进步才使得头戴式眼动追踪技术适用于婴儿和幼儿。参与者头部佩戴两个轻量级摄像头：一个朝外的场景摄像头，用于记录参与者的第一人称视角；另一个朝内的摄像头，用于捕捉眼睛图像。校准过程为算法提供训练数据，以尽可能准确地将眼图像中瞳孔和角膜反射（CR）位置的变化映射到场景图像中被注视的对应像素。该方法的目标是在婴儿自由活动时，同时捕捉其自然视觉环境以及他们对这些环境的主动视觉探索。此类数据不仅有助于回答有关视觉注意的问题，还可用于研究广泛的感知、认知和社会性发展问题^4,5,6,7,8。这些技术的应用已改变了人们对共同注意^7,8,9、持续注意¹⁰、随年龄和运动发育而变化的视觉体验^4,6,11，以及视觉经验在词汇学习中作用的理解¹²。本文提供了对婴儿和幼儿开展头戴式眼动追踪实验的指导原则和实用建议，并展示了在一种自然情境下——幼儿与父母自由玩耍玩具时——头戴式眼动追踪所能生成的数据类型。

方案

本教程基于印第安纳大学机构审查委员会批准的学步儿童头戴式眼动追踪数据采集程序。在学步儿童参与实验前，已获得家长的知情同意。

1. 研究的准备工作

1. 眼动追踪设备。选择市面上可购得的多种头戴式眼动追踪系统之一，可选用专为儿童设计的型号，或对系统进行改装以适配定制的婴儿帽，例如图1和图2所示。请通过以下步骤确保所选眼动追踪系统具备测试婴儿和/或幼儿所需的必要功能：
   1. 选择一个位置可调节且视角足够宽广的场景相机，以捕捉符合研究问题所需的视野范围。为了在如本文所述的自由游戏环境中记录到幼儿大部分活动，应选择能够捕捉至少100度对角线视野的相机。
   2. 选择一个位置可调节的眼球相机，并配备内置或紧邻相机的红外LED灯，其位置应确保能够使光线反射于眼睛角膜。请注意，某些眼动追踪设备的定位是固定的，但建议选用支持灵活调节的型号。
   3. 选择尽可能无干扰且轻便的眼动追踪系统，以最大程度提高婴儿/幼儿佩戴设备的耐受性。
      1. 通过将场景相机和眼球相机固定在魔术贴带上，再将该带子粘附于缝制在帽子另一侧的对应魔术贴上，从而将系统嵌入帽子中，并将相机置于偏离幼儿视线中心的位置。
         注意：设计类似眼镜的系统并非最佳选择。幼儿面部形态与成人不同，任何接触其鼻部或耳部的部件都可能对受试者造成干扰或不适。
      2. 若眼动追踪设备通过线缆连接至计算机，应将线缆捆扎并置于受试者背部后方，以防分散注意力或造成绊倒风险。或者，可使用自包含式系统，将数据存储在中间设备（如手机）上，并将该设备佩戴在儿童身上，以提升活动自由度。
   4. 选择支持离线校准的校准软件包。
2. 录制环境。
   1. 考虑儿童在数据采集过程中可能在空间内移动的范围。若希望儿童保持在固定位置，应提前告知其看护人，以便协助儿童停留在指定区域。除儿童应互动的物品外，移除环境中所有可能的干扰物，并确保这些物品在儿童可触及范围内。
   2. 使用第三人称视角摄像机，以辅助后续对儿童行为的编码分析，并识别眼动追踪设备可能发生位移的时间点。若儿童将在空间内广泛移动，建议增设额外摄像机。

2. 收集眼动追踪数据。

1. 人员与活动。 应有两名实验人员在场，一人负责与儿童互动并吸引其注意力，另一人负责安装和调整眼动仪（ET）。
   1. 让儿童充分参与一项能够占用其双手的活动，以防止儿童在眼动仪佩戴到头部时伸手触碰或抓取设备。可考虑使用鼓励手动操作的玩具，或让儿童手持小册子，由实验人员或家长为儿童朗读。
2. 将眼动仪佩戴至儿童头部。 由于幼儿对头戴式眼动仪的耐受程度存在差异，建议遵循以下建议，以提高成功佩戴并保持眼动仪稳定的可能性：
   1. 在正式实验前的一段时间内，请照护者让儿童在家中佩戴帽子或针织帽，其样式应与眼动仪所用帽子相似，以帮助儿童适应头部佩戴物品的感觉。
   2. 在实验时，准备多种可安装眼动仪的帽子类型。可通过购买不同尺寸和样式的帽子（例如可反戴的棒球帽或带有动物耳朵的针织帽）进行个性化定制，并在帽子上缝制魔术贴，以便将配备相反面魔术贴的眼动追踪系统固定其上。同时，可准备照护者和实验人员佩戴的帽子，以激发儿童的兴趣和佩戴意愿。
      1. 在为儿童佩戴帽子前，实验人员可在儿童注意力被玩具吸引时，轻触其头发数次，以帮助幼儿逐步适应头部触碰，降低敏感性。
   3. 为儿童佩戴眼动仪时，实验人员应位于儿童后方或侧方（见图2A）。当儿童双手被占用时（例如每只手各持一个玩具），迅速将眼动仪佩戴至其头部。
      1. 若儿童看向正在佩戴眼动仪的实验人员，应打招呼并简要说明正在做什么，同时迅速完成佩戴。避免动作过慢，以免引起儿童不适，并增加其移动头部或伸手抓取设备的机会，导致设备位置不佳。
      2. 为减少佩戴后调整摄像头的时间，在将眼动仪佩戴至被试前，应预先将摄像头调整至预计佩戴在儿童头部时的合适位置（见第2.3.1和2.3.2节）。
3. 调整眼动仪的场景摄像头与眼摄像头位置。 眼动仪佩戴至儿童头部后，在实时监控场景摄像头和眼摄像头视频画面的同时，对二者位置进行调整：
   1. 将场景摄像头置于前额较低位置，以最大程度模拟儿童的视野范围（见图1B）；并将摄像头视野中心对准儿童在实验过程中将要注视的目标区域。
      1. 需注意，手部及手持物体在场景摄像头视野中始终距离较近且位置偏低，而较远物体则位于背景且位置偏高。应根据研究问题所关注的视觉内容，优化场景摄像头的拍摄角度。
      2. 使用小玩具或激光笔吸引儿童注意力至其视野中的特定位置，以测试场景摄像头的定位效果。确保这些位置与实验中感兴趣区域的预期观察距离一致（见图3）。
      3. 通过检查场景摄像头画面中水平表面是否呈现为平直状态，避免摄像头倾斜。可标记场景摄像头的直立方向，以防在重新定位时意外翻转；但需注意，必要时可在后期处理中通过额外步骤将图像恢复至正确方向。
   2. 为获得高质量的注视数据，应调整眼摄像头位置，使其能够同时检测到瞳孔和角膜反射（CR）（见图2）。
      1. 调整眼摄像头位置，使其对准儿童瞳孔中心，并确保在整个眼球运动范围内，脸颊或睫毛不会遮挡视线（见图2C-F中眼图像质量良好与不佳的示例）。为实现此目标，可将眼摄像头置于眼睛下方靠近脸颊处，向上倾斜对准眼球，同时避免摄像头位于儿童视野中央；或将其置于眼睛外侧下方，向内对准眼球。
      2. 确保摄像头与眼睛距离足够近，使眼球运动在眼摄像头图像中产生相对明显的瞳孔位移。
      3. 通过确保眼摄像头图像中眼睛的两个眼角可连成一条水平线，避免摄像头倾斜（见图2C）。
      4. 确保瞳孔与虹膜之间的对比度较高，以便准确区分二者（见图2C）。为此，可调整LED光源位置（若其位于眼摄像头旁）或调整眼摄像头与眼睛的距离（若LED光源不可独立调节）。为提高瞳孔检测效果，应将LED光源以一定角度照射，而非正对眼睛直射。同时需确保对LED光源的任何调整仍能产生清晰的角膜反射（见图2C）。
4. 在实验过程中获取用于离线校准的数据点。
   1. 当场景图像与眼图像质量达到最佳后，通过引导儿童注意力至其视野中的不同位置，采集校准数据。
      1. 使用任何能明确引导儿童注意力至视野中某一清晰小点的工具，在不同表面上获取校准点（见图3）。例如，可在纯色背景上使用激光笔，或使用带有多个独立控制LED灯的表面。
      2. 尽量减少儿童视野中其他吸引注意力的目标，以确保儿童注视校准目标。
   2. 交替引导儿童注意力至需要较大眼球角位移的不同位置。
      1. 均匀覆盖整个视野范围，且在各点之间移动不宜过快，以便在离线校准过程中识别清晰的眼跳，进而推断儿童何时转向下一个位置。
      2. 若儿童未立即看向新出现的高亮位置，可通过晃动激光点、开关LED灯或用手指触碰目标位置来吸引其注意力。
      3. 若条件允许，应采集比所需更多的校准点，以防部分数据后续无法使用。
   3. 确保儿童在校准过程中的身体姿势与实验期间将采用的姿势一致。
      1. 例如，若实验中儿童将站立，则不应在校准时让其坐着采集数据。
      2. 确保儿童与校准目标之间的距离，与实验中其与感兴趣区域之间的距离相近。
      3. 若实验中儿童主要注视较远物体，则不应将校准点设置在其身体附近。若研究同时关注近处与远处物体，可考虑采集两组不同的校准点，用于后续为不同观察距离建立独立的校准模型（详见第3.1节）。
         注：双目眼动追踪是一项正在发展的技术^13,14，有望推动深度注视追踪的进步。
   4. 为应对实验过程中眼动仪可能发生漂移或移位，至少应在实验开始和结束时各采集一次校准点。若条件允许，建议在实验过程中定期补充采集校准点。
5. 在实验过程中监控眼动仪与第三方视角视频画面。
   1. 若眼动仪因其他动作或碰撞导致移位或错位，需记录该事件发生的时间，因为可能需要重新校准，并将碰撞或错位前后的实验数据分别编码处理（见第3.1.1节）。
   2. 若条件允许，每次发生碰撞或错位后应暂停实验，重新调整场景摄像头和眼摄像头位置（见第2.3节），然后重新采集校准数据点（见第2.4节）。

3. 研究结束后，使用校准软件校准ET数据。

注意：市面上有多种校准软件包可供选择。

1. 考虑创建多个校准。 针对不同的视频片段定制校准点，避免向算法输入错误匹配的数据，从而最大限度地提高注视追踪的准确性。
   1. 如果在研究过程中眼动仪（ET）的位置发生过任何变化，则需针对ET位置变化前后的视频片段分别创建独立的校准。
   2. 如果关注的是儿童对处于显著不同观看距离物体的注意力，则应针对儿童注视不同距离物体的视频片段分别创建校准。需注意，观看距离的差异可能源于儿童视觉注意力在极近与极远物体之间的转移，也可能由儿童相对于物体的身体位置变化引起，例如从坐姿变为站姿。
2. 执行每次校准。 通过创建一系列校准点来建立场景图像与眼睛之间的映射关系——这些校准点是场景图像中儿童在对应帧内明确注视的位置。请注意，校准软件能够基于在场景图像中均匀分布的一组校准点，对所有帧中的注视点（POG）进行外推和插值。
   1. 协助校准软件在眼相机视频的每一帧中检测瞳孔和角膜反射（CR），以确保识别出的POG可靠。在软件无法稳定、一致地检测CR的情况下，可仅使用瞳孔信息（但需注意，这将导致数据质量下降）。
      1. 通过调整校准软件各项检测参数的阈值，获得清晰的眼部图像，这些参数可能包括：眼部图像的亮度、软件预期的瞳孔大小，以及设定软件搜索瞳孔范围的边界框。在确保瞳孔在整个眼球运动范围内始终位于框内的前提下，应尽可能缩小边界框的尺寸。需注意，若边界框过大，包含瞳孔从未到达的区域，会增加误检瞳孔的可能性，并可能导致对瞳孔微小运动的检测精度降低。
      2. 需注意，即使在调整了软件的各项检测阈值后，软件仍可能偶尔错误定位瞳孔或CR；例如当睫毛遮挡瞳孔时。
   2. 根据场景图像和眼相机帧选择合适的校准点。最佳的校准点应满足以下条件：瞳孔和CR被准确检测、眼睛稳定地注视于场景图像中一个清晰可辨的空间位置，且这些点在整个场景图像范围内均匀分布。
      1. 确保在绘制每个校准点的帧中，瞳孔检测准确无误，从而使有效的x-y场景坐标和有效的x-y瞳孔坐标均能正确输入算法。
      2. 在首次进行校准时，选择儿童明显注视场景图像中某一特定点的时刻作为校准点。需注意，这些点可以是实验者在数据采集期间有意设置的（例如使用激光笔，见图3A-B），也可以是研究中POG易于识别的自然时刻（见图3C），前提是这些帧中的瞳孔检测准确。
      3. 为寻找对应更极端x-y场景坐标的注视时刻，可浏览眼相机帧，查找儿童眼球处于最极端x-y位置且瞳孔检测准确的时刻。
   3. 对每次校准进行多次"迭代"，逐步优化以达到尽可能高的校准精度。需注意，在完成第一次"迭代"后，许多软件允许删除先前使用的校准点而不丢失当前的追踪轨迹（例如十字线）。可利用前一次校准生成的POG轨迹作为辅助，重新选择一组校准点从头训练算法，从而通过逐步"清理"早期迭代引入的噪声或不准确信息，持续提升校准精度。
3. 通过观察POG与已知注视位置（如校准期间激光笔产生的光点）的吻合程度，以及其是否准确反映儿童扫视的方向和幅度，来评估校准质量。 避免使用在校准过程中已作为校准点的那些位置来评估校准质量。
   1. 需注意，由于儿童的头部与眼睛通常对齐，其视觉注意力大多指向场景图像的中心，因此准确的追踪轨迹应体现这一特征。为评估轨迹的居中性，可绘制校准生成的场景图像中逐帧的x-y POG坐标（见图4），确认这些点在场景图像中心最为密集且呈对称分布，除非原始设置时场景相机未对准儿童视野中心。
   2. 某些校准软件会生成线性或单应性拟合得分，用以反映校准的准确性。需注意，这些得分在一定程度上具有参考价值，若得分较差，则追踪结果很可能也不理想。然而，不应将拟合得分作为校准准确性的主要衡量标准，因为它们仅反映所选校准点之间的一致性程度，无法提供这些点与POG真实位置之间吻合度的信息。
   3. 需注意，研究中存在一些时刻，其注视目标易于识别，因此可作为真实值（ground truth）。可通过测量已知注视目标与POG十字线之间的误差（视频图像中的像素误差可根据场景相机的镜头特性近似转换为视觉角度）来计算准确度（以视觉角度的度数表示）⁴。

4. 标记感兴趣区域（ROIs）。

注意：ROI编码是对POG数据进行评估，以确定儿童在特定时间点正在视觉关注的区域。ROI可通过逐帧的POG数据实现高准确度和高分辨率的编码。该编码的输出是一系列数据点——每视频帧一个数据点——用于表示随时间变化的POG所在区域（见图5A）。

1. 开始兴趣区（ROI）编码之前，应根据研究问题列出所有需要编码的ROI。 需注意，对与研究问题无关的ROI进行编码会使编码过程变得不必要地耗时。
2. ROI编码的基本原则。
   1. 需谨记，成功的编码要求编码者放弃对儿童应注视位置的主观假设，转而仔细检查每一帧的眼部图像、场景图像以及计算得出的视线落点（POG）。例如，即使在某一帧的场景图像中某个物体正被儿童手持且占据较大面积，除非眼睛位置也表明其正在注视该物体，否则不应推断儿童在该时刻正在注视该物体。请注意，ROI表示的是儿童中央凹注视的区域，但并不能完整反映儿童所接收的全部视觉信息。
   2. 利用眼部图像、场景图像和POG轨迹来判断儿童正在视觉关注哪一个ROI。
      1. 将POG轨迹作为参考指南，而非绝对真实值。 尽管理想情况下POG轨迹应能清晰指示儿童在每一帧中注视的确切位置，但由于场景图像是二维（2D）的，而儿童所观察的真实世界是三维（3D）的，且不同被试之间的校准准确性存在差异，因此实际情况中POG轨迹并不总能准确反映真实注视位置。
         1. 需谨记，计算得到的POG轨迹是基于校准算法的估计值，因此特定帧的POG轨迹可靠性取决于瞳孔和角膜反射（CR）的检测质量；若其中任一或两者未被检测到或检测错误，则POG轨迹将不可靠。
            ​注：有时十字准线会持续偏离目标一个固定距离。较新的软件可能允许通过计算方法校正此偏差。否则，可由经过训练的研究人员手动进行校正。
      2. 以眼部图像中瞳孔的运动作为ROI可能发生变化的主要线索。
         1. 逐帧滚动并观察眼部图像。当观察到明显的眼动时，检查儿童是否将其POG转移到新的ROI或转移到无明确定义的区域。
         2. 需注意，并非所有眼动都表示ROI发生变化。如果ROI占据较大的空间区域（例如，一个近距离的物体），需意识到小幅度的眼动可能仅反映在同一ROI内的不同位置注视。同样，需记住，当儿童追踪一个移动的ROI，或在头部移动的同时通过眼动维持对同一ROI的注视时，也会发生眼动。
         3. 需注意，某些眼动仪（ET）的眼部图像为儿童眼睛的镜像图像，此时若眼睛向左移动，则在场景中对应向右的位移。
   3. 由于POG轨迹仅作为参考，编码决策时还需结合可用的上下文信息。
      1. 在进行ROI编码时，整合来自不同来源或帧的信息。尽管ROI是针对每一帧单独编码的，但仍可利用当前帧前后相邻的帧来获取有助于确定正确ROI的上下文信息。例如，若因瞳孔检测不佳导致某帧的POG轨迹缺失或错误，但根据前后帧中准确检测到的瞳孔位置判断眼睛并未移动，则应忽略该帧的POG轨迹，并基于周围帧的信息进行ROI编码。
      2. 根据用户的具体研究问题做出其他特定决策。
         1. 例如，当两个ROI彼此靠近时，应制定相应的编码协议，以解决难以判断哪一个为"正确"ROI的问题。当儿童似乎注视于两个ROI交界处时，需决定是同时编码两个ROI，还是制定一套决策规则以选择并分配唯一的ROI类别。
         2. 另一个例子是，当感兴趣的物体被手持且手部遮挡了物体时，需决定将POG编码为手部的ROI，还是编码为被持物体的ROI。
3. 为保证可靠性进行ROI编码。 在完成初步的ROI编码流程后，应实施可靠性编码程序。目前存在多种不同的可靠性编码方法，应根据具体的研究问题选择最合适的方法。

结果

本研究中讨论的方法应用于幼儿与其父母之间的自由游戏情境。该研究旨在探究在复杂环境中自然的视觉注意力。研究要求成对的亲子组合自由地使用一组24件玩具进行游戏，持续六分钟。通过编码幼儿注视特定感兴趣区域（ROIs）的起始与结束时间——包括24件玩具中的每一件以及父母的面部——并分析对每个感兴趣区域的注视时长和注视时间比例，来测量幼儿的视觉注意力。结果如图5所示。

图5A展示了两名18个月大儿童的样本兴趣区（ROI）序列。序列中每个彩色块代表儿童注视某一特定兴趣区的连续帧。所获得的眼动数据揭示了自然视觉注意的若干有趣特性。

首先，儿童在对不同玩具子集的选择性上表现出个体差异。

讨论

本方案为在婴儿和幼儿中实施头戴式眼动追踪提供了指导原则和实用建议。该方案基于在实验室环境中父母与幼儿自由玩玩具时观察幼儿自然行为的研究。校准和数据编码使用了实验室自有的眼动追踪设备和软件。尽管如此，本方案旨在广泛适用于使用各种头戴式眼动追踪系统的研究人员，用于研究婴儿和儿童发展的多种课题。虽然本方案的最佳使用需要根据具体研究进行调整，但采用这些通用实践已在多种情境下成功应用（见图1），包括父母与幼儿的同时头戴式眼动追踪^7,8,9,10，以及临床人群的头戴式眼动追踪，包括佩戴人工耳蜗的儿童¹⁵和被诊断为自闭症谱系障碍的儿童^16,17。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
头戴式眼动仪	Pupil Labs	场景相机和眼相机