使用移动眼动仪捕捉联合视觉注意的方法学

摘要

使用多模态传感器是理解社交互动在教育环境中作用的一种有前景的方法。本文描述了一种利用移动眼动仪捕捉共处一地的成对个体之间共同视觉注意的实验方法。

摘要

随着新技术的进步，研究者能够以前所未有的精确度在微观层面研究社会互动。高频传感器，如眼动仪、皮肤电活动腕带、脑电图（EEG）设备和运动传感器，可提供毫秒级的观测数据。这种精度使研究人员能够收集关于社会互动的大量数据集。本文讨论了如何利用多个眼动仪捕捉社会互动中的一个基本构念——共同视觉注意（JVA）。发展心理学家曾研究JVA以理解儿童如何习得语言，学习科学家利用它来探究小群体学习者如何协作，社会科学家则用它来分析小型团队中的互动。本文描述了一种在共处环境下使用移动眼动仪捕捉JVA的方法学，展示了一些实证结果，并探讨了通过捕捉微观观测数据来理解社会互动的意义。

引言

在过去的一个世纪中，联合注意（JVA）得到了广泛研究，尤其是由研究语言习得的发展心理学家所关注。研究很快发现，联合注意不仅仅是学习词汇的一种方式，更是儿童心理理论发展的先决条件¹。因此，它在许多社会过程中发挥着重要作用，例如与他人交流、协作以及共情能力的发展。例如，自闭症儿童缺乏与其照护者协调视觉注意的能力，这与显著的社会功能障碍相关²。人类需要联合注意才能成为社会中的功能性成员，协调自身行为，并从他人身上学习。无论是儿童习得最初词汇、青少年向学校教师学习、学生合作完成项目，还是成人群体为共同目标而工作，联合注意都是个体之间建立共同认知基础的基本机制³。本文聚焦于教育研究中对JVA的探讨。理解联合注意如何随时间展开，对于研究协作学习过程具有重要意义。因此，它在社会建构主义教学环境中起着主导作用。

联合注意的确切定义目前仍存在争议⁴。本文关注的是联合注意（JA）的一个子结构，即视线联合注意（JVA）。当两个个体在同一时间注视同一位置时，即发生JVA。需要注意的是，JVA并不能提供有关联合注意研究中其他重要概念的信息，例如对共同注意、相互注意或共享注意的监测，或更广泛地说，对群体中其他成员认知状态的觉察。本文通过整合两名参与者的眼动追踪数据，并分析他们视线重合的频率，从而对JVA进行操作化和....

方案

1. 受试者筛选

1. 确保招募视力正常或矫正视力正常的参与者。由于参与者需要佩戴移动式眼动仪，因此可以佩戴隐形眼镜，但不能佩戴普通眼镜。

2. 实验准备

1. 眼动追踪设备
   1. 使用任何能够捕捉真实世界环境中眼动的移动式眼动仪。
      注：本研究中使用的移动式眼动仪为两台 Tobii Pro Glasses 2（参见材料表）。除了可追踪眼动的专用摄像头外，该眼镜还配备有高清场景摄像头和麦克风，以便在用户视野背景下可视化注视点。这些眼镜每秒采集50次注视数据。其他研究人员曾使用 ASL Mobile Eye⁵、SMI⁶ 或 Pupil-labs⁷，这些设备均能提供来自场景摄像头的视频流以及以不同采样率（30–120 Hz）输出的眼动追踪坐标。使用其他眼动追踪设备时，以下操作步骤可能略有不同。
2. 基准标记
   1. 以下两个步骤（即时间对齐和空间对齐）需要使用基准标记。目前已有多个计算机视觉库为研究人员提供此类标记及用于在图像或视频流中检测它们的算法。本方案采用 Chilitag 库⁸。

结果

上述方法学被用于研究参加物流职业培训项目的学生（n = 54）¹²。在该实验中，学生两人一组与一个有形用户界面（TUI）进行交互，该界面模拟了一个小型仓库。TUI 上放置的基准标记使研究团队能够将学生的注视点重新映射到一个公共平面上，并计算联合视觉注意（JVA）水平。研究结果表明，JVA 水平较高的小组在所分配任务中的表现更好，学习效果更佳，且协作质量更高¹³（图8，左侧）。双人眼动追踪数据集还使我们能够捕捉特定的小组动态，例如“搭便车”效应。我们通过识别每次 JVA 时刻的发起者（即谁的注视先到达）和响应者（即谁的注视后到达）来估算这一效应。我们发现，学习成效的提升与学生在发起和响应 JVA 时均等分担责任的倾向之间存在显著相关性。换句话说，在每次 JVA 时刻总是由同一人发起的小组学习效果较差（图8，右侧），而责任分配更均衡的小组则更有可能实现有效学习。该发现表明，我们不仅能够量化联合视觉注意（JV），还能利用双人眼动追.......

讨论

本文所述方法为捕捉共处一地的二人组中的共同注意（JVA）提供了一种严谨的途径。随着价格适中的传感技术以及改进的计算机视觉算法的出现，现在已能够以前所未有的精度来研究协作性互动。该方法利用分布在环境中的基准标记，并通过单应性变换将参与者的注视点重映射到一个公共平面上，从而实现对共处一地群体中共同注意的严谨研究。

该方法包含多个需要在实验不同阶段执行的合理性检查。由于这是一个复杂的流程，研究人员需要确保所获得的数据集完整且有效。最后，建议在正式实验前开展预试验，并在数据采集完成后通过视频回放重建参与者的互动过程（图3，图4，图5，图6）。

该方法存在若干局限性：

参与者数量。虽然该方法在两名参与者的情况下效.......

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Tobii Glasses 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
基准标记	Chili lab – EPFL, 瑞士	N/A	https://github.com/chili-epfl/chilitags