使用移动眼动追踪器捕捉联合视觉注意力的方法
January 18th, 2020
使用多式联运传感器是了解社会互动在教育环境中作用的一种有希望的方法。本文介绍了一种使用移动眼动仪从共定位的dyads中捕捉关节视觉注意力的方法。
嗨，我叫贝特朗·施耐德，我是哈佛教育研究生院的助理教授。在这个视频中，我要向您展示我们如何使用移动眼动仪来捕捉社会科学中的中央结构，共同的视觉关注。心理学家对联合视觉注意力进行了广泛的研究，发现这种注意力与群体成员之间相互作用的质量密切相关。
事实证明，当人们建立一个共同点，并建立一个共同的理解任务，他们往往经常看同一个地方在同一时间。传统上，研究人员通过手动编码视频对联合视觉关注进行定性研究。我将向您展示我们如何使用移动眼动仪在同一位置设置中获取此构造的定量度量。
在这个视频中，我们将使用托比专业眼镜二。这些眼镜是可穿戴的眼动仪，可以在真实环境中捕捉眼动。除了在车架上专门摄像头跟踪眼睛运动外，该设备还配备了全高清场景摄像头和麦克风，因此凝视行为可以在佩戴者视觉领域的上下文中可视化。
由于这些眼镜的凝视被捕获50次/秒，从眼镜的实时视频源可以通过无线或通过以太网电缆流到计算机。不过，眼镜有一个限制，因为它们不会用普通眼镜。设置眼动仪的程序相对简单。
首先，参与者将被要求戴上眼动追踪眼镜，就像戴上普通眼镜一样。根据参与者独特的面部特征，可能需要使用不同高度的鼻片来保持数据质量。打开眼动仪后，参与者应将数据收集单元剪辑到其人员中，以便进行无拘无束的身体运动。
应打开 Tobii Pro 眼镜控制器，并指示学员查看 Tobii 提供的校准标记的中心，同时启用软件的校准功能。校准完成后，可以从软件内部开始录制。录制会话完成后，在指示参与者取下眼动追踪眼镜和数据收集单元之前，从 Tobii 软件终止录制。
然后，关闭设备。数据可以通过另一个软件 Tobii Pro Lab 提取，从数据收集单元中删除 SD 卡并将卡插入计算机。Tobii Pro 实验室能够同时导入存储在 SD 卡中的所有录制会话。
然后，可以在 Tobii Pro 实验室中处理文件，以生成视频、不同的可视化效果或输出为选项卡分隔值或 TSV 文件，以作进一步分析。在这里，您可以看到我们最近进行的一项研究的原始眼动追踪数据，其中两名参与者正在学习对机器人进行编程。每一侧都可以看到每个眼动器生成的视频流，以及参与者的凝视位置。
如您所看到的，无法判断他们是否同时查看同一位置，因为每个参与者的观点是不同的。此外，数据记录可能在不同的时间开始。这意味着数据需要从时间和空间上同步。
我将在此视频中向您展示如何解决这两个问题。首先，我来描述一个暂时同步数据的过程。对于第一个参与者，您有一定数量的视频帧。
其中一些是在实际实验任务之前或之后。就像第一帧，实验者正在校准眼动仪。同样，对于其他参与者，您拥有相同类型的数据。
此处不显示，但视频的每个帧也与表示每个参与者的凝视的 x 和 y 坐标关联。为了同步数据，我们在实验任务之前和之后的计算机屏幕上简要地显示了一个基准标记。通过使用计算机视觉算法，我们可以检测何时向每个参与者显示此标记，从而使我们能够修剪和对齐数据。
因此，这是处理数据同步问题的一种方式。接下来的部分，我们将讨论第二个问题:如何以空间同步数据。如前所述，数据来自每个眼动仪，其形式是视频源，与每个参与者的凝视位置相关，以蓝色和绿色表示。
虽然 x 坐标和 y 坐标对两个参与者可能相同，但这并不意味着他们查看同一个位置，因为他们从两个不同的角度看待屏幕。解决此问题的一个方法是构建一个实验设置的图像，作为参考，以及我们将重新映射每个参与者案例的位置。这允许我们检测眼动追踪视频的每帧，如果参与者同时查看同一位置。
但是，我们如何将这些坐标重新映射到左侧的图像中呢？我们将使用相同的合作视觉算法，使我们能够更早地同步数据。通过将它应用于视频录制的每一帧，我们现在可以从参与者的角度检测基准标记的位置。
这允许我们在左侧的参考图像上连接相同的标记。通过了解这组共享点的坐标，我们可以使用称为造影的数学运算推断出每个人凝视的位置。通过将此过程应用于每个帧，我们可以生成一个视频，以确保同声成像工作。
在右侧，您可以看到每个参与者的视频录制，其凝视位置为蓝色和绿色。相同的基准标记与左侧图像和右侧参与者的观点之间的白线相连。重新映射的凝视显示在左侧，当有一些共同的视觉注意时，它们会变红。
生成此视频是确保数据干净且正确执行同声测量的重要步骤。此外，还可以生成另外两个可视化效果来对数据进行理智检查。第一个可视化效果是热图。
对于每个参与者，我们可以在实验设置的图像上绘制每个注视点。这可确保同谱工作正常，并允许我们这些案例点分类到不同的利益领域。例如，在这里，我们可以看到，大部分时间都花在看电脑屏幕上，很少花时间看备忘单。
第二个可视化称为交叉重复图。交叉重复图允许我们可视化成对参与者的眼动追踪数据。第一个参与者的时间显示在 x 轴上，第二个参与者的时间显示在 y 轴上。
黑色方块表示两个参与者都在同一个位置查看，白色方块表示缺失数据，灰色方块表示参与者查看不同位置时。沿对角线的黑色方块表示它们同时查看同一位置。对角线的黑色方块意味着参与者在不同时间看同一个地方。
在左侧，您可以看到具有高度关节视觉关注的 dyad。在中间，一个关节视觉关注水平低的 dyad 。在右侧，一组数据大量缺失。
通过执行此运行状况检查，可以确保已正确同步数据，并重新映射到实验设置的通用映像中。这些步骤至关重要，需要在进行任何分析之前执行。最后，在计算共同视觉关注的度量之前，需要选择两个参数。
第一个参数是参与者可以在其中查看同一位置的时间窗口。理查森和戴尔先前的工作已经确定，参与者最多需要两秒钟才能脱离他们正在做的事情，以关注他们的伴侣在做什么。因此，我们确定，如果两个参与者在正负两个窗口内查看同一位置，则有共同的视觉关注。
第二个参数是两个注视点之间的最小距离，以符合共同视觉注意。这种距离取决于上下文，需要由研究人员根据所管理的任务及其研究问题来定义。对于某些任务，距离可能很短。
例如，我们使用了 100 个像素。对于其他任务，此距离可能更大。接下来，我介绍一些使用此方法的结果。
获取组中联合视觉关注量的估计值后，可以将此度量值与其他感兴趣的变量关联。例如，在这项工作中，我们将此度量与开发为学习科学（捕获团队协作质量）的评级方案关联起来。对于每个组，我们为此处介绍的 9 个维度分配了分数。
例如，人们如何保持相互理解，或者他们多么容易达成共识。这些分数必须获得可接受的可靠性，并具有另一个配额。最后，我们还可以将这些分数聚合到一个常规指标中，该指标近似于每个组的协作质量。
我们的工作和其他研究的结果是，联合视觉关注与协作质量显著相关，如前面介绍的评级方案所衡量的。使用此编码方案获得高度评价的组往往比获得低分的组有更多的联合视觉关注。这表明，富有成效的互动往往与更多的共同视觉关注相关。
在下一张幻灯片上，我将向您展示另一个基于此发现的结果。因此，拥有精细眼动追踪数据的一个优点是，我们可以提取其他联合视觉注意力的测量方法。例如，我们可以计算谁发起并响应了联合视觉关注的提供。
特别是，在此图的 x 轴上，零分表示这些行为的相等分布，而一个分数意味着一个人总是响应或启动加入视觉关注的瞬间。在这项研究中，我们发现与通过测试前和测试后测量的y轴上显示的学习收益呈反比关系。同一人一贯启动或响应共同视觉关注的瞬间的组不太可能学习，而同样分担这种责任的组在测试后控制考前分数时更有可能在考试后得分较高。
在这段视频中，我介绍了帮助研究人员在时间和空间上同步移动眼动追踪数据的方法。结果表明，双眼动追踪数据可以通过计算共同视觉注意的测量来提供协作指标。此外，我提出的结果表明，我们可以超越简单的共同关注测量，例如，通过查看谁发起或响应了一个共同视觉关注的插曲。
我们发现，这一措施与其他成果措施有关，例如学习收益。如果没有眼动追踪数据，计算这种测量是不可能的。总之，我们发现本视频中介绍的方法可以帮助研究人员获得对协作流程的新见解。
非常感谢您观看此视频，请随时参考报纸了解更多信息。
View the full transcript and gain access to thousands of scientific videos
概述
本研究探讨了使用移动眼动追踪仪来定量测量共同位置二人组的联合视觉注意力。通过捕捉视觉注意力，研究人员可以更好地理解教育环境中的社会互动。
关键研究组成部分
科学领域
- 社会科学
- 教育心理学
- 眼动追踪技术
背景
- 联合视觉注意力是理解社会互动的关键构建。
- 它与群体成员之间互动质量有关。
- 传统上通过定性方法研究，如手动视频编码。
- 移动眼动追踪仪为这项研究提供了新的定量方法。
研究目的
- 展示捕捉联合视觉注意力的方法。
- 提供关于教育背景下如何发展共同理解的见解。
- 增强实时社交互动的测量。
使用的方法
- 利用移动眼动追踪仪监测视觉注意力。
- 分析共同位置个体之间的注视模式。
- 对联合视觉注意力进行定量评估。
- 将发现与传统定性方法进行比较。
主要结果
- 移动眼动追踪仪有效捕捉联合视觉注意力。
- 发现表明共享注视与互动质量之间存在相关性。
- 定量数据提供了对社交动态的更丰富理解。
- 该方法可以应用于各种教育环境。
结论
- 移动眼动追踪是社会科学研究的宝贵工具。
- 它允许更精确地测量联合视觉注意力。
- 这种方法可以增强我们对协作学习的理解。
常见问题
Executive Industry Relevance
Understanding collaborative dynamics in research teams is critical for optimizing discovery workflows and reducing mechanistic ambiguity in target validation. Quantitative measures of joint visual attention provide predictive insights into team-based problem-solving efficiency, supporting data-driven decisions in early-stage hypothesis interrogation and lead identification efforts.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses through observable alignment of team focus during collaborative problem-solving tasks.
- Operational Value: Provides quantitative, time-synchronized data on shared attention patterns that can be correlated with decision quality in target selection processes.
Screening & Assay Development
- Scientific Value: Supports standardization of collaborative workflows by identifying gaze-based indicators of team engagement during compound evaluation or assay optimization sessions.
- Operational Value: Facilitates reproducibility of team-based screening efforts through objective measurement of attentional synchrony across experimental replicates.
Translational & Preclinical Research
- Scientific Value: Enhances mechanistic de-risking by linking team attentional dynamics to outcomes in preclinical model validation or biomarker alignment discussions.
- Operational Value: Enables risk-adjusted advancement decisions by correlating joint visual attention metrics with consensus-building efficiency in cross-functional project reviews.
Pipeline & Workflow Integration
The methodology integrates into discovery biology by providing quantifiable metrics of team coordination during hypothesis generation and pathway clarification stages, supporting early de-risking of target engagement strategies.
- Discovery Biology: Supports hypothesis testing through objective measurement of team visual alignment during collaborative target validation exercises.
- Screening: Enhances assay readiness by identifying attentional patterns associated with effective compound evaluation in team-based settings.
- Analytics: Generates time-series gaze data and cross-recurrence metrics that enable quantitative comparison of collaborative conditions.
- Translational Research: Connects to preclinical continuity by linking team attentional synchrony to decision quality in biomarker validation workflows.
- Enterprise Reuse: Establishes a reusable capability for assessing team dynamics across multiple discovery campaigns and therapeutic areas.
Operational & Enterprise Impact
- Scientific Value: Predictive confidence in team-based target validation through measurable reduction of collaborative ambiguity.
- Operational Value: Standardization and scalability of team interaction assessment across distributed research sites.
- Strategic Value: Improved go/no-go decisions via objective metrics of team alignment during critical discovery inflection points.
- Portfolio Impact: Risk-adjusted prioritization of projects based on quantifiable indicators of collaborative efficiency and shared understanding.
Implementation Considerations
- Requires expertise in experimental design for dyadic or group-based social interaction studies.
- Dependent on mobile eye-tracking hardware and computer vision software for spatial and temporal data synchronization.
- Necessitates cross-team standardization of fiducial marker use and time-window parameters for joint visual attention calculation.
- Involves adaptation considerations for applying the method across different experimental setups and research contexts.
- Includes practical limitations such as the need for controlled lighting conditions and unobstructed field of view for accurate gaze tracking.
