将眼动追踪数据与从自由观看城市公园环境中的步行视频中获得的视频内容进行分析

许多眼动追踪研究依赖于复杂的视频刺激和真实世界设置，使数据分析高度复杂。这种分析技术允许以更丰富、更自动化的方式分析基于视频的数据，而不是当前可用的方法，从而更丰富地提取更复杂的数据。此方法可用于许多不同的眼动追踪应用，特别是在现实世界中或那些使用视频作为刺激的应用。

景观研究依赖于理解人们对不同视觉刺激的反应。这种技术与眼动追踪相结合可用于测试这些假设。对于这种类型的研究，团队方法是必不可少的，因为有多个方面需要高水平的投入和考虑。

与我展示这个程序的将是我的研究生安德鲁·特雷勒。胶片序列应在有自然光的眼动追踪实验室中显示，但可以控制该实验室，以避免屏幕上的反射尽可能大，从而占用尽可能多的视野，从而避免视野外的干扰。在学员坐在离屏幕 60-65 厘米远的地方后，请他们想象是否需要使用一个句子来恢复，该句子允许参与者在眼动追踪视频的上下文中进行想象。

然后使用桌面眼动追踪设备以预定的随机顺序为参与者播放影片，以记录参与者在每个视频中的眼动。要设计感兴趣的区域，请选择研究感兴趣的项目，如树木、灌木、路标、建筑物、路径、台阶。为了获得最佳性能和最低训练要求，请使用在肉眼和/或始终占据每个视频帧不同区域时易于视觉区分的元素。

通常，包括足够的培训示例，描述每个 AOI 的视觉差异，应该足以使性能强劲。修改所有项目后，选择适当数量的训练帧以完成训练集。没有适当的固定号码。

接下来，从图像编辑软件中的视频打开每个训练帧，并且每个帧在加载的图像上叠加一个透明的图像图层，用于标注，并创建一个调色板，为每个给定的对象类提供一种颜色。要为感兴趣的样本区域选择颜色，请单击并拖动区域中的像素，以使用适当的调色板选择在样本区域中着色。框架标记完成后，将叠加图层导出为单独的图像文件，同时注意基本文件名与原始框架基本文件名匹配，但末尾附加了 C。

要定量验证训练分类器的准确性，请从尚未选择包含在训练集中的原始视频序列序列中选择帧，并标记每个帧中的像素，就像刚刚演示的训练帧尽可能精确和全面一样。框架标记完成后，使用与训练相同的命名约定，将文件保存到单独的验证框架文件夹中。对于视频序列的自动像素标记，启动 Darwin 图形用户界面并单击负载训练标签。

若要为培训和标记配置 GUI，请选择创建项目并使用弹出式对话框为项目提供名称。在弹出窗口中选择包含视频序列所有原始帧的文件夹。使用弹出窗口文件资源管理器对话框，选择包含相关视频序列的标记训练图像的文件夹。

在文件资源管理器对话框中，选择包含相关视频序列的所有标记验证图像的文件夹。按照提示为所有输出帧选择目标文件夹，该文件夹将采用与训练中使用的相同调色板为标记图像的形式。使用弹出对话框，在感兴趣的区域下，输入要标记的感兴趣区域，包括用于在训练示例中标记每个区域的红色/绿色/蓝色值。

该算法将检查每个标记的训练帧，并学习用于将像素分类到任何感兴趣的指定对象类的外观模型。培训完成后，单击验证培训。在文件资源管理器对话框中，选择包含相关视频序列的所有标记验证图像的文件夹。

若要直观地验证生成的标签，请单击可视化验证。每个生成的标记图像将显示在原始验证框架旁边。如果在定量或定性验证中观察到的精度低于可接受的水平，则包括并重新培训进一步的培训示例。

分类器训练和验证阶段完成后，单击运行推理，使用训练分类器开始对视频序列中所有帧的完整标记。标签完成后，可能需要几个小时，请单击浏览输出以查看生成的标签。大多数眼动追踪软件都会显示，与第一个视频中视频的 x 坐标上，参与者平均扫描左右，而热图显示更圆的形状的第二个视频。

使用本文中描述的机器学习像素标记技术，我们可以看到更多细节。固定时间百分比的图形表示表明，在视频过程中路径清晰可见。但是，正如眼动追踪数据中的此图所示，参与者只会偶尔在关键点查看此功能。

这里显示了整个视频长度查看对象时，此代表性研究的所有 39 名参与者的停留时间摘要。在此图中，相同的停留时间数据除以视频中不同对象占用的时间和空间量。值为 1 表示驻用时间可以由视频中的对象量来计算。

例如，在两个图像中不太相关的对象（如天空）的查看次数相对低于其他对象。与其他自然物体相比，路灯和长凳等人工物体在更大程度上被居住。这类分析可以有许多广泛的用途来研究注意力和显著性的问题，并且可以对不同的研究领域进行许多广泛的应用。

随着短片作为视觉刺激的使用变得越来越普遍，我们预计这种技术会越来越受欢迎。