将眼动追踪数据与从自由观看城市公园环境中的步行视频中获得的视频内容进行分析

Summary

该协议的目的是详细说明如何收集视频数据供实验室使用;如何记录参与者查看数据的眼动跟踪数据, 以及如何使用机器学习技术有效地分析他们正在查看的视频内容。

Abstract

随着个人越来越多地生活在城市, 研究他们日常运动的方法和可以收集的数据变得很重要和有价值。据悉, 眼动追踪信息学与一系列感觉、健康状况、精神状态和行为有关。但是, 由于视觉是不断的眼球运动的结果, 因此从噪声是复杂的、数据密集型的角度来挑选重要的东西。此外, 一个重大的挑战是控制人们对什么的看法, 而不是呈现给他们的东西。

下面介绍了一种结合和分析自然复杂场景视频的眼动追踪方法, 并采用机器学习技术对视频内容进行分析。在协议中, 我们专注于分析拍摄视频中的数据, 如何最好地使用视频来记录参与者的眼动追踪数据, 重要的是如何分析视频内容并将其与眼动追踪数据结合起来。我们对研究结果进行了简要总结, 并讨论了该方法在复杂环境下进一步研究的潜力。

Introduction

我们对城市环境的日常生活体验对我们的健康和福祉影响很大。我们的福祉取决于我们查看和体验^{的绿地数量 1、2、3,}这些视图可以使用眼动追踪设备来指导公园设计的决策。然而, 产生的眼动追踪数据量和对这些数据的理解出现了一个问题。随着在实验室或自然环境中记录凝视数据的设备变得更易于使用和功能更强大, 研究人员需要考虑如何有效地收集和分析数据, 以帮助解决决策问题。

到目前为止, 大量的眼动追踪研究都在调查或实验室环境中使用了照片。虽然这种方法允许大量的重现性和对结果的控制, 它无法利用眼动追踪技术的最新进展, 包括使用视频和可穿戴移动眼动器。此外, 我们认为, 行走和放松的行为必然是动态的, 特别是当面向一项任务时, 比如寻找^路5。因此, 对这些设置的充分科学认识应在实验室之外进行。然而, 目前, 在现实生活中的自然主义环境中进行眼动追踪, 使得比较不同科目的经历变得非常困难。例如, 如果我们想比较一个受访者是否比另一个受访者更多地看树木, 我们怎么能控制他们的观点与其他人相比会不断变化, 或者他们的头可能已经转向。使用当前的分析技术, 在这些条件下进行详细分析几乎是不可能的。我们认为, 重要的是要控制被研究对象可以使用的观看区域, 并在分析中能够考虑到在任何一个时间点观看的整个场景。

有一套理论将压力水平和对安全的看法与景观观点^联系起来, 并有很好的压力测量 6^、7.此外, 用于测量目光的眼动追踪设备的复杂性也迅速增加.眼动追踪很重要, 因为与调查和侵入性生理测试 (如唾液皮质醇水平) 相比, 非自愿眼动可能更可靠地与偏好、压力和其他传统措施联系在一起。这项研究的目的是开发一些工具, 以便能够更精确地测量应用于更自然的环境的眼动跟踪数据, 从而为长期存在的景观理论提供进一步的证据或反驳这些理论, 这些理论为公园设计提供了信息。几十 年。

该项目的目的是开发和测试一种新的分析技术, 该技术可以为公园步行模拟的不同视频生成相关的眼动跟踪数据。我们在这里和其他地方报告^{的工作 9}代表了一个中间点, 即完全移动的眼动系统的自然主义设置与上述基于实验室的照片研究之间的一个中间点。特别是, 我们专注于使用视频作为刺激材料, 探索如何使用这些材料来测试不同的公园在墨尔本市产生的魅力。我们的工作所依据的假设是, 在对公园从压力中恢复的潜力进行更全面、更自然的评估之前, 对视频进行详细分析是必要的突破步骤。

在这项研究中, 我们使用了一个桌面眼动器, 上面有在城市公园散步的视频, 并要求参与者想象他们在公园里轻松散步。我们描述了一种方法, 让参与者花在看不同物体上的时间在公园之间是可比的。与移动 ET 研究相比, 桌面研究通常更容易控制, 并允许对每个科目进行比较分析。

标准眼动追踪软件使用手动感兴趣的区域工具, 操作人员可以在每个场景中的感兴趣对象周围手动绘制边界。这样就可以自动计算参与者花在查看不同对象上的时间。对于视频数据, 此过程是劳动密集型的, 并受操作员的主观性和错误的影响。在更高版本的眼动追踪分析软件中, Aoi 可以在视频中对象大小相同的情况下自动跨帧跟踪对象。这是一个改进, 但是, 这只是为了用于每个图像中的少量刺激, 每个图像必须检查和确认。

图像中对象的手动标记是常见的, 并由图像编辑软件 (如 GNU 图像操纵程序 (GIMP)) 支持。鉴于 1秒 s 产生30帧或图像, 手动标记视频是不切实际的。此外, 通过在复杂对象 (如树冠) 边缘绘制矢量多边形来标记 aoi 非常耗时。最后, 虽然可以想象, 使用矢量标记来计算视场中对象的大小, 但目前还没有此功能。

我们报告的方法下面处理了这些限制。这项研究采用了物体的自动标记方法。这可以使用称为语义标记的图像处理技术, 在这种技术中, 视频的每一帧中的每个像素都被分配一个标记, 指示对象类。机器学习用于为感兴趣的每个对象类派生像素分类器。这些分类器为每个像素提供了一个概率标签 (称为单电位), 然后在随后的优化过程中对其进行细化, 以实现最终标记输出。这些分类器在从图像中提取的要素空间中学习每个对象类之间的统计决策边界, 包括纹理、边缘方向的直方图、RGB 颜色值和规范化图像坐标。DARWIN 机器学习工具箱¹⁰中实现了相应的技术, 如下所述。

Protocol

澳大利亚天主教大学道德委员会对这一项目的道德认可----批准号 #201500036E。这确保了所有参与者的知情同意, 所有参与者都是自愿参加的, 参与者的数据是匿名和保密的。此外, 由于符合澳大利亚标准安全条例的方法和设备, 给予了批准。

1. 拍摄可用于眼动追踪研究的城市场景

1. 使用连接到云台的高质量数字摄像机创建模拟的 "行走" 或 "坐" 视频。
2. 以25fps 的速度以4k 分辨率记录薄膜, 并将其保存在 1920 x 1080 hd。
3. 使用专业的拍摄公司, 以生产数字电影, 如果不熟悉这一点或缺乏访问设备。
4. 一次拍摄电影, 在所有视频与精确的预定路线和特点的单一长度。
   注: 示例视频详细信息: 每个模拟步行胶片的长度为 3分50秒, 每个模拟坐姿胶片的长度为1分钟。对于本研究中的这两个视频, 这些视频都是从短暂的楼梯攀爬开始的, 通往一条道路。这条小路正好遵循了 1分30秒, 然后摄像机停了下来, 左转了 4 5-6 0度, 停了 1 5秒。然后相机继续沿着步行路径, 直到 3分25秒, 左转 40-70度 15秒, 沿着路径一直持续到 3分50秒, 然后褪色为黑色。
5. 确保电影是可比的, 换句话说, 它们不会从不同的行走轨迹或相机运动引入新的凝视数据。每走一部电影, 总共拍了两部。
6. 由于眼球运动受到声音的影响, 请记录一个普通城市公园的声音文件, 从同一长度的视频步行, 而不会中断突然的噪音, 从公园外的噪音 (如汽车报警)。这可以播放, 而不是现有的配乐从两个视频, 以便视频的视觉影响可以被隔离。
   注: 车辆和其他物体的过度移动会影响眼球运动并扭曲结果。如果确实发生了这种入侵, 电影可以播放给参与者, 但框架可能需要排除在分析之外。
7. 如果对步行不同的活动感兴趣, 比如散步, 然后坐在板凳上, 把坐着和走的场景保存或编辑成单独的文件, 这样就可以独立地测试它们。

2. 眼动追踪设备的设置和桌面校准

1. 在可以排除自然光的房间中向个人显示拍摄的序列, 以避免在屏幕上反射。在尽可能大的屏幕上向他们展示它, 以占据尽可能多的视野, 从而避免来自视野之外的干扰。宽屏 (16:9) PC 显示器 (22 英寸), 参与者距离屏幕约60厘米, 是一个可接受的标准。
2. 使用眼动追踪软件上内置的校准工具, 对每个参与者执行屏幕校准。要求参与者查看一个在屏幕上移动的红球作为其中的一部分, 并在5个关键校准点停车。
3. 在校准过程中, 观察参与者, 并确保他们也不会移动头部。如果它们离屏幕太近, 屏幕非常大, 这可能是个问题。相应地调整与屏幕的距离。
4. 编辑每部影片, 使其位于视频早期帧的左上角。这可以使用视频编辑软件完成。显示此屏幕 3秒钟, 然后开始播放。这是为了检查眼动追踪校准, 并确保眼动追踪数据收集时间可以与单个帧数相匹配。

3. 征聘与道德

1. 使用专业的研究招聘公司, 以确保不同性别, 年龄和职业的分布在样本中, 或从学生和工作人员的现场招聘。
2. 筛查参与者已知的眼部或神经疾病和/或伤害。必须问他们是否正在服用已知会影响眼球运动的药物 (例如苯并二氮杂卓)。
3. 进行近视力阅读测试和笔火炬眼动出游测试, 以证明他们有全眼运动出游。
4. 调查参与者的年龄、性别和使用公园的频率。

4. 参与者实验设置

1. 让参与者想象自己需要修复。用一句话, 让他们想象使用的眼动追踪视频的背景, 比如: "想象一下, 现在是中午, 你一个人在墨尔本散步。你在工作中的注意力集中, 精神上很累, 正在找个地方散步, 坐下来休息一会儿, 然后再回去工作 "
2. 让参与者舒适地坐在电脑屏幕前60-65 厘米的距离上观看电影。
3. 使用电子表格程序在参与者面前播放之前随机订购电影。
4. 使用扬声器为所有影片播放相同的音频。
5. 使用桌面眼动追踪系统记录参与者的凝视轨迹。按照制造商的说明安装桌面眼动追踪设备。这可能就在桌子上的屏幕下方, 也可以夹在屏幕边缘, 例如在上面。
6. 使用采样率为 120 Hz、精度为0.50°的眼动装置, 可在自然头部运动过程中实现大的头部移动自由。较低频率的眼动仪也是可以接受的。在57.3 厘米, 1°的视角相当于在屏幕上的 ~ 1 厘米。
7. 允许参与者在高清显示器上观看素材。
8. 使用眼动追踪软件记录眼球运动
9. 使用固定过滤器转换原始眼睛样本数据进行分析。从主菜单中, 单击"工具" ≫ 设置.选择固定过滤器选项卡. 根据制造商在最佳过滤器类型上的规格选择固定过滤器, 将原始眼动追踪数据聚合到固定装置中。
10. 如果使用多部电影记录眼动追踪数据, 只要参与者提出要求, 就会在录制时段之间进行休息。

5. 将观看过的公园与视频印象联系起来

1. 比较人们观看物体的程度和他们对视频的看法, 要求参与者对每个公园进行1-10 级的评价, 首先是他们是否觉得自己能够在这样的环境中休息和恢复 (1例如: 他们非常喜欢公园 (1, 不是很多, 不多, 非常喜欢 10, 非常)。
2. 询问参与者是否会利用公园来放松或缓解压力 (yn), 以及他们是否认识到他们正在看的公园 (yn), 以控制以前与公园联系的潜在影响。
3. 记录参与者的简短答案, 用录音机解释他们的印象, 然后抄写这些。

6. 兴趣提取领域的自动视频分析

1. Aoi 的选择
   1. 选择公园设计师、城市设计师、规划师或建筑师感兴趣的项目, 如树木、灌木、路标、建筑物、草坪、路径、台阶等.
   2. 为了获得最佳性能和最低培训要求 (下文将进一步讨论), 请使用易于在视觉上与肉眼区分开来的元素, 并且/或持续占据每个视频帧的不同区域。一般来说, 足够的培训实例可以直观地描述每个 AOI 的差异, 以实现强大的性能。
2. 用于 AOI 提取的培训分类器
   1. 选择要使用的培训框架、数量和理由
      1. 选择适当数量的培训框架 (以下简称 "培训集")。没有合适的固定数字。
         注: 帧必须在整个视频中提供每个对象类 (即要标记的对象) 的视觉外观范围的足够覆盖范围。例如, 在描述单个公园场景的 15 000 帧视频序列中, 发现40帧达到了足够的准确性。如果序列在整个过程中包含显著的变化, 则可能需要更多的帧。
      2. 选择训练帧时, 请考虑帧内容。其中包括: 照明、与被分类的形状有关的形状 (例如,不仅是一种类型的树, 而且是一系列的树类型、它们在图像中的位置、它们的照明方式等)、纹理和颜色。
      3. 还要考虑要包括的帧数。具体而言, 在所分析的视频中显示的视觉条件的长度和变化, 以及要识别的对象类的数量及其外观的频率。
   2. 训练帧的手动像素标签
      注: 手动标记训练帧将与感兴趣的对象类关联像素。
      1. 训练架的像素标签
         1. 反过来, 打开图像编辑软件中视频中的每个训练帧。
         2. 对于视频中的每个训练帧, 在加载的图像上覆盖一个透明的图像图层, 以便标记并创建调色板, 为每个给定的对象类 (即aoi) 提供一种颜色。
         3. 确保在整个标记过程中, 调色板和颜色与对象类的映射是相同的。
         4. 选择示例 AOI 的颜色。
         5. 颜色区域的样本 Aoi 通过选择, 通过鼠标单击和拖动, 像素内的区域 "颜色在" 使用适当的调色板选择。
            注: 可能会对大型对象进行不准确的着色。但是, 对于只有几个像素宽度的窄/小对象, 请更加小心, 以确保手动标记准确地捕获对象的视觉外观。
         6. 框架标签完成后, 将覆盖层导出为单独的图像文件。确保基本文件名与原始框架基本文件名匹配, 但在末尾附加一个 "c"。例如, 如果原始框架文件名为 "1234. png", 则标记的图层文件名应为 "1234. png"。
         7. 确保所有标记的图像存储在一个文件夹中。
      2. 验证帧的像素标签
         注: 为了定量验证训练分类器的准确性, 应创建一组额外的标记帧。
         1. 从原始视频序列中选择尚未选择包含在训练集中的帧。对于5分钟的视频, 这些帧不需要超过20帧, 但应该从整个视频序列中统一采样, 以确保足够的覆盖范围。
         2. 使用与准备训练框架 (6.2.2) 所概述的相同过程标记每个帧中的像素。然而, 这一次尽可能准确和全面地贴上标签, 因为这将被用作地面的真相比较。
         3. 在框架的标签完成后, 请使用与训练相同的命名约定, 但要确保文件保存在单独的验证帧文件夹中。
   3. 视频序列的自动像素标记
      1. 从 http://drwn.anu.edu.au 下载 DARWIN 软件库。
         注: 本文中描述的系统是在 Linux 环境中实现的, 因此应按照网站的说明下载并安装 DARWIN 的 Linux 版本。
      2. 启动达尔文 GUI
      3. 在达尔文 GUI 中, 单击"加载培训标签"。
      4. 使用出现的文件资源管理器对话框, 选择包含相关视频序列的标记训练图像的文件夹。
      5. 单击"加载视频帧" , 并按照6.2.3.2 的相同过程选择包含视频序列的所有原始帧的文件夹。这应该是一个图像文件夹, 其中每个帧文件名是视频序列中的帧数 (例如, 帧1234将被命名为 1234. png)
      6. 单击 "火车"按钮。该算法现在将检查每个标记的训练帧, 并学习将像素分类为任何指定对象类的外观模型。
   4. 验证训练的分类器
      1. 培训完成后, 单击 "验证培训"按钮。
      2. 使用文件资源管理器对话框, 选择包含相关视频序列的所有标记验证图像的文件夹。现在, 训练的分类器将用于对验证集中引用的每个帧中的像素进行分类。将其与验证文件夹中提供的地面真实信息标签进行比较。
         注: 完成后, GUI 将显示准确性统计信息, 包括验证集中每个帧以及整个验证集中正确标记的像素百分比。
      3. 要直观地验证生成的标签, 请单击 "可视化验证" 按钮。如果单击, 则每个生成的标记图像将显示在原始验证框架旁边。
         注: 这可能有助于确定对象上出现错误分类的位置。例如, 目视检查可能表明对象类的特定部分始终存在错误, 这表明需要改进训练集中的标签。或者, 检查可能会显示错误仅发生在视频中的特定时间点, 这表明从视频中的该时间段开始需要更多的培训示例。
      4. 如果在定量或定性验证中观察到的准确性低于可接受的水平, 则包括进一步的培训实例。在这种情况下, 请重复6.2.2 中的所有步骤, 以包括其他训练框架, 按照6.2.3 中的步骤重新训练分类器, 并重新验证6.2.4 中的后续步骤。
   5. 视频像素标签
      1. 分类器训练和验证阶段完成后, 单击达尔文 GUI 上的"标签框架" , 使用训练的分类器开始对视频序列中的所有帧进行完整标记。
      2. 按照提示为所有输出帧选择目标文件夹, 该文件夹将使用与训练中使用的相同调色板以标记图像的形式出现。

7. 将眼动追踪数据注册到视频内容

1. 在眼动追踪软件中点击文件 ≫ 导出..。将眼动追踪文件导出为 CSV 文件。
2. 在电子表格程序中打开该文件。
3. 从视频序列中标识框架左上角的白色十字消失的时间 (见 2.3)。利用这段时间, 通过使用眼动追踪结果上的相关列, 识别眼动追踪。这是眼动追踪数据收集的开始。
4. 在眼动追踪数据中添加一列。
5. 使用这个新的列标记每一行或眼动跟踪数据点的帧号开始, 从数字1开始。

8. 显示参与者在视频中检查不同类别对象的时间量

注: 由于眼动追踪数据的巨大规模, Python 编程语言更好地用于步骤通过到 8.4, 但也可以使用数据处理程序。

1. 使用包含的 Python 代码, 计算感兴趣的对象与眼动追踪固定时间和频率之间的重叠量。
2. 将此数据求和以了解参与者查看不同对象所花费的时间量。
3. 使用直方图来显示对象占用屏幕的总时间量。
4. 将其与参与者查看不同对象的总时间进行比较。
5. 要在眼动追踪软件中生成热图, 请单击公园内的一个步行视频。
6. 单击 "热图" 选项卡。
7. 根据需要调整热图的颜色和其他功能, 使用 "计数" (在时间窗口上进行的固定总数)、"绝对持续时间" (累积固定持续时间) 和 "相对持续时间" (查看对象除以查看场景所花费的时间)。
8. 将包含热图的图像或视频导出为 JPEG 文件或视频文件。

Representative Results

图 1和图 2显示了在所有参与者中获取整个视频的所有眼动跟踪数据并生成热图的结果;这是眼动追踪软件包中可用的标准方法。通过比较图 1和图 2 , 可以确定平均而言, 参与者在图 1中视频的 x 坐标上扫描左右, 而图 2显示了圆度形状。这是因为与图 2中的公园相比,图 1在整个视频中具有更多的水平元素。热图背后的图像是一个单一的帧, 并不能充分代表视频的全部内容。

桌面眼动追踪系统和软件只计算双眼同时定位的结果。换句话说, 如果一只眼睛或两只眼睛找不到, 数据将被计为丢失。在我们的案例中, 眼动追踪数据是在 gt;80% 的时间里被捕捉到的。

图 3和图 4显示了使用协议和使用机器学习分析视频内容的结果。图 3显示了菲茨罗伊花园与皇家公园相对稀少的植被相比, 植被密集 (图 4)。在后一种情况下, 可以看到更多的天空, 更多的场景被灌木植被所主导。图 5显示了其中一名参与者在视频过程中对不同对象的固定时间的百分比。这表明, 虽然在视频过程中, 路径是清晰可见的, 但参与者只是偶尔看一下这个功能, 但在关键点。同样, 如图 6所示, 尽管皇家公园中视频内容中有很小一部分与人造物体有关, 但研究参与者在很大程度上对这些特征进行了比较大的审查。

图7和图 8中的结果可概括为本研究中使用数据的所有 39名参与者. 图 7显示了在整个视频长度中查看对象时所有参与者的停留时间。图 8显示了相同的数据除以这些不同对象在视频中占用的时间和空间。值为1表示停留时间可以由视频中的对象数量来解释。图 7显示, 与其他物体 (和 gt;1) 相比, 路灯和长椅等人造物体的居住程度更大。图 7还显示, 不太相关的物体, 如这两个图像中的天空, 被看得相对较少 (& lt;1)。

图 1: 为其中一个公园的整个视频生成的热图示例.这显示了大部分眼迹的位置。请注意热贴图的水平形状, 因为视频中的水平元素占主导地位。请点击这里查看此图的较大版本.

图 2: 为另一个公园的整个视频生成的热图示例.请注意, 由于视频中存在垂直和水平元素, 因此形状更圆润。请点击这里查看此图的较大版本.

图 3: 使用机器学习技术分析菲茨罗伊花园视频中内容的直方图.请点击这里查看此图的较大版本.

图 4: 使用机器学习技术分析的皇家公园视频中内容的直方图.请点击这里查看此图的较大版本.

图 5: 在菲茨罗伊花园观察物体的眼动追踪固定时间.请点击这里查看此图的较大版本.

图 6: 在皇家公园观察物体的眼动追踪固定时间.请点击这里查看此图的较大版本.

图 7: 两个公园的所有参与者和对象的集中眼动跟踪停留时间.请点击这里查看此图的较大版本.

图 8: 相对于两个公园的所有参与者和对象的内容的集中眼动停留时间.请点击这里查看此图的较大版本.

Discussion

通常, 在用于分析眼动追踪数据的标准软件包中, 使用的是矢量 AOI。即使对于单个静止图像, 矢量的大小也无法轻易测量。此外, 将所有 Aoi 都包括在图像中, 并计算 Aoi 的相对数量是很费力的。如果没有机器学习技术 (如所述技术), 几乎不可能在视频上手动执行此操作。这是一个相对简单的说法, 推断了一个自由观看的情况。在相同的刺激之前, 可以使用更精确的场景和不同的场景描述, 也可以影响眼球运动¹¹。

我们的研究使用了一种方法来准确地对视频中的物体进行分类, 并分析这些物体在多大程度上是肉眼可见的。该方法是说明眼动与利益对象联系的程度的一种手段。这样, 在比较不同对象的眼动追踪与移动眼动装置或使用基于桌面的系统时的不同位置时, 可以控制视场中感兴趣的对象的存在程度。可能影响使用我们使用的机器学习对象的自动分类的注意事项包括照明、与正在分类的内容相关的形状 (例如, 不仅是一种类型的树, 而且是一系列的树类型, 它们在图像、照明方式等)、纹理和颜色。对帧数的考虑包括在所分析的视频中显示的视觉条件的长度和变化, 以及要识别的对象类的数量及其外观频率。帧每1.5秒更换一次, 但使用该软件进行眼动追踪的时间为 1.5 (120 赫兹)。因此, 眼动追踪数据的收集速度将是新帧出现速度的4.8倍。不可能完全准确地贴上标签, 但框架的标签应该每5次更换一次。例如, 在视频的100th 帧内, 考虑了99至101秒期间的眼动追踪数据。

目前眼动追踪包的一个显著优势是, 它们的设置是为了让用户查看自己眼动追踪的固定和路径的电影, 并描述他们为什么查看某些物体。这就产生了一个定性的数据集, 可以揭示为什么个别研究对象认为他们看过某些物体。项目的扩展还将向他们显示他们在相对于内容的不同时间查看对象所花费的时间, 例如图 8中的信息。然而, 通过快速控制场景中的对象数量来做到这一点, 目前是不可能的。

例如, 可以要求参与者查看自己记录的注视路径, 并说明为什么要查看特定物体¹²。在我们的例子中, 在每部电影的最后, 参与者被要求对每个公园进行1-10 级的评分, 首先是他们是否觉得自己能够在这种环境中休息和恢复 (1, 不是很好, 非常多, 非常多), 其次是他们有多喜欢公园 (1, 不是很多, 到 10, 非常)。

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker