基于眼动追踪的测量框架，用于量化屏幕互动数字艺术环境中的视觉注意力

Summary

该协议描述了一个全面的框架，用于量化互动数字艺术中的视觉注意力。它详细介绍了同步眼动追踪数据与交互日志的系统架构、动态兴趣区域（AOI）映射方法，以及将注意力动态与用户体验结果联系起来的分析流程。

Abstract

本文提出了一种凝视支持的测量框架，旨在量化互动数字艺术体验中的视觉注意力，并将注意力动态与体验结果联系起来。与传统的静态艺术观赏不同，互动数字艺术涉及动态媒体、多源信息和持续反馈循环，挑战了传统的眼动追踪方法。该系统将眼动追踪采集、交互记录、时间戳同步、动态兴趣区域（AOI）映射和度量计算整合为统一的流水线。该协议概述了可重复的数据工作流程的开发，将凝视数据与特定交互事件对齐，从而实现注意力分配、切换成本和探索熵的精确计算。实验设计包括自由探索和目标导向任务，正如一项有37名参与者的研究所示。应用该协议的结果显示用户友好度和满意度较高，测量模型支持可用性和满意度的双结构模型。此外，结果建模证实感知可用性是整体用户满意度的基础预测因子，而单案演示验证了管道量化情境感知注意力转移的能力。该协议为研究人员和设计师提供了一套严谨且可重复的工具，用于分析交互设计元素——如反馈延迟和引导强度——如何塑造沉浸式数字环境中的用户注意力及主观体验。

Introduction

互动数字艺术涵盖了广泛的形式，从沉浸式空间装置到基于屏幕的互动平台 ^1,2。虽然完全沉浸式的装置代表了这一演进的前沿，但基于屏幕的互动艺术仍是基础媒介，迫切需要严谨、标准化的评估方法，才能实现无限制的空间扩展。这种模式有效地重新定义了观众的角色，从被动观察转向主动共创，参与直接塑造艺术作品的意义³.艺术心理学中的经典框架，尤其是维也纳综合艺术感知模型（VIMAP），为理解自上而下认知控制与自下而上感知处理在美学交流中的相互作用提供了复杂的视角。然而，尽管这些模型为静态观测提供了坚实的基础，但要将其最新应用扩展到交互式数字环境，仍需先进的测量技术。将这些理论构造转化为交互式应用，需要实时生理指标客观捕捉用户输入与系统响应之间的连续反馈循环。因此，从静态观看转向主动交互带来了评估用户体验的显著复杂性。目前该领域的主流评估方法主要依赖于活动后问卷、回顾性访谈以及现场观察，了解观众的观看习惯、顺序和停留时间^。这些通常辅以粗粒度的行为指标，如停留总时长和点击频率⁵。虽然这些方法在捕捉总体偏好和整体满意度方面有效，但它们在追踪体验过程中发生的实时、微观层面注意力转移方面存在根本困难。与依赖延迟回忆、易受认知偏差影响的回顾性问卷不同，所提的眼动追踪框架提供了连续、实时且客观的生理数据。此外，与总停留时间或浅层点击频率等粗略行为指标相比，这种凝视支持的方法捕捉了微观层面的认知过程——如犹豫瞬间、视觉搜索策略以及对系统反馈的即时感知反应。通过这样做，它为迭代交互设计提供了可操作且细致的证据，证明传统评估方法根本缺乏⁶。该技术提供过程层面的指标，用于理解互动艺术中的注意力分配、维持和转移，提供用户^{认知状态的}客观生理指标 ^7,8,9。通过分析用户何时、何地、停留多长时间，研究人员可以为展览优化和互动设计提供客观支持。然而，在互动数字艺术体验中实施眼动追踪存在多重非凡的技术和方法挑战，区别于标准的可用性测试或静态图像查看。

交互式环境通常涉及动态媒体、多元信息源和复杂的多步骤任务。视觉刺激并非固定;它们根据用户的输入进化。视觉刺激和系统反馈的持续变化导致运动物体与界面区域之间的注意力快速转移。这种动态性使得传统的静态界面分割和度量解释容易失真^10,11。例如，一个在某一时刻相关的兴趣领域（AOI）可能在下一刻消失或语义意义改变，使静态热图变得不够充分。

此外，现实世界的互动常涉及自然的物理行为，如头部运动、遮挡和与屏幕距离的变化，导致校准漂移^12,13。这些质量追踪的波动引入了缺失值和噪声，降低了跨受试者的可比性以及统计检验的稳定性。标准实验室操作通常要求严格的稳定（例如下巴托），这会削弱艺术欣赏所需的自然体验¹⁴。因此，有效的协议必须在严格的数据质量控制与用户环境的生态有效性之间取得平衡。通过利用远程屏幕眼动追踪，该框架允许自然、不受限制的躯干和头部微动作，成为捕捉审美反应且不受干扰物理限制的实用基准。

关键的是，眼动数据与交互日志之间的时间同步直接影响因果解释。在静态观看任务中，刺激的起始是唯一相关的时间标记。在互动艺术中，每一次触碰、动作或凝视触发都会触发一个新的时间事件参照。如果没有统一的时间基准和事件对齐机制，很难判断注意力变化是由系统反馈触发还是由个人探索策略驱动¹⁵。为了全面评估数字艺术，研究人员通常依赖两个不同的数据源：交互日志（捕捉用户输入和系统状态）和生理信号（如用于视觉注意力的凝视追踪）。然而，这些模态常被单独分析。在分析流程早期整合它们在概念和实践上都至关重要，因为它们本质上是互补的：交互日志提供了精确的上下文“触发”（系统反馈的“何时”），而连续凝视数据则揭示相应的认知“反应”（注意力分配的地点和方式）。如果没有统一的时间、基准和多模态事件对齐，很难判断注意力转移是由系统反馈（如视觉涟漪效应）触发，还是由个人探索策略驱动。通过融合这些数据流，该框架提供了闭合交互设计特征与用户认知之间因果循环的理论优势。

因此，推动互动艺术中的眼动追踪研究不仅仅需要捕捉注视点;它需要严格的质量控制、同步对齐以及可重复的数据处理工作流程。现有解决方案的局限性进一步凸显了这一研究动机。现有的艺术背景中的眼动追踪研究主要聚焦于静态观看任务，或将文本描述和导游视为外部变量，缺乏与互动机制的整合（^16,17）。虽然有证据表明信息呈现方法和指导策略能显著改变观众的注意力路径和焦点，但大多数发现仍停留在单次干预相关性水平，未能解释互动反馈循环如何在体验持续时间内塑造注意力策略。

相反，虽然互动艺术实践开发了以凝视为自然互动输入的原型系统——强调观众从被动观察者转变为主动参与者——但这些努力往往侧重于装置演示或技术验证（^18,19）。它们常常缺乏统一的注意力指标、可复制的实验范式以及建立注意力动态与体验结果之间可检验联系的闭环研究模型。这一差距阻碍了可迁移设计原则的发展，这些原则能够可靠预测特定设计选择（例如视觉过渡的速度）将如何影响用户的沉浸感或可用性。

关键是，现有文献缺乏一个连贯的框架，能够从根本上将视觉注意力与实时交互系统对齐。虽然动态AOI映射和凝视事件同步的进展已在一般人机交互领域被探索，但它们很少被整合进数字艺术这种流动且高度可变的环境中。根本性研究空白在于当前单一模态评估无法解释系统反馈与用户认知之间的因果循环。通过早期整合多模态数据——特别是将连续凝视坐标与毫秒级精度的交互日志融合——研究人员可以超越基本的可用性指标。这种整合提供了理论上的好处，即将特定的微观层次注意力转移（例如，搜索策略与稳定专注）直接归因于特定的互动设计选择，将体验流从主观感受转变为可量化的认知状态。

为弥补这些空白，本方案提出了一种以眼动追踪为驱动的注意力测量框架，专门限制于基于屏幕的互动数字艺术。虽然其底层技术流程与通用的人机交互（HCI）测试在结构上相似，但该框架独特地将非实用主义的美学任务（例如生成媒体的自由视觉探索）与目标导向的行动并存。这种整合明确区分了艺术欣赏的流动性和探索性质，区别于标准的实用主义软件评估方法。理论上，本研究处于互动数字艺术、人机交互和眼动追踪分析的交叉点。它解决了客观描述数字艺术评估中持续体验流动的持续挑战，以及确定互动输入与注意力输出之间的相关性。

该研究范围不仅将本研究定位于互动数字艺术的体验背景，还将眼动追踪数据与互动日志整合，建立系统性的证据链——从体验输入到注意力指标，最终到结果变量。在系统层面，我们建立了可重复的数据流水线，将眼动捕捉、交互日志记录和时间同步整合为统一架构。该框架标准化了预处理、区域映射和注意力指标生成，同时提供可追溯的数据结构和分析脚本。

概念框架（图1）阐明了互动设计如何通过改变观众的视觉注意力过程来影响主观结果。核心逻辑将交互元素（如反馈延迟和引导强度）视为可控输入，视觉注意力动态作为关键过程变量，体验结果（沉浸感、可用性、满意度）视为输出。个体差异被纳入调节因素。在实验设计中，开发了互动任务，平衡自由探索与目标导向目标。在建模层面，我们将注意力动态与结果变量关联起来，探讨交互设计元素如何通过视觉注意力影响用户体验。该协议提供了详细的方法论步骤，用于复制该框架，确保用户、系统与艺术之间复杂的相互作用能够以科学严谨的标准进行测量。

Protocol

本研究遵循澳门城市大学创新与设计学院的机构指导方针进行。所有参与者在数据收集前均提供知情同意。

1. 系统开发与架构配置

1. 定义研究工作流程
   1. 采用 图2所示的四阶段闭环流程：系统开发、眼动追踪实验、分析和结果建模。
   2. 确保工作流程促进迭代优化，分析阶段的数据可用于未来迭代系统开发的调整。
2. 配置系统架构
   1. 使用 图3所示的管道架构构建系统，包含五个独立模块：体验（任务）、眼动追踪、日志、同步（同步）和分析。
   2. 体验模块：开发互动艺术界面，作为统一的切入点。配置为生成两条并行数据流：
      1. 眼动追踪数据流：从设备输出原始视线坐标和时间戳。
      2. 交互日志流：记录用户操作（点击、手势）和系统状态变化（反馈触发、场景切换）。
   3. 在同步模块内实现用户数据报协议（UDP）脚本，在视觉刺激变化或用户输入被注册的精确毫秒级时，将事件标记从交互渲染引擎发送到眼动追踪API。
   4. 在实验前通过运行一个60秒的同步测试循环来评估偏移稳定性。确认交互时钟与眼动追踪时钟之间的延迟标准差（SD）严格保持在6.5毫秒以下（见 表1）。如果标清码超过6.5毫秒，重置网络连接并重新校准。
   5. 对齐数据存储：配置数据库或文件系统，存储每个数据点包含同步的凝视坐标、事件标志和AOI索引。
3. 建立系统运行时循环
   1. 实现如 图4所示的运行时循环。
   2. 将序列严格按照以下顺序编程：启动会话→校准→加载场景+AOIs→实时循环（用户交互/凝视捕捉/渲染反馈）。
   3. 确保数据流水线（写日志→时间戳同步→固定解析→AOI映射）在数据采集后立即运行，以便快速进行质量检查。

2. 刺激与交互设计

1. 选择交互模态
   1. 根据分类法选择相互作用模式。根据研究问题，选择基于凝视交互、触摸/手势交互或多用户共定位交互。
   2. 对于该协议，实现凝视和触控输入的组合，以遵循最小化输入难度同时最大化输出可解释性的原则。
2. 定义交互模块并触发事件。
   注意：这里，“交互模块”在操作上被定义为数字艺术作品中的一个独立功能单元（例如特定的交互视觉效果），而“触发事件”指的是用户输入或系统状态变化，使该模块在毫秒级时间戳下被激活。
   1. 编写表2中定义的特定交互模块 。
   2. 环境吸引器：将触发器设置为场景进入或空闲状态，持续3.2秒≥。将预期的注意力反应定义为更广泛的探索和更高的目光分散。
   3. 凝视高亮：将触发器配置为凝视停留在物体AOI上，≥420毫秒。确保这触发视觉亮点以强化专注。
   4. 触摸涟漪：在点击画布事件时，在坐标（x，y）实现视觉涟漪效果。记录波前后扫视振幅的变化。
   5. 引导提示：在预设的AOI下，编程视觉提示，持续1.4–2.1秒。使用此提示测量首次凝视时间（TTFF）。
   6. 选择门：创建一个决策点，用户在7.5秒内选择三个选项中的一个。利用这些数据来衡量所选选项与被拒绝选项的停留时间。
3. 设计兴趣领域（AOI）
   1. 如 图5所示，创建静态和动态AOI。
   2. 为固定用户界面（UI）元素（如菜单、边框）定义静态AOI。
   3. 为移动的视觉元素（例如漂浮的球体、粒子系统）定义动态AOI。确保AOI坐标在日志文件中以系统刷新率更新。
   4. 为AOI实施语义标记（如 目标对象、 干扰器、 指令文本），以促进分析时语义可信度的计算。

3. 参与者招募与筛选

1. 招募策略
   1. 从相关人群中招募参与者（例如数字艺术专业的大学生），以确保数字素养的基线。
   2. 获取知情同意并向参与者简要说明眼动追踪程序的性质。
2. 筛查标准
   1. 视力筛查。确认参与者视力正常或矫正正常。
   2. 排除干扰标准眼动追踪校准的眼部疾病（如斜视、严重散光）患者。
   3. 校准检查：在初始设置时，进行5点或9点校准。排除无法达到0.85°≤平均校准误差或持续追踪损失（有效样本比<85%）的参与者。
   4. 记录人口统计数据，包括年龄、性别、惯用手和自我报告的数字艺术接触情况（见 表3 参数）。

4. 实验程序

1. 物理设置
   1. 在安静且环境光线稳定的房间里进行实验。避免直接阳光或强烈反射在屏幕上。
   2. 将参与者安排在适合特定商业屏幕眼动追踪设备的固定观看距离（例如60–70厘米）就座。
   3. 调整椅子高度，使参与者的眼睛与屏幕中心齐平。
2. 会话执行
   1. 校准：执行校准程序。核实准确性。如果漂移>1.10°，则进行重新校准（漂移检查）。
   2. 练习试验：进行一次标准化练习（约2分钟），让参与者熟悉互动流程（例如，如何触发凝视高光）。
   3. 任务执行：将两种任务类型以平衡顺序呈现，以最小化序列效应：
      1. 自由探索任务：指导参与者“自由探索艺术品，并与你感兴趣的元素互动”。
      2. 目标导向任务：指导参与者“寻找特定隐藏元素”或“完成互动序列以解锁最终视觉效果”。
   4. 数据记录：确保系统自动记录眼动流和交互日志，并在任务中统一使用时间戳。
   5. 任务后问卷：在每个任务块后立即进行体验量表（沉浸感、审美愉悦、可用性、满意度）。

5. 数据处理与分析流水线

1. 数据预处理与质量控制
   1. 请参阅 图6 ，了解凝视处理流程的全面概述。该可视化示意图划分了将原始凝视坐标转换为可解读分析数据所需的顺序阶段：初始信号质量控制（包括眨眼插值和空间滤波）、基于速度的眼动解析为注视和扫视、视线点与活跃兴趣区域（AOI）的动态映射，以及最终定量注意力指标的计算。
   2. 使用标准化的插值和滤波流水线处理闪烁和信号丢失。识别瞳孔直径为零或追踪有效标志无效的闪烁和信号丢失段。
   3. 对于短间隙（≤75毫秒），应用线性插值算法来估计缺失的视线坐标。对于超过 75 毫秒的间隙，应保持数据不映射，以防止人工伪影生成。插值后，应用移动平均滤波器（窗口大小=3个采样点）来平滑次要高频噪声。
   4. 检测并消除空间异常值，定义为落在物理屏蔽边界之外或表现出生物学上不可能的扫视速度（> 1000^o/s）的视线点。
   5. 计算最终的掉落分数;排除不可回收损失超过总任务时长12%的会话。
   6. 应用试验级别的漂移修正。如果在验证检查中检测到系统性偏移，紧接着特定任务块前，对该试验的原始凝视数据应用线性坐标修正矢量，以补偿轻微的头部姿势偏移。
2. 注视与扫视解析
   1. 应用速度阈值识别（I-VT）解析算法。如果眼球运动速度超过30°/s，则将原始数据点归类为扫视;否则，就归类为固定。
   2. 施加最低80毫秒的注视阈值，以过滤微扫视和伪影噪声。
   3. 将眼球运动分为注视（稳定凝视）和扫视（快速运动）。生成固定表和扫视表。
3. 时间对齐与AOI映射
   1. 利用UDP事件标记作为绝对参考锚点，将凝视事件时间戳与交互日志时间戳对齐。
   2. 通过从所有凝视时间戳中减去初始化测试环路中记录的平均偏移量，以校正任何固有的硬件传输延迟。
   3. 请参见 表4 ，了解同步数据行的示意示例，展示了分析层面的这种积分。注意该矩阵如何融合连续凝视坐标、离散交互事件标志和毫秒级分辨率的动态AOI指数，形成后续度量计算的基础数据集。
   4. 实现动态AOI映射，以克服流体数字艺术环境中静态空间划分的局限性。
   5. 将每个注视坐标映射到针对该毫秒时间戳特别更新的激活AOI，使用多边形点算法。
   6. 注意：这确保即使视觉元素持续移动或状态变化，凝视数据仍正确归属于预期的交互对象，而非固定的过时屏幕位置。
   7. 使用严格的z缓冲区层级规则为重叠的AOI分配优先级。将原始（x，y）视角坐标映射到该特定毫秒时间戳更新的边界盒数组。
   8. 如果坐标位于多个活跃边界框内，则将注视仅分配给渲染层索引最高的AOI（最前视觉元素）。从下层丢弃重叠数据以防止重复计数。
   9. 计算未绘制的注视百分比。确保该数值保持≤0.18（18%）以验证AOI定义的完整性。
4. 度规计算
   1. 计算跨三维度度量，如 图1 框架所示：
   2. 计算TTFF，严格定义为从特定视觉刺激开始到对应目标AOI内首次注视开始的时间。计算停留时间（AOI内的总固定时间）和复诊率。
   3. 计算过渡矩阵以量化注意力切换。通过将从AOI A到AOI B的凝视转移次数除以从A出发的总转移次数，计算从AOI A到AOI B的转换概率P _AB。通过将AOI间转换总数除以有效任务持续时间来计算切换率。
   4. 利用香农信息理论公式计算全局凝视熵（H），以量化视觉探索的随机性。公式表述如下：
      (1)
      其中变量定义如下：：全局凝视熵，表示视觉注意力的分散。 N：场景中定义的动态AOI总数。 p_i：凝视落在特定AOI内的概率。这是根据AOI中停留时间相对于总有效任务时长的比例推导出来的。
   5. 按任务阶段（自由探索与目标导向）汇总这些指标。
5. 统计建模
   1. 组装最终数据集，将计算指标与调查评分合并。
   2. 进行确认因素分析（CFA）以验证可用性和满意度的概念。
   3. 使用混合效应模型或结构方程建模（SEM）来检验假设（例如， 交互延迟预测注意力转移， 注意力切换预测可用性）。

Results

样本特征与数据质量

该方案的应用共招募了43名学生，其中37人最终被纳入最终分析（纳入率：86.0%）。如 表3所示，排除6名参与者完全是由于遵守数据质量协议：追踪丢失/校准不良（n=2）、样本缺失过多（n=2）、互动阶段自报晕动症导致任务未完成（n=1），以及因个人排班冲突自愿退出调查（n=1）。所含样本数据质量较高，平均校准误差为0.74±0.18°，有效视线样本比为91.6±4.8%。未定位的中位注视率为12.7%，远在可接受阈值内，验证了动态AOI定位策略的有效性。

虽然拟议的技术流程旨在计算细粒凝视指标（详见数据处理协议），但本研究实证验证阶段的主要目标是评估系统的运行稳定性及其对用户主观体验的影响。持续的实时渲染和眼动追踪常常会干扰用户的沉浸感。因此，结果建模重点在于验证整合该测量框架是否能在互动数字艺术体验中保持高可用性和整体满意度。

Discussion

本研究建立了一个经过验证的眼动追踪测量框架，专门针对互动数字艺术。核心发现表明，动态兴趣区（AOI）映射结合毫秒级多模态同步，成功量化了此前在流体介质中被掩盖的微观视觉注意力转移。理论上，本研究通过确立功能可用性作为互动情境中主观满意度的可量化上游预测因子，弥合了被动观察与主动参与模型之间的概念鸿沟。实际上，拟议的流程为设计者提供了客观、持续的评估工具集，以优化反馈延迟和可视化指导，将交互设计从直觉转向循证实践。因此，这些结果凸显了关于方法论和互动体验更广泛性质的关键见解。

首先，在实验条件下记录的高可用性和满意度评分证实了所提系统运行循环的可行性（见图4）。实验设备（下巴托、眼动追踪器）的干扰常常会打断^{艺术体验的}沉浸感或流畅感。然而，高满意度表明该方案的非侵入式设计和高效的校准程序保持了艺术体验的完整性。这验证了系统在实验严谨性与生态效度之间的平衡²¹。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
眼动追踪器	托比空军基地	Pro Nano	60 Hz 基于屏幕的凝视捕捉;5/9点校准
监视器	华硕	VP249QGR	23.8英寸，1920年及以上;1080;观测距离~65厘米
交互电脑	戴尔	OptiPlex 7010	Windows 10;运行接口+日志
同步时钟	习俗	v1.0	统一凝视与交互时间戳
固定解析器	开源	I-VT	固定阈值80–120毫秒。
AOI 映射器	习俗	二维多边形点	地图凝视静态/动态AOI