增强现实可用性评估：一项神经信息系统研究

摘要

本研究提出了一种实验范式 a 结合主观与客观评估的可用性测试。客观评估采用神经信息系统（NeuroIS）方法，主观评估采用可用性问卷和美国国家航空航天局任务负荷指数（NASA-TLX）量表。

摘要

本研究提出了一种针对管理信息系统（MIS）中新兴技术可用性测试的实验范式。该可用性测试包含主观评价与客观评价两部分。在主观评价方面，采用了可用性问卷和NASA-TLX量表；在客观评价方面，应用了神经信息系统（NeuroIS）的方法。从NeuroIS的视角出发，本研究采用便携式功能性近红外光谱技术（fNIRS）与眼动追踪眼镜进行多模态测量，解决了认知神经科学技术在真实行为实验中生态效度不足的问题。本研究以物联网（IoT）集成的增强现实（AR）技术作为实验对象。通过比较两种信息搜索模式（AR与网站）在神经影像数据、生理数据、可用性问卷以及NASA-TLX量表数据上的差异，发现消费者在决策过程中使用AR进行信息搜索时，效率更高且认知负荷更低。可用性实验结果表明，AR作为零售领域的一种新兴技术，能够有效提升消费者体验并增强其购买意愿。本研究结合主观与客观评价的实验范式，可广泛应用于增强现实、虚拟现实、人工智能、可穿戴技术、机器人技术及大数据等新兴技术的可用性测试，为采用新兴技术的人机交互用户体验提供了切实可行的实验解决方案。

引言

以增强现实、虚拟现实、人工智能、可穿戴技术、机器人技术和大数据这六种与消费者密切互动的前沿技术，正在重塑许多消费者行为的理论模型¹。增强现实（AR）是一种能够提升消费者体验并提高消费者满意度的新兴技术。它将文本信息、图像、视频及其他虚拟元素叠加到真实场景中，实现虚实融合，从而通过解释、引导、评估和预测等方式增强现实世界中的信息²。AR 提供了一种全新的人机交互方式，为消费者创造了沉浸式的购物体验，并推动了多种应用的发展^3,4。然而，消费者对 AR 服务的接受程度仍然较低，因此许多企业在采用 AR 技术方面持谨慎态度^5,6。技术接受模型（TAM）被广泛用于解释和预测新技术的采纳行为^7,8。根据 TAM 模型，消费者对新技术的采纳意愿在很大程度上取决于其可用性⁹。因此，从 TAM 的视角来看，消费者对 AR 服务接受缓慢的一个可能解释是新技术的可用性问题，这凸显了在购物过程中评估 AR 可用性的必要性^10,11。

可用性被定义为特定用户在特定情境下实现既定目标的有效性、效率和满意度¹²。目前，评估可用性的方法主要有两种：主观评估和客观评估¹³。主观评估主要依赖于通过问卷和量表进行的自我报告方法。基于这一研究方向，本研究所采用的问卷包括与信息搜索模式相关的五个特征，以实现特定目标：（1）效率，（2）易用性，（3）可记忆性（易于记忆），（4）满意度（信息搜索模式令人感到舒适和愉悦），以及（5）对其他对象的可推广性^14,15,16。此外，认知负荷代表学习者在执行特定任务时对其认知系统所施加的负荷¹⁷，是可用性的另一个核心指标^18,19。因此，本研究还采用了美国国家航空航天局任务负荷指数（NASA-TLX）^13,20作为主观指标，用于测量使用增强现实（AR）购物与使用网站服务购物时的认知负荷。值得注意的是，自我报告方法依赖于个体准确报告其态度和/或先前行为的能力与意愿²¹，因而可能存在误报、漏报或偏差的可能。因此，客观测量方法可作为传统主观方法的有益补充²²。

神经信息系统（NeuroIS）方法被用于客观评估增强现实（AR）的可用性。NeuroIS 一词由 Dimoka 等人在 2007 年国际信息系统会议（ICIS）上提出，近年来在信息系统（IS）领域受到越来越多的关注²³。NeuroIS 借助认知神经科学的理论与工具，以更深入地理解信息系统技术的开发、采纳及其影响^24,25。迄今为止，认知神经科学的工具，如功能性磁共振成像（fMRI）、脑电图（EEG）、正电子发射计算机断层扫描、脑磁图（MEG）以及功能性近红外光谱成像（fNIRS），已在 NeuroIS 研究中得到广泛应用^26,27。例如，Dimoka 和 Davis 使用 fMRI 测量受试者在与网站交互时的大脑激活情况，发现感知易用性会影响前额叶皮层（PFC）的激活²⁸。类似地，Moridis 等人利用 EEG 发现，前额叶不对称性与感知有用性密切相关²⁹。这些结果表明，PFC 可能在可用性中发挥关键作用。

尽管以往的神经信息系统（NeuroIS）研究已取得一定成果，但这些研究中所采用的实验范式对受试者的身体活动限制较多，生态效度较低，从而限制了其理论与实践贡献。正如He等²²所述，在购物过程中与增强现实（AR）等技术进行交互需要自由的身体活动，而对受试者的限制在很大程度上损害了消费者的体验。因此，信息系统的可用性测试亟需具有高生态效度的脑成像工具。在此方面，功能性近红外光谱成像（fNIRS）具有独特的技术优势：在fNIRS实验过程中，受试者可在一定程度上自由活动³⁰。例如，以往研究已利用便携式fNIRS测量了受试者在骑行等户外活动期间的大脑激活情况³¹。此外，fNIRS成本较低，且能够长时间连续测量大脑激活状态³²。本研究采用fNIRS客观地测量了受试者在使用增强现实（AR）与网站购物服务时的认知负荷水平。

近年来，眼动追踪作为一种有价值的心理生理学技术，已被用于检测可用性测试中用户的视觉注意力³³，并在神经信息系统研究（NeuroIS）中得到广泛应用³⁴。该技术基于眼-心假说，即认为观察者的注视焦点会跟随注意力的方向，视觉注意力代表了心理过程，而视觉注意力的模式则反映了人类的认知策略^35,36,37。在增强现实（AR）研究领域，Yang 等人利用眼动追踪发现，AR广告通过提高消费者的好奇心和注意力，改善了他们对广告的态度³⁸。在本研究中，采用眼动追踪技术测量受试者的注意力，包括总注视持续时间、平均注视持续时间、注视频率、扫视频率、平均扫视持续时间和平均扫描路径长度等参数。

综上所述，本研究提出了一种结合主观与客观评价的可用性测试方法，并以增强现实（AR）应用为例进行了说明。主观评价采用了可用性问卷和NASA-TLX量表，客观评价则采用了结合功能性近红外光谱（fNIRS）与眼动追踪的多模态测量方法^39,40。

实验设计
实验材料：为模拟真实购物场景，在实验室中搭建了一个产品货架，并将两个不同品牌的矿泉水作为实验材料放置在货架上。矿泉水被选为实验材料是因为其属于必需品，参与者基于职业背景、性别和购买能力等因素在主观评价上不会产生偏差。品牌的价格、容量和熟悉度均得到控制（见材料表），以消除无关变量的干扰。

可用性测试包含两个条件：基于智能手机的增强现实（AR）应用程序（补充图 1）和一个网站（补充图 2）。AR 应用程序基于 AR 引擎进行编程，网站则使用 Python 开发，前端基于 Bootstrap，后端基于 Flask。AR 应用程序和网站均在智能手机上运行和浏览。在两种不同品牌的矿泉水中，其中一种在 AR 条件下作为实验材料使用，另一种在网站条件下使用。

实验任务：要求参与者完成四项源自物联网应用情境的信息搜索任务：水质、储存温度、匹配的饮食以及每升价格。这四项信息是消费者在购买矿泉水时通常会关注的内容。参与者完成任务时无时间限制。

水的质量：矿泉水的质量通常包括两个指标：总溶解固体（TDS）和 pH 值。TDS 反映了矿物质含量，而 pH 值描述了水的酸碱性。这两个指标与矿泉水中所含的微量元素有关，并影响口感。例如，Bruvold 和 Ongerth 根据 TDS 含量将水的感官质量分为五个等级⁴¹。Marcussen 等人发现，当 TDS 在 100–400 mg/L 范围内时，水具有良好的感官品质⁴²。本研究中使用的两个品牌矿泉水的 TDS 和 pH 值分别通过 TDS 仪和 pH 计进行测定，随后在 AR 应用程序和网站中标注。在执行任务时，参与者需报告矿泉水的 TDS 和 pH 值，并确认这些数值是否处于标称范围内。在 AR 条件下，参与者可通过扫描水瓶获取这些信息；在网站条件下，参与者需完成四个步骤：（1）在矿泉水瓶背面找到一个数字编码，（2）将该数字编码输入查询框以获取该矿泉水的 TDS 和 pH 值，（3）在网站上查找矿泉水的标称范围，（4）口头报告 TDS 和 pH 值是否处于该产品的标称范围内。

储存温度：在运输和储存过程中，由于温度变化，矿泉水的质量可能会下降。实验表明，矿泉水在运输和储存期间的适宜温度范围为 5 °C 至 25 °C。在此温度范围内，水不会产生异味⁴³。在本实验中，两种矿泉水在不同地点的储存温度均标注在 AR 应用程序和网站上。参与者在执行任务时，需报告水的储存位置及其对应的温度。在 AR 条件下，参与者可通过扫描水瓶获取该信息；在网站条件下，参与者可通过将数字编码输入查询框来获取该信息。

饮食搭配：由于不同品牌的矿泉水具有独特的矿物质成分和气泡含量，因此适用于不同的菜单⁴⁴。在本实验中，两种矿泉水的饮食建议在增强现实（AR）应用程序和网站上进行了标注。参与者在执行任务时，需报告矿泉水与菜单中食物的搭配情况。在AR条件下，参与者可通过扫描水瓶获取该信息；在网站条件下，参与者可通过网站搜索获得该信息。

每升价格：目前，中国矿泉水瓶上的标签未标示每升价格信息，这使得消费者难以区分不同种类矿泉水的单价差异。因此，本实验要求参与者报告每升价格。在增强现实（AR）应用条件下，参与者可通过扫描水瓶直接获取每升价格；在网页条件下，参与者可根据标签上的单价和净含量自行计算该信息。

本研究采用组内设计，参与者纳入与排除标准详见表1。共有40名参与者完成了实验（20名男性和20名女性，平均年龄为21.31 ± 1.16岁）。所有参与者均为江苏科技大学的本科生，并被随机分为两组（A组和B组）。为避免顺序效应，两组间的实验顺序进行了交叉平衡（A/B）。具体而言，一组先进行增强现实（AR）条件下的实验，随后进行网站条件下的实验；另一组则先进行网站条件下的实验，再进行AR条件下的实验。参与者需完成实验前准备、佩戴仪器并执行实验任务。两次实验之间的间隔设为10秒，以使皮层激活恢复至基线水平，避免对后续任务产生交叉影响。在AR/网站实验结束后，参与者需完成可用性问卷和NASA-TLX量表。实验流程图见图1，实验装置照片见图2。

表1：本研究的纳入与排除标准。 请点击此处下载该表格。

图1：实验流程图。 每次实验持续约45分钟，任务之间有10秒的休息时间。 请点击此处查看此图的放大版本。

图 2：实验场景示例设置。展示了实验材料、受试者及实验设备。请点击此处查看该图的放大版本。

方案

本研究遵循赫尔辛基宣言的原则进行。所有参与者均被告知实验的目的和安全性，并在参与前签署了知情同意书。本研究已获得江苏科技大学机构审查委员会的批准。

1. 实验步骤

1. 实验准备
   1. 向参与者说明知情同意书内容，并请其签署同意书。
   2. 对参与者进行色觉测试，确认其具有正常的颜色辨别能力。
   3. 向参与者展示30个矿泉水品牌，请其选出熟悉的品牌，以确保其对实验中使用的矿泉水品牌不熟悉。
   4. 向参与者介绍实验流程。
   5. 使用与本研究不同的矿泉水品牌对参与者进行预实验，确保其熟悉增强现实（AR）和网站操作。
   6. 指导A组每位参与者先进行AR实验，再进行网站实验；指导B组每位参与者先进行网站实验，再进行AR实验。
2. 佩戴仪器
   1. fNIRS探头
      1. 使用皮肤准备凝胶清洁参与者前额皮肤（参见材料表）。
      2. 在出汗较多的情况下，用塑料薄膜包裹探头（参见材料表），并使用黑色头带根据国际10-20系统将探头固定在FP1和FP2位置⁴⁵。使用黑色头巾覆盖探头，以避免环境光干扰并提高信号质量。
      3. 实验结束后，使用70%异丙醇擦拭垫清洁探头的发射端和接收端。
   2. 眼动仪：使用眼动追踪眼镜在真实环境中捕捉眼动数据（参见材料表）。根据需要，通过磁性方式将处方镜片安装在眼动追踪眼镜的头戴单元上，确保参与者在视力矫正后可自由走动。
      ​注意：由于眼动追踪眼镜并非设计用于与普通眼镜配合使用，佩戴眼镜的参与者可通过选用可选的处方镜片来矫正近视或远视，仍可参与本研究。参与者也可佩戴普通隐形眼镜，因为尽管可能略微增加噪声，但通常不会引入数据误差。参与者不得使用改变瞳孔或虹膜外观的彩色镜片或其他类型镜片。

2. 测量方法

1. fNIRS
   1. 打开记录软件（参见 材料表）。将探头连接到笔记本电脑 通过 蓝牙适配器，然后记录氧合血红蛋白浓度的变化（O₂通过笔记本电脑以10 Hz的采样频率测量参与者前额叶皮层中的Hb。
   2. 检查接收到的光强度和组织饱和度指数（TSI）质量以控制数据质量。确保接收到的信号位于1%至95%之间。
   3. 确保受试者舒适地坐在椅子上，在正式实验开始前保持静息状态2分钟，以采集基线数据。
   4. 点击 开始 单击软件界面上的按钮以记录fNIRS数据。
2. 眼动追踪
   1. 设置眼动追踪眼镜的硬件设备。将眼动追踪眼镜的USB插头连接到笔记本电脑的USB端口。打开录制软件（参见 材料表）并将采样频率设置为 120 Hz。
   2. 校准：执行单点校准。要求受试者注视视野中一个清晰可辨的物体，距离为0.6米。在场景视频中将十字光标移至受试者注视的物体上，然后点击该物体。
   3. 按压 记录 单击软件界面上的按钮以开始录制。
3. 问卷与量表：在参与者完成增强现实（AR）/网站任务后，向其发放可用性问卷和NASA-TLX量表。

3. 数据分析

1. fNIRS 数据处理
   1. 根据修正的比尔-朗伯定律⁴⁶，将fNIRS记录软件获得的光密度值转换为浓度（μmol）。
   2. 对原始数据进行0.5 Hz低通滤波，以去除心搏和呼吸等系统性噪声。
   3. 通过剔除超出整个时间序列均值三个标准差以上的数据片段，检查并校正运动伪迹⁴⁷。
   4. 导出AR和网站条件下的fNIRS平均值和最大值数据，并从基线数据中减去这些值。
2. 眼动追踪数据处理
   1. 导出参与者的注视频率（次/秒）、总注视时间（毫秒）、平均注视时间（毫秒）、扫视频率（次/秒）、平均扫视时间（毫秒）以及平均扫描路径长度（像素/秒）。
3. 统计分析
   1. 在显著性水平0.05下进行双尾检验。使用Shapiro-Wilk检验检查数据正态性，并进行差异检验。采用错误发现率（FDR）方法对p值进行多重比较校正。
      注：进行差异检验时，符合正态分布的数据采用配对样本t-检验分析，不符合正态分布的数据采用Wilcoxon符号秩检验分析。

结果

本研究的代表性结果包括可用性问卷结果、眼动追踪数据分析、NASA-TLX量表数据、fNIRS数据分析以及动态认知负荷变化。对于可用性问卷结果、眼动追踪数据分析、NASA-TLX量表数据和fNIRS数据分析，均进行了正态性检验和差异性检验。针对动态认知负荷变化，本研究选取了一名受试者的fNIRS和眼动追踪数据，以展示多模态测量方法的有效性。

可用性问卷结果
可用性问卷中的各项指标均未遵循正态分布（表 2）。对可用性问卷中增强现实（AR）和网站的可靠性进行了检验，Cronbach's alpha 系数被认为可接受（Cronbach's alpha = 0.974）。

表2：可用性问卷的正态性检验。 可用性问卷中的各项均不服从正态分布。数据采用Wilcoxon符号秩检验进行分析。

讨论

实验方案中的关键步骤
在实验过程中，为确保结果的可靠性，采取了多个关键步骤。首先，排除了对实验所用矿泉水品牌熟悉的受试者，因为这些受试者可能会基于其品牌知识进行任务判断。其次，受试者在正式实验前完成了一次使用其他品牌矿泉水的预实验，以确保其熟悉增强现实（AR）系统和网站操作。第三，在佩戴功能性近红外光谱（fNIRS）探头时，使用黑色头巾覆盖探头，以避免环境光干扰并提高信号质量。第四，佩戴隐形眼镜的受试者不得使用彩色或其他可能改变瞳孔或虹膜外观的镜片。第五，在正式实验开始前，要求受试者在椅子上保持舒适坐姿，静息 2 分钟以采集基线数据，该数据将用于fNIRS数据的基线校正⁴⁷。

修改与故障排除
本研究提出的实验范式可拓展至实际的商业应用。将认知神经科学方法应用于商业问题时，最大的挑战在于生态效度^48,49。采用移动脑/体成像技术的...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
AR 引擎	Unity Technologies	2020.3.1	AR 开发平台
AR 软件开发工具包	PTC	Vuforia Engine 9.8.5	AR 开发工具包
眼动仪（眼动追踪眼镜）	SMI, Germany	SMI ETG	头戴式眼动追踪 系统
眼动仪记录软件	SMI, Germany	iViewETG 软件	眼动仪记录软件
fNIRS 探头	Artinis Medical Systems BV, Netherlands	Artinis PortaLite	光源：发光二极管 波长：标准标称值 760 和 850 nm
fNIRS 软件	Artinis Medical Systems BV, Netherlands	OxySoft 3.2.70	fNIRS 数据记录与分析软件
矿泉水	Groupe Danone	Badoit	AR 条件下的实验材料   容量：330 ml 价格：6
矿泉水	Nestlé	Acqua Panna	网站条件下的实验材料 容量：250 ml 价格：5.4
皮肤准备凝胶	Weaver and Company	Nuprep	清洁受试者前额皮肤
智能手机	Xiaomi	Redmi K30 Ultra	基于智能手机的 AR 应用程序和网站