Waiting
Procesando inicio de sesión ...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

增强现实的可用性评估：神经信息系统研究

Published: November 30, 2022 doi: 10.3791/64667
Automatic Translation
*1, *1, 2,3,4, 5, 1, 1, 1
1Economics and Management School, Jiangsu University of Science and Technology, 2School of Health, Fujian Medical University, 3School of Management, Shanghai University, 4School of Management, Zhejiang University, 5Business School, La Trobe University
* These authors contributed equally

Summary

本研究提出了一种结合主观和客观评估的可用性测试的实验范式。客观评估采用神经信息系统（NeuroIS）方法，主观评估采用可用性问卷和NASA任务负荷指数（NASA-TLX）量表。

Abstract

本研究介绍了管理信息系统（MIS）中新兴技术可用性测试的实验范式。可用性测试包括主观和客观评估。对于主观评估，采用了可用性问卷和NASA-TLX量表。为了进行客观评估，使用了神经信息系统（NeuroIS）的方法。从NeuroIS的角度来看，本研究使用移动fNIRS和眼动追踪眼镜进行多模态测量，解决了真实世界行为实验中使用的认知神经科学工具的生态有效性问题。这项研究使用集成到物联网（IoT）中的增强现实（AR）作为实验对象。比较两种信息搜索模式（AR与网站）在神经影像数据、生理数据、可用性问卷和NASA-TLX量表数据方面的差异，AR信息搜索在消费决策过程中与网站信息搜索相比，效率更高，认知负荷更低。可用性实验结果表明，AR作为零售业的新兴技术，可以有效提升消费者体验，增加消费者购买意愿。本研究中结合主观和客观评估的实验范式可以应用于新兴技术的可用性测试，例如增强现实、虚拟现实、人工智能、可穿戴技术、机器人和大数据。它为采用新兴技术的人机交互中的用户体验提供了实用的实验解决方案。

Introduction

以增强现实、虚拟现实、人工智能、可穿戴技术、机器人和大数据为代表的六种与消费者互动的前沿技术正在重塑消费者行为的许多理论模型1。增强现实（AR）是一项新技术，可以增强消费者体验并提高消费者满意度。它将文本信息、图像、视频等虚拟物品叠加到真实场景中，融合虚拟与现实，从而通过解释、引导、评估和预测来增强现实世界中的信息2.AR提供了一种新型的人机交互，为消费者创造了身临其境的购物体验，并导致了许多应用的发展3,4。然而，消费者对AR服务的接受度仍然很低，因此许多公司对采用AR技术持谨慎态度5,6。技术接受模型（TAM）已被广泛用于解释和预测新信息技术的采用行为7,8。根据TAM的说法，新技术的采用意图在很大程度上取决于其可用性9。因此，从TAM的角度来看，消费者对AR服务的接受速度缓慢的可能解释可能与新技术的可用性有关，这突出了在购物时评估AR可用性的必要性10,11。

可用性被定义为指定用户在指定上下文中实现指定目标的有效性、效率和满意度12.目前，评估可用性有两种主要方法：主观评估和客观评估13.主观评价主要依靠使用问卷和量表的自我报告方法。根据这一研究思路，本研究中使用的问卷包括与信息搜索模式相关的五个特征，以实现目标：（1）效率，（2）易用性，（3）记忆力（易于记忆），（4）满意度（信息搜索模式舒适愉快），以及（5）对其他对象的普遍性14,15,16.此外，认知负荷，表示在学习者17的认知系统上执行特定任务时的负荷，是可用性的另一个核心指标18,19。因此，这项研究还使用了NASA任务负荷指数（NASA-TLX）13,20作为主观指标来衡量使用AR购物与使用网站服务购物时的认知负荷。值得注意的是，自我报告方法依赖于个人准确报告其态度和/或先前行为的能力和意愿21，从而留下了错误报告，少报或偏见的可能性。因此，客观措施可以作为传统主观方法的宝贵补充22.

神经信息系统（NeuroIS）方法用于客观评估AR的可用性。NeuroIS由Dimoka等人在2007年ICIS会议上创造，在信息系统（IS）领域引起了越来越多的关注23。NeuroIS使用认知神经科学的理论和工具来更好地了解IS技术的发展，采用和影响24,25。迄今为止，认知神经科学工具，如功能磁共振成像（fMRI），脑电图（EEG），正电子发射计算机断层扫描，脑磁图（MEG）和功能近红外光谱（fNIRS），通常用于NeuroIS研究26,27。例如，Dimoka和Davis使用fMRI来测量受试者与网站互动时的激活，并揭示了感知易用性会影响前额叶皮层（PFC）的激活28。同样，使用脑电图，Moridis等人发现额叶不对称与有用性密切相关29。这些结果表明，PFC可能在可用性中起关键作用。

尽管在以前的NeuroIS研究中已经取得了成就，但这些研究中使用的范式限制了生态有效性低的受试者的身体运动，限制了他们的理论和实践贡献。在购物时与AR等技术互动需要自由的身体运动，而主题限制在很大程度上损害了消费者体验，如He等人22所讨论的那样。因此，需要具有高生态有效性的脑成像工具进行信息系统的可用性测试。在这方面，fNIRS具有独特的技术优势：在fNIRS实验中，受试者可以在一定程度上自由移动30 。例如，以前的研究已经测量了受试者在几种户外活动中的大脑激活，例如使用便携式fNIRS31骑自行车。此外，fNIRS成本低廉，能够长时间测量大脑激活32。在这项研究中，fNIRS用于客观地测量受试者在使用AR与网站的购物服务时的认知负荷水平。

近年来，眼动追踪已成为一种有价值的心理生理学技术，用于在可用性测试中检测用户的视觉注意力33，并且还广泛用于NeuroIS研究34。该技术依赖于眼睛 - 心灵假设，该假设观察者的焦点到达注意力所指向的地方，视觉注意力代表心理过程，视觉注意力模式反映人类认知策略35,36,37。在AR研究领域，Yang等人使用眼动追踪发现AR广告通过增加消费者的好奇心和注意力来改善消费者对广告的态度38。在目前的研究中，眼动追踪用于测量受试者的注意力，包括总注视持续时间、平均注视持续时间、注视频率、扫视频率、平均扫视持续时间和平均扫描路径长度等参数。

综上所述，本研究提出了一种以AR应用相结合的主观客观评价的可用性测试方法。使用可用性问卷和NASA-TLX量表进行主观评估，并使用fNIRS和眼动追踪相结合的多模态测量进行客观评估39,40。

试验设计
实验材料：为了模拟现实生活中的购物环境，在实验室中搭建了一个产品架，并在货架上放置了两种不同品牌的矿泉水作为实验材料。选择矿泉水作为必需品，是因为参与者不会因职业背景、性别和购买能力而在主观评估中产生偏见。控制品牌的价格、产能和熟悉度（见 材料表），以消除不相关变量的干扰。

可用性测试包括两个条件：基于智能手机的AR应用程序（补充图1）和网站（补充图2）。AR应用程序是基于AR引擎编程的。该网站是使用Python开发的，前端基于Bootstrap，后端基于Flask。AR应用程序和网站在智能手机上运行和浏览。在两种不同品牌的矿泉水中，一种在AR条件下用作实验材料，另一种在网站条件下使用。

实验任务：参与者被要求执行来自物联网应用环境的四个信息搜索任务：水质、储存温度、匹配饮食和每升价格。这四个信息项是消费者在购买矿泉水时通常会注意的。参与者完成任务没有时间限制。

水质：矿泉水的质量通常包括两个指标：总溶解固体（TDS）和pH值。TDS反映矿物质含量，pH值描述水的酸度/碱度。这两个指标与矿泉水中含有的微量元素有关，影响口感。例如，Bruvold和Ongerth根据其TDS含量41将水的感官质量分为五个等级。Marcussen等人发现，水具有良好的感官品质，范围为100-400毫克/升TDS42。本研究中使用的两个品牌矿泉水的TDS和pH值分别使用TDS和pH计测量，然后在AR应用程序和网站上标记。在执行任务时，参与者需要报告矿泉水的TDS和pH值，并确认这些值是否在标称范围内。在AR条件下，参与者可以通过扫描瓶装水来获取此信息。在网站条件下，参与者需要执行四个步骤：（1）在矿泉水瓶背面找到数字代码，（2）在查询框中输入数字代码以获取矿泉水的TDS和pH值，（3）在网站上搜索矿泉水的标称范围，以及（4）口头报告TDS和pH值是否在产品的标称范围内。

储存温度：由于温度的变化，矿泉水的质量在运输和储存过程中可能会下降。实验表明，矿泉水在运输和储存过程中的适宜温度在5°C至25°C之间。在这个温度范围内，水没有难闻的气味43。在本实验中，在AR应用程序和网站上标记了两种矿泉水在不同地方的储存温度。在执行任务时，参与者需要报告水的储存位置和相应的温度。在AR条件下，参与者可以通过扫描瓶装水来获取此信息。在网站条件下，参与者可以通过在查询框中输入数字代码来获取此信息。

搭配饮食：不同品牌的矿泉水因其独特的矿物质成分和气泡含量而适合不同的菜单44.在本实验中，两种矿泉水的饮食建议在AR应用程序和网站上进行了标记。在执行任务时，参与者被要求报告矿泉水如何与菜单中的食物相匹配。在AR条件下，参与者可以通过扫描水瓶来获取此信息。在网站条件下，参与者可以在网站上搜索此信息。

每升价格：目前，中国矿泉水瓶上的标签不显示每升价格信息。这使得消费者难以区分不同类型矿泉水的单价差异。因此，本实验要求参与者报告每升价格。在AR应用程序中，参与者可以通过扫描瓶装水直接获得每升的价格。在网站条件下，可以根据标签上的单价和数量计算信息。

本研究采用受试者内设计，受试者纳入和排除标准如 表1所述。共有40名参与者完成了实验（20名男性和20名女性，平均年龄= 21.31±1.16岁）。所有参与者均为江苏科技大学本科生，随机分为两组（A组和B组）。为了避免顺序效应，实验顺序在两组之间进行了平衡（A / B）。具体来说，一组先执行AR条件，然后执行网站条件，而另一组先执行网站，然后执行AR条件。参与者被要求完成实验准备，佩戴仪器，并执行实验任务。实验间隔设置为10 s，以允许皮质激活恢复到基线水平，避免后续任务中的交叉影响。在AR/网站实验结束时，参与者被要求完成可用性问卷和NASA-TLX量表。实验流程图如图 1所示。实验设置的照片如图 2所示。

表1：研究的纳入和排除标准。请按此下载此表格。

Figure 1
图 1：实验流程图。每个实验持续~45分钟，任务之间的休息时间为10秒。请点击此处查看此图的大图。

Figure 2
图 2：实验场景的示例设置。 展示了实验材料、参与者和设备。 请点击此处查看此图的大图。

Subscription Required. Please recommend JoVE to your librarian.

Protocol

这项研究是根据《赫尔辛基宣言》的原则进行的。所有参与者都被告知实验的目的和安全性，并在参与前签署了知情同意书。本研究获得江苏科技大学院校评审委员会的批准。

1. 实验程序

  1. 实验准备
    1. 向参与者解释知情同意书，并要求他们签署同意书。
    2. 对参与者进行色觉测试，以确认他们的颜色辨别力正常。
    3. 向参与者展示30个矿泉水品牌，并要求他们选择他们熟悉的品牌，以确保他们不熟悉实验中使用的矿泉水品牌。
    4. 向参与者介绍实验的程序。
    5. 对使用研究中使用的矿泉水品牌以外的矿泉水品牌的参与者进行预实验，并确保他们熟悉AR和网站操作。
    6. 指导A组的每个参与者首先进行AR实验，然后再进行网站实验。指导B组的每个参与者首先进行网站实验，然后再进行AR实验。
  2. 穿戴仪器
    1. 近红外光谱探头
      1. 用皮肤制备凝胶清洁参与者的前额皮肤（见 材料表）。
      2. 将探头（见 材料表）包裹在保鲜膜中，以防出汗。根据带有黑色头带的国际 10-20 系统将探头固定在 FP1 和 FP2 位置45。使用黑色头巾覆盖探头，以保护它们免受环境光的影响并提高信号质量。
      3. 完成实验后，使用70%异丙醇垫清洁探针的发射器和接收器。
    2. 眼动仪：使用眼动追踪眼镜捕捉真实环境中的眼动（参见 材料表）。将处方镜片磁性地安装在眼动追踪眼镜的头部单元上（如果需要），并确保参与者可以在矫正视力的情况下自由走动。
      注意：由于眼动追踪眼镜不是为与标准眼镜配合使用而设计的，因此佩戴眼镜的参与者仍可能通过使用可选的处方镜片来矫正近视或远视，从而被纳入研究。参与者也可以佩戴标准隐形眼镜，因为尽管它们可能会略微增加噪音，但它们通常不会在数据中引入错误。参与者不能使用改变瞳孔或虹膜外观的有色镜片或其他镜片。

2. 措施

  1. 近红外光谱
    1. 打开录音软件（见 材料表）。通过蓝牙适配器将探针连接到笔记本电脑，然后 通过 笔记本电脑记录参与者前额叶皮层中氧合血红蛋白（O 2Hb）浓度的变化，采样频率为10 Hz。
    2. 检查接收到的光强度和组织饱和指数（TSI）质量以控制数据质量。确保接收到的信号位于 1% 到 95% 之间。
    3. 确保参与者以舒适的姿势坐在椅子上并保持休息状态2分钟，以在实际实验之前收集基线数据。
    4. 单击软件界面上的 “开始 ”按钮以记录fNIRS数据。
  2. 眼动追踪
    1. 设置眼动追踪眼镜的硬件。将眼动追踪眼镜的 USB 插头连接到笔记本电脑上的 USB 端口。打开录音软件（见 材料表）并将采样频率设置为 120 Hz。
    2. 校准：执行单点校准。要求参与者将焦点集中在0.6米处视野中清晰可辨的物体上。将十字准线光标移动到对象上，参与者在场景视频中聚焦该对象，然后单击该对象。
    3. 按 记录 软件界面上的按钮开始录制。
  3. 问卷和量表：在参与者完成AR/网站的任务后，向他们展示可用性问卷和NASA-TLX量表。

3. 数据分析

  1. 近红外光谱数据处理
    1. 根据修改后的比尔-朗伯定律46，将从 fNIRS 记录软件获得的光密度值转换为浓度 （μmol）。
    2. 以低通 0.5 Hz 过滤原始数据，以消除心跳和呼吸等系统噪声。
    3. 通过删除超过整个时间序列47 的三个标准偏差的数据段来检查并校正运动伪影的数据。
    4. 导出AR和网站条件下的平均值和最大fNIRS数据，然后从基线数据中减去它们。
  2. 眼动追踪数据处理
    1. 导出参与者的注视频率（计数/秒）、总注视时间（毫秒）、平均注视时间（毫秒）、扫视频率（计数/秒）、平均扫视时间（毫秒）和平均扫描路径长度（px/s）。
  3. 统计分析
    1. 执行显著性水平为 0.05 的双尾检验。使用夏皮罗-威尔克检验检查数据正态性并执行差分检验。使用错误发现率 （FDR） 方法对 p 值执行多个比较校正。
      注意：在执行差分检验时，使用成对样本 t 检验分析服从正态分布的数据，并使用 Wilcoxon 符号秩检验分析不服从正态分布的数据。

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

本研究的代表性结果包括可用性问卷结果、眼动追踪数据分析、NASA-TLX量表数据、fNIRS数据分析、动态认知负荷变化等。对于可用性问卷结果，进行了眼动追踪数据分析、NASA-TLX量表数据和fNIRS数据分析、正态性检验和差异检验。对于动态认知负荷变化，本研究选择了来自单个参与者的fNIRS和眼动追踪数据，以证明多模态测量的有效性。

可用性问卷结果
可用性问卷中没有一个项目服从正态分布（表2）。在可用性问卷中测试了AR和网站的可靠性，Cronbach的alpha分数被认为是可以接受的（Cronbach的alpha = 0.974）。

表 2：可用性问卷的正态性检验。 可用性调查问卷中没有一个项目服从正态分布。使用Wilcoxon符号秩检验分析数据。 请按此下载此表格。

AR和网站之间可用性问卷的中位数差异得分如表3所示。AR和网站条件的数据分布如图3所示。AR和网站条件之间存在显着差异，AR的中位数得分高于网站。结果表明，参与者在AR条件下的用户体验比在网站条件下更好。

表3：AR和网站条件之间可用性问卷的中位数差异得分。 AR的得分中位数明显高于网站。 请按此下载此表格。

Figure 3
图 3：可用性调查问卷的数据分布。 可用性调查问卷的数据分布示意图。 请点击此处查看此图的大图。

眼动追踪数据分析
所有眼动追踪指标均进行了正常性测试，结果如 表4所示。在任务1和3中，只有注视频率服从正态分布，而所有其他指标不服从正态分布。在任务2中，注视频率和扫视频率服从正态分布，但其余指标不服从正态分布。对于任务 4，只有扫视频率服从正态分布。在比较AR和网站条件之间的差异时，根据正态性/非正态性分别报告数据。 表5 显示了任务1（水质）中AR和网站条件之间眼动追踪指标的差异。AR和网站条件之间的所有眼动追踪指标均存在显著差异， p < 0.001。AR条件下的平均注视持续时间明显长于网站条件（中位AR = 586.85，四分位距（IQR）= 482.55-714.6;网站中位数 = 398.05，IQR = 362.775-445.275）。AR条件下的其他指标明显低于网站条件。

表4：眼动追踪指标的正态性检验。 使用成对样本 t检验分析服从正态分布的眼动追踪数据，并使用Wilcoxon符号秩检验分析不服从正态分布的眼动追踪数据。 请按此下载此表格。

表5：任务1中AR和网站之间的眼动追踪指标差异。 AR和网站条件之间的所有眼动追踪指标存在显著差异， p < 0.001。AR组的平均注视持续时间显著长于网站条件下（中位AR =586.85，四分位距（IQR）=482.55-714.6;中位数网站 = 398.05，IQR = 362.775-445.275）。AR中的其他指标明显低于网站状况。 请按此下载此表格。

表6 显示了任务2（存储温度）中AR和网站条件之间眼动追踪指标的差异。所有眼动追踪指标在AR和网站条件之间均存在显著差异， p <0.001。AR条件下的平均注视持续时间明显长于网站条件（中位AR = 477.2，IQR = 398.675-596.575;中位数网站 = 397.1，IQR = 353.35-451.075）。AR条件下的其他指标明显低于网站条件。

表6：任务2中AR和网站之间的眼动追踪指标差异。 AR和网站条件的所有眼动追踪指标差异均有统计学意义， p <0.001。AR的平均注视持续时间明显长于网站条件（中位AR = 477.2，IQR = 398.675-596.575;网站 中位数 = 397.1，IQR = 353.35-451.075）。AR中的其他指标明显低于网站状况。 请按此下载此表格。

表7 显示了任务3（匹配饮食）中AR和网站条件之间眼动追踪指标的差异。AR和网站条件的所有眼动追踪指标均存在显著差异， p < 0.001。AR条件下的平均注视持续时间明显长于网站条件（中位AR=420.45，IQR = 352.275-467.8;中位数网站 = 360.6，IQR = 295-399.075）。AR条件下的其他指标明显低于网站条件。

表7：AR和任务3中网站之间的眼动追踪指标差异。 AR和网站条件的所有眼动追踪指标均存在显著差异， p < 0.001。AR的平均注视持续时间明显长于网站条件（中位AR = 420.45，IQR = 352.275-467.8;中位数网站 = 360.6，IQR = 295-399.075）。AR中的其他指标明显低于网站状况。 请按此下载此表格。

表8 显示了任务4（每升价格）中AR和网站条件之间的眼动追踪指标差异。AR和网站条件的所有眼动追踪指标均存在显著差异， p < 0.001。AR条件下的平均注视持续时间明显长于网站条件（中位AR=495.25，IQR = 404.8-628.65;中位数网站 = 263.1，IQR = 235.45-326.2）。然而，AR条件下的其他指标明显低于网站条件。

表8：任务4中AR和网站之间眼动追踪指标的差异。 AR和网站条件的所有眼动追踪指标均存在显著差异， p < 0.001。AR的平均注视持续时间显著长于网站条件（中位AR = 495.25，IQR = 404.8-628.65;中位数网站 = 263.1，IQR = 235.45-326.2）。AR中的其他指标明显低于网站状况。 请按此下载此表格。

对于视觉搜索任务，较低的眼动追踪指标与较高的信息搜索效率相关（平均注视持续时间除外）。综上所述，眼动追踪数据表明，参与者在使用AR时比使用网站时具有更高的信息搜索效率。

NASA-TLX规模数据
NASA-TLX量表的所有项目均不遵循正态分布（表9）。克朗巴赫的阿尔法得分被认为是可以接受的（克朗巴赫的阿尔法= 0.924）。

表9：NASA-TLX量表的正态性检验。 NASA-TLX量表的所有项目都没有遵循正态分布。使用Wilcoxon符号秩检验分析数据。请按此下载此表格。

NASA-TLX量表在AR和网站条件之间的中位数差异得分如 表10所示。AR和网站状况的数据分布如图 4所示。在AR和网站条件之间观察到显着差异。AR条件下的NASA-TLX量表得分低于网站条件，表明AR技术导致的认知负荷低于网站。

表10：AR和网站之间NASA-TLX量表的中位数差异得分。AR条件的NASA-TLX量表得分明显低于网站条件。请按此下载此表格。

Figure 4
图4：NASA-TLX量表的数据分布。 NASA-TLX量表数据分布示意图。 请点击此处查看此图的大图。

近红外光谱数据分析
对平均O2Hb值进行正态性测试，结果如表11所示。在比较AR和网站条件之间的差异时，根据正态性/非正态性分别报告数据。AR和网站条件之间平均O2Hb的差异如表12所示。当参与者执行任务1（调整后p = 0.002），任务3（调整p = 0.007）和任务4（调整p<0.001）时，两个条件之间存在显着差异。在AR条件下执行的任务的平均O2Hb明显低于在网站条件下（任务1：平均AR = -1.012，SDAR = 0.472，平均网站= 0.63，SD网站= 0.529;任务 3：平均AR = -0.386，SDAR = 0.493，平均网站 = 1.12，SD网站 = 0.554;任务 4：平均AR = -0.46，SDAR = 0.467，平均网站 = 2.27，SD网站 = 0.576）。在执行任务 2 时，AR 和网站条件之间的差异没有达到显着水平（调整后的 p = 0.154 > 0.05）。这些结果表明，参与者在使用AR技术时的认知负荷低于使用网站时。

表11：平均O2Hb的正态性检验。 使用配对样本 t检验分析服从正态分布的fNIRS数据，并使用Wilcoxon符号秩检验分析不服从正态分布的fNIRS数据。 请按此下载此表格。

表12：AR和网站之间平均O2Hb的差异。 当参与者执行任务1（调整p = 0.002），任务3（调整p = 0.007）和任务4（调整p <0.001）时，两个条件之间存在显着差异。在AR条件下执行的任务的平均O2Hb明显低于在网站条件下（任务1：平均AR = -1.012，SDAR = 0.472，平均网站= 0.63，SD网站= 0.529;任务 3：平均AR = -0.386，SDAR = 0.493，平均网站 = 1.12，SD网站 = 0.554;任务 4：平均AR = -0.46，SDAR = 0.467，平均网站 = 2.27，SD网站 = 0.576）。在执行任务 2 时，AR 和网站条件之间的差异没有达到显着水平（调整后的 p = 0.154 > 0.05）。请按此下载此表格。

动态认知负荷变化
图5显示了参与者在网站条件下执行任务4时O2Hb浓度的变化。在第 1 点，参与者在计算每升价格时遇到困难。强烈的搜索过程导致O2Hb浓度增加，这表明瞬时负荷增加。当参与者收到提示时，O 2 Hb浓度下降到第2点，瞬时负荷在该时刻达到谷值。然后，参与者开始努力计算每升的价格，并希望尽快完成任务。在这种情况下，O2Hb浓度继续增加并达到最大值（第3点）。综上所述，眼动追踪和fNIRS的多模态测量可以有效地测量认知负荷在与信息系统交互时的动态变化，也可以检查消费者行为的个体差异。

Figure 5
图 5：fNIRS 瞬时负载。 使用fNIRS瞬时载荷的动态认知负荷变化示意图。 请点击此处查看此图的大图。

以AR集成到物联网中的四项任务为例，将NeuroIS方法与主观评估方法相结合。实验结果表明：（1）对于可用性问卷，参与者在AR条件下的主观评价优于网站条件（表3和图3）;（2）对于眼动追踪数据，参与者使用AR时的信息搜索效率高于使用网站时（表5、表6、表7和表8）;（3）对于NASA-TLX量表数据和fNIRS数据，AR技术导致认知负荷低于网站（表10和表12）;（4）对于动态认知负荷，眼动追踪和fNIRS的多模态测量可以有效测量认知负荷在与信息系统交互时的动态变化，也可以检查消费者行为的个体差异（图5）。通过使用可用性问卷和NASA-TLX量表比较AR和网站条件之间神经影像数据，生理数据和自我报告数据的差异，AR技术可以提高信息搜索效率并减少购物过程中的认知负荷。因此，作为一种新兴的零售技术，AR可以有效提升消费者的用户体验，进而增加他们的购买意愿。

补充图1：研究中使用的AR应用程序上显示的信息屏幕截图。 请点击此处下载此文件。

补充图2：研究中使用的网站上显示的信息屏幕截图。 请点击此处下载此文件。

Subscription Required. Please recommend JoVE to your librarian.

Discussion

协议中的关键步骤
在实验过程中，考虑了几个步骤以确保结果的可靠性。首先，熟悉实验中使用的矿泉水品牌的参与者被排除在外，因为这些参与者会根据他们对品牌的了解来执行任务。其次，参与者使用其他品牌的矿泉水完成了预实验，以确保参与者熟悉AR和网站操作。第三，佩戴fNIRS探头时，使用黑色头巾覆盖探头，以保护探头免受环境光照射并提高信号质量。第四，佩戴隐形眼镜的参与者不得使用会改变瞳孔或虹膜外观的有色镜片或其他镜片。第五，在真正的实验之前，要求参与者以舒适的姿势坐在椅子上并保持休息状态2分钟以收集基线数据，这些数据用于fNIRS数据的基线校正47。

修改和故障排除
本研究中提出的实验范式可以扩展到现实世界的商业应用。将认知神经科学方法应用于商业问题的最大挑战是生态有效性48,49。使用移动脑/身体成像的实验方案已经证明了解决这个问题的可行性50。Krampe等人使用便携式fNIRS在现实的杂货店购物场景中研究消费者行为，并提出了“购物者神经科学”的概念51。多模式方法大大提高了生态有效性。通过应用便携式fNIRS和眼动仪眼镜，这项研究首次在产品货架前使用不同的信息搜索模式来检查消费者的体验。通过实验，这项研究将NeuroIS的研究范围扩展到零售和购物场景，并使研究人员能够更好地了解认知过程。应该注意的是，在现实生活中的购物环境中，fNIRS测量可能会受到位置偏移和环境光的影响。因此，建议使用绷带、胶带和/或带子将探头很好地固定在参与者身上，并使用黑布覆盖组织和设备，以避免任何环境光的影响。

该技术的局限性
实验有一些局限性。首先，由于实验中使用了眼动仪，因此高度近视和散光的参与者被排除在实验之外。在这种情况下，该协议不能用于盲人或视障人士。其次，本研究仅考察视觉感官体验。未来的实验可能会扩展到其他感官渠道，如听觉和触觉。第三，本研究仅考察AR技术，其他新兴技术应在未来的研究中使用相同的实验范式进行评估。

相对于现有方法的重要性
本研究的意义体现在两个方面。首先，使用多模式方法客观评估可用性。如图5所示，由于眼动仪在购物过程中同时从参与者的角度记录视频，因此研究人员很容易将购物场景与fNIRS数据进行匹配。因此，这种采用多模态方法的实验技术不仅具有连续实时测量、生态效度高的优点，而且结合了不同技术的优势来识别购物场景中的动态变化。本研究为产品制造商改进产品设计、零售商优化产品货架布局以及消费者改善用户体验提供了有效的可用性测试方法。其次，本研究提出了一种客观和主观评价相结合的可用性测试方法。一些研究人员透露，自我报告方法可能会受到常见方法偏差（CMB）的影响52,53。由于认知神经科学的测量通常不太容易受到主观偏见，社会期望偏差和需求效应的影响，因此这些客观评估数据可以补充主观评估数据，并加强实验结果的稳健性25,34。梁等人采用脑电图和自我报告的方法，通过流量体验实验，考察了网站质量与用户满意度的关系。结果表明，认知神经科学方法降低了CMB53。在这项研究中，客观和主观评价相结合表明：（1）消费者更喜欢基于主观评价的AR购物条件;（2）基于眼动追踪数据的AR技术提高了视觉搜索效率和可用性;（3）基于fNIRS和NASA-TLX量表数据，AR技术降低了消费者的认知负荷，改善了他们的用户体验;（4）结合眼动追踪记录的视频信息，可以检查个体差异，更好地了解消费者行为的状态差异。

未来应用
本研究提出了一种在MIS中对新兴技术进行可用性测试的实验范式。可用性测试用于评估新兴技术在人机交互中的用户体验54.随着新兴技术（如增强现实、虚拟现实、人工智能、可穿戴技术、机器人和大数据）越来越多地用于MIS，可用性测试的实验范式可用于验证新兴技术对未来用户体验的技术优势。

综上所述，本研究提出了一种在MIS中结合主观和客观评价的实验范式，可以有效评价AR等新兴技术的可用性。

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

作者没有什么可透露的。

Acknowledgments

本研究得到了江苏省教育厅哲学社会科学研究项目（2018SJA1089）、江苏省政府海外研究奖学金（JS-2018-262）、浙江省自然科学基金（LY19G020018）和国家自然科学基金（72001096）的支持。

Materials

Name Company Catalog Number Comments
AR Engine Unity Technologies 2020.3.1 AR development platform
AR SDK PTC Vuforia Engine 9.8.5 AR development kit
Eye Tracker (eye tracking glasses) SMI, Germany SMI ETG Head-mounted eye tracking
system
Eye Tracker Recording software SMI, Germany iViewETG Software Eye Tracker Recording software
fNIRS probes Artinis Medical Systems BV, Netherlands Artinis PortaLite Light source: Light emitting diodes
Wavelengths: Standard nominal 760 and 850 nm
fNIRS software Artinis Medical Systems BV, Netherlands OxySoft 3.2.70 fNIRS data recording and analysis software
Mineral Water Groupe Danone Badoit  Experimental material in the AR condition   Capacity: 330ml
Price: Equation 16
Mineral Water Nestlé Acqua Panna Experimental material in the website condition Capacity: 250ml
Price: Equation 15.4
Skin Preparation Gel Weaver and Company Nuprep Clean the forehead skin of the participants
Smartphone Xiaomi Redmi K30 Ultra Smartphone-based AR application and website

DOWNLOAD MATERIALS LIST

References

  1. Ameen, N., Hosany, S., Tarhini, A. Consumer interaction with cutting-edge technologies: Implications for future research. Computers in Human Behavior. 120, 106761 (2021).
  2. Javornik, A. Augmented reality: Research agenda for studying the impact of its media characteristics on consumer behaviour. Journal of Retailing and Consumer Services. 30, 252-261 (2016).
  3. Caboni, F., Hagberg, J. Augmented reality in retailing: a review of features, applications and value. International Journal of Retail & Distribution Management. 47 (11), 1125-1140 (2019).
  4. Kumar, H. Augmented reality in online retailing: a systematic review and research agenda. International Journal of Retail & Distribution Management. 50 (4), 537-559 (2022).
  5. Yim, M. Y. C., Park, S. Y. I am not satisfied with my body, so I like augmented reality (AR): Consumer responses to AR-based product presentations. Journal of Business Research. 100, 581-589 (2019).
  6. Chylinski, M., et al. Augmented reality marketing: A technology-enabled approach to situated customer experience. Australasian Marketing Journal. 28 (4), 374-384 (2020).
  7. Davis, F. D. A Technology Acceptance Model for Empirically Testing New End-User Information Systems: Theory and Results. , Massachusetts Institute of Technology. Doctoral dissertation (1985).
  8. Venkatesh, V., Morris, M. G., Davis, G. B., Davis, F. D. User acceptance of information technology: Toward a unified view. MIS Quarterly. 27 (3), 425-478 (2003).
  9. Davis, F. D. Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly. 13 (3), 319-340 (1989).
  10. Chen, R., Perry, P., Boardman, R., McCormick, H. Augmented reality in retail: a systematic review of research foci and future research agenda. International Journal of Retail & Distribution Management. 50 (4), 498-518 (2022).
  11. Poushneh, A., Vasquez-Parraga, A. Z. Discernible impact of augmented reality on retail customer's experience, satisfaction and willingness to buy. Journal of Retailing and Consumer Services. 34, 229-234 (2017).
  12. ISO. ISO 1998. Ergonomic requirements for office work with visual display terminals (VDTs)-Part 11: guidance on usability. ISO. , (2022).
  13. Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
  14. Tullis, T., Albert, B. Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. , Morgan Kaufmann. Amsterdam, Boston. (2008).
  15. Shneiderman, B., Plaisant, C., Cohen, M., Jacobs, S. M., Elmqvist, N. Designing the User Interface: Strategies for Effective Human-Computer Interaction. , Pearson. Boston. (2017).
  16. Morillo, P., Orduña, J. M., Casas, S., Fernández, M. A comparison study of AR applications versus pseudo-holographic systems as virtual exhibitors for luxury watch retail stores. Multimedia Systems. 25 (4), 307-321 (2019).
  17. Paas, F. G., Van Merriënboer, J. J. Instructional control of cognitive load in the training of complex cognitive tasks. Educational Psychology Review. 6 (4), 351-371 (1994).
  18. Ismail, R., Fabil, N., Saleh, A. Extension of pacmad model for usability evaluation metrics using goal question metrics (Gqm) approach. Journal of Theoretical and Applied Information Technology. 79 (1), 90-100 (2015).
  19. Fan, X., Chai, Z., Deng, N., Dong, X. Adoption of augmented reality in online retailing and consumers' product attitude: A cognitive perspective. Journal of Retailing and Consumer Services. 53, 101986 (2020).
  20. Hart, S. G., Staveland, L. E. Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research. Advances in Psychology. 52, 139-183 (1988).
  21. Petty, R. E., Cacioppo, J. T., Schumann, D. Central and peripheral routes to advertising effectiveness: The moderating role of involvement. Journal of Consumer Research. 10 (2), 135-146 (1983).
  22. He, L., Pelowski, M., Yu, W., Liu, T. Neural resonance in consumers' right inferior frontal gyrus predicts attitudes toward advertising. Psychology & Marketing. 38 (9), 1538-1549 (2021).
  23. Riedl, R., Fischer, T., Léger, P. M., Davis, F. D. A decade of NeuroIS research: Progress, challenges, and future directions. ACM SIGMIS Database: the DATA BASE for Advances in Information Systems. 51 (3), 13-54 (2020).
  24. Vom Brocke, J., Liang, T. P. Guidelines for Neuroscience Studies in Information Systems Research. Journal of Management Information Systems. 30 (4), 211-234 (2014).
  25. Dimoka, A., Pavlou, P. A., Davis, F. NeuroIS: The potential of cognitive neuroscience for information systems research. Information Systems Research. 22 (4), 687-702 (2011).
  26. de Guinea, A. O., Titah, R., Léger, P. M. Explicit and implicit antecedents of users' behavioral beliefs in information systems: A neuropsychological investigation. Journal of Management Information Systems. 30 (4), 179-210 (2014).
  27. Dimoka, A. How to conduct a Functional Magnetic Resonance (fmri) study in social science research. MIS Quarterly. 36 (3), 811-840 (2012).
  28. Dimoka, A., Davis, F. D. Where does TAM reside in the brain? The neural mechanisms underlying technology adoption. ICIS 2008 Proceedings. , 1-19 (2008).
  29. Moridis, C. N., Terzis, V., Economides, A. A., Karlovasitou, A., Karabatakis, V. E. Using EEG frontal asymmetry to predict IT user's perceptions regarding usefulness, ease of use and playfulness. Applied Psychophysiology and Biofeedback. 43 (1), 1-11 (2018).
  30. Pinti, P., et al. A review on the use of wearable functional near-infrared spectroscopy in naturalistic environments. Japanese Psychological Research. 60 (4), 347-373 (2018).
  31. Piper, S. K., et al. A wearable multi-channel fNIRS system for brain imaging in freely moving subjects. Neuroimage. 85, 64-71 (2014).
  32. Quaresima, V., Ferrari, M. Functional Near-Infrared Spectroscopy (fNIRS) for assessing cerebral cortex function during human behavior in natural/social situations: A concise review. Organizational Research Methods. 22 (1), 46-68 (2019).
  33. Wang, J., et al. Exploring relationships between eye tracking and traditional usability testing data. International Journal of Human-Computer Interaction. 35 (6), 483-494 (2019).
  34. Dimoka, A., et al. On the use of neurophysiological tools in IS research: Developing a research agenda for NeuroIS. MIS Quarterly. 36, 679-702 (2012).
  35. Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8 (4), 441-480 (1976).
  36. Alex, P., Ball, L. J. Eye Tracking in Human-Computer Interaction and Usability Research: Current Status and Future. Encyclopedia of Human Computer Interaction, IGI Global. , 211-219 (2006).
  37. Just, M. A., Carpenter, P. A. A theory of reading: from eye fixations to comprehension. Psychological Review. 87 (4), 329 (1980).
  38. Yang, S., Carlson, J. R., Chen, S. How augmented reality affects advertising effectiveness: The mediating effects of curiosity and attention toward the ad. Journal of Retailing and Consumer Services. 54, 102020 (2020).
  39. Debie, E., et al. Multimodal fusion for objective assessment of cognitive workload: A review. IEEE Transactions on Cybernetics. 51 (3), 1542-1555 (2021).
  40. Işbilir, E., Çakır, M. P., Acartürk, C., Tekerek, A. Ş Towards a multimodal model of cognitive workload through synchronous optical brain imaging and eye tracking measures. Frontiers in Human Neuroscience. 13, 375 (2019).
  41. Bruvold, W. H., Ongerth, H. J. Taste quality of mineralized water. Journal-American Water Works Association. 61 (4), 170-174 (1969).
  42. Marcussen, H., Holm, P. E., Hansen, H. Chr.B. Composition, flavor, chemical food safety, and consumer preferences of bottled water. Comprehensive Reviews in Food Science and Food Safety. 12 (4), 333-352 (2013).
  43. Whelton, A. J., Dietrich, A. M. Relationship between intensity, concentration, and temperature for drinking water odorants. Water Research. 38 (6), 1604-1614 (2004).
  44. (LIFESTYLE) What your choice of water says about you. FT live. , Available from: https://m.ftchinese.com/story/001006284/en?archive (2006).
  45. Pellegrini-Laplagne, M., et al. Effect of simultaneous exercise and cognitive training on executive functions, baroreflex sensitivity, and pre-frontal cortex oxygenation in healthy older adults: a pilot study. GeroScience. , (2022).
  46. Delpy, D. T., et al. Estimation of optical pathlength through tissue from direct time of flight measurement. Physics in Medicine & Biology. 33 (12), 1433-1442 (1988).
  47. Han, W., Gao, L., Wu, J., Pelowski, M., Liu, T. Assessing the brain 'on the line': An ecologically-valid assessment of the impact of repetitive assembly line work on hemodynamic response and fine motor control using fNIRS. Brain and Cognition. 136, 103613 (2019).
  48. Spiers, H. J., Maguire, E. A. Decoding human brain activity during real-world experiences. Trends in Cognitive Sciences. 11 (8), 356-365 (2007).
  49. Spence, C. Neuroscience-Inspired Design: From Academic Neuromarketing to Commercially Relevant Research. Organizational Research Methods. 22 (1), 275-298 (2019).
  50. Grasso-Cladera, A., Costa-Cordella, S., Rossi, A., Fuchs, N. F., Parada, F. J. Mobile brain/body imaging: Challenges and opportunities for the implementation of research programs based on the 4E perspective to cognition. Adaptive Behavior. 0 (0), 1-26 (2022).
  51. Krampe, C., Strelow, E., Haas, A., Kenning, P. The application of mobile fNIRS to "shopper neuroscience" - first insights from a merchandising communication study. European Journal of Marketing. 52, 244-259 (2018).
  52. Meade, A. W., Watson, A. M., Kroustalis, C. M. Assessing common methods bias in organizational research. 22nd annual meeting of the society for industrial and organizational psychology. , New York. 1-10 (2007).
  53. Liang, T. P., Lin, Y. L., Shiau, W. L., Chen, S. F. Investigating common method bias via an EEG study of the flow experience in website design. Journal of Electronic Commerce Research. 22 (4), 305-321 (2021).
  54. Kim, Y. M., Rhiu, I., Yun, M. H. A systematic review of a virtual reality system from the perspective of user experience. International Journal of Human-Computer Interaction. 36 (10), 893-910 (2020).

Tags

本月在JoVE，第189期，神经信息系统，神经IS，可用性，fNIRS，眼动追踪，增强现实
增强现实的可用性评估：神经信息系统研究
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Wu, J., Zhang, D., Liu, T., Yang, H. … More

Wu, J., Zhang, D., Liu, T., Yang, H. H., Wang, Y., Yao, H., Zhao, S. Usability Evaluation of Augmented Reality: A Neuro-Information-Systems Study. J. Vis. Exp. (189), e64667, doi:10.3791/64667 (2022).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter