使用心电图测量评估认知负荷：人机协作任务

摘要

本方案描述了利用生理指标来测量在人机协作任务中，不同任务难度下认知负荷的变化情况。研究结果表明，人们会根据任务难度调整其决策过程，从而反映出不同水平的认知负荷。

摘要

在工作场所环境中，个体的认知负荷与工作表现和安全性密切相关。随着人类与人工智能（AI）协作的趋势日益增强，在协作过程中以实时且客观的方式捕捉认知负荷动态的能力变得愈发重要。传统上，认知负荷主要通过问卷方式进行评估；然而，这类回顾性方法难以准确捕捉任务执行过程中认知负荷的瞬时波动。相比之下，生理信号能够实现对个体实时状态的连续监测，从而提供更为客观的认知负荷度量。任务难度可能影响参与者的预期，进而塑造其行为，并最终影响认知负荷。本研究设计了一种具有可推广性的人机协作任务，包含多个难度等级。在任务开始前，向参与者告知AI系统的平均准确率。在每次试验中，参与者可选择自行完成任务或将任务交由AI执行。本实验方案旨在利用心电图（ECG）数据作为生理指标，考察当个体在不同任务难度下拥有任务分配权限并与AI协作时，其认知负荷的变化情况。本研究进一步探讨生理数据所揭示的人机协作过程中的内在状态动态。研究结果为优化协作模式、提升效率，以及充分发挥人类与AI的互补优势，实现复杂任务中更优的资源整合提供了科学依据。

引言

认知负荷是指个体在执行特定任务期间，其认知系统所承受的总体心理活动量¹。过高的认知负荷会损害人的表现能力，并是导致工作场所事故的重要因素之一²。高认知负荷状态通过激活交感神经系统并抑制副交感神经系统，影响心脏活动，从而导致心率（HR）升高，心率变异性（HRV）降低³。期望信念是指个体对自己能否成功完成某项特定任务或活动的信心程度⁴。任务难度会影响个体的期望信念，而期望信念反过来调节其行为投入和认知资源的分配，最终表现为不同水平的认知负荷。

心电图（ECG）可提供心脏电活动的高时间分辨率记录。从心电图信号中提取的心率（HR）和心率变异性（HRV）指标能够反映心脏节律的不同方面，并作为个体生理与心理应激状态的生理心理指标⁵。心率反映心脏收缩的总体频率，可用于评估心血管系统的基本状态。心率变异性表示连续心跳之间的时间变化，是自主神经系统（ANS）调控功能的指标，反映了交感神经与副交感神经活动之间的动态平衡^6,7,8。在应激、威胁或高强度活动状态下，交感神经系统被激活，通常导致心率升高、心率变异性降低；相反，在放松、睡眠或低能量需求状态下，副交感神经系统被激活，通常导致心率降低、心率变异性升高。

目前用于测量认知负荷的生理学方法包括心电图（ECG）活动、脑电图（EEG）活动、呼吸、血压和眼动指标⁹。与传统的回顾性问卷相比，生理测量能够更有效地捕捉参与者实时的状态，从而避免回忆偏差以及自评方法中存在的时滞效应。便携式心电图设备能够在参与者执行持续任务时，对其状态进行连续且无干扰的评估¹⁰。与其他生理测量技术相比，便携式心电图是一种低成本、非侵入性的方法，允许参与者在自身环境中以更自然、更灵活的方式完成任务¹¹。随着认知任务难度的增加，平均心率（HR） tends to increase¹²，而心率变异性（HRV）已被证明对心理和生理负荷均具有高度敏感性¹³。考虑到当前任务预计将带来较大的心理努力以及中等程度的生理负荷，同时结合人机协作中任务分配场景的实际需求，心率（HR）和心率变异性（HRV）是测量认知负荷的合适指标。

心率（HR）和心率变异性（HRV）已被广泛应用于多个领域中的认知负荷研究，包括航空¹⁴、驾驶¹⁵以及经济决策¹⁶，为人类状态的连续性和客观性评估提供了有力工具。随着人工智能（AI）在工作场所中的日益融合，理解人机协作过程中认知负荷的变化变得愈发重要。一项关于AI辅助决策的研究发现，在高认知负荷条件下，人类会对AI生成的建议表现出非理性的依赖¹⁷。在协作环境中，AI的角色可能不仅限于提供建议，还可实现人类与AI共同完成任务。本研究聚焦于一种新型协作模式，其中人类拥有任务分配权限，可针对每项任务自主选择由自己完成或交由AI执行。然而，在人类掌握任务分配权的这一特定情境下，任务难度如何影响决策行为，以及这种影响如何反映不同水平的认知负荷，目前尚不明确。因此，本研究旨在利用便携式心电图设备精确测量HR和HRV，从而客观量化在此类协作范式下认知负荷的动态变化。

本实验所选的人机协作任务是一项通用任务，改编自Fügener等人提出的范式¹⁸。采用此类可推广任务的优势在于，无需让参与者接受专门培训，且可轻松迁移到更具领域特异性的任务中。在本研究中，实验任务为图像分类，参与者需将目标图像归入若干图像类别组中的一个。若所选类别组与目标图像的真实类别一致，则该次分类被视为正确。目标图像选自ImageNet数据库，其中的类别已事先经过验证。为降低参与者对某些类别不熟悉的可能性，我们为每个类别组选项提供了十张示例图像¹⁹。本研究采用GoogLeNet Inception v3作为人工智能模型²⁰，该模型在1,000个潜在图像类别上进行训练，平均分类准确率达到0.76。

我们进行了一项预实验，以确定目标图像的难度水平。在此预实验中，要求参与者自行对所有图像进行分类。本研究的样本量为217名参与者，该数值参考了Fügener等人¹⁸报告的纯人工条件下的样本规模。在协作任务中，通常希望将每项任务分配给最适合执行该任务的一方。为了量化任务难度，我们将每幅图像的人类分类准确率与人工智能（AI）的平均准确率进行了比较。若某图像的人类准确率低于AI的平均准确率，则将其定义为更适合由AI完成的图像——即对人类而言相对困难的图像。在正式实验中，我们共选取了32幅图像，其中包括16幅简单图像和16幅困难图像。

使用 G*Power 3.1 对 Wilcoxon 符号秩检验进行了一项先验功效分析²¹。我们假设效应量为中等，双尾 α 水平为 0.05，期望功效为 0.90。分析结果表明，至少需要 47 名参与者。我们从校园内招募了 60 名未曾参与过类似实验任务的学生。纳入标准如下：所有参与者均为右利手，近期未服用任何药物，实验前 24 小时内未摄入咖啡因和酒精，实验前一天未进行剧烈体力活动，实验前一晚保持充足睡眠，并且自报无心血管或呼吸系统疾病。参与者的平均年龄为 22.77 ± 1.25 岁。实验装置如图 1所示。

实验开始前，参与者被告知他们将与一个人工智能（AI）共同完成一项图像分类任务。他们被告知该AI的平均准确率，并被告知对于每个目标图像，他们可以选择自行分类，或将分类任务交给AI完成。如果参与者选择自己完成任务，则通过按键盘上的五个按键（A、B、C、D或E）之一，从五个图像选项中选择答案。按下指定键（P）则表示将任务委托给AI，但参与者无法看到AI所选择的答案。每个刺激呈现的起始和结束时刻均做了标记，以便后续分析。在正式实验开始前，参与者先完成4次练习试验，随后进行120秒的静息期，之后进入包含32次试验的正式实验阶段。每次试验之间设有10秒的间隔。实验流程如图2所示。

图1：实验装置。 该图展示了实验中使用到的设备以及心电图测量电极的放置位置。（A）心电图电极放置示意图；（B）实验装置示意图。请点击此处查看该图的放大版本。

图2：实验流程。练习阶段包含4次试验，正式实验包含32次试验。实验程序使用E-Prime编写（见材料表）。缩写：ECG = 心电图。请点击此处查看此图的放大版本。

方案

本研究遵循《赫尔辛基宣言》的原则，并经江苏科技大学机构审查委员会批准。所有参与者均签署了知情同意书，同意其数据的使用和发表。 本方案中不包含温度敏感性或危险性操作步骤。

1. 准备

1. 向参与者介绍实验流程，并在他们充分了解研究内容后获取书面知情同意书。
2. 准备心电图（ECG）数据采集系统及所有所需材料，包括发射器、接收器、弹性尼龙搭扣带、电极导联线、电源线、公母带状电缆、以太网电缆、酒精棉片和医用胶带（参见材料表）。
   1. 准备足够数量的预凝胶一次性心电图电极。
   2. 将数据采集系统连接至心电图数据接收模块，然后将其接入稳定的电源。
   3. 使用公母带状电缆将数据采集系统与 用于刺激呈现的计算机连接起来。
   4. 使用以太网电缆将数据采集计算机连接至数据采集硬件系统。

2. 仪器设置

1. 使用酒精棉片清洁受试者以下部位的皮肤：左侧肋骨下方、右侧锁骨下方以及右腹部。在每个部位贴上一次性心电图电极片。
2. 连接导联线。
   1. 将导联线连接器牢固地连接至心电图发射器。
   2. 将红色导联线（正极）的金属夹连接到位于左侧肋骨下方的心电图电极片上；将白色导联线（负极）的金属夹连接到位于右侧锁骨下方的心电图电极片上；将黑色导联线（接地极）的金属夹连接到位于右腹部的心电图电极片上。
      注意：确保每个夹子完全卡紧，连接后不会旋转或松动。如果某根导联线过长，可将其分段并用医用胶带固定于皮肤上，以减少因导线移动引起的伪影。
3. 使用弹性尼龙搭扣固定带将心电图发射器固定在受试者身体上。调节绑带张力，以确保发射器稳定，同时保证受试者的舒适性。
   注意：避免将绑带直接压在心电图电极片上，以防信号失真或电极移位。

3. 数据采集

1. 打开心电图发射器开关和心电图数据采集系统的电源，并在心电图发射器与数据采集系统的心电图接收器之间建立无线连接。
   注意：心电图发射器和心电图接收器上的指示灯均变为绿色，表示连接正确。
2. 启动心电图数据采集软件（参见材料表），创建一个新的图表文件，从设备列表中选择心电图接收器模块，并选择合适的心电图记录通道。
   注意：调整心电图接收器上的通道选择面板，确保硬件通道与所选的软件通道一致。
3. 在数据采集软件界面中点击开始，以启动心电图数据采集。确认屏幕上显示的心电图波形稳定。
4. 指导受试者开始进行实验任务。
   注意：提醒受试者背部舒适地靠在椅背上，并在整个实验过程中保持姿势稳定。
5. 任务完成后，在数据采集软件中点击停止，结束记录过程。
6. 将导联线夹从电极贴片上取下。松开弹性尼龙搭扣带，将心电图发射器从受试者身上移除。
7. 指导并协助受试者用手轻轻取下一次性电极贴片。

4. 数据处理

1. 在数据分析软件中打开记录的 ECG 数据文件（参见材料表）。
2. 选择 ECG 通道并应用数字滤波。
   1. 在顶部菜单栏中，依次选择 Transform > Digital Filters > Comb Band Stop。
   2. 在弹出的对话框中，在 Base Frequency 下选择 Fixed at，输入 50 Hz，然后点击 OK 以应用滤波器。
      注意：输入的频率应与数据采集所在国家的电源线频率一致。
   3. 点击顶部菜单中的 Transform ，然后选择 Digital Filters > FIR > Band Pass。在 Frequency cutoff 下选择 Fixed at 并输入 1 Hz；在 High Frequency cutoff 下选择 Fixed at 并输入 35 Hz。
3. 根据实验设计创建 Focus Areas 。

5. 数据分析

1. 生成并导出心率数据。从菜单栏中选择 分析 > 血流动力学 > 心电图间期提取. 在 分析 面板，选择 仅限重点领域，以及在 以以下形式显示结果 面板，选择 仅限 Excel 电子表格点击 好的 确认。
   注意：R波峰值检测采用数据分析软件（AcqKnowledge 5）内置的QRS波检测算法进行。
2. 生成HRV数据，并导出时域和频域结果。
   1. 打开 分析，选择 心率变异性与呼吸性窦性心律不齐 > 多时段心率变异性 - 统计学. 在 心电图通道 字段中，选择预处理后的ECG通道。在 提取HRV统计值 用于，选择 聚焦领域在 输出结果至，选择 电子表格最后，单击 好的 生成并导出HRV时域结果。
   2. 再次打开分析，选择 心率变异性与呼吸性窦性心律失常 > 多时段心率变异性与呼吸性窦性心律不齐 - 频谱分析. 在 心电图通道 字段中，选择预处理后的ECG通道。在 提取心率变异性（HRV）和呼吸性窦性心律不齐（RSA），选择 聚焦领域在 输出类型，选择 仅限 Excel 电子表格最后，单击 好的 生成并导出HRV频域结果。

结果

在生理测量中，我们关注了时域和频域的心率（HR）和心率变异性（HRV）指标。在时域指标中，我们选择了连续差值均方根（RMSSD），该指标被认为是一种稳健的测量方法^22,23,24。在频域指标中，尽管低频/高频比值（LF/HF）常被解释为反映交感神经与副交感神经活动之间的平衡，但这一解释仍存在争议²⁵。因此，我们选择LF和HF作为频域分析指标。正态性检验表明，所有指标均不满足正态分布的假设。因此，采用Wilcoxon符号秩检验对简单图像与困难图像之间的各指标进行比较。结果如图3所示。在不同图像难度水平下，平均心率（Z = -2.525，p = 0.012）、LF（Z = -5.153，p < 0.001）、HF（Z = -5.293，p < 0.001）、LF/HF（Z = -2.172，p = 0.030）和RMSSD（Z = -2....

讨论

在本研究中，心电图信号采集的质量对后续分析至关重要。在实验过程中，电极的正确放置以及与导联的良好连接是准确记录信号的基本前提。所有电极均被放置于指定位置，并确保与皮肤良好接触，以尽量降低阻抗。此外，为减少外界因素对生理信号的影响，要求受试者在实验前避免摄入咖啡因，并在实验前几天内避免使用与心血管相关的药物。既往研究表明，摄入咖啡因可通过增强交感神经活性并影响高频（HF）波动而影响心率变异性（HRV）³⁰，而药物可能改变交感神经与副交感神经活动之间的平衡²⁴。因此，采取这些控制措施对于确保数据的可靠性十分必要。

在数据采集过程中，使用便携式心电图设备可能会因电源线干扰导致心电图信号出现基线漂移或规则的正弦波形。为解决这些问题，我们实施了以下步骤：首先，检查心电图电极与皮肤之间以及导联夹与电极之间的接触情况，并在必要时更换电极；其次，确保心电图设备未过紧地绑在受试者身体上，以避免因呼吸运动引起设备移位。此外，我们采用数字滤波方法，使用1 Hz高通滤波器和50 Hz陷波带阻滤波器以提高信号质量...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
酒精棉片	-	-	用于清洁和消毒皮肤。
Acqknowledge 5.0	BIOPAC		用于信号数据采集和数据分析的软件。
台式计算机	Dell	OptiPlex	用于运行心电图（ECG）采集与分析软件。
心电图数据采集设备	BIOPAC	MP160	用于记录心电图数据。
心电图电极	Shenfeng	S系列	用于采集心电信号的附件。
电极导联线组	BIOPAC	BN-EL45-LEAD3	与发射器配合用于数据记录。
以太网电缆	BIOPAC	-	用于连接MP160系统与数据采集及分析软件。
实验软件	PSYCHOLOGY SOFTWARE TOOLS	E-prime3.0 Build 3.0.3.31	用于编制实验程序的软件。
笔记本电脑	Dell	E5470	用于运行实验程序并呈现刺激材料。
M/F扁平电缆	BIOPAC	CBL110C	用于传输特定信号。
医用胶带	-	-	用于固定长导线。
电源线	BIOPAC	-	用于为设备供电。
接收器	BIOPAC	BN-RSPEC-R	一种心电图接收器。
弹性尼龙搭扣带	BIOPAC	BN-STRAP-137	用于帮助固定心电图发射器。
发射器	BIOPAC	BN-RSPEC-T	一种无线心电图发射器。