利用心电图测量估算认知负荷：人机协作任务

摘要

该方案描述了利用生理指标测量人机协作任务中不同任务难度等级认知负荷的差异。研究结果表明，人们会根据任务难度调整决策过程，从而反映不同的认知负荷水平。

摘要

在工作场所，个人的认知负荷与表现和安全密切相关。随着人类与人工智能（AI）合作日益普及，实时客观地捕捉协作过程中认知负荷动态的能力变得越来越关键。传统上，认知负荷通过问卷进行评估;然而，此类回顾性方法在准确捕捉任务执行过程中认知负荷的瞬间波动方面有限。相比之下，生理信号允许持续监测个体的实时状态，从而提供更客观的认知负荷衡量。任务难度可能影响参与者的期望，进而影响他们的行为，最终影响认知负荷。本研究实现了一种具有多难度层次的通用人机协作任务。AI系统的平均准确率在任务开始前已向参与者披露。在每个试验中，参与者可以选择自己完成任务，或委托给人工智能。该方案的目标是利用心电图（ECG）数据作为生理指标，观察个体在拥有分配任务权力并与AI在不同难度下协作时，认知负荷的变化。本研究进一步探讨了人机协作过程中生理数据揭示的内部状态动态。这些发现为改进协作模型、提升效率以及利用人类与人工智能互补优势，在复杂任务中实现更好的资源整合提供了科学基础。

引言

认知负荷是指在^{任务执行期间}内，个人认知系统所承受的总心理活动量1.认知负荷升高会影响人类表现，是导致工伤的主要原因^之一。高认知负荷状态通过激活交感神经系统并抑制副交感神经系统，从而增加心率（HR）并降低心率变异性（HRV）³。期望信念指的是个体相信自己能够成功完成某项特定任务^或活动的程度。任务难度影响个体的期望信念，进而调节他们的行为参与和认知资源分配，最终表现为不同层次的认知负荷。

心电图（ECG）提供了心脏电活动的高时间分辨率记录。心率和心率变异性指数由心电图信号得出，捕捉心律的不同方面，作为个体身心压力的心理生理指标^5.心率反映了心脏收缩的整体频率，可用于评估心血管系统的基本状态。HRV表示连续心跳之间的时间变化，作为自主神经系统（ANS）调控的指标，反映了交感神经与副交感神经活动之间的动态平衡 ^6,7,8。交感神经系统在压力、威胁或高强度活动下被激活，常导致心率升高和心率变异性降低。相反，副交感神经系统在放松、睡眠或低能量需求状态下被激活，通常导致心率降低和HRV升高。

目前测量认知负荷的生理方法包括心电图活动、脑电图（EEG）活动、呼吸、血压和眼部指标^9。与传统回顾性问卷相比，生理测量更好地捕捉参与者的实时状态，从而避免了回忆偏差和自我报告方法固有的时间延迟效应。便携式心电图设备使参与者在进行持续任务时能够持续且不扰地评估其状态¹⁰.与其他生理测量技术相比，便携式心电图是一种低成本、非侵入性的方法，使参与者能够在环境中以更自然、更灵活的方式完成任务¹¹。随着认知任务难度的增加，平均心率通常会上升¹²，且HRV已被证明对心理和身体需求都具有高度^响应性。考虑到当前任务预计需要大量脑力劳动和适度的体力负担，并且考虑到人机协作中任务委派场景的实际需求，HR和HRV是衡量认知负荷的合适指标。

HR和HRV已被广泛应用于多个领域的认知负荷研究，包括航空¹⁴、驾驶¹⁵和经济决策¹⁶，为持续且客观地评估人类状态提供了有力工具。随着人工智能在职场中的日益普及，理解人机协作中认知负荷的变化变得越来越重要。一项研究发现，在高认知负荷条件下，人类表现出对AI生成建议的非理性依赖¹⁷。在协作环境中，人工智能的作用可能超越提供咨询，使人类与人工智能能够共同完成任务。本研究聚焦于一种新型协作模式，在这种模式下，人类拥有任务分配权，可以选择自己完成任务还是委托给人工智能。然而，在人类拥有任务分配权的具体情境下，任务难度如何影响决策行为，进而反映不同认知负荷水平，仍不清楚。因此，本研究旨在利用便携式心电图设备精确测量心率和心率变异性（HRV），从而客观量化在协作模式下认知负荷的动态变化。

本次实验所选的人机协作任务是基于Fügener等人提出的范式改编的通用^任务。使用这种可推广任务的优点是参与者无需接受专业培训，且可以方便地转入更专业的领域任务。在此研究中，实验任务涉及图像分类，参与者被要求将目标图像分配到多个图像类别组之一。如果所选类别组与目标图像的真实类别匹配，则该分类被认为是正确的。目标图片来自ImageNet数据库，类别已经过验证。对于每个类别组选项，向参与者提供了十张示例图片，以减少他们可能不了解某些类别^{的可能性。}我们采用了 GoogLeNet Inception v3 作为 AI^{模型 20}，该模型在 1,000 个潜在图像类别上进行了训练，平均分类准确率达到 0.76。

我们进行了初步实验以确定目标图像的难度等级。在这项初步实验中，参与者需自行对所有图像进行分类。本研究中217名参与者的样本量是基于Fügener等人报告的仅限人类的疾病确定的。¹⁸。在协作任务中，通常希望将每个任务分配给最适合执行该任务的一方。为了作化任务难度，我们将每张图像的准确率与AI的平均准确率进行了比较。人类准确度低于AI平均准确率的图像被定义为更适合AI完成的图像——即对人类来说相对困难的图像。在正式实验中，我们共选取了32张图像，包括16张简单图像和16张困难图像。

对Wilcoxon符号秩检验²¹进行了先验幂分析，使用G*Power 3.1。我们假设中等效应值，双尾α水平为0.05，期望的效力为0.90。分析显示，至少需要47名参与者。我们从校园招募了60名此前未参与过类似实验任务的学生。纳入标准如下：所有参与者均为右撇子，近期未服用任何药物，实验前24小时内戒断咖啡因和酒精，实验前一天未进行剧烈体育锻炼，前一晚保持充足睡眠，且无心血管或呼吸系统疾病报告。参与者的平均年龄为22.77岁±1.25岁。实验装置如 图1所示。

实验开始前，参与者被告知将与人工智能共同执行图像分类任务。他们被告知AI的平均准确率，并指示对每张目标图像进行分类，也可以自行分类或委托给AI。如果参与者选择自行完成任务，他们通过按下键盘上的五个按键之一（A、B、C、D、E）来选择五个图片选项中的答案。按下指定键（P）表示任务已交给AI，尽管参与者看不到AI选择的答案。每个刺激的起始点和偏移点都会写下标记，供后续分析。在正式实验开始前，参与者完成了4个练习试验，随后进行了120秒的休息。随后他们进行了32个试验的正式实验。每次试验之间设有10秒间隔。实验过程如 图2所示。

图1：实验装置。 图中展示了实验中使用的设备及心电图测量电极的位置。（A）心电图电极放置示意图;（B）实验装置。 请点击此处查看该图的放大版本。

图2：实验程序。 练习环节包含4次试验，正式实验包含32次试验。该实验程序采用E-Prime（见 材料表）开发。缩写：ECG = 心电图。 请点击此处查看该图的放大版本。

方案

本研究遵循赫尔辛基宣言原则进行，并获得江苏理工大学机构审查委员会批准。所有参与者均获得知情同意，参与者同意使用和发布其数据。该协议中不包含温度敏感或危险的作程序。

1. 准备

1. 向参与者介绍实验程序，并在他们充分了解研究后获得书面知情同意。
2. 准备心电图数据采集系统及所有所需材料，包括发射器、接收器、弹性魔术贴带、电极引线组、电源线、M/F排线、以太网线、酒精湿巾和医疗胶带（详见 材料表）。
   1. 准备足够数量的预凝胶一次性心电图电极。
   2. 将数据采集系统连接到心电图数据接收模块。然后把系统插到一个稳定的电源上。
   3. 使用M/F带状电缆建立数据采集系统与用于刺激呈现的计算机之间的连接。
   4. 使用以太网线将数据采集计算机连接到数据采集硬件系统。

2. 仪器设置

1. 使用酒精湿巾清洁参与者的皮肤，部位包括左肋骨下方、右锁骨下方和右腹部。在每个部位安装一次性心电极贴片。
2. 连接引线。
   1. 将导线连接器牢固连接到心电图发射器上。
   2. 将红色导线（正极导线）的金属夹连接到放置在左侧肋骨下方的心电图电极;将白色导线（负极导线）的金属夹连接到放置在右锁骨下方的心电图电极;并将黑色导线（接地线）的金属夹连接到放置在右腹部的心电极。
      注意：确保每个卡扣完全插入，安装后不要旋转或松动。如果导线比需要的更长，应将其分段并用医用胶带固定在皮肤上，以减少导线移动引起的伪影。
3. 用弹性钩环固定带将心电图发射器固定在参与者身上。调整背带张力，保持发射器的稳定，同时确保参与者的舒适度。
   注意：避免将绑带直接套在心电图电极贴片上，以防止信号失真或电极位移。

3. 数据采集

1. 打开心电图发射开关和心电图数据采集系统的电源，建立心电图发射器与数据采集系统心电图接收器之间的无线连接。
   注意：正确连接时，心电图发射器和接收器均亮绿灯。
2. 启动心电图数据采集软件（见 材料表），创建新的图表文件，从设备列表中选择心电图接收模块，并选择相应的心电图记录通道。
   注意：调整心电图接收器的频道选择面板，确保硬件频道与所选软件频道匹配。
3. 点击数据采集软件界面中的 “开始 ”以开始心电图数据收集。确认心电波形在屏幕上是否稳定。
4. 指示参与者开始实验任务。
   注意：提醒参与者在完成任务时，舒适地靠在椅子上，保持稳定姿势。
5. 任务完成后，在数据采集软件中点击 “停止 ”以结束录音会话。
6. 把电极接片上的铅丝夹拆下来。松开弹性钩环扣带，取下心电图发射器。
7. 指导并协助参与者用手轻柔地取下一次性电极贴片。

4. 数据处理

1. 在数据分析软件中打开已记录的心电图数据文件（见 材料表）。
2. 选择心电图通道并应用数字滤波。
   1. 在顶部菜单栏，切换到 “变换>数字滤波器>梳状带停止”。
   2. 在对话框中，选择基频下的“固定”。输入50 Hz，点击确定以应用滤波器。
      注意：输入的频率应对应数据收集国家的电力线频率。
   3. 在顶部菜单点击“变换”。选择数字滤波器>FIR>带通。在“频率截止”中，选择固定在 并输入 1 Hz。在高频截止中，选择固定位置并输入35 Hz。
3. 根据实验设计创建 重点区域 。

5. 数据分析

1. 生成并导出人力资源数据。在菜单栏中，选择 “血流动力学分析>>心电图间期提取”。在 分析 面板中，选择 仅关注区域，在 显示结果面板 中选择 仅Excel电子表格。点击 确定 确认。
   注意：R峰检测是利用数据分析软件（AcqKnowledge 5）内置的QRS检测算法完成的。
2. 生成HRV数据，并导出时域和频域结果。
   1. 开放分析，选择HRV和RSA，>多纪元HRV——统计。在心电通道字段中，选择预处理的心电通道。在提取HRV统计数据中，选择关注区域。在输出结果中，选择电子表格。最后，点击确定以生成并导出HRV时域结果。
   2. 再次打开分析，选择 HRV和RSA，>多历期HRV和RSA-光谱。在 心电通道 字段中，选择预处理的心电通道。在 提取HRV和RSA中，选择 关注区域。在 输出类型中，选择 仅Excel电子表格。最后，点击 确定 以生成并导出HRV频域结果。

结果

在生理测量中，我们重点关注时间域和频率域的HR和HRV指数。在时间域中，我们选择了连续差分均方根（RMSSD），这是一个稳健度量 22,23,24。在频域中，尽管低频/高频比（LF/HF）常被解释为反映交感神经与副交感神经活动的平衡，但这一解释^{仍存在争议}。因此，我们选择了低频和高频作为频域指标。正态性测试表明，没有任何指数满足正态分布的假设。因此，采用了Wilcoxon符号秩检验来比较简单图像和困难图像之间的指标。结果如图3所示。在图像难度水平下，平均心率（Z = -2.525，p = 0.012）、左心率（Z = -5.153，p 4 < 0.001）、高频（Z = -5.293，p < 0.001）、心率/心率（Z = -2.172，p = 0.030）和RMSSD（Z = -2.032，p = 0.042）均有显著差异。

...

讨论

在本研究中，心电图信号获取的质量对后续分析至关重要。在实验过程中，正确的电极布置和与引线的正确连接是准确信号记录的关键前提。所有电极均置于指定位置，确保皮肤良好接触以降低阻抗。此外，为减少外部因素对生理信号的影响，参与者被指示在实验前避免咖啡因摄入，并在实验前几天避免使用心血管相关药物。先前研究表明，咖啡因摄入可以通过增强交感神经活性和影响HF波动来影响HRV。³⁰，而药物则可能改变交感神经和副交感神经活动之间的平衡²⁴。因此，这些控制措施对于确保数据可靠性至关重要。

在数据采集过程中，便携式心电图设备可能导致电力线干扰导致基线漂移或心电信号中的规律正弦波形。为解决这些问题，我们实施了以下程序：首先，检查心电图电极与皮肤的接触，以及导线夹与电极之间的接触，必要时更换电极。其次，我们确保心电图装置不会绑得过紧，从而防止因呼吸而移位。此外，我们还采用了1 Hz高通滤波器和50 Hz梳带阻滤波器的数字滤波，以提升信号质量。当记...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
酒精湿巾	-	-	这用于清洁和消毒皮肤。
Acqknowledge 5.0	生物太平洋		这是一种用于信号数据采集和分析的软件。
台式机	戴尔	OptiPlex	该桌面用于运行心电图采集和分析软件。
心电图数据采集设备	生物太平洋	MP160	该设备用于记录心电图数据。
心电图电极	神峰	S系列	这是一种用于收集心电图信号的配件。
电极引线组	生物太平洋	BN-EL45-LEAD3	该设备与发射机一起用于数据记录。
以太网线	生物太平洋	-	该系统用于连接MP160系统与数据采集和分析软件。
实验性软件	心理学软件工具	E-prime3.0 构建 3.0.3.31	这就是用来制作实验程序的软件。
笔记本电脑	戴尔	E5470	这台笔记本电脑用于运行实验程序并呈现刺激。
M/F 排线	生物太平洋	CBL110C	这用于传输特定信号。
医用胶带	-	-	这用于固定长线。
电力电缆	生物太平洋	-	这台机器用于为设备供电。
接收器	生物太平洋	BN-RSPEC-R	这是心电图接收器。
弹性魔术贴带	生物太平洋	BN-STRAP-137	这用于帮助修复心电图发射器。
发射机	生物太平洋	BN-RSPEC-T	这是一个无线心电图发射器。