从神经生理学视角评估参与度的多重维度以表征学习过程

本实验的总体目标是收集并同步学习任务过程中行为、情绪和认知参与的相关数据。首先，通过同步设备连接所有数据采集系统，该设备将在所采集的数据中嵌入时间标记，以实现数据同步。第二步是采集眼动追踪数据和软件交互数据，以评估行为参与度。

接下来，将采集脑电图（EEG）数据以表征认知参与度。最后一步是采集来自皮肤电活动（ELECTRODERMAL activity，简称ED）的唤醒度数据，以及通过自动面部表情识别（automatic facial emotion recognition，简称A FER）获取效价（valence）数据，以表征情绪参与度。最终，这些用于表征参与度三个维度的指标将根据同步设备最初发送的时间标记，在同步软件中重新进行时间对齐。

该技术的主要优势在于，它能够量化学习者在学习任务过程中的三个维度的参与度，而传统的研究方法仅关注任务结束后对参与度的自我评估工具。该方法有助于回答教育领域的关键问题，例如在不同复杂学习环境中影响认知的动态机制是什么，以及不同教学环境对学习效果和认知的影响如何？该技术在其他领域也具有应用意义。

例如，在信息技术领域，我们正在使用该技术来测量用户在浏览网站或使用软件应用程序时的参与度。该技术的灵感来源于近期神经组学领域的研究，该研究使用脑电图（EEG）设备采集了长途驾驶司机的警觉性数据。本次实验操作将由蒙特利尔高等商学院Tech three实验室的研究助理Gabrielle Zu进行演示，同时还有来自Begin神经实验室的研究助理Igo和Yig参与。首先，打开眼动仪、脑电放大器、用于记录的计算机以及扬声器。

根据制造商推荐的操作步骤，使用所需材料配制脑电图（EEG）溶液。然后为即将参与实验的受试者准备好脑电图和眼动追踪软件。接着启动视频录制软件，并开启摄像机，同时启动与本项目专用子程序相匹配的同步软件，该程序可每60秒发送一次同步标记。

然后启动生理测量软件，并打开为该项目创建的特定布局。接下来，将受试者带入数据采集室，根据10-20参考系统定位受试者头部的Cz电极位置。将脑电图（EEG）网状电极帽戴在受试者头部，并确保每个电极均垂直于头皮表面。

连接网线接口，并以40千欧姆为阈值进行阻抗检测。最后，在受试者左手掌顶部放置两个生理传感器，开始数据采集。

当所有录制软件均准备就绪，可在 Synchrony 中启动后，执行九点校准程序，并观察参与者跟随屏幕上红点的轨迹。根据设备制造商的标准，重复此校准过程直至达到足够的准确性，然后指导参与者在计算机上解答 10 道牛顿力学物理问题。在所有计算机上停止数据采集。

任务完成后，移除受试者身上的所有传感器。首先，将脑电图（EEG）数据导入脑电图数据分析软件。接着，点击文件，然后新建项目，并通过点击浏览选择原始数据的存储位置。

选择新创建的原始数据文件夹。以相同方式选择另外两个名为 history 和 export 的文件夹位置。然后单击确定。

接下来，单击“变换”和“IIR 滤波器”，在软件窗口中通过应用滤波器和陷波对脑信号进行预处理。将截止频率设置为 1.5 和 50 赫兹，每级斜率为 12 分贝，并启用 60 赫兹频率的陷波。然后通过单击“变换”和“DC dre”对信号进行直流去趋势处理。

根据标记前100毫秒和直流连接前100毫秒的时间点选择选项。通过点击“变换”和“原始数据检查”来执行原始数据检查。选择半自动检查，并选择此处显示的电压、最大最小值和振幅参数。

通过点击“变换”和“ICA”，使用经典球面法自动执行独立成分分析（ICA），以去除眨眼伪迹。ICA完成后，再次点击“变换”中的“ICA”，然后选择“逆ICA”进行逆独立成分分析处理。

最后，通过点击“导出”和“通用数据导出”来导出信号和标记。选中标签为“右头部文件”和“右标记文件”的复选框。此外，为后续在 MATLAB 中构建参与度指数，请选择文本格式。

接下来，将脑电图信号导入 MATLAB。为此，请启动 EEG-LAB 脚本，此时 EEG-LAB 的图形用户界面将在 MATLAB 中显示。

一次导入一位受试者的数据，方法是在 EEG lab 中使用其函数和插件选择文件导入数据，从 brain vis rec VDR 文件中复制一段脚本到命令窗口，该脚本将生成一个参与度指数。此脚本会输出一个文本文件。在 Microsoft Excel 中打开该参与度指数文本文件。

对脑电图（EEG）数据应用Z分数标准化，以实现被试间的比较。在完成EEG预处理后，通过将皮肤电活动（ELECTRODERMAL activity，EDA）数据导入生理信号分析软件，对生理数据进行预处理。

然后，通过点击“变换”和“波形数学运算”对 EDA 数据进行 z 分数标准化，以实现被试间比较。此操作分为两个步骤：首先，在源1中选择 EDA 通道，在数学运算窗口中选择减号，并在源2中选择 K。

然后在目标菜单中选择“新建”。输入 EDA 通道的平均值，并选择“转换整个波形”。在第二步中点击“确定”，再次打开转换波形数学运算窗口，为源1选择 EDAK 通道，在数学运算窗口中选择除号，为源2选择 K。

然后在目标菜单中选择“新建”。输入 EDA 通道的标准差值，并选择转换整个波形。最后，单击“确定”完成最后的预处理步骤。

通过点击文件新建，然后选择参与者，将媒体记录器中的视频数据导入自动面部情绪识别软件中。在项目菜单中选择一个新参与者。然后点击文件新建分析和视频。

单击分析一旁边的放大镜，选择所需的视频文件。然后在SPSS中计算效价数据的zco值：点击“分析”→“描述统计”→“描述”，选中“将标准化值保存为变量”，此时将出现一列Z分数。

首先，在新观察中点击文件、导入和视频，导入I跟踪视频。为新观察命名，并选择要导入的视频文件。通过点击文件、导入和外部数据，导入所有外部数据。

包含脑电（EEG）信号的Z分数 zco、皮肤电活动（EDA）信号的Z分数以及效价（valence）数据的Z分数。如有需要，可添加事件标记以进行进一步分析。为实现计算机间的时间同步，按下 Ctrl、Shift 和等号键打开偏移量菜单，选择“数值偏移”，输入每对数据源之间的时间差（以秒为单位）。

单击“确定”。接下来，通过单击“分析”、“选择数据”和“新建数据档案”来选择报告中要生成的感兴趣变量。选择要分析的特定事件，然后单击“确定”。

然后在起始表和嵌套表之间，以及嵌套表和结果表之间添加连接线。通过点击“分析数值分析”和“新建点击统计”生成报告，并在外部数据菜单下勾选“均值”旁边的复选框，然后点击“确定”。

单击布局，确保外部数据位于列中，结果容器显示在行中。然后单击“确定”。最后，单击“计算”按钮，以便软件更新正在生成的报告中的相关计算。

本实验通过多台计算机同步采集了行为、认知和情感等多个维度的参与度数据。为了建立受试者的基线状态，可利用任务中暂停阶段结束时的数据。脑电图显示，认知参与度在暂停结束时略微上升，预示着对下一项任务的预期；而唤醒水平仍在持续下降。

由于参与者在解决问题任务期间闭着眼睛，因此情绪效价数据缺失。当受试者阅读第三行时，可以看到他们的情绪唤醒度已达到峰值。情绪效价为中性，一旦掌握，脑电认知参与度达到最大。

该技术在实验开始前需要约30分钟的受试者准备时间。该技术的开发将为研究人员和从业者不仅在信息技术领域，而且在电子游戏行业中实时监测用户的行为、情绪和认知状态方面开辟道路。任何调控方法中的关键步骤是同步，为了确保所有设备之间的时间精确一致，该过程的精度应在每次实验前后均进行测试。

观看本视频后，您现在应该能够很好地掌握如何采集同步的生理心理数据，从而更深入地理解在学习任务过程中行为、情绪和认知参与维度之间互动的动态机制。