需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

从神经生理学视角评估参与度的多重维度以表征学习过程

10.9K 次观看

⸱

DOI：

10.3791/52627

⸱

2015年7月1日

 ,  ,  ,  ,  ,  , 
1Department of Didactics, Université du Québec à Montréal, 2Department of IT and Tech3Lab, HEC Montreal, 3Department of Marketing and Tech3Lab, HEC Montreal, 4Department of Specialized Education, Université du Québec à Montréal

本文内容

摘要

本文旨在描述在任务过程中收集和同步学习者参与度多个维度（行为、情感和认知）的技术。

摘要

在 Fredricks、Blumenfeld 和 Paris1 近期关于参与度概念的理论综述中，他们将参与度定义为多个维度的集合：行为、情感和认知。他们指出，以往研究很少将不同类型的参与度结合起来考察，关于各维度之间相互作用或协同效应的信息也十分有限；因此，更多相关研究将有助于设计出更加精细的教学干预措施。得益于神经科学领域近期的技术进步，本文介绍了一种新近开发的方法，用于在学习任务期间采集并同步多维度参与度的数据。该技术涉及在四台不同的计算机上分别采集（a）脑电图、（b）皮肤电反应、（c）眼动追踪以及（d）面部情绪识别数据。这导致了来自多个来源的数据在同步方面存在问题。通过专业集成软件进行后期同步，使研究人员能够更深入地理解参与度多个维度之间的动态关系。对于课程开发者而言，这些数据可为提高教学与学习效率提供科学依据。该技术还为脑机交互领域开辟了新的可能性，有望开发出自适应的学习或评估环境。

引言

参与度在学习过程中起着至关重要的作用。对于克拉克（Clark）和梅耶（Mayer）而言2，“所有的学习都需要参与”，无论采用何种传播媒介。Zhang 等.3 还表明，提高学生的参与度可以改善学习成果，例如解决问题和批判性思维能力。然而，对参与度的界定仍是一个挑战。在他们的文献综述中，Fredricks、Blumenfeld 和 Paris1 通过其多面性来界定参与度：“行为参与基于参与的概念，包括参与学术活动以及社交或课外活动。（……）情感参与涵盖对教师、同学、学业和学校的积极与消极反应，被认为能够建立与特定对象的情感联结，并影响个体投入努力的意愿。最后，认知参与基于心理投入的概念，包含思维的深度以及愿意付出必要努力以理解复杂概念和掌握困难技能的倾向。”

Fredricks、Blumenfeld 和 Paris1 还指出，在参与度的概念框架内，关注行为、情绪和认知可能为学习提供更丰富的描述。这些作者强调，已有大量研究分别探讨了参与度的各个组成部分，但这些组成部分尚未被联合研究。他们还观察到，目前关于各维度之间相互作用的信息十分有限，而更多研究有助于设计精细的教学干预措施。作为朝这一方向迈出的一步，本文介绍了一种研究方法，旨在同步收集和分析学习任务中行为、情绪和认知参与度的定量与定性数据。

将神经科学引入教育

行为及其相应的行为投入长期以来一直是教育研究的核心关注点：研究设计主要聚焦于知识和行为在较长时间内的变化，例如在前测与后测之间，以及数小时、数周、数月或数年等时间间隔内的变化。区分行为投入、情感投入和认知投入仍然是一项挑战，因为后两种维度无法通过外部进行系统性观察。认知和情感要么需要通过观察进行推断，要么需借助自我报告的测量方法进行评估。从外部观察的角度来看，仍然难以判断学生是试图尽快完成任务，还是在运用深层次的学习策略来掌握特定内容。事实上，Fredricks、Blumenfeld 和 Paris1 未能找到任何已发表的、使用直接且客观的认知投入测量方法的研究。

神经科学领域的最新技术发展为教育研究创造了新的可能性。该领域开发的新型数据采集方法和分析算法 神经人体工学在定性与定量研究中似乎具有很大前景 在……期间 学习任务。其他学科，如经济学、心理学、市场营销学和人因工程学，已长期采用神经生理学测量方法来评估认知参与度4-8神经生理学测量方法结合高效的分析算法，能够实现对现象的无干扰研究。相比之下，自我报告问卷会使学生脱离学习过程。神经生理学测量方法使得研究设计能够在更真实的学习环境中进行。这些工具包括用于监测心率、呼吸频率、血压、体温、瞳孔直径、皮肤电活动以及脑电图（EEG）的设备。 等等.

同步采集行为、情绪与认知参与度数据

作为采用本方案后的代表性结果，本文将展示一项研究的部分结果，该研究要求学习者在计算机屏幕上解决十个力学物理问题。这些问题基于先前的研究工作9开发而成。在学习者解决问题以及每次问题结束后闭眼休息45秒放松期间，同步采集了神经生理学数据。

如上所述，行为参与数据包括学习者在完成任务时与系统交互所产生的软件操作（鼠标移动和点击）、眼动轨迹、表现情况以及问题回答结果1。采用眼动追踪系统来采集软件操作和眼动数据。表现数据（解决问题所用时间、答案正确性）通过一个用于呈现任务的调查网站进行收集。该网站还用于收集采用改编自 Bradley 和 Lang10 的问卷所获得的自我报告数据。情绪参与涉及对情绪状态的表征。根据 Lang11 的观点，情绪可通过效价（愉悦/不愉悦）和唤醒度（平静/兴奋）两个维度进行描述。因此，情绪参与数据通过自动面部情绪识别软件量化情绪效价，并结合用于测量唤醒度的皮肤电活动编码器/传感器进行采集12,13。皮肤电活动（EDA）是指在两个电极之间施加微弱恒定电流时记录到的电极间的电阻变化。Cacioppo、Tassinary 和 Berntson14 研究表明，所记录的电阻值会随受试者的唤醒状态而变化。因此，心理生理数据（如效价或唤醒度）被视为情绪参与的关联指标。

最后，通过脑电图（EEG）收集认知参与数据。EEG通过头皮测量大脑中神经元群体同步的电活动。从头皮记录到的电信号通常具有振荡特性，并由不同频率成分组成。按照惯例，这些频率被划分为若干序列，称为频段。例如，本研究重点关注α、β和θ频段。根据神经科学研究14，这些频段反映了大脑特定区域的不同认知处理能力。因此，结合大量关于警觉性和注意力的研究7,15，分析特定频率的功率谱密度（PSD）可使研究人员量化任务过程中的认知参与程度。正如Mikulka et al.16 所指出，研究表明β活动与认知警觉性之间存在直接关系，而α和θ活动与警觉性之间则存在间接关系。因此，Pope、Bogart和Bartoleme7 提出了一种参与度指数，该指数计算三个频段的PSD比值：β / (α + θ)。该比值已在其他关于认知参与的研究中得到验证16,17,18。为了刻画随时间变化的认知参与状态，采用快速傅里叶变换（FFT）将每个活动位点（F3、F4、O1、O2）的EEG信号转换为功率谱。在时间T的EEG参与度指数，是通过计算时间T前20秒滑动窗口内各参与度比值的平均值得到的。该过程每秒重复一次，并使用新的滑动窗口更新指数。

由于该方法学的目的是对参与的多个维度进行深入分析，数据同步至关重要。正如Leger 等19 提醒读者，设备制造商强烈建议每个测量工具仅使用一台计算机，以确保其规定的精度水平。因此，当使用多台计算机时，记录计算机之间的同步便成为关键步骤。各记录设备无法在同一确切时刻启动，且每个数据流均有其特定的时间框架。例如，眼动追踪的第0秒 ≠ 脑电或生理数据的第0秒）。这一点极为重要：数据流之间的不同步会导致对参与度各个维度量化时出现误差。同步并发的生理与行为记录有多种方法，这些方法可分为两大类：直接法与间接法20下一节介绍的方案基于一种间接方法，即使用外部设备（同步盒，syncbox）向所有记录设备发送晶体管-晶体管逻辑（TTL）信号（如图所示） 图1）。由于每台设备的启动时间不同，TTL 标记在日志文件中以相对延迟的方式记录。随后利用这些标记对信号进行重新对齐，从而确保每次记录后的正确同步。使用一款支持外部文件整合的行为分析软件，对各数据流的时间轴进行重新同步，并对参与度的各个维度进行定量与定性分析。

使用TTL信号的多模态数据同步示意图；包含眼动追踪、脑电、情绪和皮肤电反应数据。
图1. 数据采集系统的架构。 在该实验环境中，采集行为（眼动追踪）、情绪（皮肤电活动和面部情绪识别）和认知（脑电图）参与度数据时涉及多台计算机。这导致各数据流依赖各自计算机时钟而带来同步难题。为了能够在统一的时间参考系下分析所有数据，实验装置中使用了一个同步盒（syncbox），向所有数据流发送TTL信号以实现同步。请点击此处查看该图的放大版本。

为了评估该方法在同步性方面的精确性，在每个力学物理问题开始前引入了45秒的暂停。在此暂停期间，受试者需放松并闭上眼睛。正如其他研究4,9,16,17,18所示，这些暂停应引起采集信号的显著变化：眼动追踪中的两个瞳孔光点立即消失（行为参与度降低），同时认知参与度（脑电图信号）也立即下降。信号中的这些特定成分被用于评估同步性的总体有效性。近年来，在信息系统19、人机交互21和教育9,22等领域，已有完全或部分依赖此同步方法的研究论文发表，证明了该方法的有效性。

访问受限。请登录或开始试用以查看此内容。

方案

该方案已获得蒙特利尔魁北克大学（UQAM）人类研究机构审查委员会（CIER）的伦理认证，并由蒙特利尔高等商学院（HEC-Montreal）为Tech3Lab研究设施予以认可。本方案详细描述了在本实验室环境和设备中执行的各个具体步骤。尽管文中提供了精确的软件操作路径以阐明方法，但该技术具有可转移性，可使用其他专有的眼动追踪、自动面部情绪识别、皮肤电活动及脑电图设备和软件进行复制与实施。

1. 实验室环境的设置

  1. 打开眼动仪、脑电放大器、四台记录计算机和扬声器。
  2. 准备记录设备的设置：
    1. 根据制造商推荐的操作流程，使用所需材料准备脑电图（EEG）设备。为即将参与实验的受试者设置好脑电图软件。启动眼动追踪软件，并在软件中创建新的受试者档案。启动视频录制软件并打开摄像机。
    2. 启动用于本项目的特定子程序的同步软件，设置每60 秒标记一次。启动生理信号采集软件（用于记录皮肤电活动），并打开为本项目专门设计的界面布局。将受试者的座椅调节至最高位置。

2. 受试者准备

  1. 要求参与者阅读并签署伦理知情同意书。
  2. 进行脑电图（EEG）头骨测量：
    1. 根据 10-20 参考系统确定参与者头部的 Cz 位置。将 EEG 网浸入氯化钾盐溶液中（见步骤 1.2.1），并按照制造商标准启动计时器（10 分钟）。
  3. 向参与者宣读研究目的及实验步骤：“本研究的目的是在您回答物理问题时观察您的大脑活动。首先我们将安装传感器，然后您将在计算机上解答 10 道牛顿力学物理题。每完成一题后，我们将要求您闭眼休息 45 秒 。每道题完成后，您还需对题目进行主观评估评分。”
  4. 告知参与者实验总时长为 90 分钟。
  5. 根据制造商建议安装生理传感器：在左手手背顶部贴附两个凝胶电极。
  6. 根据制造商建议佩戴 EEG 帽，并进行阻抗检测，阈值设定为 40 kΩ（依据制造商技术规范）。

3. 数据采集

  1. 确保所有记录软件均已准备就绪，可同步启动：
    1. 生理信号（EDA 数据）：点击“开始”按钮。
    2. 视频记录：点击“打开”按钮。
    3. 眼动追踪：点击“暂停”按钮。
    4. 脑电图（EEG）：点击“记录”按钮。
    5. 同步软件：点击“绿色圆形”按钮。
  2. 眼动校准：
    1. 执行屏幕上的五点校准程序，并观察被试跟随红色圆点的情况（点击“工具/设置/校准…”）。根据设备制造商的标准，重复此过程直至达到足够的校准精度。
  3. 将实验任务说明投影到被试的屏幕上：询问其阅读后是否有任何疑问，并确认其是否已准备好开始实验。
  4. 要求被试解答 10 道牛顿力学物理问题。
  5. 如有需要，可在 45 秒休息期间进行一次阻抗检查（但不得在第 5 题之前进行）。
  6. 确保被试在每道题目开始前完整休息 45 s（以确定基线水平）。

4. 数据收集结束

  1. 在所有计算机上停止数据采集，并将传感器从受试者身上移除。

5. 受试者离开后

  1. 根据制造商的建议，使用杀菌剂清洁脑电图帽并整理设备。保存所有采集的数据文件，并在FTP服务器上创建备份。
  2. 填写参与者电子表格：记录数据采集过程中发生的任何特殊事件或问题。清除网页浏览器中的所有 Cookie。

6. 数据预处理及导出至整合软件

  1. 脑电图（EEG）
    1. 将脑电图数据导入脑电图数据分析软件：
      1. 在计算机上创建三个空文件夹，分别命名为“原始数据”、“历史记录”和“导出”，并将原始脑电图数据粘贴到新创建的“原始数据”文件夹中。
      2. 在脑电图数据分析软件中，点击“文件/新建项目…”，通过点击“浏览”选择原始数据的位置，然后选中新创建的原始数据文件夹。以相同方式选择“历史记录”和“导出”文件夹的位置。
      3. 点击“确定”。（窗口应包含所有参与者的脑电图数据）。
    2. 预处理脑电信号：
      1. 应用滤波器和陷波（点击“变换/IIR滤波器…”）。在弹出窗口中，启用截止频率为1.5 Hz、斜率为12 dB的低通滤波，以及截止频率为50 Hz、斜率为12 dB的高通滤波。同时启用频率为60 Hz的陷波滤波。
      2. 由于使用了直流放大器，需对信号进行去趋势处理（点击“变换/DC去趋势…”，并启用“基于时间”的选项，设置为标记前100 msec和DC连接前100 msec）。
      3. 执行原始数据检查（点击“变换/原始数据检查…”，选择半自动伪迹去除）。选择以下参数：最大电压变化率60 µV/ms；最大-最小值差：200 µV/200 ms区间；幅值范围：-400 至 +400 µV。
      4. 进行带有经典球形化的自动独立成分分析（ICA），以去除眨眼伪迹（肌电伪迹无需去除，因其频率范围超出感兴趣频段）。（点击“变换/ICA…”，ICA完成后，执行逆ICA处理。）
      5. 重新参考信号（“变换/重参考…”），并选择“公共平均参考”。
      6. 导出信号和标记（点击“导出/通用数据导出…”），以文本格式（选择“.vhdr”选项）导出，以便后续在Matlab中构建参与度指数。同时勾选“写入头文件”和“写入标记文件”选项。
    3. 将信号导入Matlab。
      1. 启动Matlab并输入“eeglab”，使EEGLab的图形用户界面（GUI）出现，并逐个导入参与者的数据。在GUI中，选择菜单项“文件/导入数据/使用EEGLab函数和插件/从Brain Vis Rec .vhdr文件导入”。
      2. 在命令窗口中粘贴一个脚本16，该脚本用于生成参与度指数。 
        注：认知参与度脚本通过计算每个时间点T前20 秒 滑动窗口内的Beta/(Alpha + Theta)比值的平均值来获得。该过程每秒重复一次，并使用新的滑动窗口更新指数。
    4. 在MS Excel中打开Matlab脚本生成的参与度指数文本文件，并对脑电图数据进行z分数标准化，以实现被试间比较。（在Excel中对每个数值应用以下公式：Z = (数值 – 总体均值) / 总体标准差。）
    5. 在MS Excel中将z分数标准化后的参与度指数信号保存为CSV文件。（点击文件/另存为…，并在格式类型中选择CSV。）
    6. 对每位参与者重复上述步骤（从步骤6.1.2.2开始）。
  2. 生理信号：
    1. 将皮肤电活动（EDA）数据导入生理信号分析软件。
    2. 应用以下参数预处理生理信号：
      1. 根据Venables和Christie23 的方法，对电导值进行对数变换，以标准化其分布。
      2. 在10 秒滑动窗口上对信号进行平滑处理24。
    3. 在生理信号分析软件内对EDA数据进行z分数标准化，以实现被试间比较。（Z = (数值 – 总体均值) / 总体标准差）。
      1. 用光标选中来自EDA通道的所有数据。
      2. 在顶部菜单中选择EDA通道，并选择“均值”以获得该通道的整体均值。同样选择EDA通道和“stddev”以获得该通道的整体标准差。
      3. 为计算z分数公式，点击“变换/波形数学运算…”，在源1中选择EDA通道，在数学运算窗口中选择“–”（减号），在源2中选择K，在目标菜单中选择“新建目标”，输入EDA通道的均值（见步骤6.2.3.2），选择“变换整个波形”，点击确定。然后再次点击“变换/波形数学运算…”，在源1中选择EDA-K通道，在数学运算窗口中选择“/”（除号），在源2中选择K，在目标中选择“新建目标”，输入EDA通道的标准差（见步骤6.2.3.2），选择“变换整个波形”，点击确定。
    4. 将信号（唤醒度）导出为CSV文件。（点击文件/另存为…，并在格式类型中选择CSV。）
  3. 自动面部情绪识别：
    1. 将媒体记录仪中的视频数据导入自动面部情绪识别软件。（点击“文件/新建…/参与者…”。在项目菜单中选择新参与者后，点击“文件/新建/分析/视频…”。点击分析1旁边的放大镜图标，选择所需视频文件。）
      1. 选择“每三帧”进行离线分析，并启用“连续校准”。
      2. 将效价数据导出为CSV文件。（点击“选项/设置/日志记录…”，勾选“将效价值写入日志文件”选项。点击“文件/导出…”，选择日志文件的导出位置，并勾选“保存详细日志”选项。）
      3. 在MS Excel中打开CSV文件。将效价数据列复制到SPSS软件的单一列中。点击“分析/描述统计/描述”，选择刚粘贴的变量名，并勾选“将标准化值保存为变量”选项。将出现一列z分数。将这些z分数复制并粘贴回Excel文件中的原始数据位置。
    2. 将包含信号（效价）z分数的Excel文件以CSV格式保存。

7. 数据整合与同步

  1. 在行为分析软件中：
    1. 导入眼动追踪视频（行为参与度）。（点击“文件/导入/在新观察中导入视频…”。为新观察命名，并选择所需的视频文件。）
    2. 对每个视频中的相关行为和情境事件进行编码（时间标记、正确/错误答案）。
    3. 导入所有带适当表头的外部数据：脑电（EEG）信号的z分数（认知参与度）、皮肤电活动（EDA）信号的z分数（情绪参与度）、效价数据（valence data）的z分数（情绪参与度）。（点击“文件/导入/外部数据…”。选择适当的文件类型，并选中正确的CSV文件。）
  2. 根据以下公式同步各计算机之间的时间：
    1. 从脑电（EEG）时间转换为眼动时间 = 眼动时间 + 脑电中的秒标记 – 眼动中的第一个标记。
    2. 从面部情绪识别时间转换为眼动时间 = 眼动时间 + 面部情绪中的第一个标记 – 眼动中的第一个标记。
    3. 从皮肤电活动时间转换为眼动时间 = 眼动时间 + 皮肤电活动中的第一个标记 – 眼动中的第一个标记。
  3. 按下“Ctrl + Shift + =”进入偏移数据，打开偏移菜单。选择“数值偏移”，根据上述计算结果输入各数据源之间的时间差（以秒为单位）[确定？]。
  4. 根据研究中的感兴趣变量生成报告。
    1. 选择将在报告中生成的感兴趣变量（点击“分析/选择数据/新建配置文件数据…”）。从左侧将所需变量在右侧的“开始”框与“结果”框之间滑动。
    2. 生成报告。（点击“分析/数值分析/新建…”，点击“统计”，并在外部数据菜单中勾选均值框。最后点击“计算”。）
  5. 将数据导出至统计分析软件，并根据研究目标进行分析。

访问受限。请登录或开始试用以查看此内容。

结果

图2和图3展示了在行为分析软件应用中整合与同步行为、情绪和认知参与数据结果的截图。在两幅图中，左侧部分列出了研究对象和编码方案。中间部分的视频（带有红点）显示了受试者在任务过程中的视线注视情况。根据受试者在任务期间注视的内容及其采取的行为，可推断其行为参与程度。在下方部分，时间标记在三条数据轨道上同步滚动：分别用于评估情绪参与的皮肤电活动（唤醒）和面部情绪效价，以及用于评估认知参与的脑电图参与指数。当所有受试者的数据收集完成后，该软件还可提供基本的描述性统计结果，后续可用于在其他统计分析软件中进行被试间分析。

使用视频回放和数据追踪在软件界面上显示的行为观察分析。
图 2. 问题解决任务开始时的多维参与数据。 受试者在问题解决...

访问受限。请登录或开始试用以查看此内容。

讨论

就本方案中的关键步骤而言，首先需要强调的是，数据质量始终是神经生理信号采集技术的主要关注点。在本方法中，研究助理必须特别注意指导受试者尽量减少头部运动，以避免干扰效价监测（导致摄像头无法获取正确的面部角度）或在脑电图（EEG）中产生肌电伪迹。另一方面，必须在真实问题解决过程的真实性与为更符合人体工学的数据采集而进行的干预措施之间保持平衡。还应注意，脑电数据采集易受环境中电磁波动的影响。传统的脑电实验室通常使用法拉第笼将设备与电磁干扰隔离。然而，由于本方法中使用的部分设备（主要是眼动仪）会在法拉第笼内部产生电磁波动，因此该方法将无效。我们通过特别注意对所有电子设备进行接地和屏蔽，从而克服电磁干扰问题。

关于该技术的改进与故障排除，最初的同步策略依赖于同步软件在多台计算机和程序上精确“启动”数据采集的能力。由于观察到计算机与程序之间存在关键且不一致的延迟，因此必须在数据采集后进行重新同步。为此，系统架构中增加了一个同步盒（syncbox）设备。同步盒会向所有采集数据的计算机和程序发送一个TTL标记。同步问题由此转化为计算首个同步盒标记之间延迟的问题。

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

作者感谢加拿大社会科学与人文研究理事会（SSHERC）、加拿大自然科学与工程研究理事会（NSERC）、魁北克自然与技术研究基金会（FQRNT）以及魁北克社会与文化研究基金会（FQRSC）提供的资金支持。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
EGI GSN-32 EGI高密度阵列脑电图
Netstation v.5.0EGI脑电数据采集软件：使用Netstation采集软件和EGI放大器（Electrical Geodesics, Inc）通过32通道高密度阵列脑电图（dEEG）测地线传感器网采集脑电信号。顶点（记录位点Cz）作为记录的参考电极。阻抗保持在50 kΩ以下，采样频率为250 Hz。 
Facereader v.4Noldus面部情绪识别软件
SyncboxNoldusSyncbox通过向EGI放大器发送晶体管-晶体管逻辑（TTL）信号并向Tobii Studio v 3.2发送按键信号，启动脑电与眼动数据的同步记录。
Logitech C600  网络摄像头960-000396用于采集视频数据的网络摄像头，视频数据将被发送至MediaRecorder，并在Facereader中进行分析
The Observer XTNoldus集成与同步软件：Noldus Observer XT（Noldus Information Technology）用于同步所有行为、情绪和认知参与数据。 
屏幕LED照明灯Noldus置于计算机屏幕上的霓虹灯，用于正确照亮受试者面部
MediaRecorderNoldus视频数据采集软件
Tobii 60XTobii采集眼动模式： 用于在实验过程中以60 Hz频率记录受试者’的眼动模式。 
Tobii Studio v.3.2Tobii眼动数据采集与分析软件
Analyzer 2Brainvision脑电信号处理软件
Acqknowledge v.4.0BiopacACK100M生理信号采集与处理软件
Control III 消毒液Maril Products.10002REVA-20002-1用于脑电头盔的消毒溶液：由EGI推荐
UniparkQuestBack AG在线调查平台

参考文献

  1. Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: Potential of the concept, state of the evidence. Rev. Educ. Res. 74 (1), 59-109 (2004).
  2. Clark, R. C., Mayer, R. E. E-learning and the Science of Instruction. , Pfeiffer. San Francisco. (2011).
  3. Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness. Inform. Manage. 43 (1), 15-27 (2006).
  4. Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. Evaluation of an adaptive automation system using three EEG indices with a visual tracking task. Biol. Psychol. 50, 61-76 (1999).
  5. Glimcher, P., Rustichini, A. Neuroeconomics: The consilience of brain and decision. Science. 306 (5695), 447-452 (2004).
  6. Lieberman, M. D. Social Cognitive neuroscience: A review of core processes. Annu. Rev. Physiol. 58, 259-289 (2007).
  7. Pope, A. T., Bogart, E. H., Bartolome, D. S. Biocybernetic system evaluates indices of operator engagement in automated task. Biol. Psychol. 40 (1-2), 187-195 (1995).
  8. Physiological indicators for the evaluation of co-located collaborative play. Mandryk, R., Inkpen, K. CSCW '04 Proceedings of the 2004 ACM conference on Computer supported cooperative work, 2004 Nov 6-10, Chicago, IL, USA, , (2004).
  9. Allaire-Duquette, G., Charland, P., Riopel, M. At the very root of the development of interest: Using human body contexts to improve women’s emotional engagement in introductory physics. Eur. J. Phy. Ed. 5 (2), 31-48 (2014).
  10. Bradley, M. M., Lang, P. J. Measuring emotion: The self-assessment manikin and the semantic differential. J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).
  11. Lang, P. J. The emotion probe: Studies of motivation and attention. Am. Psychol. 50 (5), 372-385 (1995).
  12. Ekman, P., Felt Friesen, W. false, and miserable smiles. J. Nonverbal Behav. 6 (4), 238-252 (1982).
  13. Advances in face and gesture analysis. Van Kuilenburg, H., Den Uyl, M. J., Israël, M. L., Ivan, P. Proceedings of Measuring Behavior 2008, 2008 Aug 26-29, Maastricht, The Netherlands, , 371-372 (2008).
  14. Cacioppo, J., Tassinary, L. G., Berntson, G. G. Handbook of Psychophysiology. , Cambridge University Press. Cambridge, UK. (2007).
  15. Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O’Donnell, P. H. Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance. Biofeedback Self-reg. 20 (1), (1995).
  16. Mikulka, P. J., Freeman, F. G., Scerbo, M. W. Effects of a biocybernetic system on the vigilance decrement. Hum. factors. 44 (4), 654-664 (2002).
  17. Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. An evaluation of an adaptive automation system using a cognitive vigilance task. Biol. Psychol. 67 (3), 283-297 (2004).
  18. Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. Affect and mental engagement: Toward adaptability for intelligent systems. Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).
  19. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-LeMoyne, É Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research. J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).
  20. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-Lemoyne, E. Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research. J. Assoc. Inf. Syst. 15 (10), (2014).
  21. Courtemanche, F. Un outil d’évaluation neurocognitive des interactions humain-machine Doctoral thesis. , Université de Montréal. Montreal, QC. (2014).
  22. Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures. Charland, P., Léger, P. M., Mercier, J., Skelling-Desmeules, Y. Fourth Scientific International Symposium of the Association for Research in Neuroeducation, Caen, France, , (2014).
  23. Venables, P. H., Christie, M. J. Electrodermal activity. Techniques in Psychophysiology. Martin, I., Venables, P. , Wiley. Chichester, UK. 3-67 (1980).
  24. Electrodermal Activity. Boucsein, W. , 2nd ed, Springer. New York. (2012).
  25. Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures. Biol. Psychol. 70 (3), 188-196 (2005).
  26. Martens, R. L., Gulikers, J., Bastiaens, T. The impact of intrinsic motivation on e-learning in authentic computer tasks. J. Comput. Assist. Lear. 20 (5), 368-376 (2004).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

行为参与认知参与情感参与脑电数据采集皮肤电反应眼动追踪面部表情识别数据同步多维度参与神经生理评估
从神经生理学视角评估参与度的多重维度以表征学习过程
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。