2015年7月1日
本文旨在描述学习者在任务中参与的多个维度(行为、情感和认知)的收集和同步所涉及的技术。
该程序的总体目标是在学习任务期间收集和同步有关行为、情感和认知参与的数据。这是通过首先通过同步设备连接所有数据收集系统来实现的,该设备将在收集的数据中发送时间标记。第二步是收集眼动追踪和软件交互数据以进行行为参与。
接下来,将收集脑电图数据用于认知参与表征。最后一步是收集来自 ELECTRODERMAL 活动或 ED 的情绪参与数据,用于唤醒测量和自动面部情绪识别或 A FER 以生成效价数据。最终,这些表征参与三个维度的指标将根据同步设备最初发送的时间标记在同步软件中重新同步。
这种技术的主要优点是它量化了学习者在学习任务中参与度的三个维度,而不是只关注任务后自我评估参与工具的经典研究方法。这种方法可以帮助回答适应症领域的关键问题,例如在各种复杂的学习环境中影响认知的动态是什么,各种教学设置对效果和认知有什么影响?这项技术在其他领域也有影响。
例如,在信息技术领域,我们正在使用这种技术来衡量用户在浏览网站或使用软件应用程序时的参与度。这项技术的灵感来自神经组学的最新工作,其中使用脑电图设备收集长途驾驶员的警觉数据。演示此程序的是 Gabrielle Zu 和蒙特利尔 HEC Tech three 实验室的研究助理,以及 Begin 神经实验室的研究助理 Igo 和 Yig,他们打开了眼动仪、用于记录计算机和扬声器的脑电图放大器。
根据制造商推荐的程序,用所需材料制备脑电图溶液。然后为即将到来的参与者准备脑电图和眼动追踪软件。然后启动视频录制软件,摄像机使用为项目创建的特定子程序启动同步软件,该子程序允许每 60 秒发送一次同步标记。
然后启动生理测量软件并打开为项目创建的特定布局。接下来,将参与者带入数据收集室,并根据 10 20 参考系统在参与者的头部找到 cz 电极位置。将脑电图网放在参与者的头部,并确保每个电极都垂直于头部表面。
插入网络连接器并执行阈值为 40 KB 欧姆的阻抗检查。最后,将两个生理传感器放在参与者的左手顶部。开始数据收集。
一旦所有记录软件都准备好在 Synchrony 中启动,执行一个 9 点校准程序,并在参与者跟随屏幕上的红点时观察他们。重复此过程,直到根据制造商的标准达到足够的精度,指导参与者在计算机上解决 10 个牛顿物理问题。停止所有计算机上的数据采集。
任务完成后,移除参与者的所有传感器。首先,将 EEG 数据导入 EEG 数据分析软件。接下来,单击 文件,然后单击 新建项目,然后单击 浏览 选择原始数据位置。
选择新创建的原始数据文件夹。选择另外两个名为 history 的文件夹的位置,然后以相同的方式导出。然后点击 Ok.
接下来,单击转换和 IIR 滤波器,通过在软件窗口中应用滤波器和缺口来预处理大脑信号。将截止限值设置为 1.5 赫兹和 50 赫兹,每个限值斜率为 12 分贝,并以 60 赫兹的频率启用陷波。然后 DC D 通过单击 transformations 和 DC dre 对信号进行趋势分析。
根据标记前 100 毫秒和 DC 连接前 100 毫秒的时间选择选项。通过单击 Transformations (转换) 和 Raw data inspection (原始数据检查) 来执行原始数据检查。选择半自动检查,然后选择此处看到的电压、最大值、最小值和振幅参数。
完成后,通过单击变换和 ICA 来执行自动独立组件分析或使用经典球体执行 ICA 以去除 I 闪烁。通过单击转换 ICA 处理逆 ICA。然后逆 ICA。
最后,通过单击 export 和 generic data export 来导出信号和标记。选中标记为 right header file 和 right marker file 的框。此外,为参与指数的最终 MATLAB 构造选择文本格式。
接下来,将 EEG 信号导入 matlab。为此,请启动 E-E-G-L-A-B 脚本。因此,EEG 实验室 GUI 显示在 matlab 中。
通过选择文件,一次导入一个参与者的数据,使用 EEG 实验室功能和插件导入数据,并从脑视记录 VDR 文件中将脚本粘贴到命令窗口中,以生成参与指数。此脚本将输出一个文本文件。在 Microsoft Excel 中打开参与索引文本文件。
对 EEG 数据应用 Z 分数归一化,以允许受试者间比较。脑电图预处理完成后。通过将 ELECTRODERMAL 活性或 EDA 数据导入生理数据分析软件来预处理生理学数据。
然后通过单击变换和波形数学来计算 EDA 数据的 z 分数归一化,以允许主体间比较。这分两个步骤完成。首先,为源 1 选择 EDA 通道,在数学运算窗口中选择减号,为源 2 选择 K。
然后选择 新建 在 destination 菜单中。输入 EDA 通道的平均值,然后选择 transform entire wave (转换整个波形)。单击第二步 okay,再次打开 transformation waveform math,然后选择源 1 的 EDAK 通道,数学运算窗口中的除号和 K 源 2。
然后选择 新建 in destination menu.输入 EDA 通道的标准偏差值,然后选择 transform entire wave (变换整个波)。最后,单击 okay 进行最后的预处理步骤。
通过单击"新建文件",然后单击"参与者",将视频数据从媒体录像机导入自动面部情绪识别软件。在 project 菜单中选择新的参与者。然后点击 文件 新分析和视频.
单击 analysis one 旁边的放大镜,然后选择所需的视频文件。最后,通过单击分析描述性统计和描述性来计算 SPSS 中价数据的 zco。选择 Save standardized value in variables(在变量中保存标准化值),将出现一个带有 Z 分数的列。
首先,通过单击新观察中的 file、import 和 video 来导入 I 跟踪视频。为新观测点命名,然后选择要导入的所需视频文件。通过单击 file、import 和 external data 导入所有外部数据。
包括 EEG 信号的 Z 分数、EDA 信号的 zco 和价数据的 Z 分数。如果需要,请添加事件标记以进行进一步分析。要在计算机之间同步计时,请按 Ctrl Shift 打开 offset 菜单,然后等号 select numeric offset 输入每对数据源之间的时间(以秒为单位)。
单击 确定。接下来,通过单击 analyze select data 和 new data profile.选择要分析的所需事件,然后单击 "确定"。
然后在 start 和 nest 表之间以及 Nest 和 results 表之间添加一条连接线。通过单击生成报告, analyze numerical analysis 和 new click statistics,然后选中external data菜单下means旁边的框。然后点击 Ok.
单击 layout 并确保外部数据位于列上,并且结果容器显示在行上。单击完成。好。最后,单击计算按钮,以便软件更新正在生成的报告中涉及的计算。
在这个实验中,参与数据的许多维度都是同步的,包括通过使用多台计算机的行为、认知和情感。为了建立主题的基线,使用任务中某个点的数据非常有用,该点在暂停结束时有暂停。在预期下一项任务时,脑电图认知参与略有上升,而唤醒仍在下降。
由于参与者在问题解决任务期间闭上了眼睛,因此缺少价数据。当受试者阅读第三行时,你可以看到他们的唤醒已经达到顶峰。情绪效价是中性的,一旦掌握,脑电图认知参与就达到最大值。
这项技术涉及实验开始前大约 30 分钟的受试者准备 开发后。这项技术将为研究人员和从业者铺平道路,同时也为视频游戏行业实时监控用户的行为、情感和认知方面铺平道路。任何调节方法的一个关键步骤是同步,并且应该在每次实验之前和之后测试该程序的精度,以便在所有器件之间有一个准确的时序。
观看此视频后,您现在应该对如何收集同步的心理生理数据有一个很好的了解,以便更好地了解学习任务期间参与的行为、情感和认知维度的互动动态。
查看完整文字稿并访问数千部科学视频
本文描述了在学习任务中收集和同步行为、情感和认知参与数据的技术。该研究着重于整合学习者参与的多个维度,以增强对学习过程的理解。
This methodology enables synchronized, multi-dimensional measurement of behavioral, emotional, and cognitive engagement during learning tasks, offering a neurophysiological framework for assessing user interaction with digital systems. In biopharma R&D, such approaches can inform the design of adaptive training platforms for clinical trial staff, enhance engagement metrics in patient-reported outcome tools, and support mechanistic de-risking in neurocognitive therapeutic development by providing quantifiable, real-time indices of attentional and affective states. The integration of EEG, electrodermal activity, eye tracking, and facial recognition delivers a systems-level view of engagement dynamics, aligning with target validation efforts that require objective, multi-parametric biomarkers of cognitive and emotional response.
This method fits within the discovery continuum from target validation through lead identification to preclinical efficacy, particularly for compounds targeting cognitive and emotional processing pathways where multi-dimensional engagement serves as a functional readout.