Summary
本协议介绍了如何执行并发EEG和fNIRS记录以及如何检查EEG和fNIRS数据之间的关系。
Abstract
并发EEG和fNIRS记录提供了一个绝佳的机会,通过检查神经和血液动力学信号之间的关系,全面了解认知处理的神经机制。脑电图是一种电生理学技术,可以测量皮层的快速神经元活动,而fNIRS依靠血液动力学反应来推断大脑激活。EEG和fNIRS神经成像技术的结合可以识别更多的特征,并揭示与大脑功能相关的更多信息。在此协议中,对在 Flanker 任务期间调用电电电位和血液动力学响应的并发记录进行了融合 EEG-fNIRS 测量。此外,还详细介绍了建立硬件和软件系统的关键步骤以及数据采集和分析程序。预计本协议可以通过使用EEG和fNIRS信号,为增进对各种认知过程背后的神经机制的理解开辟一条新途径。
Introduction
本研究旨在开发一种工作协议,通过使用融合EEG和fNIRS神经成像技术来揭示Flanker任务背后的神经激活模式。有趣的是,并发fNIRS-EEG记录允许检查前额叶皮层的血液动力学信号与整个大脑中与Flanker任务相关的各种事件相关电位(ERP)成分之间的关系。
各种非侵入性神经成像模式的整合,包括功能近红外光谱(fNIRS)、脑电图(EEG)和功能磁共振成像(fMRI)对于增进,对大脑1、2、32中信息处理地点和时间的理解至关重要。13此外,还有可能结合fNIRS和EEG来研究局部神经活动与随后血液动力学反应变化之间的关系,其中脑电图和fNIRS在揭示人脑认知功能的神经机制方面可以相互补充。fNIRS是一种基于血管的功能性神经成像技术,依靠血液动力学反应来推断大脑激活。fNIRS测量大脑皮层的相对氧血红蛋白(HbO)和脱氧血红蛋白(HbR)浓度变化,在认知处理33、4、5、6、74,5,6,7研究中起着重要作用。根据神经血管和神经代谢耦合机制8,与认知处理相关的局部神经活动的变化通常伴随着局部血流和血氧的后续变化,延迟4-7秒。结果表明,神经血管耦合很可能是一种功率传感器,它将神经活动的快速动力学集成到慢性血管动力学9的血管输入中。具体来说,fNIRS主要用于检查前额叶的神经血管活动,特别是负责高认知功能的前额皮质,如执行功能10、11、12、11,12推理和规划13、决策14、社会认知和道德判断15。10然而,fNIRS测量的血液动力学反应仅间接捕获具有低时分辨率的神经活动,而脑电图可以提供时间上精细和直接的神经活动测量。因此,EEG和fNIRS记录的组合可以识别更多的特征,并揭示与大脑功能相关的更多信息。
更重要的是,已进行多模态采集脑电图和fNIRS信号,以检查各种认知任务16、17、18、19、20、21、2221,22或脑-计算机接口16,17,18,19,20,23、24,24背后的大脑激活。特别是,并发ERP(事件相关电位)和fNIRS记录基于事件相关的听觉怪球范式1进行,其中fNIRS可以在P300组件出现几秒钟后识别前时叶皮层的血液动力学变化。霍罗维茨等人还演示了在语义处理任务25中同时测量fNIRS信号和P300分量。有趣的是,以前基于同时EEG和fNIRS记录的研究表明,在奇球刺激期间,P300与fNIRS信号26表现出显著的相关性。结果发现,多模式测量具有揭示基于事件相关范式26的综合认知神经机制的潜力。除了怪球任务外,与ERP组件N200相关的Flanker任务也是一个重要的范例,可用于研究认知能力检测和评估与健康控制和各种疾病患者。具体来说,N200是一个负分量,从前结形皮层前额27和优越的叶皮层28峰200-350毫秒。虽然先前的研究研究了Flanker任务29中上前皮层和α振荡之间的关系,但N200振幅与Flanker任务期间的血液动力学反应之间的相关性尚未探索。
在此协议中,基于标准 EEG 帽的自制 EEG/fNIRS 修补程序用于并发 EEG 和 fNIRS 记录。光子/电极的排列与支持是通过放置fNIRS光子融合到脑电图帽。同时进行EEG和fNIRS数据采集时,与E-prime软件产生的激励任务相同。我们假设与 Flanker 任务相关的 ERP 组件与前额叶皮层的血动力学反应有显著的相关性。同时,结合ERP和fNIRS记录可以提取多个信号指示器,以更高的精度识别大脑激活模式。为了验证这一假设,将fNIRS设置和EEG机集成在一起,揭示了与事件相关的Flanker任务对应的复杂神经认知机制。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
在实验测试之前,所有参与者都签署了知情同意文件。本研究议定书获澳门大学道德委员会批准。
1. 用于并发 EEG 和 fNIRS 录像的硬件和软件设置
- 为并发 EEG-fNIRS 录制构建头盖。
- 根据参与者的头部周长选择适当的盖尺寸。在这项研究中,使用中等大小的帽子,因为它适合大多数青少年和成人参与者。
- 在前额叶皮层中设计fNIRS视点与脑电图帽的布局(图1)。
- 将EEG电极放置在fNIRS视点的中间部分,以确保通过两种技术19、30,30测量同一大脑区域。然而,由于EEG和fNIRS神经成像方法的空间分辨率较低,将电极放置在fNIRS视光点覆盖的相应大脑区域,而不是fNIRS通道的确切位置。
- 在EEG盖内打22个洞,以保持fNIRS视点与前额叶皮层中的特定布局一致。根据头盖的设计布局识别和标记 fNIRS 光点的位置,然后在盖内打孔以放置和固定光点。
- 根据10-20国际系统,沿脑电图帽表面放置21或71个EEG电极(参见材料表),并安装光子的网格。
- 将每个源探测器对之间的距离设置为 3 厘米,然后固定视点,其中蓝色视光表示光探测器,而红色光探测器表示激光源。
- 在软件中设置 EEG 和 fNIRS 端口。
- 使用通过并行端口和串行端口生成的时间触发器,以确保两个不同的信号的同步。
- 为脑电图系统设置并行端口(例如,本研究中的H378)(参见材料表)。
- 为 fNIRS 系统设置串行端口(例如,本研究中的 6 9600)(参见材料表)。
注: 应针对各种 EEG 和 fNIRS 设置修改端口类型和编号。有关详细信息,请联系制造商。
2. 实验准备
- 在激光打开 30 分钟后预热 fNIRS 系统。
- 设置 fNIRS 测量系统的所有必要操作参数。
- 向参与者展示融合式实验设置,包括 EEG 和 fNIRS 测量系统。
- 根据 10-20 国际系统测量和标记 Cz 点。在内膜和切口之间的距离的一半处确定 Cz 的电极位置,以及左右两个听觉间凹痕之间距离的一半。
- 首先沿参与者的额头将盖的前部放在一起,然后向下拉下盖的后部朝颈部。
- 验证位置。
- 再次使用软尺标测量 Cz 和内角和 nasion 之间的距离,并仔细检查其是否位于中点。同样,测量 Cz 和左右两个听觉间之间的距离,并仔细检查 Cz 是否位于中点。
- 准备脑电图录像。
注:强烈建议先设置EEG电极,然后设置fNIRS视光。如果EEG导电凝胶覆盖孔放置fNIRS光子,则应清洁它,以防止光子污染。- 通过 EEG 电极网格的孔插入钝针,填充导电凝胶。
- 根据标签将所有电极放入 EEG 电极网格中。
- 打开 EEG 软件并检查 EEG 电极的信号质量。
- 如果信号质量不够好,无法满足要求(40 mV),则通过重新填充导电凝胶重新重新调整电极。
- 如果阻抗不能满足要求,则通过重新填充导电凝胶重新重新重新调整电极。
- 准备 fNIRS 录音。
注意:请勿将参与者的眼睛直接暴露在 fNIRS 源的激光束上。- 沿连接到 fNIRS 测量系统和支架的支架臂放置光纤。确保纤维整洁。
- 根据布局将光源和探测器插入孔中。
- 测试信号质量。如果通道没有高级别信噪比(即通道以黄色标记),请轻轻检查光学探头周围的参与者的头发,以确保光学探头和头皮之间不存在任何内容。
- 如果步骤 2.8.3 无法提高信号质量,请调高信号强度。如果信号过多(即,如果通道以红色标记),请调低信号强度。
3. 运行实验
- 当信号稳定且参与者熟悉实验说明时,启动实验。使用经典的Flanker范例进行实验测试29,31。29,
- 实验后,保存并导出EEG和fNIRS的数据。
- 小心拆下 EEG 电极和 fNIRS 光学探头。
4. 使用 3D 数字化器测量 fNIRS 光度图的三维 (3D) MNI 坐标
- 让参与者坐在椅子上,戴上传感器的眼镜。
- 打开计算机上的数字化软件。确保 3D 数字化仪系统通过适当的 COM 端口与计算机连接。
- 加载视光点设置文件的布局。
- 将 3D 数字化器手写笔移到关键位置(Nz、Iz、左耳、右耳、Cz)以及屏幕,然后按手写笔上的按钮。
- 本地化光源和探测器
- 导出 3D 坐标文件。
5. 数据分析
- fNIRS 数据分析
- 使用 NIRS-SPM 中的注册选项(使用 MATLAB 2019)处理 3D MNI 协调数据。选择:独立空间注册 |带 3D 数字化。选择以前保存的其他人和源文本文件,然后选择"注册"。
- 预处理fNIRS信号与荷马2软件32。
- 将原始数据转换为不同波长的光密度变化,并使用经过修改的啤酒-兰伯特定律进一步转换为 HbO 在不同时间点的浓度变化。一般来说,受年龄、性别和波长影响的典型差分路径长度因子 (DPF) 值,源和除塞器33、34,34之间的距离为 6,这与先前研究34、35,35的平均 DPF 相似。
- 使用 Homer2 fNIRS 处理包中的样条线运动伪影检测算法进行运动校正。请根据文献36选择适当的运动校正方法。
- 通过 0.2 Hz 的低通滤波器,然后通过 0.015 Hz 的高通滤波器处理原始血红蛋白连续数据。
- 通过划分平均值实现血液动力学信号振幅的标准化。
- 根据 3D 数字化仪信息为每个通道生成 fNIRS 数据。根据 NIRS-SPM 的回归计算,选择在上部皮层 (SFC) 中注册概率为 100% 或以上的通道,以便进一步分析。
- 导出氧气血红蛋白 (HbO) 浓度变化的峰值值。
注:在这项研究中,只有HbO信号由于高信噪比而进行了分析。从每个参与者中提取运行平均 HbO 数据的峰值值,以便进一步分析。
- 脑电图数据处理
注:离线EEG数据分析是使用EEGLAB执行的。只有Fz的N200是本研究的有趣组成部分。所有电极都经过自动伪影校正,使用内部工件地形模型去除眼部运动。然后,连续脑电图数据根据目标和非目标刺激细分为不同的试验,其中每个试验的周期持续 2500 毫秒,涉及 500 毫秒(基线纪元)的预刺激期和 2000 毫秒(任务纪元)的刺激期。- 使用插件将原始 EEG 数据文件夹加载到 EEGLAB 中。在本研究中为 BDF 文件选择 BIOSIG 插件。
注:请根据 EEG 数据文件格式选择合适的插件。 - 设置 EEGLAB37的通道位置信息。加载盖的相应位置文件。
- ERPLAB 中的重新引用电极,这是 EEGLAB 的一个插件。选择放置在乳腺中的通道作为参考电极。
- 根据 ERPLAB37中的事件和 bin 文件提取 EEG 数据纪元。
- 通过使用 FIR 滤波器过滤截止 30Hz 的低频,以及以 0.1 Hz 的截止量过滤高频,过滤 ERPLAB 中的 EEG 数据段。
- 使用 EEGLAB 中的独立组件分析去除眼部 EEG 伪影。
- 在 ERPLAB 中的任何通道上,拒绝振幅值超过 ± 100 μV 的 EEG 数据段。
- 对 ERPLAB 中的 EEG 数据段进行平均。
注:这些是常用的数据分析方法和处理EEG和fNIRS数据的软件。有许多可用的处理软件和方法。
- 使用插件将原始 EEG 数据文件夹加载到 EEGLAB 中。在本研究中为 BDF 文件选择 BIOSIG 插件。
- 关联计算
- 使用 Pearson 相关分析生成 fNIRS 和 EEG 记录之间的关系。
i+
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
图 2显示了所有通道的 HbO 信号,而图 3显示了 Fz 和 FCz 的 ErP 以及 Flanker 任务的两个条件。Figure 4说明了 Pearson 相关分析结果表明,SFC 中的 fNIRS 信号在不一致条件(P<0.05) 中与 Fz 的 ERP N200 组件存在显著相关性。但是,对于一致条件(P>0.05),情况并非如此。
图 1. fNIRS 耳机放置和通道配置。数字化光度布局将转换为 MNI 坐标系,然后沿大脑皮层重叠,请单击此处查看此图形的较大版本。
图 2.HbO 信号,用于与 Flanker 任务关联的所有通道。粉红色曲线表示不一致条件,而绿色曲线表示一致条件。请点击此处查看此图形的较大版本。
图 3.Fz 和 FCz 电极的 ERP 信号。黑色曲线定义不一致条件,而红色曲线表示一致条件。请点击此处查看此图形的较大版本。
图 4:ERP N200 和 HbO 信号之间在高级前额皮层 (SFC) 上的相关性,用于不协调的情况。两个测量值之间的回归系数为0.59,p = 0.027。请点击这里查看此图形的较大版本。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
在此协议中,通过记录整个大脑的神经信号和前额叶皮层的并发血液动力学反应,执行联合EEG和fNIRS记录,以检查涉及事件相关的Flanker范式的大脑激活模式。ERP 结果表明,Fz 的 N200 能够显著区分一致和不一致条件(P=0.037)。同时,SFC中的HbO信号(通道21)也表现出一致和不一致条件之间的显著差异,这表明抑制与Flanker任务相关的大脑认知功能的反应(PFDR = 0.041)的重要作用。
此外,Fz 的 N200 显示与 SFC(通道 21)中不一致情况的血液动力学响应有显著相关性,尽管对一致情况则不一致。前额叶皮层的大脑激活与高认知功能密切相关,fNIRS可以很容易地识别这种功能,在空间领域具有高信噪比。然而,脑电图检测到的神经活动(N200)与同一Flanker任务相关,大多在具有高灵敏度和高时间分辨率的皮层中显示。Fz 的 N200 显示了两个条件之间的认知差异,而 fNIRS 信号说明了两个条件之间的前部区域抑制函数的差异。结果发现,在Flanker任务期间,认知与执行控制有重要关系。这可能是Fz的N200与SFC中血液动力学反应显著相关的主要原因。
在此协议中,我们描述了如何进行融合 EEG 和 fNIRS 记录,以及如何分析事件相关电位和测量前额叶皮层的血红蛋白浓度变化。不同设置的同步是两个硬件系统融合的一个基本问题。同时,事件相关的触发器也是并发 EEG 和 fNIRS 记录的任务设计的关键标志。
结合EEG和fNIRS记录是研究各种认知任务背后的神经机制的有前途的技术。总之,我们在 Flanker 任务期间成功获取了并发 EEG 和 fNIRS 数据。研究结果表明,fNIRS血液动力学反应和ERP组件N200具有显著相关性,对Flanker任务相关的认知机制表现出不同的观点。多模态神经成像结果支持脑电图和fNIRS组合技术在不同延迟和激活区域促进大脑认知的重要作用,为增进对Flanker任务神经机制的理解开辟了一条新途径。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
这项工作部分在高性能计算集群(HPCC)进行,该集群由澳门大学信息和通信技术办公室(ICTO)提供支持。这项研究由澳门大学MYRG2019-00082-FHS和MYRG2018-00081-FHS资助,并由澳门特区科技发展基金(FDCT 0011/2018/A1和FDCT025/2015/A1)资助。
Materials
Name | Company | Catalog Number | Comments |
EEG cap | EASYCAP GmbH | - | - |
EEG system | BioSemi | - | - |
fNIRS system | TechEn | - | CW6 System |
References
- Kennan, R. P., et al. Simultaneous recording of event-related auditory oddball response using transcranial near infrared optical topography and surface EEG. NeuroImage. 16 (3), Pt 1 587-592 (2002).
- Horovitz, S. G., Gore, J. C. Simultaneous event-related potential and near-infrared spectroscopic studies of semantic processing. Human Brain Mapping. 22 (2), 110-115 (2004).
- Yuan, Z., Ye, J. Fusion of fNIRS and fMRI data: identifying when and where hemodynamic signals are changing in human brains. Frontiers in Human Neuroscience. 7, 676 (2013).
- Lin, X., Sai, L., Yuan, Z. Detecting Concealed Information with Fused Electroencephalography and Functional Near-infrared Spectroscopy. Neuroscience. 386, 284-294 (2018).
- Ieong, H. F., Yuan, Z. Emotion recognition and its relation to prefrontal function and network in heroin plus nicotine dependence: a pilot study. Neurophotonics. 5 (02), 1 (2018).
- Hu, Z., et al. Optical Mapping of Brain Activation and Connectivity in Occipitotemporal Cortex During Chinese Character Recognition. Brain Topography. 31 (6), 1014-1028 (2018).
- Wang, M. -Y., et al. Concurrent mapping of brain activation from multiple subjects during social interaction by hyperscanning: a mini-review. Quantitative Imaging in Medicine and Surgery. 8 (8), 819-837 (2018).
- Scholkmann, F., et al. A review on continuous wave functional near-infrared spectroscopy and imaging instrumentation and methodology. NeuroImage. 85, 6-27 (2014).
- Wan, X., et al. The neural basis of the hemodynamic response nonlinearity in human primary visual cortex: Implications for neurovascular coupling mechanism. NeuroImage. 32 (2), 616-625 (2006).
- Miller, E. K. The prefontral cortex and cognitive control. Nature Reviews Neuroscience. 1 (1), 59-65 (2000).
- Miller, E. K., Cohen, J. D. An integrative theory of prefrontal cortex function. Annual review of Neuroscience. 24 (1), 167-202 (2001).
- Mansouri, F. A., Tanaka, K., Buckley, M. J. Conflict-induced behavioural adjustment: a clue to the executive functions of the prefrontal cortex. Nature Reviews Neuroscience. 10 (2), 141-152 (2009).
- Wood, J. N., Grafman, J. Human prefrontal cortex: processing and representational perspectives. Nature Reviews Neuroscience. 4 (2), 139-147 (2003).
- Wallis, J. D. Orbitofrontal Cortex and Its Contribution to Decision-Making. Annual Review of Neuroscience. 30 (1), 31-56 (2007).
- Forbes, C. E., Grafman, J. The Role of the Human Prefrontal Cortex in Social Cognition and Moral Judgment. Annual Review of Neuroscience. 33 (1), 299-324 (2010).
- Nguyen, D. K., et al. Non-invasive continuous EEG-fNIRS recording of temporal lobe seizures. Epilepsy Research. 99 (1-2), 112-126 (2012).
- Peng, K., et al. fNIRS-EEG study of focal interictal epileptiform discharges. Epilepsy Research. 108 (3), 491-505 (2014).
- Liu, Y., Ayaz, H., Shewokis, P. A. Multisubject "learning" for mental workload classification using concurrent EEG, fNIRS, and physiological measures. Frontiers in Human Neuroscience. 11, (2017).
- Aghajani, H., Garbey, M., Omurtag, A. Measuring mental workload with EEG+fNIRS. Frontiers in Human Neuroscience. 11, (2017).
- Balconi, M., Vanutelli, M. E. Hemodynamic (fNIRS) and EEG (N200) correlates of emotional inter-species interactions modulated by visual and auditory stimulation. Scientific Reports. 6, (2016).
- Donohue, S. E., Appelbaum, L. G., McKay, C. C., Woldorff, M. G. The neural dynamics of stimulus and response conflict processing as a function of response complexity and task demands. Neuropsychologia. 84, 14-28 (2016).
- Liu, Y., Ayaz, H., Shewokis, P. A. Mental workload classification with concurrent electroencephalography and functional near-infrared spectroscopy. Brain-Computer Interfaces. 4 (3), 175-185 (2017).
- Fazli, S., et al. Enhanced performance by a hybrid NIRS-EEG brain computer interface. NeuroImage. 59 (1), 519-529 (2012).
- Putze, F., et al. Hybrid fNIRS-EEG based classification of auditory and visual perception processes. Frontiers in Neuroscience. 8, 373 (2014).
- Horovitz, S. G., Gore, J. C. Simultaneous event-related potential and near-infrared spectroscopic studies of semantic processing. Human Brain Mapping. 22 (2), 110-115 (2004).
- Lin, X., et al. Mapping the small-world properties of brain networks in Chinese to English simultaneous interpreting by using functional near-infrared spectroscopy. Journal of Innovative Optical Health Sciences. 11 (03), 1840001 (2018).
- Folstein, J. R., Van Petten, C. Influence of cognitive control and mismatch on the N2 component of the ERP: A review. Psychophysiology. 45 (1), 152 (2008).
- Patel, S. H., Azzam, P. N. Characterization of N200 and P300: Selected studies of the Event-Related Potential. International Journal of Medical Sciences. 2 (4), 147-154 (2005).
- Suzuki, K., et al. The relationship between the superior frontal cortex and alpha oscillation in a flanker task: Simultaneous recording of electroencephalogram (EEG) and near infrared spectroscopy (NIRS). Neuroscience Research. 131, 30-35 (2018).
- Keles, H. O., Barbour, R. L., Omurtag, A. Hemodynamic correlates of spontaneous neural activity measured by human whole-head resting state EEG + fNIRS. NeuroImage. 138, 76-87 (2016).
- Eriksen, B. A., Eriksen, C. W. Effects of noise letters upon the identification of a target letter in a nonsearch task. Perception & Psychophysics. 16 (1), 143-149 (1974).
- Huppert, T. J., Diamond, S. G., Franceschini, M. A., Boas, D. A. HomER: a review of time-series analysis methods for near-infrared spectroscopy of the brain. Applied optics. 48 (10), 280-289 (2009).
- Kocsis, L., Herman, P., Eke, A. The modified Beer-Lambert law revisited. Physics in Medicine and Biology. 51 (5), (2006).
- Herold, F., Wiegel, P., Scholkmann, F., Müller, N. Applications of Functional Near-Infrared Spectroscopy (fNIRS) Neuroimaging in Exercise-Cognition Science: A Systematic, Methodology-Focused Review. Journal of Clinical Medicine. 7 (12), 466 (2018).
- Duncan, A., et al. Optical pathlength measurements on adult head, calf and forearm and the head of the newborn infant using phase resolved optical spectroscopy. Physics in Medicine and Biology. 40 (2), 295-304 (1995).
- Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
- Lopez-Calderon, J., Luck, S. J. ERPLAB: an open-source toolbox for the analysis of event-related potentials. Frontiers in Human Neuroscience. 8, 213 (2014).