本方案介绍了一种在婴儿与演员进行无预设社交互动时,从自由活动的婴儿中解码其意图的新型神经解码方法。采用非侵入性高密度主动式头皮脑电图(EEG)记录神经活动,同时使用惯性测量单元采集运动学数据,并辅以同步视频记录进行补充。
本方案介绍了一种在婴儿与演员进行无预设社交互动时,从自由活动的婴儿中解码其意图的新型神经解码方法。采用非侵入性高密度主动式头皮脑电图(EEG)记录神经活动,同时使用惯性测量单元采集运动学数据,并辅以同步视频记录进行补充。
理解典型与非典型发育仍是发展性人类神经科学中的基本问题之一。传统上,由于可用的测量与分析技术以及受试者年龄所带来的技术限制,实验范式和分析工具主要局限于受控的实验室任务和环境。这些限制严重制约了对婴儿在“真实行为与情境中”进行认知、感知和动作时所涉及的发育性神经动态及其相关神经网络的研究。本方案提出了一种新方法,用于研究婴幼儿在复杂、部分不可预测且高度动态的环境中自由组织自身行为及其后果的过程。该方法整合了同步的高密度主动式头皮脑电图(EEG)、惯性测量单元(IMUs)、视频记录和行为分析,以非侵入方式捕捉自由活动婴儿的大脑活动与身体运动。该实验装置使得研究者能够在真实行为与情境中,探究发育中大脑的神经网络动态,揭示这些网络在目标导向任务、探索行为及社会互动过程中被募集时的功能特性。
人类的一项基本能力是能够有策略地学习并执行动作(动作产生),以实现目标和获得奖励;能够理解社会伙伴的目标(动作理解),从而产生适当的社会反应;以及能够通过观察和模仿向他人学习1。这些认知-运动能力的神经基础至少在一定程度上被认为与所谓的镜像神经元系统有关;该系统在个体观察他人执行动作以及自身执行动作时均会被激活。然而,镜像神经元系统与动作理解之间的潜在联系目前仍不明确1。对人类婴儿期镜像神经元系统的出现与发展进行研究,一直受到以下因素的限制:a)在获取与意图及精细运动数据相关联的多模态脑活动数据方面存在技术局限性;b)实验范式本身所施加的限制,这些范式往往缺乏自然性(例如,与视频中呈现的代理进行社会互动、需要保持静止姿势以减少脑电图(EEG)记录期间的伪迹等);c)在测试年幼儿童或学步儿童时存在的沟通或语言障碍,这极大地限制了研究人员给予指导和验证行为的能力。
为了更好地理解自然行为中变化的神经和行为动态,我们开发了一种新颖的实验与分析方法,可对幼儿在出现目标导向行为和社会性行为时的神经基础进行时间分辨的研究。具体而言,我们采用基于脑电图的移动脑成像(MoBI)方法2,在婴儿与实验人员互动过程中自由活动的状态下记录其脑活动和运动行为。同时使用惯性测量单元(IMUs)监测被试与实验人员的运动学数据。
采用脑电图(EEG)技术和惯性传感器,研究婴儿在与实验者/表演者进行无预设脚本的互动过程中,与动作模仿和目标导向行为相关的神经模式及神经激活特征。诸如伸手-抓握、伸手-给予、观察、静息和探索等动作,均属于模仿过程中涉及的认知-运动过程。此外,我们采用源定位估计方法,以确定行为任务期间大脑内电位发生源的位置,从而研究全脑神经电流的时空动态变化。同样,我们应用机器学习算法,通过识别传感器空间(EEG)和/或源空间神经活动中与动作相关的时间-空间模式,来评估和量化这些行为动作的可预测性。 整合传统的事件相关去同步/同步(ERD/ERS)、源定位分析与解码分析,可更全面地描述此类行为的神经基础及其发展过程。
该设置使我们能够利用MoBI方法2,3 的优势,研究婴儿与实验者之间自然发生的、不受限制的社会互动。
从受试者到达至离开,整个实验流程大约需要1小时完成。惯性测量单元(IMU)和脑电图(EEG)设备的安装及电极定位时间根据受试者头发长度和配合程度等因素,通常为15至25分钟。设备初始化与配置需额外10分钟,测试阶段持续约15分钟。移除IMU和EEG帽,并清除婴儿头皮上的低致敏性凝胶,需时5至10分钟。
以下方案已由休斯顿大学机构审查委员会审查并批准。所有婴儿受试者的父母或监护人均在参与前收到、阅读并签署了知情同意书。作为参与研究的补偿,父母可获得免费停车以及一张20美元的礼品卡,而婴儿则可选择一个适龄玩具。
入选的婴儿受试者需满足以下标准:1)年龄在6至24个月之间。2)婴儿健康,生长发育正常,无出生时并发症、脑震荡、癫痫、中风或学习障碍病史。一些常见的发育障碍示例(若存在则排除婴儿参与测试)包括生长迟缓、营养不良以及母亲在妊娠期间使用酒精或药物。
一种通过头皮脑电图(EEG)和惯性测量单元(IMUs)在自由活动的婴儿中同步记录多模态神经活动的简化流程图 呈现于 图1.
1. 知情同意
2. 头皮脑电图准备
3. 惯性测量单元(IMU)的准备
4. 视频采集与数据流同步
5. 测试环境的准备
6. 数据收集
7. 行为分割
8. 源成像
图8展示了受试者与实验人员互动期间记录的16秒时间窗口内的IMU加速度计和脑电图(EEG)示例数据。EEG数据被重采样至100 Hz,随后使用三阶零相位巴特沃斯滤波器进行1–40 Hz带通滤波。阻抗值较高(Z > 60 kΩ)的通道以及外周通道均被剔除12,15。IMU以128 Hz频率记录了九个信号:三个笛卡尔坐标轴方向的磁通量、角速度和线性加速度。此处展示的是经重力补偿(GC)后的加速度幅值。通过应用卡尔曼滤波器在全局坐标系中预测IMU的姿态,以补偿重力加速度的影响16。数据通过目视检查视频记录进行分段(步骤7.1)。垂直实线表示目标行为的开始,垂直虚线表示事件的结束。
运动伪迹的影响存在于所示的脑电图数据中 图8 约709秒。本实验方案采用无约束的数据采集方法,使得脑电图(EEG)数据容易受到眨眼、眼动、身体运动以及肌电伪迹的干扰。数据通过使用3rd 使用零相位巴特沃斯带通滤波器将信号限制在 delta 波段(1-4 Hz),并通过减去均值并除以标准差进行标准化。采用伪迹子空间去除(Artifact Subspace Removal, ASR)方法自动去除高幅度伪迹。 17此外,在数据分析中排除了外周通道,以尽量减少肌电伪迹的污染。额肌和颞肌收缩产生的信号最显著地混入外周区域的脑电图信号中:额肌收缩主要出现在前部区域,而颞肌收缩则主要出现在外侧额部和颞部区域。 15.
为检验本方案所采集数据的性质,图9中绘制了脑电数据的直方图。图9A描述了三个空间上具有代表性的电极记录的标准化信号的数据分布。脑电数据显示出针对所分析行为的多峰分布特征。图9B以柱状图形式展示了峰度值,以便更直观地观察数据。
分类通过提取每个脑电通道的时间滞后特征实现,在保留每一类局部离散性的同时降低数据维度(局部费舍尔判别分析(LFDA)18),并对降维后的特征集训练/测试模型(高斯混合模型(GMM)19)。为防止过拟合,训练/测试样本在20次迭代中随机采样(即,交叉验证)。由于被剔除通道数量(即,阻抗大于60 kHz)、实验会话时长、试验次数及表达行为数目的不同,训练/测试样本量有所变化。然而,每一类(行为)所使用的训练和测试样本数均对应于最少样本类别的50%。例如,如图10所示婴儿数据中,每一类的测试集样本量为N = 1,069个样本。所有预处理和分类步骤均在MATLAB编程环境中完成。
图11 以逐步方式展示了本研究中进行脑电图源估计的完整流程。每个步骤的更多细节也在第8节中进行了总结。
图12展示了在“伸手-给予”任务期间,μ节律(5–9 Hz)的事件相关(去)同步(ERD/ERS)结果及偶极子源定位。ERD和ERS的计算方法为:与参考时段(事件前的一段时期)相比,事件时段(伸手和给予任务期间)特定频段功率下降或上升的百分比。该图还显示了在任务过程中从婴儿和实验者双侧手腕获得的重力补偿后的加速度幅值。对于偶极子分析,采用独立成分分析(ICA)对脑电(EEG)信号进行分解,以消除背景噪声。在ICA预处理后,通过固定的MUSIC算法5对μ节律进行源估计。与预期一致,当受试者使用左手抓取物体时,源定位结果集中在右侧初级运动区。
| 产品名称 | 公司 | 数量 |
| BrainAmp 放大器 | Brain Products, Gmbh | 2 |
| actiCAP 脑电帽 - 64 电极* | Brain Products, Gmbh | 10 |
| actiCAP 控制盒 | Brain Products, Gmbh | 1 |
| Brain Vision Recorder 软件 | Brain Products, Gmbh | 1 |
| actiCAP 控制盒软件 | Brain Products, Gmbh | 1 |
| CapTrak | Brain Products, Gmbh | 1 |
| CapTrak 软件 | Brain Products, Gmbh | 1 |
| Opal 运动监测器 | APDM, Inc | 6 |
| Opal 底座 | APDM, Inc | 6 |
| Opal 无线接入点 | APDM, Inc | 1 |
| Motion Studio 软件 | APDM, Inc | 1 |
| 触发盒 | Custom | 1 |
| 摄像机 | HC-W850M, Panasonic Co. | 1 |
| *脑电帽提供以下适用于婴儿的头围尺寸:42、44、46、48、50 cm。本方案建议每种尺寸储备 2 顶。 | ||
表1 仪器设备。

图1. 流程图。(A) 实验设置的流程图。 (B) 数据采集过程的流程图。 请点击此处查看此图的放大版本。

图 2. 受试者准备就绪,进入数据采集状态。(A) 受试者佩戴脑电帽及四个惯性测量单元(IMU)的正面视图。(B) 采用国际10-20标准电极定位系统的64通道脑电帽的拓扑图示。 请点击此处查看该图的放大版本。

图3. 数据采集设备及测试房间。(A) 数据采集设备布置:EEG控制箱(1)、EEG帽(2)、触发器(3)、无线IMU数据接收器(4)、EEG放大器(5)、玩具箱(6)、触发按钮(7)、数据采集用笔记本电脑(8)、IMU对接站(9)。(B) EEG帽、有源电极及控制箱的特写。(C) IMU传感器与无线接收器、触发按钮、EEG放大器及数据采集笔记本电脑的特写。请点击此处查看该图的放大版本。

图4. 实验设置的示意图。 EEG控制箱支架(10)。受试者监护人坐在椅子(11)上,实验员坐在椅子(14)上,负责监控数据的人员坐在椅子(17)上。其余实验装置如下所示:交互式桌面(12)、触发器(13)、玩具箱(15)、数据采集台(16)、摄像机位置(18)。请点击此处查看该图的放大版本。

图5. 脑电图控制软件的截图。 箭头指向第6.1步所述软件中的关键图标。 6.8. 请点击此处查看此图的放大版本。

图6. 脑电图记录软件的截图。箭头指向第6.2和6.3步中描述的软件关键图标。图中显示了一段实时传输的原始数据。请点击此处查看该图的高清版本。

图7. IMU软件界面截图。 红色框标出了步骤6.4中描述的软件关键图标。(A) 主命令窗口。(B) 配置窗口。(C) 记录窗口。 请点击此处查看该图的放大版本。

图8. 一次典型实验会话的示例数据。(A)显示脑电图(EEG)和加速度数据,均经过带通滤波处理 [1-40 Hz]。图中展示的是在整个实验过程中阻抗较低(Z < 60 kΩ)的EEG电极数据。实心垂直线表示行为开始的时间点。(B) 婴儿参与分析行为的静态帧图像:观察、伸手抓握、伸手给予、模仿、探索、静息。请点击此处查看该图的高清版本。

图 9. 六种已识别行为的脑电图振幅样本直方图。A) 所示数据来自一名 20 月龄婴儿一次实验中记录的三个电极(CP2、FC5、POz)的原始数据。直方图按最高发生次数进行缩放,每个直方图的峰度值显示在对应图的右侧。请注意,大多数行为呈现多峰分布。 B) 每种行为样本数据的峰度值。 请点击此处查看该图的放大版本。

图10. 脑电图可预测自由活动婴儿的行为动作12。 显示了一个20个月大婴儿分类准确率的混淆矩阵示例。总体解码准确率显示在右下角。请点击此处查看该图的放大版本。

图 11. 源定位。 使用解剖 MRI 和功能 EEG 数据进行婴儿偶极子源定位所需的步骤。 请点击此处查看此图的放大版本。

图12. 抓取-给予任务分析图谱。A) 婴儿执行“抓取-给予”任务时的抓拍图像。B) Mu频段(5-9 Hz)EEG的平均全局场功率、婴儿与实验者肢体运动轨迹,以及所有通道的平均事件相关谱扰动。C) “运动起始”和“运动完成”两个事件的局部偶极子源定位。请点击此处查看该图的高清版本。
本方案描述了一种在婴儿与实验人员实时互动过程中,采集其自由活动状态下数据的方法。该方法采用移动式脑成像技术(头皮脑电图,EEG)记录神经活动,同时使用惯性测量单元(IMU)在身体特定部位同步采集运动学数据。实验过程还通过视频摄像机进行记录。三种数据采集系统通过定制的触发系统实现同步。
在实验过程中,受试者可自由活动,此时需将其固定佩戴脑电图(EEG)和惯性测量单元(IMU)系统。IMU必须牢固固定,以准确捕捉运动学数据。为确保受试者完全无约束地活动,设备应尽可能减少干扰;因此需使用支架来支撑脑电图的电极导线和脑电控制盒。随后,实验人员与婴儿互动约15分钟。在此期间,婴儿会表现出与年龄相关的多种行为,包括静止、伸手抓握、伸手递物、探索、观察和模仿。然而,部分婴儿可能因疲劳、不适或压力而不愿配合实验。为避免婴儿出现负面反应,应在其最为活跃和精力充沛的时段安排实验。
实验的性质可能导致整个记录过程中数据质量受损。因此,在开始记录之前,必须测试所有连接和数据质量,并在记录过程中持续监控。如果脑电系统未能记录到高质量数据,应立即停止软件运行并拔掉所有连接。在重新启动软件或将设备重新连接至笔记本电脑之前,需移除所有可能的噪声源即,电源)远离记录设备。脑电图(EEG)设备包含信号放大器,若放置在电磁噪声源附近,可能拾取环境噪声。对于惯性测量单元(IMU)接收器,应确保接收器与实验装置及婴儿之间无视线遮挡干扰。
该实验装置通过测量头皮表面的电活动,可获得高时间分辨率的神经数据。近期研究表明,结合全身运动学信号,这些神经信号可用于识别表达性动作20和功能性动作21,22的可分类信息,提示这种提议的数据采集方法有助于更深入理解婴儿模仿行为的神经基础。
近期研究将强大的机器学习算法应用于脑动力学分析13,20,21,正在逐步构建一套可在更自然环境下研究脑表面电位的工具集。该提议的实验设置为可探讨的研究问题提供了广泛的可能性2,22。具体而言,其可应用于以下研究方向:a)基于大量受试者群体,探究婴儿认知-运动发育的神经基础;b)理解婴儿在“动作与情境”中的行为意图的神经机制,该意图应能预测即将发生的行为反应;c)量化共同与独特的神经活动模式,以表征发育中大脑的个体差异与变异性;d)研究模仿与学习过程的出现机制。实现这些目标需要部署能够同时处理来自脑源性电位以及运动或肌电伪迹的统计丰富数据的机器学习算法12,20,23。
本研究旨在估算皮层源及电活动 利用婴儿脑电图数据计算场电位。由于婴儿头部导电性参数及皮层组织厚度等关键信息尚不明确,准确构建头部模型存在技术困难。未来仍需开展进一步研究,以实现对婴儿脑组织区域性非侵入性电导率的估算。 24婴儿MRI数据的皮层表面分割由于发育中的人类大脑图像对比度较低而面临额外的挑战 25未来研究需要解决这些困难,并估算婴儿发育和行为的各种神经生理学相关指标。
最后,所提出的实验方案和方法可应用于发育障碍人群的研究,例如可能患有自闭症谱系障碍(ASD)的婴儿。在此类应用中,应包含对照组以及适当的发育评估手段,以表征两组(对照组和ASD组)的特征。例如,研究组可由所有具有高ASD风险的婴儿兄弟姐妹组成,并通过自闭症诊断观察量表26、症状严重程度27以及Mullen早期学习量表28进行评估,以表征其一般认知能力。如有条件,还应尽可能获取弥散加权MRI扫描数据29。
Brain Products 和 Brain Vision 慷慨资助了该期刊收取的开放获取费用。
本研究由尤妮斯·肯尼迪·施莱佛儿童健康与人类发展国立研究所(Eunice Kennedy Shriver National Institutes of Child Health & Human Development,NICHD)资助项目 # P01 HD064653-01 支持。本内容仅由作者负责,不代表 NICHD 或美国国立卫生研究院的官方观点。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| BrainAmp 放大器 | Brain Products, Gmbh | ||
| actiCAP 脑电帽 - 64 电极* | Brain Products, Gmbh | ||
| actiCAP 控制盒 | Brain Products, Gmbh | ||
| Brain Vision Recorder 软件 v1.20.0601 | Brain Products, Gmbh | ||
| actiCAP 控制盒软件 v1.2.5.2 | Brain Products, Gmbh | ||
| CapTrak | Brain Products, Gmbh | ||
| CapTrak 软件 v1.0.0 | Brain Products, Gmbh | ||
| Opal 运动监测器 | APDM, Inc | ||
| Opal 转接底座 | APDM, Inc | ||
| Opal 无线接入点 | APDM, Inc | ||
| Motion Studio 软件 v1.0.0.201503302222 | APDM, Inc | ||
| 触发盒 | 定制 | ||
| 摄像机 | HC-W850M, Panasonic Co. | ||
| *脑电帽提供以下适用于婴儿的头围尺寸:42、44、46、48、50 cm。本方案建议每种尺寸至少准备 2 顶。 |