开发用于恢复和康复双足行走的有效脑机接口(BMI)系统,需要准确解码用户的意图。本文介绍了一种新颖的实验方案和数据采集技术,可在多种行走任务和条件下,同步无创地获取神经活动、肌肉活动以及全身运动学数据。
方法文章
开发用于恢复和康复双足行走的有效脑机接口(BMI)系统,需要准确解码用户的意图。本文介绍了一种新颖的实验方案和数据采集技术,可在多种行走任务和条件下,同步无创地获取神经活动、肌肉活动以及全身运动学数据。
近期研究表明,大脑皮层上网络参与了双足人类行走的控制。部分证据包括我们之前的研究工作,证明在跑步机行走期间,可以从头皮脑电图(EEG)中以相对较高的解码准确率推断出步态运动学和肢体协调情况。这些结果为开发用于步态恢复和/或增强的非侵入性脑-机接口(BMI)系统提供了推动力,这也是康复研究的主要目标之一。迄今为止,关于步态过程中脑电活动解码的研究仅限于在受控环境中进行的跑步机行走。然而,要使BMI系统具备实际应用价值,必须能够适用于日常行走任务,例如在地面上行走和转向。在此,我们提出了一种新颖的实验方案,可在跑步机行走和地面行走任务期间,非侵入性地同步采集脑活动(EEG)、肌肉活动(肌电图(EMG))以及全身运动学数据(头部、躯干和肢体的运动轨迹)。通过在非受控环境中采集这些数据,可进一步了解从头皮EEG解码无约束步态及表面肌电信号的可行性。
本方案采用三种数据采集系统,同步记录脑电图(EEG)、肌电图(EMG)和全身运动学数据(图1,表1)。在受试者行走过程中,以1,000 Hz的采样频率通过无线方式采集64通道的脑电图数据。肌电图(EMG)信号以1,000 Hz的频率从双侧放置于四个肌群的表面电极采集:胫骨前肌(TA)、腓肠肌(Gast)、股二头肌(BF)和股外侧肌(VL)。运动学数据通过安装在头部、上躯干、腰椎区域、手臂、大腿、小腿和足部的11个无线传感器以128 Hz的频率采集,用于记录行走过程中的运动。每个传感器均包含一个三轴磁力计、一个三轴陀螺仪和一个三轴加速度计(即 MARG传感器)。
每个系统的数据均由一台主机PC进行采集,并通过单一主机PC实现时间同步。同步是通过一个触发信号完成的,该信号经由所有三个数据系统同时访问的连续串行通信链路发送。触发信号通过一个简单的按钮开关实现:当按下按钮时,向主机PC发送一个触发信号(1),未按下时则发送空信号(0)。按下触发按钮的同时还会发出一个持续0.5秒的提示音,作为受试者的音频提示,具体操作详见下文实验方案。为支持下文所述的地面行走实验,专门制作了五对红外(IR)接近传感器,用作位置触发装置。当红外信号被阻断时,会通过与手动触发盒之间的射频(RF)连接,经由串行链路向主机PC发送触发信号(1)。
开发了一个定制的 C++ 应用程序,利用各系统提供的软件开发工具包(SDK)来记录和同步数据。该代码采用多线程技术;每个系统(EEG、EMG 和 MARGs)的数据保存功能分别包含在独立的线程中。软件算法如图 2所示。当应用程序启动时开始采集数据,按下“q”键时结束采集。应用程序启动时会激活五个线程。其中一个线程(图 2)监控串行连接中触发信号的值(0 或 1)。初始触发值为零。当接收到触发信号时(即按下按钮或红外传感器对之间的视线被阻断),全局触发变量被设置为 1。这些变量将保持为 1,直到在数据采集线程中被重置。
脑电图(EEG)线程通过 TCP/IP 协议远程实时访问头皮 EEG 数据。数据以相应的采样频率(1,000 Hz)逐行写入文本文件。全局 EEG 触发信号写入第一列,而第 2–65 列为 64 个 EEG 通道。如果全局 EEG 触发信号为 1,则将其重置为 0。数据写入持续进行,直至 EEG 线程终止。两个独立线程用于记录 MARG 传感器数据。之所以需要两个线程,是因为 11 个无线 MARG 传感器通过制造商软件以鲁棒流模式传输数据,该模式在各个传感器上缓存数据,以防止在无线传输出现问题时丢失数据。这种缓存会降低数据的实时传输性能:如果某个传感器在某一采样时刻无法传输数据,则所有 11 个传感器都会将该时间点的数据保留在其缓存中,并在下一个可用的采样时刻进行传输。MARG 无线数据传输不可避免地滞后于 EEG 数据;因此,在数据采集停止后,MARG 传感器需要时间将缓存中的数据卸载到主机计算机。为解决此问题,MARG 数据采集算法中采用了两个线程(图 2)。第一个线程在 EEG 线程采集数据期间,以传感器采样频率(128 Hz)从全局 MARG 触发变量中填充 MARG 触发缓存。当数据采集停止时,向触发缓存的写入也随之终止。MARG 线程(图 2)利用传感器 SDK 中的函数接收来自传感器的数据,并以与 EEG 数据相同的方式将其写入文件。即,第一列为全局 MARG 触发信号的值(取自 MARG 触发缓存),随后的 99 列为来自 11 个 MARG 传感器的数据值(每个 MARG 单元包含 9 个传感器)。MARG 线程持续写入数据,直至 MARG 触发缓存的时间索引等于 EEG 数据的最后一个时间索引,此时线程执行终止。
与脑电图(EEG)和磁共振(MARG)数据不同,肌电图(EMG)数据并非无线记录,而是记录在数据记录单元内的SD卡中。通过蓝牙连接发送信号,以启动和停止向SD卡写入数据。当EEG线程接收到第一个手动触发信号时,开始写入数据;当按下“q”按钮时,EEG线程停止数据写入。
以下方案已由休斯顿大学机构审查委员会审查并批准。所有受试者在参与前均收到、阅读并签署了知情同意书。
1. 受试者准备
2. 头皮脑电图(EEG)
3. 表面肌电图(EMG)
4. 动作捕捉
5. 环境准备
6. 跑台
7. 行为学迷宫行走(1)
8. 旷场行走(2)
、
或 ↑)。每个箭头对应场地周围的一组红外传感器(图4)。9. 坐立站
10. 走廊行走
图5展示了在跑步机行走期间(方案第3部分)记录的10秒时间锁定的脑电图(EEG)、MARG和肌电图(EMG)数据。请注意,每个MARG传感器实际上记录了9个信号(三轴磁力计、陀螺仪和加速度计),但此处仅显示垂直加速度信号。图5中的原始数据包含伪迹,在进行分析和神经解码之前,必须在预处理过程中对这些伪迹进行处理。图5中EEG伪迹的示例包括约8.5秒处出现的眼电伪迹(眨眼)以及全程存在的低频运动伪迹。
图6 展示了在场地行走(1)协议期间,一次完整的地面行走循环(约35秒)。定性来看,由于受试者在转弯过程中头部和颈部产生额外运动,场地地面行走任务的数据比跑步机行走含有更多的伪迹。面部和颅部肌肉活动在颞区电极(标记为FT和T的通道)上尤为明显。 图1) 在 图6. 注意与跑步机行走相比,肌电图信号活动的增加图5),特别是在踝关节的拮抗肌对中。 图6 还显示了无线 EEG 数据采集过程中存在的次优事件,这些事件在数据处理时必须予以考虑。紧接在 4 之前th 触发信号时,EEG 数据呈现平坦直线,表明主机电脑与 EEG 系统之间的无线传输中断。该段数据必须从完整数据集(EEG、MARG 和 EMG)中剔除。
图7展示了一个完整的从坐到站以及从站到坐周期的数据。与其他数据类似,脑电图(EEG)中也存在运动伪迹,这些伪迹既出现在转换动作结束阶段,也出现在保持坐姿(或站姿)过程中头部稳定时。图8显示了一段包含从站立到行走以及从行走到站立转换的走廊行走数据。请注意,在听到开始和停止行走的音频提示后,肌电图(EMG)和加速度数据出现上升趋势。与此趋势同时发生的是脑电图数据中运动伪迹的出现与消失。图8还显示了大约在7秒时出现的EEG电极PO10连接不良的情况。这种现象在实验过程中偶尔可见,可能是由于EEG电极与头皮之间接触不良所致。在本次试验中,电极PO10的数据必须从分析中剔除。由于脑电图数据可实时观察,并且在每次试验前均会验证EEG电极的连接情况(方案步骤6.2),因此可在下一次试验前及时纠正电极连接不良的问题。
| 名称 | 公司 | 数量 |
| BrainAmp 放大器 | Brain Products, Gmbh | 2 |
| 含64个电极的actiCAP 脑电帽 | Brain Products, Gmbh | 1 |
| Brainvision MOVE 无线脑电系统 | Brain Products, Gmbh | 1 |
| DataLOG MWX8 EMG 数据采集单元 | Biometrics, Ltd. | 1 |
| SX230 EMG 电极 | Biometrics, Ltd. | 8 |
| R506 EMG 接地电极 | Biometrics, Ltd. | 1 |
| Opal 运动监测器(MARG 传感器) | APDM, Inc. | 11 |
| 用于无线数据传输的 Opal 转接站 | APDM, Inc. | 2 |
| Opal 无线接入点 | APDM, Inc. | 2 |
| 红外光障套件 MK120 | Velleman, Inc. | 5 |
| Wixel 可编程 USB 无线模块 | Pololu, Inc. | 6 |
表1. 仪器设备。
| 传感器 | 位置 |
| 头部 | 眉毛上方前额中心 |
| 躯干 | 胸骨底部两胸肌之间 |
| 腰部 | 背部中心,腰椎弯曲最小处 |
| 上臂1 | 上臂外侧;腕部近端约10%至肘部 |
| 大腿1 | 大腿外侧;髋关节与膝关节之间50%处 |
| 小腿1 | 小腿外侧;距膝关节远端75%处 |
| 足部1 | 足背中央 |
| 1上臂、大腿、小腿和足部传感器均双侧放置。 | |
表2. MARG传感器位置。

图 1. 受试者佩戴 EEG、EMG 和 MARG 惯性传感器进行数据采集的矢状面 (a) 和冠状面 (b) 视图。(c) EEG 电极在头皮上的位置拓扑图,使用 EEGlab Matlab 工具箱绘制14。(d) 移动式数据采集推车,内含主机 PC、手动触发器、EMG 蓝牙模块、MARG 无线接入点、EEG 无线接收器、放大器及电源装置。点击此处查看高清大图。

图2. 自主设计的多线程数据采集软件算法流程图。 点击此处查看高清大图。

图3. 实验区域行走(1)实验方案的示意图(俯视图)。当受试者到达入口锥体末端时,显示器上会呈现一个箭头(→、← 或 ↑)。若显示向右(→)或向左(←),受试者需分别沿红色或绿色环形路径行走,并依次通过四组红外传感器(IR1–IR4)。若显示直行(↑),受试者则沿蓝色线路走向显示器,在距离红外传感器组(IR5)约1米处时,屏幕上会再次显示第二个箭头(→ 或 ←)。在通过IR5传感器组后,受试者沿相应颜色(红色或绿色)路径完成环形路线,返回起始点。

图4. 实验场地行走(2)实验方案的示意图(俯视图)。 实验开始时,受试者在显示屏幕上看到一个箭头(
、
、→、← 或 ↑)。根据所显示的箭头方向,受试者直接走向对应的红外传感器组,穿过传感器,绕圆锥完成U形转弯,然后返回起始点(图中所示为对应
箭头的行走路径)。

图 5. 跑步机行走 10 秒期间的示例数据。 顶部面板显示来自国际 10-20 系统的 64 导联原始脑电图数据及其导联名称。中间面板显示来自 11 个 MARG 传感器的垂直方向加速度。底部面板显示 8 导联原始肌电图数据。 点击此处查看大图。

图6. 来自“区域I”实验流程中一次循环(右箭头路径,图3)行走过程的示例数据。脑电图(EEG)、加速度和肌电图(EMG)数据的呈现方式与图5相同。 黑色竖条表示软件接收到触发信号的位置。第一个触发信号来自手动按钮,通过显示→箭头启动该循环。随后的四个触发信号来自受试者通过循环路径时经过的红外传感器IR1–IR4(图3)。点击此处查看大图。

图7. 从站立到就坐及从就坐到站立转换过程中的示例数据。 脑电图(EEG)、加速度和肌电图(EMG)数据的呈现方式与图5相同。垂直条表示用于启动站立和就坐动作的手动触发信号(及音频提示)。点击此处查看大图。

图8. 走廊行走的示例数据,显示从站立到行走以及从行走到站立的过渡过程。 脑电图(EEG)、加速度和肌电图(EMG)数据的显示方式与图5相同。竖直条分别表示手动触发信号和开始与停止行走的音频提示。 点击此处查看大图。
本文介绍的实验方案整合了三种数据采集系统,可同时记录受试者在多种运动任务过程中的脑电活动、肌肉活动以及全身运动学数据。整个实验流程的完成大约需要3小时,其中包括约1小时的受试者准备时间。所有系统均安装在受试者身上,并随其同步移动。因此,在每次新试验开始前,必须仔细检查脑电图(EEG)和肌电图(EMG)电极连接是否可靠。这一过程可通过各设备制造商提供的软件包轻松完成,这些软件可在主机电脑上通过图形化界面实时查看采集数据。数据采集应用程序要求这些软件包处于运行状态,从而简化了验证流程。此外,每次试验前还必须确保MARG传感器牢固地固定在受试者身上。
脑电图(EEG)和磁力、加速度与陀螺仪(MARG)数据通过2.4–2.5 GHz频段进行无线传输。由于许多其他电子设备也使用该频段,因此在实验环境中需考虑无线干扰的可能性。数据采集的一个关键因素是移动推车与受试者之间需保持视线畅通,以增强对无线干扰的抗性。脑电图无线接收器和MARG接入点(图1)均配备LED指示灯,用于显示连接质量。主机电脑以及EEG和MARG传感器的无线接收器均安装在移动推车上,以便在受试者行走时保持直接视线对准,从而最大化无线数据传输性能。我们发现,将移动推车保持在距离受试者5米以内时,数据采集的稳定性最佳,且该距离不会限制受试者在任何任务中的活动。C++应用程序采用多线程方式进行数据采集,以增强因EEG无线连接中断而导致数据丢失的容错能力。若EEG连接中断,MARG和肌电图(EMG)数据仍会被记录,但相应时间段的EEG数据将不可用。如上所述,MARG传感器具备设备内置缓冲功能,可在无线连接中断时防止数据丢失,而EMG数据则存储在移动数据记录单元内的SD卡中。
在行走过程中采集脑电图(EEG)数据时,一个常见问题是信号中存在伪迹。广义上,伪迹可分为两类:生理来源的伪迹,包括眨眼、眼球运动、面部肌肉活动、心跳;以及机械性伪迹,例如在实验流程执行过程中电极和/或导线的移动。伪迹的去除是当前持续研究的课题,相关技术包括独立成分分析15,16和基于通道的模板回归方法17。伪迹的最小化与去除是神经解码身体运动前数据预处理的关键步骤。本研究所采用的装置与以往研究类似,均将EEG电极导线整合为单一连接器。这些先前研究的结果表明,由于导线摆动或移动引起的机械伪迹在从神经活动中解码运动时并未产生显著影响7,8。其他研究也支持这一结论,认为在慢速至中等步行速度下,与步态相关的伪迹并不显著17。然而,本实验测量EEG的活动比以往研究涉及更多的身体运动,包括坐-站转换、地面行走和转向动作,因此必须仔细检查原始EEG数据,以识别可能存在的机械伪迹污染。尽管目前尚未广泛应用,但这些问题有望通过将新型硬件整合到当前实验流程中得以解决。此类硬件包括本实验所采用的有源EEG电极,以及弹簧加载的干式EEG电极,这些技术有望在运动过程中改善皮肤-电极接触阻抗18。这些技术正逐步被集成到无线EEG系统中,可能进一步降低运动伪迹的影响19。尽管如此,由于本实验流程对身体各运动节段均进行了传感器布置16,仍为开发新型运动与肌电(EMG)伪迹剔除算法提供了独特机会。我们计划研究EEG、EMG与节段运动之间的时间序列相关性及频域相干性,以建立适用于当前可用EEG系统的鲁棒伪迹剔除范式。我们的解码方法已显示出对伪迹的鲁棒性7,8;这些方法将在本实验更为复杂的场景下进一步验证。
记录的表面肌电图(EMG)特征受多种因素影响,解读表面EMG信号以研究神经控制策略时必须考虑这些因素20。本方案中采用严格的皮肤准备和EMG电极放置流程,旨在最大限度地减少非生理因素对表面EMG信号的影响。通过本方案记录的EMG信号的幅度和频率与运动单元的净活动相关,因此不应将记录结果解释为所关注肌肉神经活动的直接反映。然而,仔细分析表面EMG信号,并结合更先进的方法——如通过分解EMG信号以确定神经激活的相对变化(e.g. 识别运动单元的放电时间)来估计神经对肌肉的驱动——可为肌肉激活模式提供有价值的见解20。此外,在神经解码的背景下,尽管已有研究表明侵入式获取的脑活动包含有关表面EMG的信息21,但目前尚不清楚头皮脑电图(EEG)是否也能用于解码步行过程中的下肢肌肉活动,以及步态运动学信息。我们预期本方案将有助于探讨非侵入性脑成像技术因空间分辨率降低,是否仍足以分离出与单个肌肉相关的神经活动。
先前的研究已证明,利用非侵入性脑电图(EEG)解码跑步机行走期间的运动学参数具有可行性7,8,这为开发基于脑信号的脑机接口(BMI)以恢复行走功能提供了推动力。基于delta频段EEG信号振幅调制的时域解码方法也被证实对伪迹成分不敏感7,8。然而,跑步机实验通常在受控环境中进行,受试者的视觉和运动受到限制,从而减少了外界刺激对神经活动的干扰。通过引入无线数据记录技术,本方案可在多种行走任务和环境条件下同步采集EEG、肌电图(EMG)和运动学数据。与动作捕捉系统相比,集成惯性传感器进行运动追踪需要更多的计算量和离线处理以提取运动学参数,所得测量结果包含微小但可接受的误差,而基于摄像机的系统则不存在此类误差22。这些可控的技术挑战对于建立能够在动态环境中开展认知-运动行为移动研究的实验方案而言是必要的。正如其他文献所述10,11,此类实验设置在可探索的研究问题方面几乎具有无限潜力。我们近期的研究重点将集中在脑损伤和神经病变后站立与行走功能康复的脑机接口开发所面临的关键问题上。其中一个关键组成部分,如上所述,是开发新型且鲁棒的脑机接口解码策略,用于康复机器人系统,该策略能够抑制生理和机械伪迹,从而利用从大脑测量到的信号恢复运动功能。例如,走廊行走方案在数据采集期间于公共场所进行,并有其他人员在场,因此为在自然环境中开发神经解码技术提供了测试平台。利用该方案感兴趣的其他研究问题包括:比较涉及节律性与非节律性步态训练的康复机器人范式,以及研究损伤后急性期和慢性期功能恢复过程中的神经活动变化。
本文的制作与出版费用由 APDM 赞助。
本研究工作获得了国家神经疾病和卒中研究所(NINDS)资助 # R01NS075889-01 的支持。本研究部分得到了美国国立卫生研究院(NIH)临床中心院内研究计划的支持。作者还感谢 Shahriar Iqbal 和 Yongtian He 在数据收集方面提供的协助。本文的开放获取出版费用由 APDM, Inc.(美国俄勒冈州波特兰市;http://apdm.com)赞助。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| BrainAmp 放大器 | Brain Products, Gmbh | 数量:2 | |
| 带 64 个电极的 actiCAP 脑电帽 | Brain Products, Gmbh | 数量:1 | |
| Brainvision MOVE 无线脑电系统 | Brain Products, Gmbh | 数量:1 | |
| DataLOG MWX8 EMG 数据采集单元 | Biometrics, Ltd. | 数量:1 | |
| SX230 EMG 电极 | Biometrics, Ltd. | 数量:8 | |
| R506 EMG 接地电极 | Biometrics, Ltd. | 数量:1 | |
| Opal 运动监测器(MARG 传感器) | APDM, Inc. | 数量:11 | |
| 用于无线数据传输的 Opal 转接站 | APDM, Inc. | 数量:2 | |
| Opal 无线接入点 | APDM, Inc. | 数量:2 | |
| 红外光障套件 MK120 | Velleman, Inc. | 数量:5 | |
| Wixel 可编程 USB 无线模块 | Pololu, Inc. | 数量:6 | |
| 表 1. 设备 | |||
申请许可以重复使用本 JoVE 文章的文本或图表
申请许可