同时头皮脑电图（EEG），肌电图（EMG）和全身分部惯性录制多模态神经解码

Summary

一个有效的脑机接口（BMI）系统的恢复和重建的两足动物运动的发展需要用户的意图准确的解码。在这里，我们提出了一种新的实验方案和数据收集技术，同时非侵入性收购的神经活动，肌肉活动，全身运动，在各种运动任务和条件。

Abstract

最近的研究支持参与棘上网络控制人类双足行走。这方面的证据包括部分研究，包括我们以前的工作，展示了从头皮脑电图（EEG）解码精度相当高，可以推断，在跑步机上行走的的步态运动学和四肢协调。这些结果提供了推动发展非侵入式脑机接口（BMI）系统，用于修复和/或增强步态康复研究的主要目标。至目前为止，研究活动的脑电图解码步态期间被限制在一个受控的环境中跑步机上行走。然而，要成为实用上可行的BMI系统必须是适用于使用在日常生活中的自发任务，如过地面行走及回转。在这里，我们提出了一种新型的非侵入性的协议，用于收集大脑活动（EEG），肌肉活动（肌电图），和whol电子车身动态数据（头部，躯干，四肢的轨迹）期间都跑步机和对地行走任务。通过收集这些数据在不受控制的环境洞察可以得到解码不受约束步态和表面肌电图从头皮脑电图的可行性。

Introduction

该协议使用三个数据收集系统，同时记录脑电图，肌电图，和全身运动（ 图1，表1）。无线EEG数据收集从64个通道的采样频率为1,000 Hz，而受试者步行。肌电图（EMG）被收集在1000赫兹表面电极置于四个肌肉群：双侧胫骨前肌（TA），腓肠肌（GAST），股二头肌（BF），和股外侧肌（VL）。运动数据被收集在128赫兹，11个无线传感器安装在头部，上身躯干，腰部，手臂，大腿，小腿，脚在行走过程中记录的运动。每个传感器包含一个三轴磁力计，三轴陀螺仪，三轴加速度计（ 即玛格传感器）。

每个系统和数据收集时间由一个单一的PC主机同步。同步是通过使用在一个连续的串行发送一个触发信号人同时访问的所有三个数据系统的通信链路。触发被实现为一个简单的按钮开关。当按钮被按下时，一个触发信号（1）被发送到主机PC，而未按下时，发送一个空信号（0）。按下触发按钮也引出一个0.5秒的音作为被摄对象的音频提示，下面的协议中所描述的。红外（IR）接近传感器5对用于制造过地面步行下述实验过程中触发位置。当IR信号中断的触发信号（1）被发送到PC主机经由无线电频率（RF）与手动触发框中，然后通过串行链接。

一个自定义的C + +应用程序，利用软件开发工具包（SDK），提供每个系统的开发是为了记录和同步数据。代码采用了多线程技术，从每个系统（脑电图，肌电图，MARGs）保存数据的功能都包含在逐张线程idual。 图2中所示的软件算法，当执行应用程序时，数据收集开始和结束时，'q'的键被按下。五个线程应用程序执行时被激活。一个线程（ 图2）监视从串行连接上的触发信号的值（0或1）。初始触发值是零。当收到触发（ 即按钮被按下时，或红外传感器对之间的视线被打破）全局触发变量被设置为1。这些变量保持为1，直到他们是复位内的数据采集线程。

脑电图线程远程访问头皮脑电图数据的实时使用TCP / IP协议。数据被写入到一个文本文件中的行线在相应的采样频率（千赫兹）。全球脑电触发信号被写入到第一列中，而列2-65 64脑电图通道。如果全局的脑电触发信号为1，它是复位到零。数据可继续写入，直到脑电图线程终止。两个独立的线程记录MARG传感器数据。两个线程是必要的，因为11无线玛格传感器的数据传输使用制造商提供的软件，强大的流媒体模式，缓冲各个传感器的数据，以防止数据丢失事件中的无线传输问题。这种缓冲降低实时数据传输：如果一个传感器无法传输数据，对于一个给定的样本，所有的11个传感器保留该时间点在其缓冲区和发送下一个可用的采样点。玛格无线数据传输必然落后脑电图; MARG传感器需要时间缓冲卸载数据到PC主机的数据收集后停止。为了克服这个问题，使用两个线程的MARG数据收集算法（ 图2）。第一个线程填充一个玛格触发缓冲区传感器采样频率（128赫兹）从全球玛格触发变量，而脑电图线程收集的数据。当停止触发缓冲区写入数据收集也将终止。的的MARG线程（ 图2）利用来自传感器的SDK的功能，接收来自传感器的数据，并将其写入到一个文件中相同的方式作为脑电数据。即，第一列是全局的的MARG触发（获得从玛格触发缓冲器）和以下的99列的值，从11 MARG传感器（9的传感器每个MARG单元）获得的值。 MARG线程写入数据，直到时间索引的MARG触发缓冲器等于在该点的线程的执行被终止的脑电数据的最后一个时间索引。

肌电图的数据不同于的脑电图和玛格数据，不记录无线。相反，肌电图的数据记录在SD卡上数据记录单元内。发送信号通过蓝牙连接来启动和停止数据写入到SD卡。开始写作时，第一个接收到手动触发脑电图线程。用脑电数据写入停止'Q'按钮被按下时的线程。

在休斯顿大学的机构审查委员会审议并通过以下协议。所有受试者，阅读并签署一份同意书参与前。

Protocol

1。主题准备

1. 测量对象的身高，体重，并记录他们的年龄。
2. 评估主体的首选跑步机的速度，让他们自行调整跑步机的速度，直到舒服。
3. 用毡尖笔，标记头的顶点之间的中点的鼻根和INION的的主题。此外，标记10％鼻根的INION距离作为参考对准帽。

2。头皮脑电图（EEG）

1. 脑电图电极连接，所指定使用脑电图主体盖¹² 10-20国际体系。在头皮上的电极帽，确保妥善安置。
2. 关于这个问题的EEG帽放置10％的标记对齐，FP1和FP2电极和锆电极与标记的顶点连线的中点处，从步骤1.3。发现在^12个安置的上限的更多细节。硒治愈帽魁梧下巴下面。
3. 脑电图电极连接到脑电控制箱。从地面和参比电极，用一个小的注射器注入电解质凝胶在每个电极，直到电极阻抗低于25kΩ每个措施LED返青。在^12,13脑电图电极的制备提供进一步的细节。
4. 脑电图电极连接到的脑电图无线发射器。固定发射器周围放置的肩膀上的尼龙搭扣的主题和脑电图无线接收器连接到两个32通道放大器。
5. 放大器连接到PC主机通过一个USB端口使用一个光纤到USB转换器。
6. 将脑电渠道分辨率0.1μV，低截止频率为直流电，和高截止频率为1000赫兹的脑电数据采集软件。

3。表面肌电图（EMG）

1. 准备肌电电极安置8肌肉地点：刮胡子用砂纸打磨，并用异丙醇垫清洁皮肤，磨损。准备的网站上放置电极，并连接肌电图数据记录单元。肌电接地电极放在左或右手腕上，并连接到数据记录单元。

4。动作捕捉

1. 同步MARG传感器同时停靠根据制造商的说明。
2. 删除MARG传感器和地方使用Velcro紧固带或双面胶带，在表2中的位置上的主体。

5。环境准备

1. 准备跑步机带在皮带上的对角线（从水平方向45°）。将连接到一台摄像机在跑步机前约1米的电视监视器上。带一张纸，直径为2英寸的电视上的黑色圆圈。
2. 设置步行舞台上放置5台红外接近传感器，锥，和电视小号位于图3中的C适度化。

6。跑步机

1. 主题上升到跑步机上。安装安全带。
2. 数据收集之前，检查脑电图和肌电图信号来验证正确放置电极，电极连接和数据传输。
3. 运行C + +控制台应用开始数据收集。按下手动触发按钮启动肌电图记录和音频提示（蜂鸣声）开始实验。
4. 主题保持在安静的姿态，持续30秒。
5. 单键触发按钮30秒后开始步行，跑步机慢慢加速到预先选定的主体的速度。
6. 走5分钟的主题。
7. 在5分钟结束时，将触发按钮开始慢慢停止跑步机步行至站过渡。停止后的主题仍然站在30秒。按'Q'按钮停止数据采集吨里亚尔和保存数据。
8. 重复步骤6.2-6.7为所有三个跑步机条件：
9. 跑步机，一边走一边看着黑点的距离。
10. 跑步机上行走，而电视监视器上观察自己的两条腿运动。
11. 跑步机上行走，同时利用视频反馈，以避免在跑步机上的对角线（模拟认知负荷^6）。

7。竞技场步行（1）

1. 位置须在舞台上走循环（ 图3）的开始。
2. 开始数据收集在6.2-6.4。
3. 按下触发按钮，开始行走。在当时的触发器的出现，在第一方向的箭头（→，←，↑）对面的主题在屏幕上（ 图3）显示。如果→或←被观察到的，对象离开视锥细胞的入口组，在这个方向旋转90°，完成循环，并返回到入口锥。如果与阿联观察ŗ;，主题继续直出入口处锥和手动触发和方向箭头（→或←）当主体到达前约2米的红外线传感器。所得款项须通过第一套红外传感器，然后作出相应的90°转向完成循环，返回入口锥。 （在行走过程中，实验者遵循主题在距离约3-5米双轮车与​​主机PC上，以提高无线信号的质量。）
4. 须继续走，当他/她完成一个单一的循环后，到达入口锥。 7.3序列是重复的随机排序的箭头，直到3个回路已经完成每个初始箭头（→，←，↑）。
5. 满足条件7.4后，按下手动触发按钮，当目标到达入口锥信号过渡到站立。主题静静地矗立，持续30秒，然后按'Q'按钮，在主机PC上数据收集终止。

8。竞技场步行（2）

1. 重新排列的舞台上走五套红外传感器被定位在一个半圈的主体的前部（ 图4），使过程。
2. 开始数据收集与以前的试验（7.1-7.2）。
3. 竞技场走我相似，手动触发，开始步行。在触发时，一个星方向箭头（←，→， ， 或↑）被显示在屏幕上。每个箭头对应于一组红外传感器的位置周围的舞台上（ 图4）。
4. 受观察屏幕上的箭头和WALKS红外传感器，使U形转弯绕锥以外的传感器，通过传感器的两倍（ 图4）的对应的一组。后U形转弯，并可返回到起点，继续步行。
5. ，随机排序的箭头，直到重复序列8.3-8.4，已完成3个回路，每个方向箭头。
6. 满足条件8.6后，按下手动触发按钮，当主体达到起点的信号过渡到站立。完整的数据收集在7.5。

9。坐站

1. 身后的椅子上的主题定位，数据采集，并开始在6.2-6.3。静静地矗立在开始收集数据，持续15秒的主题。
2. 15秒后，按下手动触发按钮。听完提示主题转换，从站到坐的姿势，坐姿，直到下一个音频提示（按下按钮）。
3. 重复9.2-9.3，直到10个完整的站坐，坐姿到站立演习完成后，静静地矗立在15秒的主题。然后按'Q'键，终止数据收集。
4. 重复的立场坐协议（9.1-9.4）， 自我发起的独立坐下来，坐 ​​，站过渡。的主题，而不是给一个触发过渡，让主体开始转移，直到拥有自己的每个动作完成10。

10。走廊行走

1. 在^1/8英里，直走廊中间位置的主体和数据收集车。开始数据收集与跑步机上行走实验（6.2-6.4）。在最初的30秒休息期间，手动触发，开始行走。
2. subjeCT连续走5分钟。当主体达到10米之内的走廊末端，他/她的自我启动掉头，继续走在相反的方向。
3. 在5分钟结束时，推手动触发按钮，停止走。主体静静地矗立，持续30秒，而直视前方。按'Q'键终止数据收集。
4. 开始第二个走廊实验在10.1。
5. 行走（20-40秒）后，一个随机时间间隔，给手动触发和音频提示的主题停止行走。
6. 的主题仍然站在总之，随机持续时间（5-15秒）。
7. 按下手动触发按钮，有主题的简历行走。
8. 重复步骤10.5-10.7，直到停止启动10个循环是否齐全; 10.3终止数据收集。

Representative Results

图5显示了10秒的时间锁定，玛格，脑电图和肌电图的数据记录在跑步机上行走（协议第3节）。请注意，每个玛格传感器实际记录9个信号（三轴磁力计，陀螺仪，加速度计），但只有垂直加速度。 图5中的原始数据包含的文物必须占前预处理过程中分析和神经解码。脑电图文物图5中的例子包括在约8.5秒和低频运动伪影，目前整个眨眼。

图6显示了一个完整的循环（约35秒），地上走在舞台上行走（1）协议。定性分析，数据从地面的舞台上行走任务中含有较多的文物比跑步机上走在转弯过程中，由于附加运动主体的头部和颈部。面部和颅骨的肌肉活动是partic良好的倡议宣传运动尤其明显。在图6中的时间电极（信道在图1中标记为FT和T）。注意EMG信号的活性的增加在跑步机上行走（ 图5）相比，特别是在踝关节的激动剂-拮抗剂对图6还显示事件不理想的无线脑电数据采集，数据处理过程中，必须考虑。紧接的4 ^个触发之前，脑电图数据显示，扁线，表明一个PC主机和脑电图系统之间的无线传输中断。本节的数据必须从整个数据集（脑电图，玛格，EMG）修剪。

图7显示了一个周期的台阶坐下来，坐 ​​站数据。与其它数据，目前在脑电图移动文物，无论是在过渡期结束，并保持头坐在（或站立）收慢。走廊行走的一个间隔，包括独立行走的一个第二步行到站姿过渡， 如图8所示。注意肌电图和加速度数据的斜坡开始后声音提示，并停止行走。这个斜坡是一致的外观和运动伪影消失在脑电数据。 图8还显示一个次优的脑电图电极连接PO10发生在大约7秒。偶尔观察到这种行为是在实验过程中，可能是由于脑电图电极和头皮之间的接触的损失。电极PO10必须从这项试验的数据分析。由于脑电图的数据可以实时观察，验证脑电图电极连接在每项试验前在协议（协议第6.2步），穷人的电极连接可以补救之前试了下。

名	公司	数量
BrainAmp放大器lifier	脑产品，GMBH	2
actiCAP 64个电极脑电帽	脑产品，GMBH	1
Brainvision移动无线EEG系统	脑产品，GMBH	1
数据记录MWX8肌电图的数据采集单元	生物识别技术有限公司	1
SX230肌电电极	生物识别技术有限公司	8
R506 EMG接地电极	生物识别技术有限公司	1
蛋白石运行监测（玛格传感器）	APDM，INC。	11
蛋白石基座无线数据流	APDM，INC。	2
蛋白石无线接入点	APDM，INC。	2
VELLEMAN，INC。	5
Wixel可编程USB无线模块	pololu公司	6

表1中。设备。

传感器	位置
头	额头之上眉毛中心
树干	在胸鳍基部胸骨之间
腰	腰部曲线的最低回中心
臂1	横向侧臂;由近端到手腕〜10％之间，以肘
大腿围1	大腿外侧50％，髋关节和膝关节
柄1	侧柄75％远端从膝盖
脚1	围绕脚背脚
1手臂，大腿，小腿，足部传感器放置双边。

表2。MARG传感器的位置。

图1矢状面（A）和额叶（二）鉴于主题穿着脑电图，肌电图，MARG惯性传感器采集数据。（三）在头皮上的脑电图电极位置的地形表示，绘制（与：Matlab工具箱EEGLAB ^14。 D）含移动数据收集车主机电脑，手动触发，肌电蓝牙，玛格无线接入点，和脑电图的无线接收器，放大器和电源。d/50602/50602fig1large.jpg“目标=”_blank“>点击这里查看大图。

图2。详细定制设计的算法流程图，多线程的数据收集软件。 点击这里查看大图 。

图3。舞台上行走（1）实验方案示意图（鸟瞰）表示。一个箭头（→，←，↑）呈现在显示屏上，当主体在入口处锥年底秒。如果右（→）或左（←），主体如下红色或绿色的循环，分别通过四组的红外（IR）传感器（IR1-IR4）。如果选择了直线（↑），主体走向显示监视器（蓝线），和一个第二个箭头（→或←），提出在被摄物体前，IR传感器（IR5）约1米。通过通过IR5传感器集后，主体沿着其对应的路径（红色或绿色）完成循环，返回到起点。

图4。原理图（鸟瞰）表示的舞台上行走（2）的实验方案，在实验开始时，一个单一的箭头（pload/50602/50602larrhighres.jpg“/> ，→，←，↑）呈现在显示监视器上的主体。主体走根据接收的箭头，直接的对应的一组红外传感器，通过传感器，在绕锥完成U形转弯，并返回到开始点（对应于循环箭头所示）。

图5。从10秒的跑步机上行走。面板的样本数据显示64路频道名10-20国际公约的原始脑电数据。中间面板显示11 MARG传感器在垂直方向上的加速度。底部面板显示8个通道原料肌电图点击这里查看大图 。

图6。样本数据从一个循环（右箭头路径，图3）走在竞技场I协议。脑电图，加速度和肌电图的数据，如图5所示。垂直黑条由软件触发器的位置。第一触发器是从手动按钮启动循环凭→方向。以下四个触发器是来自红外传感器的红外图谱（IR1）-IR4为主题的遍历循环（ 图3）。tp_upload/50602/50602fig6large.jpg“目标=”_blank“>点击这里查看大图。

图7。样本数据从独立坐下来，坐 ​​，站过渡。脑电图，加速度，和肌电图的数据， 如图5所示。竖线表示手动触发（和音频线索）发起的站姿和坐姿，分别点击这里 。 查看大图 。

图8。从走廊行走的样品数据显示从斯坦过渡鼎行走和站立行走。脑电图，加速度，和肌电图的数据显示， 如图5所示。竖线表示手动触发和音频线索开始ANSD停止行走， 点击这里查看大图 。

Discussion

这里介绍的协议带来了三种数据收集系统，同时记录大脑活动，肌肉活动，全身运动过程中各种机车的任务。整个协议的完成大约需要3小时，包括1小时的主题准备。被安装在每一个系统，移动，主体。因此，至关重要的是每种新的试验开始前验证EEG和EMG电极的连接。这可以很容易地使用软件包各自的制造商提供的，这使得使用图形界面的PC主机上的实时数据进行审查。数据收集应用程序需要这些软件包在运行，简化验证过程。此外，必须小心，玛格传感器强劲附着在每项试验前的主题。

脑电图和玛格在2.4-2.5 GHz的无线数据传输频谱范围。因为许多其他电子设备都使用这个频段，在实验环境中，重要的是要考虑无线接口的可能性。数据收集的一个重要方面的视线能见度车和主体之间的移动，它提供了无线干扰的鲁棒性。脑电无线接收器和MARG接入点（ 图1）的提供LED来指示连接的保真度。脑电图和玛格传感器PC主机和无线接收器放置在移动的车保持直接的视线，并最大限度地提高无线数据传输为主题的走了过来地面。我们发现，通过移动车保持5米以内的距离没有限制的任务，在任何拍摄对象移动的主体，最好保持强大的数据收集。在C + +应用程序使用多个线程的数据收集提供鲁棒性的无线c中断造成的数据丢失onnection脑电图。如果脑电图连接丢失，玛格及肌电图的数据仍录得，但没有脑电图的数据将可为那些时间点。 MARG传感器提供单位缓冲上面所讨论的，在无线连接的情况下，而肌电图的数据存储在SD卡上，在移动数据记录装置，以防止数据丢失。

脑电图数据收集在行走过程中的一个常见问题是神器存在的信号。从广义上讲，文物可以分成两类：生理来源的文物，包括闪烁，眼球运动，面部肌肉的活动，心脏跳动，机械制品，如运动实验协议执行过程中的电极和/或电缆。神器去除是一个正在进行的研究课题，包括技术独立分量分析^15,16和基于通道的模板回归程序^17。神器减少和去除是公关的关键步骤数据eprocessing身体运动神经解码。这里介绍的是设置类似于以前的研究中，脑电图电极电缆被捆绑成一个单一的连接器。从这些研究结果表明，由于电缆的晃动或移动的机械制品没有发挥作用，在解码的运动神经活动^7,8。这些结果支持由其他研究得出结论，步态相关文物单薄缓慢至温和速度行走^17。然而，这个实验活动期间，需要更多的运动的身体比以前的研究，包括坐姿到站立过渡措施，脑电图，超过地面行走，转弯，从而，必须仔细检查原始脑电数据进行识别潜在的从机械制品的污染。尚未广泛使用，但这些潜在的问题可以解决，通过新颖的硬件集成到当前的协议。这样的硬件公司ludes活跃的脑电图电极（在本协议中使用）和弹簧，干脑电图电极，其中有潜力在运动过程中，以改善皮肤的电极接触阻抗^18。无线EEG系统，这些技术正在被纳入，这可能会减少运动伪影¹⁹的效果。尽管新颖的硬件集成，该协议提供了一个独特的机会，继续开发新的算法为运动和肌电神器的拒绝，因为每一个环节的身体一直仪表^16。我们计划研究时间序列相关和频域之间的连贯性脑电图，肌电图，和段运动发展强大的神器抑制范式适用于目前可用的脑电图设置。我们的解码方法对文物^7,8的鲁棒性，这些方法将研究在本协议下的更复杂的情况。

记录面的特点肌电图是依赖于很多因素，表面肌电信号的神经战略研究需要解释其代价^20。在这个协议中使用的皮肤准备和EMG电极放置的严格的程序而设计的表面上的EMG信号的非生理性因素的影响减到最小。的幅度和频率的肌电图的记录，可通过此协议有关的净电动机单元活动，因此，该记录不应该被解释为所希望的肌肉的神经活动的直接表示。然而，仔细考虑表面肌电信号和更先进的方法来估算神经肌肉驱动肌电信号分解，以确定神经激活的相对变化（ 如通过识别运动单位的放电时间），可以提供有价值的洞察肌肉激活模式^20。此外，神经解码的上下文内，尽管大脑的活动侵入性地获取已被证明含有的表面肌电图^21的信息，它是目前未知的，，头皮脑电图是否也可用于在行走过程中，除了步态运动学解码下肢肌肉活动。我们预期该协议将允许我们研究降低空间分辨率的非侵入性的脑成像方式是否是足够的隔离个别肌肉的神经活动。

以往的研究表明，利用非侵入性脑电图在跑步机上行走^7,8开发的脑机接口（BMI）来恢复行走提供动力来自大脑的信号解码运动学可行性。时域基于振幅调制的Δ-波段的EEG信号的解码方法也被证明是不敏感到人造的元器件^7,8。然而，跑步机研究发生在受控环境中，用户的视觉和运动受到限制，从而限制了由于对外界刺激的神经活动的污染。通过成立无线数据记录，该协议允许同步的脑电图，肌电图，动态数据的收集过程中各种运动的任务和环境。集成惯性传感器运动跟踪需要更多的计算和离线处理，提取比动作捕捉系统运动学，和由此产生的措施包含一个小的-但可以接受-的误差幅度，这将不会出现在摄像头为基础的系统^22。这些管理的困难是必须建立一个试验性协议，使移动认知电机在变化的环境行为研究。别处讨论^10,11的研究可以解决的问题，这样的设置几乎是无限的。在不久的将来，我们的重点将是发展的BMI站在康复的关键问题，并步行后脑损伤和神经病变。一个关键部件，如上面提到的，将是发展新的强大的解码脑机接口的康复机器人系统，可以拒绝使用测量大脑的信号恢复运动生理和机械制品的策略。例如，目前在数据收集过程中与其他人在公共场所进行的走廊行走协议，发展神经解码技术，在自然的环境中，从而提供了一个测试床。使用此协议的其他研究感兴趣的问题包括损伤后急性和慢性两种相比较康复的机器人范式涉及节奏与非节律性步态训练，并在功能恢复的神经活动的研究。

Materials

Name	Company	Catalog Number	Comments
BrainAmp Amplifier	Brain Products, Gmbh		Quantity: 2
actiCAP EEG cap with 64 electrodes	Brain Products, Gmbh		Quantity:1
Brainvision MOVE wireless EEG system	Brain Products, Gmbh		Quantity:1
DataLOG MWX8 EMG data collection unit	Biometrics, Ltd.		Quantity:1
SX230 EMG electrodes	Biometrics, Ltd.		Quantity:8
R506 EMG ground electrode	Biometrics, Ltd.		Quantity:1
Opal movement monitor (MARG sensor)	APDM, Inc.		Quantity:11
Opal docking station for wireless data streaming	APDM, Inc.		Quantity:2
Opal wireless access point	APDM, Inc.		Quantity:2
Infrared Light Barrier Kit MK120	Velleman, Inc.		Quantity:5
Wixel Programmable USB Wireless Module	Pololu, Inc.		Quantity:6
Table 1. Equipment