Introduction
脑机器人交互（BRI），它提供了人，并通过大脑信号的磁带设备之间的创新的通信通道，是未来的在帮助残疾人在日常生活中1,2。各种各样的方法都能够获得大脑信号要么侵入或非侵入性，如脑电图（脑电图），脑电图（EEG），功能磁共振成像（fMRI）等用于建立最常用的非侵入性的方法BRI系统是获得从置于头皮上的电极脑电信号。这种方法是便宜的，易于使用，并提供了一个可接受的时间分辨率3。在众多的机器人设备，仿人机器人是先进的，因为他们创造了模仿一些人类每天接受同样的身体和精神的任务。 BRI，带仿人机器人将在协助老弱病残，以及执行不卫生或危险的工作具有重要作用。但控制通过BRI系统仿人机器人是极具挑战性，因为仿人机器人全身运动发展到执行复杂的任务，如个人协助4，5。
稳态视觉诱发电位（SSVEP）是在给定频率6诱发的视觉刺激的调制类型的脑信号的。它包含血窦在闪烁刺激的基波和谐波频率，并显着地出现在整个头皮7枕骨区域的视觉皮层。之所以选择SSVEP信号是，SSVEP为基础的BRI系统产生较高的信息传输速率，并需要更少的培训8。其他类型的脑电波，如事件相关电位（ERP的）9或马达成像（MI）的电位10，也可以嵌入到该实验步骤。
我们与仿人脑机器人互动过程机器人是基于Cerebot -一种思维控制类人机器人平台-包括脑电数据采集系统和人形机器人11。脑电图系统是能够记录，预处理和由各种类型的电极获取的显示生物电势信号。它提供了多个模拟的I / O和数字I / O，并且能够同时记录多达128个信号通道以30千赫具有16位分辨率的采样率的。它在C ++和MATLAB软件开发工具包便于用户设计实验步骤。人形机器人具有25个自由度，并配备有多个传感器，包括2个摄像头，麦克风4，2声纳测距仪，2 IR发射器和接收器，1惯性板，9触觉传感器，和8的压力传感器。它提供了Choregraphe和C ++ SDK用于创建和编辑的动作和互动的机器人行为。
这种方法的总体目标是建立一个SSVEP为基础的实验PROCE杜热通过集成多个软件程序，如OpenViBE，Choregraph，中央软件以及写在C ++和MATLAB用户开发的程序，以实现与人形机器人11脑机器人相互作用的研究。 图1显示了系统的结构。专用刺激呈现计算机（SPC）显示用户界面以提供与视觉刺激，指示和环境反馈的主题。专用数据处理计算机（DPC）运行在数据记录器和离线数据分析器中的离线训练的过程中，并运行在线信号处理器和机器人控制器的人形机器人的在线控制。与其他SSVEP为基础的控制系统相比，我们的系统更可靠，更灵活，尤其是更方便的重复使用和更新，因为它是通过将若干标准化的软件包，诸如OpenViBE，Choregraph，中部软件开发的，并模块用C ++编写和MATLAB。
下面的过程进行了审查并批准了天津医科大学总医院伦理委员会，和所有科目签署知情同意书。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1.获取脑电信号
- 解释了实验过程的主题，并取得书面知情同意参加实验。
- 测量被检者的头部用卷尺测量的周长，并选择EEG帽大小是接近测量。电极排列是根据“国际：10-20系统”12。
- 测量鼻根和INION之间的距离。用皮肤标记笔标记的距离作为用于对准的帽的基准的10％，并标记的距离作为被检者的头皮的顶点的中点。
- 通过与FP1和FP2电极的中点对准10％大关将关于这一主题的脑电图帽。位置电极锆石的顶点帽。
- 确保Fz的，CZ，Pz的和盎司是在头的中线，而每对位于所述中线的任一侧电极是在一个水平线上。
- 涂抹REF1和REF2电极的导电凝胶。放置在使用医用胶带左和右乳突参考电极。拧紧南极。
- 放置一个钝头的注射器在电极座和导电凝胶按以下顺序注入到各电极：第一，在前额和“地”电极秒，在实验中使用的，O 2，O 1，盎司，Pz的五个电极和Cz。
- 座椅舒适的椅子60cm以下的刺激监视器前的对象。指示的主题，以保持他/她的眼睛在同一水平与显示器的中心。
- 电极导线连接到脑电数据采集系统。配置采样率到1千赫。
- 检查的专用DPC脑电图信号质量。如果存在与特定的电极的问题，重新注入凝胶来调整信道的阻抗。
- 使用专用的SPC闪烁4机器人图像在4.615，12，15和20的频率赫兹的用户界面上的视觉刺激，如图2。
2.离线分析SSVEP特点
- 行为离线训练试验32试验为每个主题并记录脑电图系统，在此过程中获得他们的大脑信号。
注：此过程仅受实验的第一次主题进行，以建立自己的SSVEP特征向量和训练分类。 - 当审判开始时，选择一个刺激作为目标随机显示其上方的黄色箭头。
- 1秒后，无闪烁的四个视觉刺激的用户界面，持续5秒上不同的频率。
- 要求受试者对着眼于所选择的目标的刺激，同时保持他/她的身体运动到最低限度。
- 每次试验后，给受3秒放松，然后再开始下一个试验。
- 当所有的试验完成后，读取保存的数据。提取了3秒数据时代是吐温2秒，5秒，其选择的刺激在每次试验的目标后触发。
- 计算使用离线数据分析在MATLAB脚本数据时代的功率谱密度（PSD）。使用下面将详细描述的处理算法：
- 计算多通道脑电数据的典型相关分析（CCA）的系数与参考的数据。 CCA是用于两组数据中找到自己的潜在关联13多变量统计方法。考虑多信道脑电图数据 X和基准数据 Y相同长度的三分段，使用CCA找到的权重向量， 宽 x和 W Y，最大限度的相关系数ρX = X T W＆x 和y = YŤ之间W¯¯ 年。设置参考数据是在一定的刺激频率的周期信号。
/ftp_upload/53558/53558eq1.jpg“/>
其中F 1，F 2，F 3，F 4是四视觉刺激的特征频率。 - 空间地使用所计算的CCA系数宽 x以获得一维滤波的数据x，它具有的基准数据的线性组合的最突出的相关过滤多信道脑电图数据 X。
- 计算使用快速傅立叶变换（FFT）的空间滤波数据 x的PSD。
其中 N FFT为数据 X的样本量和FFT（X，N FFT）返回 x 的 N个FFT -点离散傅里叶变换。 - 规范化PSD相对于3和30赫兹之间的平均值。
哪里60;
表示3〜30Hz的功率谱的平均值。
- 计算多通道脑电数据的典型相关分析（CCA）的系数与参考的数据。 CCA是用于两组数据中找到自己的潜在关联13多变量统计方法。考虑多信道脑电图数据 X和基准数据 Y相同长度的三分段，使用CCA找到的权重向量， 宽 x和 W Y，最大限度的相关系数ρX = X T W＆x 和y = YŤ之间W¯¯ 年。设置参考数据是在一定的刺激频率的周期信号。
- 校准分类参数为四个激励频率。首先，观察到对应其目标的刺激的标准化的PSD光谱，和手动配置具有最强的PSD振幅作为特征频率的频率。基于该特征频率，划分归一化的PSD数据分成两组：当相应的刺激被选择作为目标之一获得，并且当非目标刺激被选择的其他被获取。计算每个分别设置的平均值。由两个平均值的中值确定阈值进行分类的目标和非目标集14。
表示3〜30Hz的功率谱的平均值。 3.在线处理大脑信号
- 打开在线信号处理器，如图3，该显影bASED对OpenViBE环境和MATLAB脚本，在DPC进行在线处理的大脑信号。
- 双击获取和处理信号盒，标有红色的周期在图3中，打开OpenViBE设置窗口。为主题配置的分类参数：根据离线分析，结果设置采样速率为1千赫兹，设定时间长度进行FFT为3秒，并设定所述特征频率例如 ，4.667，24，15和20赫兹。
- 点击首发按钮运行在线信号处理器，使用以下算法中的三个步骤，其处理所述实时数据。
- 首先，算法获取从通道盎司，O1，O2，和Pz的脑电图系统每0.5s的CPZ脑电图数据，并提取在过去3秒进行在线处理的数据段。
- 第二，该算法处理使用在步骤2.7中描述的算法的3秒的数据段，并计算实时的PSD为classifica化。
- 第三，该算法根据PSD幅度在四个特征频率划分的脑电波模式。当一个特征频率的幅度高于给定阈值，分类的刺激闪烁在相应的频率作为SSVEP目标。
4.连接仿人机器人
- 按人形机器人的胸部按钮，并等待其启动。
注：此过程大约需要1分钟，当机器人说：“OGNAK GNOUK”，而它的胸口按钮变成白色完毕。 - 建立它的无线保真（WiFi）连接到DPC 15。
- 开放式机器人控制器编程，在DPC的Visual C ++脚本。该控制器接收来自通过虚拟现实外设网络（VRPN）接口的在线信号处理器的分类结果，将其转换为所述机器人的命令，并控制humanoi的对应的行为通过无线连接二维机器人。
- 通过根据其WiFi连接输入机器人的IP地址，定义三套机器人行为它可以是配置机器人控制器容易地切换来执行三个不同的任务，并且设置这些行为的执行参数（例如，步行速度或距离），以适应任务的要求。
注：以上这些行为的详细步骤5.2.1，5.3.1，5.4.1和描述。 - 点击在Visual Studio平台的生成按钮运行机器人控制器。
- 打开对SPC的Choregraphe程序。点击“连接”按钮，弹出一个连接部件。选择要根据其IP地址来控制机器人，并双击图标连接到它。
- 从在Choregraphe菜单栏的视图菜单打开视频显示器，以及监视器移动到用户界面的前以显示从机器人的相机实时视频反馈。
- 要求受试者对以评价大脑机器人交互性能执行在不同环境中的三个具体的闭环控制任务。
注：这些任务，这在机器人应用中非常重要，因为他们是在帮助残疾人和老年人在日常生活有帮助的，需要激活不同的机器人行为。 - 进行首次闭环控制任务网真通过大脑信号控制的人形机器人走过的障碍，推动光开关，把灯打开， 如图4。
- 为了完成第一个任务，控制其通过四个SSVEP刺激编码为机器人的行为：用0.15微米的固定距离步进向前，向左转具有0.3弧度的固定弧度，右转具有0.3弧度的固定弧度，并推动使用其右手的开关。
注意：CONFIGURA化过程在步骤4.4中所述。 - 通知任务目标的主题和四个行为来进行控制。
- 运行机器人控制器按照步骤4.5-4.7，并开始实验。给予受试者的自由感知环境，并根据实时视频反馈的决定，以及由盯着相应的刺激以激活机器人的行为。
注：在没有指令或帮助应给予受试者除非在紧急情况下，例如，机器人将要碰撞的障碍物。
- 为了完成第一个任务，控制其通过四个SSVEP刺激编码为机器人的行为：用0.15微米的固定距离步进向前，向左转具有0.3弧度的固定弧度，右转具有0.3弧度的固定弧度，并推动使用其右手的开关。
- 开展第二次任务为网真控制通过大脑信号的人形机器人朝楼梯走下面的出口标志， 如图5。当面对路人，询问受控制机器人说“对不起”，并等待路人让路。
- 控制由四SSVEP刺激编码为机器人的行为：向前走continuousl的Y为0.05米/秒的速度，在拐弯0.1弧度/秒的速度连续地离开，在0.1弧度/秒的速度连续地向右转动，并停止所有行走行为。
- 切换机器人控制器的姿势相关的控制功能16。
注：当机器人行走时，该功能采用第四刺激如停止行走行为的命令;当机器人不走，它采用第四刺激来控制机器人说“对不起”。该功能在C ++中的脚本通过探测机器人的行走状态来实现的。 - 通知任务目标的主题和五个行为来进行控制。
- 运行机器人控制器和开始实验，如在步骤5.2.3说明。
- 进行第三个任务为网真控制类人机器人行走朝气球目标，把它捡起来，并把它提供给主体的手， 如图6。
- 控制由四SSVEP刺激作为编码的机器人行为：以0.15米的固定距离挺身而出，左转0.3弧度固定弧度，0.3弧度固定弧度右转，并拿起对象。
- 激活在机器人控制器的姿势有关的控制功能再利用第四刺激作为放下对象时，它已经被拾取的命令。
- 通知任务目标的主题和五个行为来进行控制。
- 运行机器人控制器和开始实验，如在步骤5.2.3说明。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
此处呈现的结果是从男性受试者具有矫正到正常获得的版本。 图7示出的处理的EEG数据的方法，包括提取一个多信道数据纪元（图7A），空间滤波使用CCA系数数据（图7B） ，并计算归一化的PSD（图7C）。
图8示出了使用单一的试验中，受试者盯着闪烁在不同频率靶的规格化的PSD获得。主峰出现在闪烁刺激的基波或谐波频率。将BRI系统SSVEP响应这些模式映射到不同的机器人的行为的控制命令。
图4-6显示了三闭环续的rol任务以评价脑机器人相互作用性能。这些任务是机器人研究的热门，并在协助他们日常生活的残疾人和老年人有益的。 图4显示了通过障碍边走边推开关打开，通过脑电波光的临场感对照实验。 图5显示了临场感控制实验步行朝着楼梯的情况下出口标志，图6所示拿起一个气球，它提供给受试者的手的临场感控制实验。
图用于与仿人机器人脑机器人相互作用1.系统结构，大脑信号通过脑电图数据采集系统测得的。用户界面引发SSVEP响应和显示实时视频反馈闭环控制实验。对于第一次科目，数据记录器和离线数据分析仪用于离线训练过程，分析其SSVEP功能和离线训练分类为每个主题。然后在线信号处理器和机器人控制器配置为人形机器人的在线控制。 请点击此处查看该图的放大版本。
图2.用户界面的SSVEP为基础的BRI系统的用户界面中显示实时视频反馈在中间的窗口和闪烁的代表在四个频率的人形机器人的行为外围四象。在右侧面板中的3D位置表示了仿人机器人的当前姿态。 /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg“目标=”_空白“>点击此处查看该图的放大版本。
在OpenViBE编程环境图3.网上信号处理器实现的采集和处理的信号盒标有红色循环调用MATLAB写的脚本处理算法。菜单面板上的首发按钮启动该程序。 请点击此处查看该图的放大版本。
图穿行障碍和推进一个电灯开关的四网真控制实验。ES / ftp_upload / 53558 / 53558fig4large.jpg“目标=”_空白“>点击此处查看该图的放大版本。
图漫步走向楼梯继退出登录5.临场感控制实验。 请点击此处查看该图的放大版本。
图6.交付一个气球被摄物体的临场感控制实验。 请点击此处查看该图的放大版本。
图7.程序处理多通道脑电数据（一）从被检者盯着刺激在4.615 Hz的试验中提取多通道数据时代。 （ 二）采用CCA系数空间滤波数据; （ 三）空间过滤数据的标准化PSD。 请点击此处查看该图的放大版本。
图8.归私营部门获得单独审判中被检者在刺激闪烁凝望着不同的频率。 请点击此处查看该图的放大版本。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
本文提出了一种SSVEP为基础的实验过程通过集成多个软件程序，建立脑机器人交互系统，人形机器人。因为人的意图是通过解释实时EEG信号感知，关键是在进行实验之前验证电极连接和脑电图信号质量。如果从所有的电极获得的信号是差的品质，就必须首先检查接地电极和参考电极的连接。如果有问题，电极的部分，重新注入传导凝胶来调整这些信道的阻抗。
同时获取脑电信号的另一个常见的问题是文物的干扰和噪声17。由于脑电信号具有小的信噪比（SNR），伪影和噪声的SSVEP响应的PSD可以轻松不起眼的变化。它保持脑电图系统的信号放大器远离POW是重要呃用品等噪声源。在实验期间，眨眼和身体运动应保持在最低限度，以减少伪像。为了进一步提高对这种干扰的稳健性，我们的方法利用CCA为基础的技术来解释多通道脑电数据。结果表明，这种技术是有效的提取从含有噪声和工件EEG信号的功能。
要开始的类人机器人的闭环控制的新任务，我们需要手动配置每个机器人行为的定义和参数，以适应新任务的要求。这是由于在目前的BRI系统中可用的控制命令的数量有限，并且因此可以通过唤起更多类型的脑电波模式得到改善。 Hwang等人。18提出的制造更加视觉刺激双频刺激方法。王等人 19，艾里等人20，Pan等21，和李<EM>等22提出了几种混合方法的SSVEP为基础的模式与其他脑电波模式，包括企业资源规划和MI结合。这也是采用基于机器学习或分级结构使用有限脑波图案23，以控制仿人机器人的全身运动交换技术是可行的。
考虑到LCD监视器24和SSVEPs的25次谐波成分中的影响的可用闪烁频率，我们扫描所有可能的闪烁频率从1到60赫兹并且使用4个频率，发现即 ，4.615，12，15，和20赫兹，很可能是最好的选择，因为他们获得了最高的平均准确率，我们的研究对象。因此，我们使用的四种刺激界面上控制类人机器人的行为，包括向前走，左转，右转和停止行走/按压开关/拿起对象，这是可行的连接ough控制人形机器人实现了在该手稿提出的任务。
将BRI系统的优点是它的可靠性和灵活性，因为它是由集成多个软件程序，如OpenViBE，Choregraph，中部软件和C的用户开发的程序++和MATLAB开发的。它是有效的和可靠的设计使用标准化软件不同的实验程序。我们的系统是一个功能强大的工具来研究新的算法和技术与人形机器人大脑的机器人互动。它可以很容易地升级，探索在协助老弱病残，以及执行不卫生或危险工作BRI应用。
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
作者想表达自己的感激之情洪虎先生在执行本文报道的实验援助。这项工作是由中国国家自然科学基金（61473207号）的部分支持。
Materials
| Name | Company | Catalog Number | Comments |
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
