方法文章

SSVEP基础实验步骤与人形机器人脑机器人互动

DOI：

10.3791/53558

⸱

2015年11月24日

 ,  ,  , 
1School of Electrical Engineering and Automation, Tianjin University, 2Department of Computer & Electrical Engineering and Computer Science, California State University

本文内容

摘要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

该方法的总体目标是通过集成多个软件程序来建立基于 SSVEP 的实验程序，从而能够研究脑机与类人机器人的交互，这在帮助病人和老人以及从事不卫生或危险的工作方面具有前瞻性。

摘要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

脑机交互 （BRI） 通过大脑信号在人和机器人设备之间提供创新的通信途径，有望帮助残疾人士的日常生活。我们方法的总体目标是通过集成多个软件程序（如 OpenViBE、Choregraph 和 Central 软件）以及用户开发的用 C++ 和 MATLAB 编写的程序来建立基于 SSVEP 的实验程序，以研究脑机与类人机器人的交互。

这是通过首先将脑电图电极放置在人体受试者身上，以通过脑电图数据采集系统测量大脑反应来实现的。用户界面用于引出 SSVEP 响应并在闭环控制实验中显示视频反馈。第二步是记录首次受试者的脑电信号，离线分析他们的 SSVEP 特征，并为每个受试者训练分类器。接下来，配置在线信号处理器和机器人控制器以在线控制人形机器人。作为最后一步，受试者在不同环境中完成三个特定的闭环控制实验，以评估脑机交互性能。

这种方法的优点是它的可靠性和灵活性，因为它是通过集成多个软件程序开发的。结果表明，使用这种方法，受试者能够通过大脑信号与人形机器人互动。这使得精神控制的人形机器人能够执行机器人研究中流行的典型任务，并有助于帮助残疾人。

引言

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

脑机器人交互（BRI），它提供了人，并通过大脑信号的磁带设备之间的创新的通信通道，是未来的在帮助残疾人在日常生活中1,2。各种各样的方法都能够获得大脑信号要么侵入或非侵入性，如脑电图（脑电图），脑电图（EEG），功能磁共振成像（fMRI）等用于建立最常用的非侵入性的方法BRI系统是获得从置于头皮上的电极脑电信号。这种方法是便宜的，易于使用，并提供了一个可接受的时间分辨率3。在众多的机器人设备，仿人机器人是先进的，因为他们创造了模仿一些人类每天接受同样的身体和精神的任务。 BRI，带仿人机器人将在协助老弱病残，以及执行不卫生或危险的工作具有重要作用。但控制通过BRI系统仿人机器人是极具挑战性，因为仿人机器人全身运动发展到执行复杂的任务，如个人协助4，5。

稳态视觉诱发电位（SSVEP）是在给定频率6诱发的视觉刺激的调制类型的脑信号的。它包含血窦在闪烁刺激的基波和谐波频率，并显着地出现在整个头皮7枕骨区域的视觉皮层。之所以选择SSVEP信号是，SSVEP为基础的BRI系统产生较高的信息传输速率，并需要更少的培训8。其他类型的脑电波，如事件相关电位（ERP的）9或马达成像（MI）的电位10，也可以嵌入到该实验步骤。

我们与仿人脑机器人互动过程机器人是基于Cerebot -一种思维控制类人机器人平台-包括脑电数据采集系统和人形机器人11。脑电图系统是能够记录，预处理和由各种类型的电极获取的显示生物电势信号。它提供了多个模拟的I / O和数字I / O，并且能够同时记录多达128个信号通道以30千赫具有16位分辨率的采样率的。它在C ++和MATLAB软件开发工具包便于用户设计实验步骤。人形机器人具有25个自由度，并配备有多个传感器，包括2个摄像头，麦克风4，2声纳测距仪，2 IR发射器和接收器，1惯性板，9触觉传感器，和8的压力传感器。它提供了Choregraphe和C ++ SDK用于创建和编辑的动作和互动的机器人行为。

这种方法的总体目标是建立一个SSVEP为基础的实验PROCE杜热通过集成多个软件程序，如OpenViBE，Choregraph，中央软件以及写在C ++和MATLAB用户开发的程序，以实现与人形机器人11脑机器人相互作用的研究。 图1显示了系统的结构。专用刺激呈现计算机（SPC）显示用户界面以提供与视觉刺激，指示和环境反馈的主题。专用数据处理计算机（DPC）运行在数据记录器和离线数据分析器中的离线训练的过程中，并运行在线信号处理器和机器人控制器的人形机器人的在线控制。与其他SSVEP为基础的控制系统相比，我们的系统更可靠，更灵活，尤其是更方便的重复使用和更新，因为它是通过将若干标准化的软件包，诸如OpenViBE，Choregraph，中部软件开发的，并模块用C ++编写和MATLAB。

下面的过程进行了审查并批准了天津医科大学总医院伦理委员会，和所有科目签署知情同意书。

访问受限。请登录或开始试用以查看此内容。

方案

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1.获取脑电信号

  1. 解释了实验过程的主题，并取得书面知情同意参加实验。
  2. 测量被检者的头部用卷尺测量的周长，并选择EEG帽大小是接近测量。电极排列是根据"国际:10-20系统"12。
  3. 测量鼻根和INION之间的距离。用皮肤标记笔标记的距离作为用于对准​​的帽的基准的10％，并标记的距离作为被检者的头皮的顶点的中点。
  4. 通过与FP1和FP2电极的中点对准10％大关将关于这一主题的脑电图帽。位置电极锆石的顶点帽。
  5. 确保Fz的，CZ，Pz的和盎司是在头的中线，而每对位于所述中线的任一侧电极是在一个水平线上。
  6. 涂抹REF1和REF2电极的导电凝胶。放置在使用医用胶带左和右乳突参考电极。拧紧南极。
  7. 放置一个钝头的注射器在电极座和导电凝胶按以下顺序注入到各电极:第一，在前额和"地"电极秒，在实验中使用的，O 2，O 1，盎司，Pz的五个电极和Cz。
  8. 座椅舒适的椅子60cm以下的刺激监视器前的对象。指示的主题，以保持他/她的眼睛在同一水平与显示器的中心。
  9. 电极导线连接到脑电数据采集系统。配置采样率到1千赫。
  10. 检查的专用DPC脑电图信号质量。如果存在与特定的电极的问题，重新注入凝胶来调整信道的阻抗。
  11. 使用专用的SPC闪烁4机器人图像在4.615，12，15和20的频率赫兹的用户界面上的视觉刺激，如图2。

2.离线分析SSVEP特点

  1. 行为离线训练试验32试验为每个主题并记录脑电图系统，在此过程中获得他们的大脑信号。
    注:此过程仅受实验的第一次主题进行，以建立自己的SSVEP特征向量和训练分类。
  2. 当审判开始时，选择一个刺激作为目标随机显示其上方的黄色箭头。
  3. 1秒后，无闪烁的四个视觉刺激的用户界面，持续5秒上不同的频率。
  4. 要求受试者对着眼于所选择的目标的刺激，同时保持他/她的身体运动到最低限度。
  5. 每次试验后，给受3秒放松，然后再开始下一个试验。
  6. 当所有的试验完成后，读取保存的数据。提取了3秒数据时代是吐温2秒，5秒，其选择的刺激在每次试验的目标后触发。
  7. 计算使用离线数据分析在MATLAB脚本数据时代的功率谱密度（PSD）。使用下面将详细描述的处理算法:
    1. 计算多通道脑电数据的典型相关分析（CCA）的系数与参考的数据。 CCA是用于两组数据中找到自己的潜在关联13多变量统计方法。考虑多信道脑电图数据 X和基准数据 Y相同长度的三分段，使用CCA找到的权重向量， 宽 x和 W Y，最大限度的相关系数ρX = X T W＆x 和y = YŤ之间W¯¯ 年。设置参考数据是在一定的刺激频率的周期信号。
      /ftp_upload/53558/53558eq1.jpg"/>
      其中F 1，F 2，F 3，F 4是四视觉刺激的特征频率。
    2. 空间地使用所计算的CCA系数宽 x以获得一维滤波的数据x，它具有的基准数据的线性组合的最突出的相关过滤多信道脑电图数据 X。
    3. 计算使用快速傅立叶变换（FFT）的空间滤波数据 x的PSD。
      figure-protocol-1
      其中 N FFT为数据 X的样本量和FFT（X，N FFT）返回 x 的 N个FFT -点离散傅里叶变换。
    4. 规范化PSD相对于3和30赫兹之间的平均值。
      figure-protocol-2
      哪里60; figure-protocol-3表示3〜30Hz的功率谱的平均值。
  8. 校准分类参数为四个激励频率。首先，观察到对应其目标的刺激的标准化的PSD光谱，和手动配置具有最强的PSD振幅作为特征频率的频率。基于该特征频率，划分归一化的PSD数据分成两组:当相应的刺激被选择作为目标之一获得，并且当非目标刺激被选择的其他被获取。计算每个分别设置的平均值。由两个平均值的中值确定阈值进行分类的目标和非目标集14。

3.在线处理大脑信号

  1. 打开在线信号处理器，如图3，该显影bASED对OpenViBE环境和MATLAB脚本，在DPC进行在线处理的大脑信号。
  2. 双击获取和处理信号盒，标有红色的周期在图3中，打开OpenViBE设置窗口。为主题配置的分类参数:根据离线分析，结果设置采样速率为1千赫兹，设定时间长度进行FFT为3秒，并设定所述特征频率例如 ，4.667，24，15和20赫兹。
  3. 点击首发按钮运行在线信号处理器，使用以下算法中的三个步骤，其处理所述实时数据。
  4. 首先，算法获取从通道盎司，O1，O2，和Pz的脑电图系统每0.5s的CPZ脑电图数据，并提取在过去3秒进行在线处理的数据段。
  5. 第二，该算法处理使用在步骤2.7中描述的算法的3秒的数据段，并计算实时的PSD为classifica化。
  6. 第三，该算法根据PSD幅度在四个特征频率划分的脑电波模式。当一个特征频率的幅度高于给定阈值，分类的刺激闪烁在相应的频率作为SSVEP目标。

4.连接仿人机器人

  1. 按人形机器人的胸部按钮，并等待其启动。
    注:此过程大约需要1分钟，当机器人说:"OGNAK GNOUK"，而它的胸口按钮变成白色完毕。
  2. 建立它的无线保真（WiFi）连接到DPC 15。
  3. 开放式机器人控制器编程，在DPC的Visual C ++脚本。该控制器接收来自通过虚拟现实外设网络（VRPN）接口的在线信号处理器的分类结果，将其转换为所述机器人的命令，并控制humanoi的对应的行为通过无线连接二维机器人。
  4. 通过根据其WiFi连接输入机器人的IP地址，定义三套机器人行为它可以是配置机器人控制器容易地切换来执行三个不同的任务，并且设置这些行为的执行参数（例如，步行速度或距离），以适应任务的要求。
    注:以上这些行为的详细步骤5.2.1，5.3.1，5.4.1和描述。
  5. 点击在Visual Studio平台的生成按钮运行机器人控制器。
  6. 打开对SPC的Choregraphe程序。点击"连接"按钮，弹出一个连接部件。选择要根据其IP地址来控制机器人，并双击图标连接到它。
  7. 从在Choregraphe菜单栏的视图菜单打开视频显示器，以及监视器移动到用户界面的前以显示从机器人的相机实时视频反馈。
5。开展闭环控制实验
  1. 要求受试者对以评价大脑机器人交互性能执行在不同环境中的三个具体的闭环控制任务。
    注:这些任务，这在机器人应用中非常重要，因为他们是在帮助残疾人和老年人在日常生活有帮助的，需要激活不同的机器人行为。
  2. 进行首次闭环控制任务网真通过大脑信号控制的人形机器人走过的障碍，推动光开关，把灯打开， 如图4。
    1. 为了完成第一个任务，控制其通过四个SSVEP刺激编码为机器人的行为:用0.15微米的固定距离步进向前，向左转具有0.3弧度的固定弧度，右转具有0.3弧度的固定弧度，并推动使用其右手的开关。
      注意:CONFIGURA化过程在步骤4.4中所述。
    2. 通知任务目标的主题和四个行为来进行控制。
    3. 运行机器人控制器按照步骤4.5-4.7，并开始实验。给予受试者的自由感知环境，并根据实时视频反馈的决定，以及由盯着相应的刺激以激活机器人的行为。
      注:在没有指令或帮助应给予受试者除非在紧急情况下，例如，机器人将要碰撞的障碍物。
  3. 开展第二次任务为网真控制通过大脑信号的人形机器人朝楼梯走下面的出口标志， 如图5。当面对路人，询问受控制机器人说"对不起"，并等待路人让路。
    1. 控制由四SSVEP刺激编码为机器人的行为:向前走continuousl的Y为0.05米/秒的速度，在拐弯0.1弧度/秒的速度连续地离开，在0.1弧度/秒的速度连续地向右转动，并停止所有行走行为。
    2. 切换机器人控制器的姿势相关的控制功能16。
      注:当机器人行走时，该功能采用第四刺激如停止行走行为的命令;当机器人不走，它采用第四刺激来控制机器人说"对不起"。该功能在C ++中的脚本通过探测机器人的行走状态来实现的。
    3. 通知任务目标的主题和五个行为来进行控制。
    4. 运行机器人控制器和开始实验，如在步骤5.2.3说明。
  4. 进行第三个任务为网真控制类人机器人行走朝气球目标，把它捡起来，并把它提供给主体的手， 如图6。
    1. 控制由四SSVEP刺激作为编码的机器人行为:以0.15米的固定距离挺身而出，左转0.3弧度固定弧度，0.3弧度固定弧度右转，并拿起对象。
    2. 激活在机器人控制器的姿势有关的控制功能再利用第四刺激作为放下对象时，它已经被拾取的命令。
    3. 通知任务目标的主题和五个行为来进行控制。
    4. 运行机器人控制器和开始实验，如在步骤5.2.3说明。

访问受限。请登录或开始试用以查看此内容。

结果

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

此处呈现的结果是从男性受试者具有矫正到正常获得的版本。 图7示出的处理的EEG数据的方法，包括提取一个多信道数据纪元（图7A），空间滤波使用CCA系数数据（图7B） ，并计算归一化的PSD（图7C）。

图8示出了使用单一的试验中，受试者盯着闪烁在不同频率靶的规格化的PSD获得。主峰出现在闪烁刺激的基波或谐波频率。将BRI系统SSVEP响应这些模式映射到不同的机器人的行为的控制命令。

图4-6显示了三闭环续的rol任务以评价脑机器人相互作用性能。这些任务是机器人研究的热门，并在协助他们日常生活的残疾人和老年人有益的。

访问受限。请登录或开始试用以查看此内容。

讨论

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本文提出了一种SSVEP为基础的实验过程通过集成多个软件程序，建立脑机器人交互系统，人形机器人。因为人的意图是通过解释实时EEG信号感知，关键是在进行实验之前验证电极连接和脑电图信号质量。如果从所有的电极获得的信号是差的品质，就必须首先检查接地电极和参考电极的连接。如果有问题，电极的部分，重新​​注入传导凝胶来调整这些信道的阻抗。

同时获取脑电信号的另一个常见的问题是文物的干扰和噪声17。由于脑电信号具有小的信噪比（SNR），伪影和噪声的SSVEP响应的PSD可以轻松不起眼的变化。它保持脑电图系统的信号放大器远离POW是重要呃用品等噪声源。在实验期间，眨眼和身体运动应保持在最低限度，以减少伪像。为了进一步提高对这种干扰的稳健性，我们的方法利用CCA为基础的技术来解释多通道脑电数据。结果表明，这种技术是有效的提取从含有噪声和工件EEG信号的功能。

要开始的类人机器人的闭环控制的新任务，我们需要手动配置每个机器人行为的定义和参数，以适应新任务的要求。这是由于在目前的BRI系统中可用的控制命令的数量有限，并且因...

访问受限。请登录或开始试用以查看此内容。

披露

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者没有什么可透露的。

致谢

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者想表达自己的感激之情洪虎先生在执行本文报道的实验援助。这项工作是由中国国家自然科学基金（61473207号）的部分支持。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
Cerebus 脑电图数据采集系统Blackrock Microsystems4176-9967
NAO 人形机器人Aldebaran RoboticsH25
脑电图帽Neuroscan8732
Ten20 导电凝胶Weaver 和公司10-20-8

参考文献

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
  2. Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
  3. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
  4. Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
  5. Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247(2014).
  6. Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
  7. Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
  8. Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015(2011).
  9. Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
  10. Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
  11. Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
  12. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
  13. Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002(2009).
  14. Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
  15. Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
  16. Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
  17. Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
  18. Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
  19. Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
  20. Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
  21. Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007(2014).
  22. Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
  23. Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
  24. Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
  25. Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).

访问受限。请登录或开始试用以查看此内容。

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

相关文章