需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

基于稳态视觉诱发电位的人形机器人脑-机交互实验流程

12.7K 次观看

⸱

DOI：

10.3791/53558

⸱

2015年11月24日

 ,  ,  , 
1School of Electrical Engineering and Automation, Tianjin University, 2Department of Computer & Electrical Engineering and Computer Science, California State University

本文内容

摘要

本方法的总体目标是通过整合多种软件程序，建立一种基于稳态视觉诱发电位（SSVEP）的实验流程，以实现对人形机器人脑-机交互的研究，该技术在辅助病患和老年人以及执行不卫生或危险任务方面具有广阔的应用前景。

摘要

脑-机器人交互（BRI）通过脑信号在人类与机器人设备之间提供了一种创新的通信途径，在帮助残障人士日常生活方面具有广阔前景。本方法的总体目标是通过整合多种软件程序（如 OpenViBE、Choregraph 和 Central 软件）以及用户使用 C++ 和 MATLAB 编写的自定义程序，建立一种基于稳态视觉诱发电位（SSVEP）的实验流程，以实现对人形机器人脑-机器人交互的研究。

首先，在受试者头部放置脑电图（EEG）电极，通过脑电数据采集系统记录大脑反应。在闭环控制实验中，使用用户界面诱发稳态视觉诱发电位（SSVEP）反应，并提供视频反馈。第二步是记录初次受试者的脑电信号，离线分析其SSVEP特征，并为每位受试者训练分类器。接下来，配置在线信号处理器和机器人控制器，以实现对类人机器人的在线控制。最后一步是受试者在不同环境中完成三项特定的闭环控制实验，以评估脑-机器人交互性能。

该方法的优势在于其可靠性和灵活性，因为它通过整合多种软件程序而开发。结果表明，采用该方法，受试者能够通过脑信号与人形机器人进行交互。这使人形机器人能够通过思维控制来执行机器人研究中常见的典型任务，并有助于为残障人士提供辅助。

引言

脑-机器人交互（Brain-Robot Interaction, BRI）通过脑信号在人类与机器人设备之间建立了一种创新的通信通路，在帮助残障人士日常生活方面具有广阔前景1,2。目前有多种方法可用于获取脑信号，包括侵入性和非侵入性方法，例如皮层脑电图（ECoG）、脑电图（EEG）、功能性磁共振成像（fMRI）等。构建BRI系统最常用的非侵入性方法是通过放置在头皮上的电极采集EEG信号。该方法成本低廉、操作简便，并具有可接受的时间分辨率3。在各类机器人设备中，人形机器人较为先进，因其被设计用于模仿人类日常所执行的部分生理与认知任务。结合人形机器人的BRI将在辅助病患与老年人，以及执行不卫生或危险任务方面发挥重要作用。然而，通过BRI系统控制人形机器人极具挑战性，因为具备全身运动能力的人形机器人旨在执行个人辅助等复杂任务4,5。

稳态视觉诱发电位（Steady-State Visual Evoked Potential, SSVEP）是一类由特定频率的视觉刺激调制所诱发的脑信号6。它包含闪烁刺激基频及其谐波频率的正弦波成分，并在头皮枕区的视觉皮层广泛显著出现7。选择SSVEP信号的原因在于，基于SSVEP的脑机接口（BRI）系统具有相对较高的信息传输速率，且所需训练较少8。其他类型的脑电波，如事件相关电位（event-related potentials, ERPs）9或运动想象（motor-imagery, MI）电位10，也可嵌入到本实验流程中。

我们用于人形机器人脑-机交互的实验流程基于Cerebot——一种意念控制的人形机器人平台，该平台由脑电图（EEG）数据采集系统和人形机器人组成11。该EEG系统能够记录、预处理并显示由多种类型电极采集的生物电位信号。系统提供多个模拟输入/输出和数字输入/输出通道，可同时以30 kHz的采样率和16位分辨率记录多达128个信号通道。其C++和MATLAB软件开发工具包便于用户设计实验流程。该人形机器人具有25个自由度，并配备多种传感器，包括2个摄像头、4个麦克风、2个超声波测距仪、2个红外发射器和接收器、1块惯性测量板、9个触觉传感器以及8个压力传感器。系统提供Choregraphe和C++ SDK，用于创建和编辑机器人的运动及交互行为。

该方法的总体目标是通过整合多种软件程序（如 OpenViBE、Choregraph、Central 软件以及使用 C++ 和 MATLAB 编写的用户自定义程序），建立一种基于稳态视觉诱发电位（SSVEP）的实验流程，以实现对人形机器人脑-机交互的研究11。图1展示了系统结构。专用的刺激呈现计算机（SPC）显示用户界面，向受试者提供视觉刺激、操作指令及环境反馈。专用的数据处理计算机（DPC）在离线训练过程中运行数据记录器和离线数据分析器，在线控制人形机器人时则运行在线信号处理器和机器人控制器。与其他基于 SSVEP 的控制系统相比，本系统更具可靠性与灵活性，尤其便于重复使用和升级，因其开发过程中整合了多种标准化软件包，例如 OpenViBE、Choregraph、Central 软件以及用 C++ 和 MATLAB 编写的模块。

该方案已通过天津医科大学总医院伦理委员会审查和批准，所有受试者均签署了书面知情同意书。

访问受限。请登录或开始试用以查看此内容。

方案

1. 采集脑电图信号

  1. 向受试者解释实验流程，并获得其参与实验的书面知情同意书。
  2. 使用卷尺测量受试者头部的头围，并根据测量结果选择尺寸相近的脑电帽。电极布局基于“国际10-20系统”12。
  3. 测量受试者鼻根点（nasion）与枕外隆凸点（inion）之间的距离。使用皮肤标记笔在头皮上标记该距离的10%处作为脑电帽对齐的参考点，并标记该距离的中点作为头顶点（vertex）。
  4. 佩戴脑电帽时，将10%标记点与FP1和FP2电极中点对齐，并将电极Cz置于头顶点处。
  5. 确保Fz、Cz、Pz和Oz电极位于头部中线上，且位于中线两侧的每对电极处于同一水平线上。
  6. 在REF1和REF2电极上涂抹导电凝胶，使用医用胶带将参考电极分别固定于左右乳突处，并系紧下颌带。
  7. 将钝头注射器插入电极固定槽，按以下顺序向各电极注入导电凝胶：首先为前额的“接地”电极，其次为实验所用的五个电极O2、O1、Oz、Pz和Cz。
  8. 让受试者坐在距离刺激显示器60 cm处的舒适座椅上，并指导其保持双眼与显示器中心处于同一水平高度。
  9. 将电极导线连接至脑电数据采集系统，并将采样率设置为1 kHz。
  10. 在专用DPC上检查脑电信号质量。若某一电极信号异常，可重新注入凝胶以调节该通道的阻抗。
  11. 使用专用SPC在用户界面中以4.615、12、15和20 Hz的频率闪烁呈现四个机器人图像作为视觉刺激，如图2所示。

2. 离线分析稳态视觉诱发电位特征

  1. 为每位受试者进行 32 次离线训练实验，并在整个过程中记录从 EEG 系统获取的脑电信号。
    注意：此过程仅由首次参与实验的受试者执行，用于建立其 SSVEP 特征向量并训练分类器。
  2. 当一次试验开始时，随机选择一个刺激作为目标，并在其上方显示一个黄色箭头。
  3. 1 秒后，在用户界面上以不同频率闪烁四个视觉刺激，持续 5 秒。
  4. 要求受试者集中注意力于选定的目标刺激，同时尽量减少身体活动。
  5. 每次试验结束后，给予受试者 3 秒时间放松，然后开始下一次试验。
  6. 所有试验完成后，读取保存的数据。在每次试验中，从触发选择刺激作为目标后的 2 秒至 5 秒之间提取一段 3 秒长的数据片段。
  7. 使用 MATLAB 脚本中的离线数据分析工具计算数据片段的功率谱密度（PSD）。采用如下所述的处理算法：
    1. 计算多通道 EEG 数据与参考数据之间的典型相关分析（CCA）系数。CCA 是一种用于分析两组数据潜在相关性的多变量统计方法13。对于一段 3 秒的多通道 EEG 数据 X 和同等长度的参考数据 Y，使用 CCA 寻找权重向量 Wx 和 Wy，以最大化 x = XTWx 与 y = YTWy 之间的相关系数 ρ。将参考数据设为特定刺激频率下的周期性信号。
      数学公式：正弦函数矩阵方程，余弦和正弦分量示意图。
      其中 f1, f2, f3, f4 为四个视觉刺激的特征频率。
    2. 利用计算得到的 CCA 系数 Wx 对多通道 EEG 数据 X 进行空间滤波，获得一维滤波数据 x，使其与参考数据的线性组合具有最显著的相关性。
    3. 使用快速傅里叶变换（FFT）计算空间滤波后数据 x 的功率谱密度（PSD）。
      功率谱公式，P(f)=|FFT(x,N_FFT)|²/N_FFT，频率分析公式。
      其中 NFFT 为数据 x 的样本量，FFT(x, NFFT) 返回 x 的 NFFT 点离散傅里叶变换。
    4. 将 PSD 相对于其在 3 至 30 Hz 范围内的均值进行归一化。
      频率归一化公式示意图，\(P_N(f)=\frac{P(f)}{\text{mean}_{3 \text{Hz} \leq f \leq 30 \text{Hz}}(P(f))}\)。
      其中 频率分析公式，平均功率谱密度，3Hz≤f≤30Hz，公式示意图。 表示 3 至 30 Hz 范围内功率谱的平均值。
  8. 校准四个刺激频率的分类参数。首先观察对应于其刺激目标的归一化 PSD 谱，手动将 PSD 幅值最强的频率配置为特征频率。基于该特征频率，将归一化 PSD 数据分为两组：一组是在相应刺激被选为目标时获得的数据，另一组是在非目标刺激被选中时获得的数据。分别计算每组的均值。通过这两个均值的中位数确定阈值，以区分目标与非目标数据集14。

3. 在线处理脑信号

  1. 在DPC上打开在线信号处理器，如图3所示，该处理器基于OpenViBE环境和MATLAB脚本开发，用于在线处理脑信号。
  2. 双击用红色圆圈在图3中标出的“采集并处理信号”框，以打开OpenViBE设置窗口。为受试者配置分类参数：将采样率设为1 kHz，设置FFT的时间长度为3秒，并根据离线分析结果设置特征频率，例如，4.667、24、15和20 Hz。
  3. 单击“开始”按钮以运行在线信号处理器，该处理器通过以下三步算法对实时数据进行处理。
  4. 第一步，算法每隔0.5秒从EEG系统的Oz、O1、O2、Pz和CPz通道获取EEG数据，并提取最近3秒的数据段用于在线处理。
  5. 第二步，算法使用步骤2.7中描述的方法对3秒数据段进行处理，并计算用于分类的实时PSD。
  6. 第三步，算法根据四个特征频率处的PSD幅值对脑波模式进行分类。当某一特征频率的幅值超过给定阈值时，将对应频率闪烁的刺激识别为SSVEP目标。

4. 连接人形机器人

  1. 按下人形机器人的胸部按钮，并等待其启动。
    注意：此过程大约需要1分钟，当机器人发出“OGNAK GNOUK”声音且其胸部按钮变为白色时，表示启动完成。
  2. 建立该机器人与DPC之间的无线保真（WiFi）连接15。
  3. 在DPC上打开使用Visual C++脚本编写的机器人控制器程序。该控制器通过虚拟现实外设网络（VRPN）接口接收来自在线信号处理器的分类结果，将其转换为机器人指令，并通过无线连接控制人形机器人的相应行为。
  4. 根据机器人的WiFi连接输入其IP地址，配置机器人控制器；定义三组机器人行为，以便可轻松切换以执行三种不同任务；并设置这些行为的执行参数（例如，行走速度或距离），以满足任务需求。
    注意：这些行为的更多细节见步骤5.2.1、5.3.1和5.4.1。
  5. 点击Visual Studio平台的“Build”按钮以运行机器人控制器。
  6. 在SPC上打开Choregraphe程序。点击“Connect to”按钮以弹出连接窗口。根据机器人的IP地址选择待控制的机器人，双击其图标以建立连接。
  7. 从Choregraphe菜单栏的视图菜单中打开视频监视器，并将监视器窗口移至用户界面前端，以实时显示机器人摄像头的视频反馈。

5. 进行闭环控制实验

  1. 要求受试者在不同环境中完成三项特定的闭环控制任务，以评估脑-机器人交互性能。
    注意：这些任务在机器人应用中具有重要意义，因其有助于协助残障人士和老年人的日常生活，且需要激活不同的机器人行为。
  2. 进行第一项闭环控制任务，通过脑信号远程控制人形机器人穿越障碍物并推动电灯开关以打开灯光，如图4所示。
    1. 为完成第一项任务，控制由四个SSVEP刺激编码的机器人行为：以0.15 m的固定距离向前迈步，以0.3 rad的固定弧度向左转，以0.3 rad的固定弧度向右转，以及使用其右手推动开关。
      注意：配置过程见步骤4.4。
    2. 向受试者说明任务目标及需控制的四种行为。
    3. 按照步骤4.5–4.7运行机器人控制器，并启动实验。允许受试者根据实时视频反馈自由感知环境、做出决策，并通过注视相应刺激来激活机器人行为。
      注意：除非处于紧急情况（例如，机器人即将与障碍物发生碰撞），否则不得向受试者提供任何指导或帮助。
  3. 进行第二项任务，通过脑信号远程控制人形机器人沿出口标志走向楼梯，如图5所示。当遇到行人时，要求受试者控制机器人说出“excuse me”并等待行人让路。
    1. 控制由四个SSVEP刺激编码的机器人行为：以0.05 m/sec的速度持续向前行走，以0.1 rad/sec的速度持续向左转，以0.1 rad/sec的速度持续向右转，以及停止所有行走行为。
    2. 将机器人控制器切换至依赖姿态的控制功能16。
      注意：当机器人正在行走时，该功能将第四个刺激用作停止行走行为的指令；当机器人未行走时，则将第四个刺激用于控制机器人说出“excuse me”。该功能通过C++脚本检测机器人的行走状态实现。
    3. 向受试者说明任务目标及需控制的五种行为。
    4. 按照步骤5.2.3所述运行机器人控制器并启动实验。
  4. 进行第三项任务，远程控制人形机器人走向气球目标，将其拾起并递送到受试者手中，如图6所示。
    1. 控制由四个SSVEP刺激编码的机器人行为：以0.15 m的固定距离向前迈步，以0.3 rad的固定弧度向左转，以0.3 rad的固定弧度向右转，以及拾取物体。
    2. 在机器人控制器中激活依赖姿态的控制功能，以便在物体已被拾起后，将第四个刺激重新用作放下物体的指令。
    3. 向受试者说明任务目标及需控制的五种行为。
    4. 按照步骤5.2.3所述运行机器人控制器并启动实验。

访问受限。请登录或开始试用以查看此内容。

结果

本文所示结果来自一名视力矫正至正常的男性受试者。图7展示了脑电图（EEG）数据的处理流程，包括提取多通道数据片段（图7A）、使用典型相关分析（CCA）系数对数据进行空间滤波（图7B），以及计算归一化的功率谱密度（PSD）（图7C）。

图8展示了使用单次试验获得的归一化功率谱密度（PSD），其中受试者注视以不同频率闪烁的目标。显著的峰值出现在闪烁刺激的基本频率或谐波频率处。BRI系统将这些稳态视觉诱发电位（SSVEP）响应模式映射为控制不同机器人行为的指令。

图4-6展示了用于评估脑-机器人交互性能的三个闭环控制任务。这些任务在机器人...

访问受限。请登录或开始试用以查看此内容。

讨论

本文介绍了一种基于稳态视觉诱发电位（SSVEP）的实验流程，通过整合多种软件程序，建立人脑-机器人交互系统，实现与仿人机器人的联动。由于人类意图是通过解析实时脑电（EEG）信号来感知的，因此在开展实验前，验证电极连接状态及脑电信号质量至关重要。若所有电极采集到的信号质量均较差，应首先检查接地电极和参考电极的连接情况；若仅为部分电极存在问题，则需重新注入导电凝胶，以调节相应通道的阻抗。

采集脑电图（EEG）信号时另一个常见问题是伪迹和噪声的干扰17。由于脑电信号的信噪比（SNR）较低，伪迹和噪声可能轻易掩盖稳态视觉诱发电位（SSVEP）反应的功率谱密度（PSD）变化。应将脑电系统信号放大器远离电源及其他噪声源。实验过程中，应尽量减少眨眼和身体运动，以降低伪迹产生。为进一步提高对这类干扰的鲁棒性，本方法采用基于典型相关分析（CCA）的技术来解析多通道脑电数据。结果表明，该技术在从含有噪声和伪迹的脑电信号中提取特征方面具有良好的效果。

为了开展人形机器人闭环控制的新任务，我们需要手动配置每种机器人行为的定义和参...

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

作者谨此感谢洪湖先生在完成本文报道的实验过程中所提供的帮助。本工作部分得到了国家自然科学基金（编号：61473207）的资助。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
思睿大脑电图数据采集系统Blackrock Microsystems4176-9967
NAO 人形机器人Aldebaran RoboticsH25
脑电图帽Neuroscan8732
Ten20 导电凝胶Weaver and company10-20-8

参考文献

  1. McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
  2. Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
  3. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
  4. Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
  5. Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247(2014).
  6. Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
  7. Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
  8. Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015(2011).
  9. Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
  10. Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
  11. Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
  12. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
  13. Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002(2009).
  14. Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
  15. Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
  16. Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
  17. Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
  18. Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
  19. Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
  20. Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
  21. Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007(2014).
  22. Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
  23. Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
  24. Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
  25. Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

脑电数据采集闭环控制人形机器人控制离线训练在线信号处理典型相关分析功率谱密度视频反馈
基于稳态视觉诱发电位的人形机器人脑-机交互实验流程
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。