Name: SSVEP基础实验步骤与人形机器人脑机器人互动 (视频) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: 学习基于稳态视觉诱发电位（SSVEP）的脑机接口实验方法，通过脑电信号控制人形机器人完成闭环交互任务。该技术可辅助病患与老年人，并适用于危险作业场景。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

作者谨此感谢洪湖先生在完成本文报道的实验过程中所提供的帮助。本工作部分得到了国家自然科学基金（编号：61473207）的资助。

1. 采集脑电图信号
<ol>
	<li>向受试者解释实验流程，并获得其参与实验的书面知情同意书。</li>
	<li>使用卷尺测量受试者头部的头围，并根据测量结果选择尺寸相近的脑电帽。电极布局基于“国际10-20系统”12。</li>
	<li>测量受试者鼻根点（nasion）与枕外隆凸点（inion）之间的距离。使用皮肤标记笔在头皮上标记该距离的10%处作为脑电帽对齐的参考点，并标记该距离的中点作为头顶点（vertex）。</li>
	<li>佩戴脑电帽时，将10%标记点与FP1和FP2电极中点对齐，并将电极Cz置于头顶点处。</li>
	<li>确保Fz、Cz、Pz和Oz电极位于头部中线上，且位于中线两侧的每对电极处于同一水平线上。</li>
	<li>在REF1和REF2电极上涂抹导电凝胶，使用医用胶带将参考电极分别固定于左右乳突处，并系紧下颌带。</li>
	<li>将钝头注射器插入电极固定槽，按以下顺序向各电极注入导电凝胶：首先为前额的“接地”电极，其次为实验所用的五个电极O2、O1、Oz、Pz和Cz。</li>
	<li>让受试者坐在距离刺激显示器60 cm处的舒适座椅上，并指导其保持双眼与显示器中心处于同一水平高度。</li>
	<li>将电极导线连接至脑电数据采集系统，并将采样率设置为1 kHz。</li>
	<li>在专用DPC上检查脑电信号质量。若某一电极信号异常，可重新注入凝胶以调节该通道的阻抗。</li>
	<li>使用专用SPC在用户界面中以4.615、12、15和20 Hz的频率闪烁呈现四个机器人图像作为视觉刺激，如图2所示。</li>
</ol>
2. 离线分析稳态视觉诱发电位特征
<ol>
	<li>为每位受试者进行 32 次离线训练实验，并在整个过程中记录从 EEG 系统获取的脑电信号。 
	注意：此过程仅由首次参与实验的受试者执行，用于建立其 SSVEP 特征向量并训练分类器。</li>
	<li>当一次试验开始时，随机选择一个刺激作为目标，并在其上方显示一个黄色箭头。</li>
	<li>1 秒后，在用户界面上以不同频率闪烁四个视觉刺激，持续 5 秒。</li>
	<li>要求受试者集中注意力于选定的目标刺激，同时尽量减少身体活动。</li>
	<li>每次试验结束后，给予受试者 3 秒时间放松，然后开始下一次试验。</li>
	<li>所有试验完成后，读取保存的数据。在每次试验中，从触发选择刺激作为目标后的 2 秒至 5 秒之间提取一段 3 秒长的数据片段。</li>
	<li>使用 MATLAB 脚本中的离线数据分析工具计算数据片段的功率谱密度（PSD）。采用如下所述的处理算法：
	<ol>
		<li>计算多通道 EEG 数据与参考数据之间的典型相关分析（CCA）系数。CCA 是一种用于分析两组数据潜在相关性的多变量统计方法13。对于一段 3 秒的多通道 EEG 数据 X 和同等长度的参考数据 Y，使用 CCA 寻找权重向量 Wx 和 Wy，以最大化 x = XTWx 与 y = YTWy 之间的相关系数 ρ。将参考数据设为特定刺激频率下的周期性信号。 
		<img alt="数学公式：正弦函数矩阵方程，余弦和正弦分量示意图。" src="/files/ftp_upload/53558/53558eq1.jpg" data-altupdatedat="1787630408000" data-alt="方程 1"> 
		其中 f1, f2, f3, f4 为四个视觉刺激的特征频率。</li>
		<li>利用计算得到的 CCA 系数 Wx 对多通道 EEG 数据 X 进行空间滤波，获得一维滤波数据 x，使其与参考数据的线性组合具有最显著的相关性。</li>
		<li>使用快速傅里叶变换（FFT）计算空间滤波后数据 x 的功率谱密度（PSD）。 
		<img alt="功率谱公式，P(f)=|FFT(x,N_FFT)|²/N_FFT，频率分析公式。" src="/files/ftp_upload/53558/53558eq2.jpg" data-altupdatedat="1787630408000" data-alt="方程 2"> 
		其中 NFFT 为数据 x 的样本量，FFT(x, NFFT) 返回 x 的 NFFT 点离散傅里叶变换。</li>
		<li>将 PSD 相对于其在 3 至 30 Hz 范围内的均值进行归一化。 
		<img alt="频率归一化公式示意图，\(P_N(f)=\frac{P(f)}{\text{mean}_{3 \text{Hz} \leq f \leq 30 \text{Hz}}(P(f))}\)。" src="/files/ftp_upload/53558/53558eq3.jpg" data-altupdatedat="1787630408000" data-alt="方程 3"> 
		其中 <img alt="频率分析公式，平均功率谱密度，3Hz≤f≤30Hz，公式示意图。" src="/files/ftp_upload/53558/53558eq3denominator.jpg" data-altupdatedat="1787630408000" data-alt="方程 3 分母"> 表示 3 至 30 Hz 范围内功率谱的平均值。</li>
	</ol>
	</li>
	<li>校准四个刺激频率的分类参数。首先观察对应于其刺激目标的归一化 PSD 谱，手动将 PSD 幅值最强的频率配置为特征频率。基于该特征频率，将归一化 PSD 数据分为两组：一组是在相应刺激被选为目标时获得的数据，另一组是在非目标刺激被选中时获得的数据。分别计算每组的均值。通过这两个均值的中位数确定阈值，以区分目标与非目标数据集14。</li>
</ol>
3. 在线处理脑信号
<ol>
	<li>在DPC上打开在线信号处理器，如图3所示，该处理器基于OpenViBE环境和MATLAB脚本开发，用于在线处理脑信号。</li>
	<li>双击用红色圆圈在图3中标出的“采集并处理信号”框，以打开OpenViBE设置窗口。为受试者配置分类参数：将采样率设为1 kHz，设置FFT的时间长度为3秒，并根据离线分析结果设置特征频率，例如，4.667、24、15和20 Hz。</li>
	<li>单击“开始”按钮以运行在线信号处理器，该处理器通过以下三步算法对实时数据进行处理。</li>
	<li>第一步，算法每隔0.5秒从EEG系统的Oz、O1、O2、Pz和CPz通道获取EEG数据，并提取最近3秒的数据段用于在线处理。</li>
	<li>第二步，算法使用步骤2.7中描述的方法对3秒数据段进行处理，并计算用于分类的实时PSD。</li>
	<li>第三步，算法根据四个特征频率处的PSD幅值对脑波模式进行分类。当某一特征频率的幅值超过给定阈值时，将对应频率闪烁的刺激识别为SSVEP目标。</li>
</ol>
4. 连接人形机器人
<ol>
	<li>按下人形机器人的胸部按钮，并等待其启动。 
	注意：此过程大约需要1分钟，当机器人发出“OGNAK GNOUK”声音且其胸部按钮变为白色时，表示启动完成。</li>
	<li>建立该机器人与DPC之间的无线保真（WiFi）连接15。</li>
	<li>在DPC上打开使用Visual C++脚本编写的机器人控制器程序。该控制器通过虚拟现实外设网络（VRPN）接口接收来自在线信号处理器的分类结果，将其转换为机器人指令，并通过无线连接控制人形机器人的相应行为。</li>
	<li>根据机器人的WiFi连接输入其IP地址，配置机器人控制器；定义三组机器人行为，以便可轻松切换以执行三种不同任务；并设置这些行为的执行参数（例如，行走速度或距离），以满足任务需求。 
	注意：这些行为的更多细节见步骤5.2.1、5.3.1和5.4.1。</li>
	<li>点击Visual Studio平台的“Build”按钮以运行机器人控制器。</li>
	<li>在SPC上打开Choregraphe程序。点击“Connect to”按钮以弹出连接窗口。根据机器人的IP地址选择待控制的机器人，双击其图标以建立连接。</li>
	<li>从Choregraphe菜单栏的视图菜单中打开视频监视器，并将监视器窗口移至用户界面前端，以实时显示机器人摄像头的视频反馈。</li>
</ol>
5. 进行闭环控制实验
<ol>
	<li>要求受试者在不同环境中完成三项特定的闭环控制任务，以评估脑-机器人交互性能。 
	注意：这些任务在机器人应用中具有重要意义，因其有助于协助残障人士和老年人的日常生活，且需要激活不同的机器人行为。</li>
	<li>进行第一项闭环控制任务，通过脑信号远程控制人形机器人穿越障碍物并推动电灯开关以打开灯光，如图4所示。
	<ol>
		<li>为完成第一项任务，控制由四个SSVEP刺激编码的机器人行为：以0.15 m的固定距离向前迈步，以0.3 rad的固定弧度向左转，以0.3 rad的固定弧度向右转，以及使用其右手推动开关。 
		注意：配置过程见步骤4.4。</li>
		<li>向受试者说明任务目标及需控制的四种行为。</li>
		<li>按照步骤4.5–4.7运行机器人控制器，并启动实验。允许受试者根据实时视频反馈自由感知环境、做出决策，并通过注视相应刺激来激活机器人行为。 
		注意：除非处于紧急情况（例如，机器人即将与障碍物发生碰撞），否则不得向受试者提供任何指导或帮助。</li>
	</ol>
	</li>
	<li>进行第二项任务，通过脑信号远程控制人形机器人沿出口标志走向楼梯，如图5所示。当遇到行人时，要求受试者控制机器人说出“excuse me”并等待行人让路。
	<ol>
		<li>控制由四个SSVEP刺激编码的机器人行为：以0.05 m/sec的速度持续向前行走，以0.1 rad/sec的速度持续向左转，以0.1 rad/sec的速度持续向右转，以及停止所有行走行为。</li>
		<li>将机器人控制器切换至依赖姿态的控制功能16。 
		注意：当机器人正在行走时，该功能将第四个刺激用作停止行走行为的指令；当机器人未行走时，则将第四个刺激用于控制机器人说出“excuse me”。该功能通过C++脚本检测机器人的行走状态实现。</li>
		<li>向受试者说明任务目标及需控制的五种行为。</li>
		<li>按照步骤5.2.3所述运行机器人控制器并启动实验。</li>
	</ol>
	</li>
	<li>进行第三项任务，远程控制人形机器人走向气球目标，将其拾起并递送到受试者手中，如图6所示。
	<ol>
		<li>控制由四个SSVEP刺激编码的机器人行为：以0.15 m的固定距离向前迈步，以0.3 rad的固定弧度向左转，以0.3 rad的固定弧度向右转，以及拾取物体。</li>
		<li>在机器人控制器中激活依赖姿态的控制功能，以便在物体已被拾起后，将第四个刺激重新用作放下物体的指令。</li>
		<li>向受试者说明任务目标及需控制的五种行为。</li>
		<li>按照步骤5.2.3所述运行机器人控制器并启动实验。</li>
	</ol>
	</li>
</ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

作者无任何利益冲突需要披露。

本文介绍了一种基于稳态视觉诱发电位（SSVEP）的实验流程，通过整合多种软件程序，建立人脑-机器人交互系统，实现与仿人机器人的联动。由于人类意图是通过解析实时脑电（EEG）信号来感知的，因此在开展实验前，验证电极连接状态及脑电信号质量至关重要。若所有电极采集到的信号质量均较差，应首先检查接地电极和参考电极的连接情况；若仅为部分电极存在问题，则需重新注入导电凝胶，以调节相应通道的阻抗。
采集脑电图（EEG）信号时另一个常见问题是伪迹和噪声的干扰17。由于脑电信号的信噪比（SNR）较低，伪迹和噪声可能轻易掩盖稳态视觉诱发电位（SSVEP）反应的功率谱密度（PSD）变化。应将脑电系统信号放大器远离电源及其他噪声源。实验过程中，应尽量减少眨眼和身体运动，以降低伪迹产生。为进一步提高对这类干扰的鲁棒性，本方法采用基于典型相关分析（CCA）的技术来解析多通道脑电数据。结果表明，该技术在从含有噪声和伪迹的脑电信号中提取特征方面具有良好的效果。
为了开展人形机器人闭环控制的新任务，我们需要手动配置每种机器人行为的定义和参...

脑-机器人交互（Brain-Robot Interaction, BRI）通过脑信号在人类与机器人设备之间建立了一种创新的通信通路，在帮助残障人士日常生活方面具有广阔前景1,2。目前有多种方法可用于获取脑信号，包括侵入性和非侵入性方法，例如皮层脑电图（ECoG）、脑电图（EEG）、功能性磁共振成像（fMRI）等。构建BRI系统最常用的非侵入性方法是通过放置在头皮上的电极采集EEG信号。该方法成本低廉、操作简便，并具有可接受的时间分辨率3。在各类机器人设备中，人形机器人较为先进，因其被设计用于模仿人类日常所执行的部分生理与认知任务。结合人形机器人的BRI将在辅助病患与老年人，以及执行不卫生或危险任务方面发挥重要作用。然而，通过BRI系统控制人形机器人极具挑战性，因为具备全身运动能力的人形机器人旨在执行个人辅助等复杂任务4,5。
稳态视觉诱发电位（Steady-State Visual Evoked Potential, SSVEP）是一类由特定频率的视觉刺激调制所诱发的脑信号6。它包含闪烁刺激基频及其谐波频率的正弦波成分，并在头皮枕区的视觉皮层广泛显著出现7。选择SSVEP信号的原因在于，基于SSVEP的脑机接口（BRI）系统具有相对较高的信息传输速率，且所需训练较少8。其他类型的脑电波，如事件相关电位（event-related potentials, ERPs）9或运动想象（motor-imagery, MI）电位10，也可嵌入到本实验流程中。
我们用于人形机器人脑-机交互的实验流程基于Cerebot——一种意念控制的人形机器人平台，该平台由脑电图（EEG）数据采集系统和人形机器人组成11。该EEG系统能够记录、预处理并显示由多种类型电极采集的生物电位信号。系统提供多个模拟输入/输出和数字输入/输出通道，可同时以30 kHz的采样率和16位分辨率记录多达128个信号通道。其C++和MATLAB软件开发工具包便于用户设计实验流程。该人形机器人具有25个自由度，并配备多种传感器，包括2个摄像头、4个麦克风、2个超声波测距仪、2个红外发射器和接收器、1块惯性测量板、9个触觉传感器以及8个压力传感器。系统提供Choregraphe和C++ SDK，用于创建和编辑机器人的运动及交互行为。
该方法的总体目标是通过整合多种软件程序（如 OpenViBE、Choregraph、Central 软件以及使用 C++ 和 MATLAB 编写的用户自定义程序），建立一种基于稳态视觉诱发电位（SSVEP）的实验流程，以实现对人形机器人脑-机交互的研究11。图1展示了系统结构。专用的刺激呈现计算机（SPC）显示用户界面，向受试者提供视觉刺激、操作指令及环境反馈。专用的数据处理计算机（DPC）在离线训练过程中运行数据记录器和离线数据分析器，在线控制人形机器人时则运行在线信号处理器和机器人控制器。与其他基于 SSVEP 的控制系统相比，本系统更具可靠性与灵活性，尤其便于重复使用和升级，因其开发过程中整合了多种标准化软件包，例如 OpenViBE、Choregraph、Central 软件以及用 C++ 和 MATLAB 编写的模块。
该方案已通过天津医科大学总医院伦理委员会审查和批准，所有受试者均签署了书面知情同意书。

<table><tbody><tr><td>思睿大脑电图数据采集系统</td><td>Blackrock Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>NAO 人形机器人</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>脑电图帽</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 导电凝胶</td><td>Weaver and company</td><td>10-20-8</td><td></td></tr></tbody></table>

基于稳态视觉诱发电位的人形机器人脑-机交互实验流程

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

脑-机器人交互（BRI）通过脑信号在人类与机器人设备之间提供了一种创新的通信途径，在帮助残障人士日常生活方面具有广阔前景。本方法的总体目标是通过整合多种软件程序（如 OpenViBE、Choregraph 和 Central 软件）以及用户使用 C++ 和 MATLAB 编写的自定义程序，建立一种基于稳态视觉诱发电位（SSVEP）的实验流程，以实现对人形机器人脑-机器人交互的研究。
首先，在受试者头部放置脑电图（EEG）电极，通过脑电数据采集系统记录大脑反应。在闭环控制实验中，使用用户界面诱发稳态视觉诱发电位（SSVEP）反应，并提供视频反馈。第二步是记录初次受试者的脑电信号，离线分析其SSVEP特征，并为每位受试者训练分类器。接下来，配置在线信号处理器和机器人控制器，以实现对类人机器人的在线控制。最后一步是受试者在不同环境中完成三项特定的闭环控制实验，以评估脑-机器人交互性能。
该方法的优势在于其可靠性和灵活性，因为它通过整合多种软件程序而开发。结果表明，采用该方法，受试者能够通过脑信号与人形机器人进行交互。这使人形机器人能够通过思维控制来执行机器人研究中常见的典型任务，并有助于为残障人士提供辅助。

本文所示结果来自一名视力矫正至正常的男性受试者。图7展示了脑电图（EEG）数据的处理流程，包括提取多通道数据片段（图7A）、使用典型相关分析（CCA）系数对数据进行空间滤波（图7B），以及计算归一化的功率谱密度（PSD）（图7C）。
图8展示了使用单次试验获得的归一化功率谱密度（PSD），其中受试者注视以不同频率闪烁的目标。显著的峰值出现在闪烁刺激的基本频率或谐波频率处。BRI系统将这些稳态视觉诱发电位（SSVEP）响应模式映射为控制不同机器人行为的指令。
图4-6展示了用于评估脑-机器人交互性能的三个闭环控制任务。这些任务在机器人...

本方法的总体目标是通过整合多种软件程序，建立一种基于稳态视觉诱发电位（SSVEP）的实验流程，以实现对人形机器人脑-机交互的研究，该技术在辅助病患和老年人以及执行不卫生或危险任务方面具有广阔的应用前景。

脑-机器人交互（Brain-Robot Interaction, BRI）通过脑信号在人类与机器人设备之间建立了一种创新的通信通路，在……方面具有广阔前景

本方法的总体目标是通过整合多种软件程序，建立一种基于 S-S-V-E-P 的实验流程，以实现对人形机器人脑-机交互的研究。该方法首先在人类受试者头部放置 EEG 电极，通过 EEG 数据采集系统记录其脑部反应。在闭环控制实验中，使用用户界面诱发 S-S-V-E-P 脑电响应，并实时显示视频反馈。第二步是记录初次受试者的脑电（EEG）信号，以离线分析您的 S-S-V-E-P 特征，并为每位受试者训练分类器。接下来，配置在线信号处理器和机器人控制器，以实现对人形机器人 Robert 的在线控制。最后一步，受试者需在不同环境中完成三项特定的闭环控制实验。为了评估人脑与机器人Robert的交互性能，实验结果展示了受试者注视以不同频率闪烁的刺激源时所产生的脑电信号的归一化功率谱密度。我们的系统将这些脑电波模式转化为控制指令，以操控Robert的行为。通过该方法，受试者能够利用脑电信号与人形机器人Robert进行交互。这使得人形机器人Robert能够执行机器人研究中常见的典型任务，并有助于为残障人士提供辅助。该方法的优势在于其可靠性和灵活性，因为它通过整合多种软件程序（如开放图谱和中央软件）以及用户开发的C++和Matlab相关程序而实现。该方法能够借助人形机器人对脑控机器人进行动态研究。本研究旨在协助病人和老年人，以及执行不卫生或危险的工作。我的队友Lim和Han现在将演示脑电图（EEG）传感器的放置方法，并分别展示与人脑连接至机器人的方法。向受试者解释实验步骤。获得受试者参与实验的知情同意。测量受试者的头围，选择与测量值相近的EEG帽尺寸。测量鼻根点（NAS）标记的距离，以其距离的10%作为参考，用于对齐EEG帽的位置。在受试者头顶点标记出该位置到前额发际线距离的中点。将脑电帽的Cz电极置于头顶点，并使10%标记与FP1和FP2电极连线的中点对齐。确保Fz、Cz、Pz和Oz电极位于头部中线上。用导电凝胶将参考电极涂抹到位。使用医用胶带将参考电极分别置于左侧和右侧 OID 上。收紧链式绑带。将钝头注射器放入电极托架中，并按以下顺序向每个电极注入导电凝胶：首先注入接地电极，其次注入实验 O 2 0 1 OZ、PZ 和 CZ 中使用的五个电极。让受试者坐在舒适的椅子上，距离刺激显示器 60 厘米。将电极导线连接至脑电图（EEG）数据采集系统。将采样率设置为每秒一千赫兹。在专用的数据处理计算机上检查脑电图信号质量。如果某个电极存在问题，请重新注入凝胶以调整该通道的阻抗。在用户界面上快速显示四个以不同频率闪烁的机器人图像，作为视觉刺激。对于首次参与的受试者，需先进行离线训练实验，以建立其稳态视觉诱发电位（S-S-V-E-P）特征向量并训练分类器。每位受试者进行32次试验，在整个过程中持续记录其脑电信号。每次试验开始时，随机选择一个刺激作为目标，并在其上方显示一个黄色箭头。一秒钟后，在用户界面上以不同频率闪烁四个视觉刺激，持续五秒，要求受试者将注意力集中在选定的刺激目标上，同时尽量减少身体活动。每次试验结束后，给予受试者三秒钟时间放松，然后开始下一次试验。当所有试验结束后，读取保存的数据。垂直的橙色条表示触发信号，用于选择在五秒期间闪烁的刺激作为目标。在每次试验中，提取触发信号后两秒至五秒之间的三秒数据段。利用参考信号 y 计算多通道脑电图（EEG）数据的典型相关分析（CCA）系数，其中参考信号 y 设定为特定频率下的周期性刺激信号。CCA 方法通过寻找线性组合向量，以最大化组合信号之间的相关系数。使用计算得到的 CCA 系数对多通道 EEG 数据进行空间滤波。使用快速傅里叶变换计算滤波数据的功率谱密度。将功率谱密度在其3 Hz至40 Hz范围内的平均值进行归一化处理。然后针对每个刺激频率校准分类参数。通过打开擦拭设置窗口来配置受试者的分类参数。在数据处理计算机上启动在线信号处理器。每0.5秒从EEG系统的O2、0、1、OZ、PZ和CZ通道采集EEG数据，并提取最近三秒的数据段进行在线处理。使用离线处理中描述的算法对数据段进行处理。计算用于分类的实时功率谱密度。当某一特征频率的幅值超过给定阈值时，即判定为对应频率闪烁刺激的响应。以SSV EEP靶标为目标，启动人形Noro机器人，并建立其与数据处理计算机的Wi-Fi连接。配置并运行机器人控制器，该控制器接收来自在线信号处理器的分类结果，并通过无线连接控制人形机器人Robert的相应行为。在专用的刺激呈现计算机上运行编排程序，以在用户界面上显示来自Robert摄像头的实时视频反馈。要求受试者在不同环境中完成三项特定的闭环控制测试，以评估脑-机器人交互性能。这些测试在机器人研究中较为常见，有助于协助残障人士和老年人的日常生活。在开始新任务前，需向受试者说明任务目标以及可用于控制的行为选项。这些结果展示了处理脑电图（EEG）数据的流程，包括提取多通道数据片段、利用典型相关分析（CCA）系数对数据进行空间滤波，以及计算归一化的功率谱密度。此处显示了受试者注视不同闪烁目标时单次试验中获得的归一化功率谱密度。在首次闭环控制实验中，人类受试者Noah Robert通过脑电信号控制，实现了绕过障碍物并按下墙上电灯开关的动作。脑信号被实时获取。为了对受试者的控制意图进行分类，受试者通过观看实时视频反馈，并注视相应的刺激源来控制Robert的行为。当到达开关位置后，受试者控制Robert打开电灯。在第二次实验中，根据视频反馈，通过出口标志引导人形机器人持续向楼梯方向移动。当遇到过路的间谍时，受试者控制Robert说“不好意思”，并等待过路的间谍让行。随后，受试者控制Robert继续向楼梯方向行走。在第三次实验中，人形机器人Robert通过全身运动被控制，根据实时视频反馈，到达并拾取气球目标，然后将其递送到受试者手中。由于人类意图是通过解析LU时间的脑电图（EEG）信号来感知的，因此在进行实验前验证电连接和EEG信号质量至关重要。采集EEG信号时另一个常见问题是干扰、伪迹和噪声。通过减少受试者的身体运动并采用基于典型相关分析（CCA）的多通道技术，我们方法中的腰部干扰问题得到了改善。该方法适用于设计多种实验流程，灵活地研究脑-机器人交互算法与技术，尤其便于探索新的脑-机器人交互（BRI）应用。

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

科研

JoVE Journal

Engineering

工程

SSVEP基础实验步骤与人形机器人脑机器人互动

我们利用闭环果蝇-机器接口来研究神经控制中的普遍原理。...

一种用于研究脑机接口闭环性能的实验平台

近年来，人机交互系统出现了大量发展前景。本文概述了一种新型机器人设备与开源软件的集成，该集成可快速实现一系列交互功能。随后，我们介绍了一种神经康复应用的临床应用。...

触觉/图形康复：将机器人整合至虚拟环境库并应用于中风康复治疗

3T fMRI环境中触觉机器人的适配

本文提出了一种用于开展闭环实验的实验框架，其中信息处理（即在与机器人身体持续交互的过程中，研究神经元集合的编码与解码及其学习机制。...

闭环神经机器人实验以测试神经元网络的计算特性

本文介绍了一种新型低成本人机交互界面，用于交互式中风后平衡康复系统。该系统集成了现成的低成本传感器，以实现自主驱动的电刺激治疗模式。该概念验证软件界面已在健康志愿者中进行了演示。...

一种集成低成本传感器与神经肌肉电刺激系统的用于卒中后平衡康复的人机界面

本文介绍了可用于研究与身体相关的自我感知/自我表征的虚拟手和虚拟脸错觉范式。这些范式已在多项研究中被使用，证明在特定条件下，虚拟的手或脸可以被整合进个体的身体表征中，表明身体表征具有相当的灵活性。...

创建虚拟手部和虚拟面部错觉以研究自我表征

我们介绍了构建闭环式共适应界面的实验方案与分析方法，该界面可实时流式传输、参数化、分析并调节人体及心脏信号。该系统将来自个体周围神经系统和中枢神经系统的信号与外部感觉输入相连接，以帮助追踪生物物理变化。...

使用闭环接口实时代理控制重新参数化的外周信号

据估计，全球约有六分之一的人在一生中会发生中风，导致长期残疾，而其康复机制目前仍不甚清楚。本研究提出了一种方案，用于在下肢机器人治疗过程中，通过功能性近红外光谱技术（fNIRS）评估大脑激活情况。...

使用功能性近红外光谱技术与机器人辅助下肢多关节指物运动的实验

在虚拟现实环境中，运动想象在脑机接口系统中具有广泛的应用。本文阐述了使用个性化的数字化身，这些化身在虚拟现实环境中模拟参与者所想象执行的动作，以增强沉浸感和身体所有权感知。...

基于虚拟现实脑机接口环境中具身化数字孪生的运动想象表现

本研究介绍了一种针对脑卒中患者的脑机接口（BCI）系统，该系统结合脑电图和眼电图信号来控制上肢机器人手，以增强患者的日常活动能力。评估采用脑卒中柏林双手测试（BeBiTS）进行。...

脑机接口控制的上肢机器人系统用于增强中风患者的日常活动能力

学习基于稳态视觉诱发电位（SSVEP）的脑机接口实验方法，通过脑电信号控制人形机器人完成闭环交互任务。该技术可辅助病患与老年人，并适用于危险作业场景。

基于稳态视觉诱发电位的人形机器人脑-机交互实验流程

探索更多视频