Name: Baseado no SSVEP procedimento experimental para a interação cérebro-robô com robôs humanóides (Vídeo) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: Aprenda a usar SSVEP para interação cérebro-robô com robôs humanóides. Este método integra múltiplos programas de software para assistir idosos e executar tarefas perigosas.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Os autores gostariam de expressar sua gratidão ao Sr. Hong Hu por sua ajuda na realização dos experimentos relatados neste trabalho. Este trabalho foi apoiado em parte pela Fundação Nacional de Ciência Natural da China (No. 61473207).

1. Adquirir sinais de EEG <ol><li> Explique o procedimento experimental para o assunto e obter o consentimento informado por escrito para participar de experimentos. </li><li> Medir a circunferência da cabeça do sujeito usando uma fita métrica e selecione o tamanho da tampa EEG que fica perto da medição. A disposição de eléctrodos é baseada na &quot;Sistema Internacional 10-20&quot; 12. </li><li> Meça a distância entre o násio e inion. Use um marcador lápis para marcar a pele 10% da distância como uma referência para alinhar a tampa, e marcar o ponto médio da distância que o vértice no couro cabeludo do indivíduo. </li><li> Coloque a tampa EEG sobre o assunto, alinhando a marca de 10%, com o ponto médio dos eléctrodos FP1 e FP2. Eletrodo Cz posição da tampa sobre o vértice. </li><li> Certifique-se de que a Fz, Cz, Pz e Oz estão na linha média da cabeça, e que cada par de eléctrodos localizados em ambos os lados da linha média é uma linha horizontal. </li><li>Smear os eletrodos REF1 e REF2 com gel condutor. Coloque os eletrodos de referência nas mastoides direita e esquerda usando fita adesiva médica. Aperte a barbicha. </li><li> Coloque uma seringa de ponta romba nos suportes de eléctrodos e injetar gel condutor em cada eletrodo na seguinte ordem: primeiro, o eletrodo &quot;terra&quot; na testa e, segundo, os cinco eletrodos utilizados no experimento, O2, O1, Oz, Pz e Cz. </li><li> Assentar o assunto em uma confortável cadeira de 60 centímetros na frente de um monitor de estímulo. Instrua o assunto para manter suas / seus olhos no mesmo nível horizontal, com o centro do monitor. </li><li> Ligue os fios dos eléctrodos para o sistema de aquisição de dados de EEG. Configure a taxa de amostragem de 1 kHz. </li><li> Examine a qualidade do sinal EEG no dedicado DPC. Se houver um problema com um eléctrodo em particular, gel de re-injectar para ajustar a impedância do canal. </li><li> Use a SPC dedicado a piscar quatro imagens robô a frequências de 4.615, 12, 15 e 20Hz como estímulos visuais na interface do usuário, como mostrado na Figura 2. </li></ol> 2. offline Analisar SSVEP Características <ol><li> Realizar 32 ensaios de experiências de treinamento off-line para cada assunto e registrar seus sinais cerebrais adquiridos do sistema de EEG durante todo este processo. NOTA: Este processo só é realizado por indivíduos de primeira viagem do experimento para estabelecer seus vetores de características SSVEP e para treinar o classificador. </li><li> Quando um julgamento começa, selecione um estímulo como o destino aleatoriamente e exibir uma seta amarela acima dela. </li><li> 1 seg mais tarde, piscar os quatro estímulos visuais em freqüências diferentes na interface do usuário por 5 s. </li><li> Solicite o assunto para focar o alvo estímulo selecionado, mantendo sua / seu movimento do corpo a um mínimo. </li><li> Após cada ensaio, dar o assunto 3 seg para relaxar, e, em seguida, iniciar o próximo julgamento. </li><li> Quando todos os ensaios terminar, leia os dados salvos. Extrair uma época de dados 3-sec ser<html> tween 2 segundos e 5 segundos após o gatilho que seleciona um estímulo como o alvo em cada tentativa. </li><li> Calcular a densidade do espectro de potência (PSD) de épocas de dados offline usando o Data Analyzer em scripts do MATLAB. Utilizar o algoritmo de processamento descrito em detalhes abaixo: <ol><li> Calcular os análise de correlação canônica (CCA) coeficientes dos dados de EEG multicanais com dados de referência. CCA é um método estatístico de múltiplas variáveis ​​utilizadas para dois conjuntos de dados para encontrar a sua correlação subjacente 13. Considerando o segmento 3s de dados de EEG multicanal X e os dados de referência Y do mesmo comprimento, usar CCA para encontrar os vectores de ponderação, W X e W Y, para maximizar o coeficiente de correlação ρ entre X = X T W X e Y = Y T W y. Defina os dados de referência a ser os sinais periódicos em determinadas freqüências de estímulo. /ftp_upload/53558/53558eq1.jpg &quot;/&gt; onde f 1, f 2, f 3, f 4 são as frequências característica dos quatro estímulos visuais. </li><li> Espacialmente filtrar os dados EEG multicanais X utilizando os coeficientes calculados CCA W x para obter uma one-dimensionais filtrados x de dados, que tem a correlação mais importante com a combinação linear dos dados de referência. </li><li> Calcule o PSD dos dados espacialmente x filtradas usando Transformada Rápida de Fourier (FFT). <img alt="Equação 2" src="/files/ftp_upload/53558/53558eq2.jpg" /> onde N FFT é o tamanho da amostra de dados de X, e FFT (x, n FFT) retorna transformar a N FFT Fourier discreta -ponto de x. </li><li> Normalizar o PSD em relação ao seu valor médio entre 3 e 30 Hz. <img alt="Equação 3" src="/files/ftp_upload/53558/53558eq3.jpg" /> Onde60; <img alt="Equação 3 Denominador" src="/files/ftp_upload/53558/53558eq3denominator.jpg" /> indica a média do espectro de potência entre 3 e 30Hz. </li></ol></li><li> Calibrar os parâmetros de classificação para as quatro freqüências de estímulo. Em primeiro lugar, observar o espectro PSD normalizado que corresponde ao seu alvo de estímulo, e configure manualmente a frequência com a forte amplitude PSD como a frequência característica. Com base na freqüência característica, dividir os dados PSD normalizados em dois conjuntos: um é adquirido quando o estímulo correspondente é selecionado como o destino, eo outro é adquirido quando os estímulos não-alvo são selecionadas. Calcular o valor médio de cada conjunto, respectivamente. Determinar o limiar pela mediana dos dois valores médios para classificar o alvo e não-alvo define 14. </li></ol> 3. processamento on-line sinais cerebrais <ol><li> Abra o processador de sinal de linha, conforme mostrado na Figura 3, que é desenvolvido based sobre o meio ambiente OpenViBE e os scripts de MATLAB, na DPC para os sinais cerebrais de processamento on-line. </li><li> Clique na caixa de sinal do Adquirir e Processos, que está marcado com um ciclo de vermelho na Figura 3, para abrir a janela de configuração do OpenViBE duplo. Configure os parâmetros de classificação para o assunto:. Definir a taxa de amostragem como 1 kHz, defina o intervalo de tempo para FFT como 3 segundos, e definir as freqüências de recursos de acordo com os resultados da análise off-line, por exemplo, 4.667, 24, 15 e 20 Hz . </li><li> Clique no botão começa a correr o processador de sinal online, que processa os dados em tempo real usando o seguinte algoritmo em três etapas. </li><li> Primeiro, o algoritmo adquire dados de EEG de canais de Oz, O1, O2, Pz e CPZ do sistema de EEG cada 0.5s, e extrai o segmento de dados dos últimos 3s para o processamento online. </li><li> Em segundo lugar, o algoritmo processa o segmento de dados 3-sec usando os algoritmos descritos no passo 2.7, e calcula o tempo real PSD para CLASSIFICAÇÃOção. </li><li> Em terceiro lugar, o algoritmo classifica os padrões de ondas cerebrais de acordo com as amplitudes de PSD nas quatro freqüências de recursos. Quando a amplitude de uma freqüência característica é acima de um dado limiar, classificar o estímulo bruxuleante à correspondente frequência, como o alvo SSVEP. </li></ol> 4. Ligar o robô humanóide <ol><li> Pressione o botão no peito do robô humanóide e esperar por ele para o arranque. NOTA: Este processo demora cerca de 1 min e é completada quando o robô diz &quot;OGNAK GNOUK&quot;, enquanto seu peito botão torna-se branco. </li><li> Estabelecer sua conexão Wireless Fidelity (WiFi) para o DPC 15. </li><li> Aberta o controlador do robô programado em C ++ scripts do Visual na DPC. O controlador recebe os resultados da classificação do Processador de Sinal Online via Virtual-realidade periférica Network (VRPN) interface, os traduz em comandos do robô, e controla os comportamentos correspondentes do humanoid robô via conexão sem fio. </li><li> Configurar o Controlador do Robô introduzindo o endereço de IP do robô de acordo com sua conexão Wi-Fi, a definição de três conjuntos de comportamentos robô que pode ser facilmente transferido para executar as três tarefas diferentes, e definir os parâmetros de execução desses comportamentos (por exemplo., Velocidade de caminhada ou a distância) para atender a exigência de tarefas. NOTA: mais detalhes sobre estes comportamentos são descritos nos passos 5.2.1, 5.3.1, 5.4.1 e. </li><li> Clique no botão Criar da plataforma Visual Studio para executar o controlador do robô. </li><li> Abra o programa Choregraphe no SPC. Clique em &quot;Conectar-se a&quot; botão para fazer aparecer um widget Connection. Selecione o robô para ser controlado de acordo com seu endereço IP, e clique duas vezes em seu ícone para se conectar a ele. </li><li> Abra o monitor de vídeo a partir do menu Exibir na barra de menu Choregraphe, e mova o monitor para a frente da interface do usuário para exibir informações de vídeo ao vivo da câmera do robô. </li></ol> &lt;p class = &quot;jove_title&quot;&gt; 5. Conduzindo experimentos controle de circuito fechado <ol><li> Solicite o assunto para executar três tarefas específicas de controlo de malha fechada dentro de ambientes diferentes, a fim de avaliar o desempenho interação cérebro-robô. NOTA: estas tarefas, que são importantes em aplicações robóticas, porque eles são úteis para ajudar os deficientes e idosos em suas vidas diárias, precisa ativar diferentes comportamentos do robô. </li><li> Realizar a primeira tarefa de controle de malha fechada para telepresença controlar o robô humanóide através de sinais cerebrais para caminhar através de obstáculos e apertar um interruptor de luz para acender a luz, como mostrado na Figura 4. <ol><li> Para realizar a primeira tarefa, controlar os comportamentos de robôs que são codificadas pelos quatro estímulos SSVEP como: um passo à frente com uma distância fixa de 0,15 m, virando à esquerda com um radian fixa de 0,3 rad, virando à direita com um radian fixa de 0,3 rad, e empurrando o interruptor usando sua mão direita. NOTA: o Configuração processo é descrito na etapa 4.4. </li><li> Informar a pessoa do objectivo tarefa e os quatro comportamentos para ser controlado. </li><li> Execute o controlador do robô como nos passos 4,5-4,7, e iniciar a experiência. Dê o tema da liberdade de perceber o ambiente e tomar decisões com base no feedback de vídeo ao vivo, e para ativar os comportamentos do robô por olhando para os estímulos correspondentes. NOTA: nenhuma instrução ou ajuda deve ser dada ao assunto a não ser em situações de emergência, por exemplo, o robô está prestes a colidir com um obstáculo.. </li></ol></li><li> Realizar a segunda tarefa para telepresença controlar o robô humanóide através de sinais cerebrais para caminhar em direção à escada que segue o sinal de saída, como mostrado na Figura 5. Ao confrontar os transeuntes, pergunte o assunto para controlar o robô para dizer &quot;desculpe-me&quot; e aguarde o transeuntes a ceder. <ol><li> Controlar os comportamentos robô codificadas pelos quatro estímulos SSVEP como: andar para a frente continuously a uma velocidade de 0,05 m / seg, de virar à esquerda continuamente a uma velocidade de 0,1 rad / seg, transformando direita continuamente a uma velocidade de 0,1 rad / seg, e parar todos os comportamentos de locomoção. </li><li> Alterne o controlador do robô para a função de regulação em função da postura 16. NOTA: quando o robô está caminhando, essa função usa o quarto estímulo como o comando de parar os comportamentos de passeio; quando o robô não está andando, ele usa o quarto estímulo para controlar o robô para dizer &quot;desculpe-me&quot;. A função é implementada em scripts C ++ através da detecção de status de caminhada do robô. </li><li> Informar a pessoa do objectivo tarefa e os cinco condutas a serem controlados. </li><li> Executar o Robot Controller e iniciar a experiência, tal como descrito no passo 5.2.3. </li></ol></li><li> Realizar a terceira tarefa para telepresença controlar o robô humanóide de caminhar em direção a um alvo balão, para buscá-lo e entregá-lo para a mão do sujeito, conforme mostrado na Figura 6. <ol><li> Controlar os comportamentos robô codificadas pelos quatro estímulos SSVEP como: um passo à frente com uma distância fixa de 0,15 m, virar à esquerda com um radian fixa de 0,3 rad, virando à direita com um radian fixa de 0,3 rad, e pegar objetos. </li><li> Ative a função de regulação em função da postura do Controlador do Robô reutilizar o quarto estímulo como o comando de colocar para baixo o objeto quando ele já tiver sido apanhado. </li><li> Informar a pessoa do objectivo tarefa e os cinco condutas a serem controlados. </li><li> Executar o Robot Controller e iniciar a experiência, tal como descrito no passo 5.2.3. </li></ol></li></ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

Os autores não têm nada a divulgar.

Este trabalho apresenta um procedimento experimental à base de SSVEP para estabelecer o sistema de interação cérebro-robô com robôs humanóides, integrando vários programas de software. Como a intenção humano é percebido por interpretar os sinais EEG em tempo real, é crítico para verificar as ligações dos eléctrodos de EEG e qualidades de sinal antes de realizar a experiência. Se os sinais adquiridos de todos os eletrodos são de qualidades pobres, é necessário verificar a conexão da terra e eletrodos de referência em pri...

Brain-Robot Interaction (BRI), que fornece um caminho de comunicação inovadora entre o ser humano e um dispositivo robótico através de sinais cerebrais, é potencial em ajudar as pessoas com deficiência em suas vidas diárias 1,2. Uma variedade de métodos é capaz de adquirir sinais cerebrais tanto invasiva ou não-invasiva, tal como electrocorticografia (ECoG), electroencefalograma (EEG), ressonância magnética funcional (IRMf), etc. O método não-invasivo mais comumente utilizado para a construção do sistema BRI é a aquisição de sinais de EEG a partir de eletrodos colocados no couro cabeludo. Este método é barato, fácil de utilizar e fornece uma resolução temporal aceitável 3. Entre uma variedade de dispositivos robóticos, robôs humanóides são avançados como eles são criados para imitar algumas das mesmas tarefas físicas e mentais que os seres humanos sofrem diariamente. BRI com um robô humanóide vai desempenhar um papel importante na assistência aos doentes e idosos, bem como a execução de trabalhos insalubres ou perigosos. Mas o controlede um robô humanóide através do sistema BRI é altamente desafiador, como o robô humanóide com movimento de corpo inteiro é desenvolvido para executar tarefas complexas tais como assistência pessoal 4, 5. Steady-State potencial evocado visual (SSVEP) é um tipo de sinal cerebral evocada pela modulação do estímulo visual em uma determinada frequência 6. Ele contém sinusóides nas freqüências fundamentais e harmônicas do estímulo cintilação, e bem visível aparece em todo o córtex visual na região occipital do couro cabeludo 7. A razão para a escolha dos sinais SSVEP é que o sistema baseado BRI-SSVEP produz relativamente alta taxa de transferência de informações e requer menos treinamento 8. Outros tipos de ondas cerebrais, tais como potenciais relacionados a eventos (ERPs) 9 ou do motor-imagery (MI) potenciais de 10, também podem ser incorporados a este procedimento experimental. Nosso procedimento para a interação cérebro-robô humanóide comrobôs é baseado em Cerebot - uma plataforma robô humanóide controlado pela mente - que consiste em um sistema de aquisição de dados de EEG e um robô humanóide 11. O sistema de EEG é capaz de gravar, pré-processamento dos sinais de bio-potencial de exibição adquiridos por vários tipos de eletrodos. Ele fornece analógico múltiplos I / Os e I / Os digitais e é capaz de gravar até 128 canais de sinal simultaneamente a uma taxa de amostragem de 30 kHz com resolução de 16 bits. Seus kits de desenvolvimento de software em C ++ e MATLAB são fáceis para os usuários a projetar os procedimentos experimentais. O robô humanóide tem 25 graus de liberdade e está equipado com vários sensores, incluindo 2 câmeras, 4 microfones, 2 rangefinders sonar, 2 IR emissores e receptores, uma placa de inércia, 9 sensores tácteis, e 8 sensores de pressão. Ele fornece Choregraphe e C ++ SDK para criar e movimentos de edição e comportamentos robôs interativos. O objetivo geral deste método é estabelecer um proce experimental à base de SSVEPdure integrando vários programas de software, tais como OpenViBE, Choregraph, software Central, bem como programas de usuário desenvolvido escritos em C ++ e MATLAB, para permitir o estudo da interação cérebro-robô com robôs humanóides 11. A Figura 1 mostra a estrutura do sistema. O computador apresentação do estímulo dedicado (SPC) exibe a interface do usuário para fornecer o assunto com estímulos visuais, instruções e feedbacks ambientais. O computador de processamento de dados dedicado (DPC) corre o Gravador de Dados eo off-line Data Analyzer no processo de treinamento off-line, e corre o processador de sinal de linha eo controlador do robô para o controle on-line do robô humanóide. Em comparação com outros sistemas de controle baseados em SSVEP, o nosso sistema é mais confiável, mais flexível e, sobretudo, mais conveniente para ser reutilizado e atualizado, uma vez que é desenvolvido através da integração de uma série de pacotes de software padronizados, como OpenViBE, Choregraph, software Central, e módulos escrito em C ++e MATLAB. O procedimento a seguir foi revisado e aprovado pelo Tianjin University Medical hospital geral comitê de ética, e todos os indivíduos deram consentimento por escrito.

<table><tbody><tr><td>Sistema de aquisição de dados Cerebus EEG</td><td>Blackrock Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>NAO robô humanóide</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>EEG cap</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 Gel condutor</td><td>Weaver e empresa</td><td>10-20-8</td><td></td></tr></tbody></table>

baseado no ssvep procedimento experimental para a interação cérebro-robô com robôs humanóides

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

A Interação Cérebro-Robô (BRI), que fornece uma via de comunicação inovadora entre humanos e um dispositivo robótico por meio de sinais cerebrais, é prospectiva para ajudar os deficientes em suas vidas diárias. O objetivo geral do nosso método é estabelecer um procedimento experimental baseado em SSVEP, integrando vários programas de software, como OpenViBE, Choregraph e Central, bem como programas desenvolvidos pelo usuário escritos em C++ e MATLAB, para permitir o estudo da interação cérebro-robô com robôs humanóides.
Isso é conseguido colocando primeiro eletrodos de EEG em um sujeito humano para medir as respostas cerebrais por meio de um sistema de aquisição de dados de EEG. Uma interface de usuário é usada para obter respostas SSVEP e exibir feedback de vídeo nos experimentos de controle de malha fechada. O segundo passo é registrar os sinais de EEG de indivíduos iniciantes, analisar suas características do SSVEP offline e treinar o classificador para cada sujeito. Em seguida, o Processador de Sinal Online e o Controlador do Robô são configurados para o controle online de um robô humanóide. Como etapa final, o sujeito conclui três experimentos específicos de controle de circuito fechado em diferentes ambientes para avaliar o desempenho da interação cérebro-robô.
A vantagem dessa abordagem é sua confiabilidade e flexibilidade, pois é desenvolvida integrando vários programas de software. Os resultados mostram que, usando essa abordagem, o sujeito é capaz de interagir com o robô humanóide por meio de sinais cerebrais. Isso permite que o robô humanóide controlado pela mente execute tarefas típicas que são populares na pesquisa robótica e são úteis para ajudar os deficientes.

Os resultados aqui apresentados foram obtidos a partir de um sujeito do sexo masculino tendo corrigido ao normal versão. A figura 7 mostra o procedimento do processamento de dados de EEG, incluindo extracção de uma época de dados multicanal (Figura 7A), espacialmente filtrar os dados com base nos coeficientes CCA (Figura 7B) e calculando o PSD normalizada (Figura 7C). <p class="jove_content" fo:keep-together.within-p...

O objetivo geral deste método é estabelecer um procedimento experimental baseado em SSVEP, integrando vários programas de software para permitir o estudo da interação cérebro-robô com robôs humanóides, que é prospectivo para ajudar os doentes e idosos, bem como realizar trabalhos insalubres ou perigosos.

Baseado no SSVEP procedimento experimental para a interação cérebro-robô com robôs humanóides

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

O objetivo geral deste método é estabelecer um procedimento experimental baseado em P-E-V-E-S-S ao integrar diversos programas de software, permitindo o estudo da interação cérebro-robô com robôs humanoides. Isso é alcançado primeiramente colocando eletrodos de EEG no sujeito humano para medir as respostas cerebrais por meio de um sistema de aquisição de dados de EEG. Uma interface de usuário é utilizada para provocar respostas de P-E-V-E-S.S. e para exibir feedback em vídeo nos experimentos de controle em malha fechada.O segundo passo é gravar os sinais de EEG da primeira vez dos sujeitos para analisar suas características de S-S-V-E-P offline e treinar o classificador para cada sujeito. Em seguida, o processador de sinal online e o controlador do robô são configurados para o controle online de um robô humanoide Robert. Como etapa final, o sujeito realiza três experimentos específicos de controle em malha fechada em ambientes diferentes.Para avaliar o desempenho da interação cérebro-Robert, os resultados mostram a densidade espectral de potência normalizada dos sinais cerebrais gerados enquanto se olha para estímulos cintilhando em diferentes frequências. Nosso sistema traduz esses padrões de ondas cerebrais em comandos para controlar os comportamentos de Robert. Usando essa abordagem, o sujeito é capaz de interagir com o humanoide Robert por meio de sinais cerebrais.Isso permite que o robô humanoide Robert realize tarefas típicas populares na pesquisa robótica e que são úteis para auxiliar pessoas com deficiência. A vantagem dessa abordagem é sua confiabilidade e flexibilidade, pois foi desenvolvida pela integração de diversos programas de software, como o Open Wide Graph e o software central, além de programas criados pelo usuário em C++ e Match Lab. Este método possibilita o estudo do cérebro robótico em ação com o robô humanoide.Este estudo é prospectivo no auxílio aos doentes e idosos, bem como na realização de tarefas insalubres ou perigosas. Meus colegas de equipe, Lim e Han, demonstrarão agora a colocação dos sensores de EEG e mostrarão o método de conexão ao humano e ao robô, respectivamente. Explique o experimento e o procedimento ao participante.Obtenha consentimento para participar nos experimentos. Meça a circunferência do sujeito e selecione o tamanho do capuz de EEG que mais se aproxime da medida. Meça a distância entre a marca NAS, utilizando 10% dessa distância como referência para alinhar o capuz.Marque o ponto médio da distância no vértice na posição cul do sujeito. No capuz de EEG, posicione o eletrodo CZ no vértice alinhando a marca de 10% com o ponto médio entre os eletrodos FP1 e FP2. Certifique-se de que os eletrodos FZ, CZ, PZ e OZ estejam sobre a linha média da cabeça.Espalhe a referência de referência nos eletrodos com gel condutivo. Posicione os eletrodos de referência nos OID esquerdo e direito usando fita médica. Aperte a correia de fixação.Coloque a seringa de ponta romba nos suportes dos eletrodos e injete o gel condutor em cada eletrodo na seguinte ordem: primeiro, o eletrodo de terra e, em seguida, os cinco eletrodos utilizados no experimento O 2 0 1 OZ.PZ e cz. Posicione o sujeito em uma cadeira confortável, a 60 centímetros de frente para um monitor de estímulo.Conecte os fios dos eletrodos ao sistema de aquisição de dados de EEG. Configure a taxa de amostragem para um quilohertz. Examine a qualidade do sinal de EEG no computador dedicado ao processamento de dados.Se houver um problema com o eletrodo específico, reinyete géis para ajustar a impedância do canal. Exiba rapidamente quatro imagens de robôs com diferentes frequências como estímulos visuais na interface do usuário.Para o primeiro sujeito, realize o experimento de treinamento off-line para estabelecer os vetores de características S-S-V-E-P e treinar o classificador. Realize 32 ensaios para cada sujeito e registre o sinal cerebral ao longo desse processo. Quando um ensaio começar, selecione aleatoriamente um estímulo como alvo e exiba uma seta amarela acima dele.Um segundo. Em seguida, faça piscar os quatro estímulos visuais em diferentes frequências na interface do usuário durante cinco segundos, solicitando que o sujeito se concentre no estímulo-alvo selecionado, mantendo ao mínimo os movimentos corporais. Após cada tentativa, dê ao sujeito três segundos para relaxar e, então, inicie a próxima tentativa.Quando todos os ensaios forem concluídos, leia os dados salvos. Barras laranjas verticais indicam os disparadores para selecionar um estímulo como alvo enquanto os estímulos estão piscando durante o período de cinco segundos. Em cada ensaio, extraia um segmento de dados de três segundos entre dois e cinco segundos após o disparador.Calcule o coeficiente de CCA dos dados de EEG multicanal com um sinal de referência y, definido como o sinal periódico do estímulo em determinadas frequências. O método de CCA encontra os vetores de combinação linear que maximizam o coeficiente de correlação entre os sinais combinados. Filtre espacialmente os dados de EEG multicanal utilizando os coeficientes de CCA calculados.Calcule a densidade espectral de potência dos dados do filtro utilizando a transformada rápida de Fourier. Normalize a densidade espectral de potência em relação ao seu valor médio entre três hertz e 40 hertz. Em seguida, calibre os parâmetros de classificação para cada frequência do estímulo.Configure os parâmetros de classificação para o sujeito por meio de uma janela aberta de configuração. Inicie o processador de sinal online no computador de processamento de dados. Adquira dados de EEG dos canais O 2 0 1 OZ PZ e CZ do sistema de EEG a cada 0,5 segundo e extraia o segmento de dados dos últimos três segundos para processamento online.Processe o segmento de dados utilizando os algoritmos descritos no processo offline. Calcule a densidade espectral de potência em tempo real para classificação. Quando a amplitude de uma frequência característica estiver acima de um limiar determinado, o estímulo cintilante na frequência correspondente é classificado.Como alvo do EEP do SSV, ligue o robô humanoide Noro e estabeleça sua conexão Wi-Fi com o computador de processamento de dados. Configure e execute o controlador do robô, que recebe os resultados de classificação do processador de sinal online e controla os comportamentos correspondentes do robô humanoide Robert por meio de conexão sem fio. Execute o programa de coreografia no computador dedicado à apresentação de estímulos para exibir feedback de vídeo ao vivo proveniente da câmera do Robert na interface do usuário.Solicite ao sujeito realizar três testes específicos de controle em malha fechada em ambientes diferentes para avaliar o desempenho da interação cérebro-Robert. Esses testes são populares na pesquisa robótica e são úteis para auxiliar pessoas com deficiência e idosos em suas atividades diárias. Antes de uma nova tarefa, informe ao sujeito o objetivo da tarefa e os comportamentos disponíveis para controle.Esses resultados mostram o procedimento de processamento de dados de EEG, incluindo a extração da janela de dados multicanal, a filtragem espacial dos dados usando coeficientes de CCA e o cálculo da densidade espectral de potência normalizada. A densidade espectral de potência normalizada obtida em ensaios individuais, nos quais o sujeito fixa o olhar em diferentes alvos cintilantes, é apresentada aqui. Nos primeiros experimentos de controle em malha fechada, o ser humano Noah Robert foi controlado por sinais cerebrais para caminhar através de obstáculos e acionar um interruptor de luz na parede.Os sinais cerebrais foram processados em tempo real. Para classificar a intenção de controle do sujeito, este observava o feedback em vídeo ao vivo e controlava o comportamento do Robert ao fixar o olhar nos estímulos correspondentes. Após alcançar o interruptor, o sujeito comandou o Robert para acender a luz.No segundo experimento, o robô humanoide foi guiado continuamente em direção à escada, seguindo a sinalização de saída com base em feedback de vídeo. Ao encontrar um transeunte, o participante controlou o Robert para dizer com licença e aguardar que o transeunte abrisse caminho. Em seguida, o Robert foi conduzido para caminhar em direção à escada.No terceiro experimento, o robô humanoide Robert foi controlado com movimento completo do corpo para alcançar e pegar o alvo balão e entregá-lo à mão do participante com base no feedback em tempo real do vídeo. Como a intenção humana é percebida pela interpretação de sinais EEG do tempo LU, é fundamental verificar as conexões elétricas e a qualidade dos sinais EEG antes de realizar os experimentos. Outro problema comum durante a aquisição de sinais EEG é a interferência ou artefatos e ruídos.Os lombos, nosso eu tal interferência é reduzida ao minimizar o movimento corporal do sujeito e utilizar uma técnica multicanal baseada em CCA. Nosso método é eficaz para projetar uma variedade de procedimentos experimentais e flexível para investigar algoritmos e técnicas para interação cérebro-robô, especialmente, pode ser facilmente utilizado para explorar novas aplicações de ICR.

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

JoVE Journal

Engineering

Engenharia

Nós usamos um circuito fechado de interface fly-máquina para investigar os princípios gerais no controle neuronal.

Uma Plataforma Experimental para Estudo de Desempenho de circuito fechado de interfaces cérebro-máquina

Recentemente, uma grande quantidade de perspectivas vieram disponível para humanos e robôs sistemas interativos. Neste artigo destacamos a integração de um novo dispositivo robótico com software de código aberto que pode rapidamente tornar uma biblioteca possível de funcionalidades interactivas. Em seguida, esboçar uma aplicação clínica para uma aplicação de reabilitação neurológica.

Haptic / Reabilitação Graphic: Integrando um robô em um ambiente virtual Biblioteca e aplicando-a Terapia curso

A adaptação e utilização de um robô haptic em um fMRI 3T é descrito.

Adaptação de um robô Haptic em um fMRI 3T

Neste artigo, é apresentada uma estrutura experimental para realizar experimentos de malha fechada, na qual o processamento de informações (ou seja, codificação e decodificação) e o aprendizado de montagens neuronais são estudados durante a interação contínua com um corpo robótico.

De circuito fechado experiências neuro-robótico para testar as propriedades computacionais da Neuronal Networks

Uma nova interface homem-máquina de baixo custo para um sistema interativo de reabilitação do equilíbrio pós-AVC é apresentada neste artigo. O sistema integra sensores de baixo custo prontos para uso em direção ao paradigma de eletroterapia acionado por volição. A interface do software de prova de conceito é demonstrada em voluntários saudáveis.

A-máquina interface humana Integrando sensores de baixo custo com uma estimulação do sistema neuromuscular eléctrico para pós-AVC Reabilitação Balance

Aqui, descrevemos virtual mão e paradigmas ilusão virtual-face que podem ser usadas para estudar relacionados com o organismo de auto-percepção / -Representação. Eles já têm sido utilizados em vários estudos para demonstrar que, sob condições específicas, uma mão virtual ou cara pode ser incorporada uma representação do corpo, o que sugere que as representações do corpo são bastante flexível.

Criando ilusões de mãos e rostos virtuais para investigar a autorrepresentação

Apresentamos protocolos e métodos de análises para construir interfaces co-adaptativas que transmitem, parametrizam, analisam e modificam sinais humanos do corpo e do coração em loop próximo. Esta configuração interfaces sinais derivados dos sistemas nervosos periféricos e centrais da pessoa com entradas sensoriais externas para ajudar a rastrear a mudança biofísica.

Controle de proxy em tempo real de sinais periféricos re-parametrizados usando uma interface de loop próximo

Estima-se que 1 em cada 6 indivíduos no mundo terá um acidente vascular cerebral ao longo da vida, causando incapacidade a longo prazo, cujos mecanismos de reabilitação ainda são pouco compreendidos. Este estudo propõe um protocolo para avaliar a ativação cerebral por espectroscopia funcional no infravermelho próximo (fNIRS) durante uma sessão de terapia robótica de membros inferiores.

Um experimento usando espectroscopia funcional no infravermelho próximo e movimentos de apontar multi-articulações assistidas por robô do membro inferior

As imagens motoras em um ambiente de realidade virtual têm amplas aplicações em sistemas de interface cérebro-computador. Este manuscrito descreve o uso de avatares digitais personalizados que se assemelham aos participantes realizando movimentos imaginados pelo participante em um ambiente de realidade virtual para aumentar a imersão e o senso de propriedade do corpo.

Desempenho de imagens motoras por meio de gêmeos digitais incorporados em um ambiente de interface cérebro-computador habilitado para realidade virtual

Este estudo apresenta um sistema de interface cérebro-computador (BCI) para pacientes com AVC, que combina sinais de eletroencefalografia e eletrooculografia para controlar uma mão robótica de membro superior, aprimorando as atividades diárias. A avaliação utilizou o Teste Bimanual de Berlim para AVC (BeBiTS).

Sistema robótico de membro superior controlado por interface cérebro-computador para melhorar as atividades diárias em pacientes com AVC

Aprenda a usar SSVEP para interação cérebro-robô com robôs humanóides. Este método integra múltiplos programas de software para assistir idosos e executar tarefas perigosas.

Baseado no SSVEP procedimento experimental para a interação cérebro-robô com robôs humanóides

Explorar mais vídeos