Introduction
Brain-Robot Interaction (BRI), que fornece um caminho de comunicação inovadora entre o ser humano e um dispositivo robótico através de sinais cerebrais, é potencial em ajudar as pessoas com deficiência em suas vidas diárias 1,2. Uma variedade de métodos é capaz de adquirir sinais cerebrais tanto invasiva ou não-invasiva, tal como electrocorticografia (ECoG), electroencefalograma (EEG), ressonância magnética funcional (IRMf), etc. O método não-invasivo mais comumente utilizado para a construção do sistema BRI é a aquisição de sinais de EEG a partir de eletrodos colocados no couro cabeludo. Este método é barato, fácil de utilizar e fornece uma resolução temporal aceitável 3. Entre uma variedade de dispositivos robóticos, robôs humanóides são avançados como eles são criados para imitar algumas das mesmas tarefas físicas e mentais que os seres humanos sofrem diariamente. BRI com um robô humanóide vai desempenhar um papel importante na assistência aos doentes e idosos, bem como a execução de trabalhos insalubres ou perigosos. Mas o controlede um robô humanóide através do sistema BRI é altamente desafiador, como o robô humanóide com movimento de corpo inteiro é desenvolvido para executar tarefas complexas tais como assistência pessoal 4, 5.
Steady-State potencial evocado visual (SSVEP) é um tipo de sinal cerebral evocada pela modulação do estímulo visual em uma determinada frequência 6. Ele contém sinusóides nas freqüências fundamentais e harmônicas do estímulo cintilação, e bem visível aparece em todo o córtex visual na região occipital do couro cabeludo 7. A razão para a escolha dos sinais SSVEP é que o sistema baseado BRI-SSVEP produz relativamente alta taxa de transferência de informações e requer menos treinamento 8. Outros tipos de ondas cerebrais, tais como potenciais relacionados a eventos (ERPs) 9 ou do motor-imagery (MI) potenciais de 10, também podem ser incorporados a este procedimento experimental.
Nosso procedimento para a interação cérebro-robô humanóide comrobôs é baseado em Cerebot - uma plataforma robô humanóide controlado pela mente - que consiste em um sistema de aquisição de dados de EEG e um robô humanóide 11. O sistema de EEG é capaz de gravar, pré-processamento dos sinais de bio-potencial de exibição adquiridos por vários tipos de eletrodos. Ele fornece analógico múltiplos I / Os e I / Os digitais e é capaz de gravar até 128 canais de sinal simultaneamente a uma taxa de amostragem de 30 kHz com resolução de 16 bits. Seus kits de desenvolvimento de software em C ++ e MATLAB são fáceis para os usuários a projetar os procedimentos experimentais. O robô humanóide tem 25 graus de liberdade e está equipado com vários sensores, incluindo 2 câmeras, 4 microfones, 2 rangefinders sonar, 2 IR emissores e receptores, uma placa de inércia, 9 sensores tácteis, e 8 sensores de pressão. Ele fornece Choregraphe e C ++ SDK para criar e movimentos de edição e comportamentos robôs interativos.
O objetivo geral deste método é estabelecer um proce experimental à base de SSVEPdure integrando vários programas de software, tais como OpenViBE, Choregraph, software Central, bem como programas de usuário desenvolvido escritos em C ++ e MATLAB, para permitir o estudo da interação cérebro-robô com robôs humanóides 11. A Figura 1 mostra a estrutura do sistema. O computador apresentação do estímulo dedicado (SPC) exibe a interface do usuário para fornecer o assunto com estímulos visuais, instruções e feedbacks ambientais. O computador de processamento de dados dedicado (DPC) corre o Gravador de Dados eo off-line Data Analyzer no processo de treinamento off-line, e corre o processador de sinal de linha eo controlador do robô para o controle on-line do robô humanóide. Em comparação com outros sistemas de controle baseados em SSVEP, o nosso sistema é mais confiável, mais flexível e, sobretudo, mais conveniente para ser reutilizado e atualizado, uma vez que é desenvolvido através da integração de uma série de pacotes de software padronizados, como OpenViBE, Choregraph, software Central, e módulos escrito em C ++e MATLAB.
O procedimento a seguir foi revisado e aprovado pelo Tianjin University Medical hospital geral comitê de ética, e todos os indivíduos deram consentimento por escrito.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Adquirir sinais de EEG
- Explique o procedimento experimental para o assunto e obter o consentimento informado por escrito para participar de experimentos.
- Medir a circunferência da cabeça do sujeito usando uma fita métrica e selecione o tamanho da tampa EEG que fica perto da medição. A disposição de eléctrodos é baseada na "Sistema Internacional 10-20" 12.
- Meça a distância entre o násio e inion. Use um marcador lápis para marcar a pele 10% da distância como uma referência para alinhar a tampa, e marcar o ponto médio da distância que o vértice no couro cabeludo do indivíduo.
- Coloque a tampa EEG sobre o assunto, alinhando a marca de 10%, com o ponto médio dos eléctrodos FP1 e FP2. Eletrodo Cz posição da tampa sobre o vértice.
- Certifique-se de que a Fz, Cz, Pz e Oz estão na linha média da cabeça, e que cada par de eléctrodos localizados em ambos os lados da linha média é uma linha horizontal.
- Smear os eletrodos REF1 e REF2 com gel condutor. Coloque os eletrodos de referência nas mastoides direita e esquerda usando fita adesiva médica. Aperte a barbicha.
- Coloque uma seringa de ponta romba nos suportes de eléctrodos e injetar gel condutor em cada eletrodo na seguinte ordem: primeiro, o eletrodo "terra" na testa e, segundo, os cinco eletrodos utilizados no experimento, O2, O1, Oz, Pz e Cz.
- Assentar o assunto em uma confortável cadeira de 60 centímetros na frente de um monitor de estímulo. Instrua o assunto para manter suas / seus olhos no mesmo nível horizontal, com o centro do monitor.
- Ligue os fios dos eléctrodos para o sistema de aquisição de dados de EEG. Configure a taxa de amostragem de 1 kHz.
- Examine a qualidade do sinal EEG no dedicado DPC. Se houver um problema com um eléctrodo em particular, gel de re-injectar para ajustar a impedância do canal.
- Use a SPC dedicado a piscar quatro imagens robô a frequências de 4.615, 12, 15 e 20Hz como estímulos visuais na interface do usuário, como mostrado na Figura 2.
2. offline Analisar SSVEP Características
- Realizar 32 ensaios de experiências de treinamento off-line para cada assunto e registrar seus sinais cerebrais adquiridos do sistema de EEG durante todo este processo.
NOTA: Este processo só é realizado por indivíduos de primeira viagem do experimento para estabelecer seus vetores de características SSVEP e para treinar o classificador. - Quando um julgamento começa, selecione um estímulo como o destino aleatoriamente e exibir uma seta amarela acima dela.
- 1 seg mais tarde, piscar os quatro estímulos visuais em freqüências diferentes na interface do usuário por 5 s.
- Solicite o assunto para focar o alvo estímulo selecionado, mantendo sua / seu movimento do corpo a um mínimo.
- Após cada ensaio, dar o assunto 3 seg para relaxar, e, em seguida, iniciar o próximo julgamento.
- Quando todos os ensaios terminar, leia os dados salvos. Extrair uma época de dados 3-sec ser tween 2 segundos e 5 segundos após o gatilho que seleciona um estímulo como o alvo em cada tentativa.
- Calcular a densidade do espectro de potência (PSD) de épocas de dados offline usando o Data Analyzer em scripts do MATLAB. Utilizar o algoritmo de processamento descrito em detalhes abaixo:
- Calcular os análise de correlação canônica (CCA) coeficientes dos dados de EEG multicanais com dados de referência. CCA é um método estatístico de múltiplas variáveis utilizadas para dois conjuntos de dados para encontrar a sua correlação subjacente 13. Considerando o segmento 3s de dados de EEG multicanal X e os dados de referência Y do mesmo comprimento, usar CCA para encontrar os vectores de ponderação, W X e W Y, para maximizar o coeficiente de correlação ρ entre X = X T W X e Y = Y T W y. Defina os dados de referência a ser os sinais periódicos em determinadas freqüências de estímulo.
/ftp_upload/53558/53558eq1.jpg "/>
onde f 1, f 2, f 3, f 4 são as frequências característica dos quatro estímulos visuais. - Espacialmente filtrar os dados EEG multicanais X utilizando os coeficientes calculados CCA W x para obter uma one-dimensionais filtrados x de dados, que tem a correlação mais importante com a combinação linear dos dados de referência.
- Calcule o PSD dos dados espacialmente x filtradas usando Transformada Rápida de Fourier (FFT).
onde N FFT é o tamanho da amostra de dados de X, e FFT (x, n FFT) retorna transformar a N FFT Fourier discreta -ponto de x. - Normalizar o PSD em relação ao seu valor médio entre 3 e 30 Hz.
Onde60;
indica a média do espectro de potência entre 3 e 30Hz.
- Calcular os análise de correlação canônica (CCA) coeficientes dos dados de EEG multicanais com dados de referência. CCA é um método estatístico de múltiplas variáveis utilizadas para dois conjuntos de dados para encontrar a sua correlação subjacente 13. Considerando o segmento 3s de dados de EEG multicanal X e os dados de referência Y do mesmo comprimento, usar CCA para encontrar os vectores de ponderação, W X e W Y, para maximizar o coeficiente de correlação ρ entre X = X T W X e Y = Y T W y. Defina os dados de referência a ser os sinais periódicos em determinadas freqüências de estímulo.
- Calibrar os parâmetros de classificação para as quatro freqüências de estímulo. Em primeiro lugar, observar o espectro PSD normalizado que corresponde ao seu alvo de estímulo, e configure manualmente a frequência com a forte amplitude PSD como a frequência característica. Com base na freqüência característica, dividir os dados PSD normalizados em dois conjuntos: um é adquirido quando o estímulo correspondente é selecionado como o destino, eo outro é adquirido quando os estímulos não-alvo são selecionadas. Calcular o valor médio de cada conjunto, respectivamente. Determinar o limiar pela mediana dos dois valores médios para classificar o alvo e não-alvo define 14.
indica a média do espectro de potência entre 3 e 30Hz. 3. processamento on-line sinais cerebrais
- Abra o processador de sinal de linha, conforme mostrado na Figura 3, que é desenvolvido based sobre o meio ambiente OpenViBE e os scripts de MATLAB, na DPC para os sinais cerebrais de processamento on-line.
- Clique na caixa de sinal do Adquirir e Processos, que está marcado com um ciclo de vermelho na Figura 3, para abrir a janela de configuração do OpenViBE duplo. Configure os parâmetros de classificação para o assunto:. Definir a taxa de amostragem como 1 kHz, defina o intervalo de tempo para FFT como 3 segundos, e definir as freqüências de recursos de acordo com os resultados da análise off-line, por exemplo, 4.667, 24, 15 e 20 Hz .
- Clique no botão começa a correr o processador de sinal online, que processa os dados em tempo real usando o seguinte algoritmo em três etapas.
- Primeiro, o algoritmo adquire dados de EEG de canais de Oz, O1, O2, Pz e CPZ do sistema de EEG cada 0.5s, e extrai o segmento de dados dos últimos 3s para o processamento online.
- Em segundo lugar, o algoritmo processa o segmento de dados 3-sec usando os algoritmos descritos no passo 2.7, e calcula o tempo real PSD para CLASSIFICAÇÃOção.
- Em terceiro lugar, o algoritmo classifica os padrões de ondas cerebrais de acordo com as amplitudes de PSD nas quatro freqüências de recursos. Quando a amplitude de uma freqüência característica é acima de um dado limiar, classificar o estímulo bruxuleante à correspondente frequência, como o alvo SSVEP.
4. Ligar o robô humanóide
- Pressione o botão no peito do robô humanóide e esperar por ele para o arranque.
NOTA: Este processo demora cerca de 1 min e é completada quando o robô diz "OGNAK GNOUK", enquanto seu peito botão torna-se branco. - Estabelecer sua conexão Wireless Fidelity (WiFi) para o DPC 15.
- Aberta o controlador do robô programado em C ++ scripts do Visual na DPC. O controlador recebe os resultados da classificação do Processador de Sinal Online via Virtual-realidade periférica Network (VRPN) interface, os traduz em comandos do robô, e controla os comportamentos correspondentes do humanoid robô via conexão sem fio.
- Configurar o Controlador do Robô introduzindo o endereço de IP do robô de acordo com sua conexão Wi-Fi, a definição de três conjuntos de comportamentos robô que pode ser facilmente transferido para executar as três tarefas diferentes, e definir os parâmetros de execução desses comportamentos (por exemplo., Velocidade de caminhada ou a distância) para atender a exigência de tarefas.
NOTA: mais detalhes sobre estes comportamentos são descritos nos passos 5.2.1, 5.3.1, 5.4.1 e. - Clique no botão Criar da plataforma Visual Studio para executar o controlador do robô.
- Abra o programa Choregraphe no SPC. Clique em "Conectar-se a" botão para fazer aparecer um widget Connection. Selecione o robô para ser controlado de acordo com seu endereço IP, e clique duas vezes em seu ícone para se conectar a ele.
- Abra o monitor de vídeo a partir do menu Exibir na barra de menu Choregraphe, e mova o monitor para a frente da interface do usuário para exibir informações de vídeo ao vivo da câmera do robô.
- Solicite o assunto para executar três tarefas específicas de controlo de malha fechada dentro de ambientes diferentes, a fim de avaliar o desempenho interação cérebro-robô.
NOTA: estas tarefas, que são importantes em aplicações robóticas, porque eles são úteis para ajudar os deficientes e idosos em suas vidas diárias, precisa ativar diferentes comportamentos do robô. - Realizar a primeira tarefa de controle de malha fechada para telepresença controlar o robô humanóide através de sinais cerebrais para caminhar através de obstáculos e apertar um interruptor de luz para acender a luz, como mostrado na Figura 4.
- Para realizar a primeira tarefa, controlar os comportamentos de robôs que são codificadas pelos quatro estímulos SSVEP como: um passo à frente com uma distância fixa de 0,15 m, virando à esquerda com um radian fixa de 0,3 rad, virando à direita com um radian fixa de 0,3 rad, e empurrando o interruptor usando sua mão direita.
NOTA: o Configuração processo é descrito na etapa 4.4. - Informar a pessoa do objectivo tarefa e os quatro comportamentos para ser controlado.
- Execute o controlador do robô como nos passos 4,5-4,7, e iniciar a experiência. Dê o tema da liberdade de perceber o ambiente e tomar decisões com base no feedback de vídeo ao vivo, e para ativar os comportamentos do robô por olhando para os estímulos correspondentes.
NOTA: nenhuma instrução ou ajuda deve ser dada ao assunto a não ser em situações de emergência, por exemplo, o robô está prestes a colidir com um obstáculo..
- Para realizar a primeira tarefa, controlar os comportamentos de robôs que são codificadas pelos quatro estímulos SSVEP como: um passo à frente com uma distância fixa de 0,15 m, virando à esquerda com um radian fixa de 0,3 rad, virando à direita com um radian fixa de 0,3 rad, e empurrando o interruptor usando sua mão direita.
- Realizar a segunda tarefa para telepresença controlar o robô humanóide através de sinais cerebrais para caminhar em direção à escada que segue o sinal de saída, como mostrado na Figura 5. Ao confrontar os transeuntes, pergunte o assunto para controlar o robô para dizer "desculpe-me" e aguarde o transeuntes a ceder.
- Controlar os comportamentos robô codificadas pelos quatro estímulos SSVEP como: andar para a frente continuously a uma velocidade de 0,05 m / seg, de virar à esquerda continuamente a uma velocidade de 0,1 rad / seg, transformando direita continuamente a uma velocidade de 0,1 rad / seg, e parar todos os comportamentos de locomoção.
- Alterne o controlador do robô para a função de regulação em função da postura 16.
NOTA: quando o robô está caminhando, essa função usa o quarto estímulo como o comando de parar os comportamentos de passeio; quando o robô não está andando, ele usa o quarto estímulo para controlar o robô para dizer "desculpe-me". A função é implementada em scripts C ++ através da detecção de status de caminhada do robô. - Informar a pessoa do objectivo tarefa e os cinco condutas a serem controlados.
- Executar o Robot Controller e iniciar a experiência, tal como descrito no passo 5.2.3.
- Realizar a terceira tarefa para telepresença controlar o robô humanóide de caminhar em direção a um alvo balão, para buscá-lo e entregá-lo para a mão do sujeito, conforme mostrado na Figura 6.
- Controlar os comportamentos robô codificadas pelos quatro estímulos SSVEP como: um passo à frente com uma distância fixa de 0,15 m, virar à esquerda com um radian fixa de 0,3 rad, virando à direita com um radian fixa de 0,3 rad, e pegar objetos.
- Ative a função de regulação em função da postura do Controlador do Robô reutilizar o quarto estímulo como o comando de colocar para baixo o objeto quando ele já tiver sido apanhado.
- Informar a pessoa do objectivo tarefa e os cinco condutas a serem controlados.
- Executar o Robot Controller e iniciar a experiência, tal como descrito no passo 5.2.3.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Os resultados aqui apresentados foram obtidos a partir de um sujeito do sexo masculino tendo corrigido ao normal versão. A figura 7 mostra o procedimento do processamento de dados de EEG, incluindo extracção de uma época de dados multicanal (Figura 7A), espacialmente filtrar os dados com base nos coeficientes CCA (Figura 7B) e calculando o PSD normalizada (Figura 7C).
A figura 8 mostra o PSD normalizado obtidos utilizando ensaios individuais em que o sujeito olhou para as metas de cintilação em freqüências diferentes. O pico proeminente aparece na freqüência fundamental ou harmônica do estímulo cintilação. O sistema BRI mapeia esses padrões de respostas SSVEP em comandos para o controle de diferentes comportamentos do robô.
Figuras 4-6 mostram o cont três de circuito fechadotarefas rol realizado para avaliar o desempenho interação cérebro-robô. Essas tarefas são populares em pesquisa robótica e são úteis para ajudar os deficientes e idosos em suas vidas diárias. A Figura 4 mostra a experiência de caminhar através de obstáculos e empurrando um interruptor para acender a luz através de ondas cerebrais de controle de telepresença. A Figura 5 mostra o controle de telepresença experiência de caminhar em direção à escada que segue o sinal de saída. A Figura 6 mostra a experiência de pegar um balão e entregá-lo ao lado do sujeito controle telepresença.
Figura 1. Estrutura do Sistema de Interação Cérebro-robô com um robô humanóide. Os sinais cerebrais são medidos através do sistema de aquisição de dados de EEG. A interface de utilizador provoca respostas SSVEP e exibe vivem feedback de vídeo na experimentos de controle de circuito fechado. Para os sujeitos pela primeira vez, o gravador de dados eo off-line Data Analyzer são utilizados no processo de treinamento off-line para analisar a sua SSVEP características off-line e para treinar o classificador para cada assunto. Em seguida, o processador de sinal de linha e do Controlador do Robô estão configurados para o controle on-line de um robô humanóide. Por favor clique aqui para ver uma versão maior desta figura.
Figura 2. Interface de Usuário para o Sistema BRI baseado em SSVEP. A interface do usuário exibe vivem feedback de vídeo na janela do meio e pisca quatro imagens na periferia representando comportamentos robô humanóide em quatro freqüências. A representação 3D no painel direito, indica a postura atual do robô humanóide. "target =" _ blank /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "> Clique aqui para ver uma versão maior desta figura.
Figura 3. Signal Processor on-line implementado no ambiente de programação OpenViBE. A caixa de adquirir e processar sinais marcados com o ciclo vermelho invoca o algoritmo de processamento de scripts escritos em MATLAB. O botão inicia no painel do menu inicia o programa. Por favor clique aqui para ver uma versão maior desta figura.
Figura 4. Controle de Telepresença Experimento de caminhada através Obstáculos e empurrando um interruptor de luz.es / ftp_upload / 53558 / "target =" _ blank 53558fig4large.jpg "> Clique aqui para ver uma versão maior desta figura.
Figura 5. Controle de Telepresença Experimento de caminhar em direção à escadaria Seguindo o sinal da saída. Por favor clique aqui para ver uma versão maior desta figura.
Figura 6. Experiência de Controle Telepresence de entregar um balão para o assunto. Por favor clique aqui para ver uma versão maior desta figura.
Figura 7. Processo de Processamento de Dados Multichannel EEG (A) época de dados Multichannel extraído do julgamento em que o sujeito está olhando para o estímulo a 4,615 Hz.; (B) dados espacialmente filtradas usando coeficientes CCA; (C) PSD normalizada dos dados espacialmente filtrados. Por favor clique aqui para ver uma versão maior desta figura.
Figura 8. PSD normalizados obtidos nos ensaios individuais em que o sujeito está olhando para Estímulos cintilação em freqüências diferentes. Por favor clique aqui para ver uma versão maior desta figura.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Este trabalho apresenta um procedimento experimental à base de SSVEP para estabelecer o sistema de interação cérebro-robô com robôs humanóides, integrando vários programas de software. Como a intenção humano é percebido por interpretar os sinais EEG em tempo real, é crítico para verificar as ligações dos eléctrodos de EEG e qualidades de sinal antes de realizar a experiência. Se os sinais adquiridos de todos os eletrodos são de qualidades pobres, é necessário verificar a conexão da terra e eletrodos de referência em primeiro lugar. Se existem problemas com as peças dos eléctrodos, re-injectar gel condutor de ajustar a impedância desses canais.
Outro problema comum ao adquirir sinais de EEG é a interferência de artefatos e ruídos 17. Como o sinal EEG tem pequena relação sinal-ruído (SNR), artefato e ruído pode facilmente alterações obscuras no PSD das respostas SSVEP. É importante manter o amplificador de sinal do sistema de EEG longe do POWer suprimentos e outras fontes de ruído. Durante o experimento, piscar de olhos e movimento do corpo deve ser mantido a um mínimo para reduzir os artefatos. Para melhorar ainda mais a robustez contra tais interferências, o nosso método utiliza uma técnica baseada em CCA para interpretar os dados de EEG multicanais. Os resultados mostram que esta técnica é eficaz na extração de características de sinais de EEG contendo ruídos e artefatos.
Para começar uma nova tarefa de controle de circuito fechado de robôs humanóides, precisamos configurar manualmente a definição e parâmetro de cada comportamento do robô para se ajustar à nova exigência tarefa. Isto é devido ao número limitado de comandos de controlo existentes no presente sistema BRI, e, portanto, pode ser melhorada por evocar mais tipos de padrões de ondas cerebrais. Hwang et al. 18 propuseram um método de estimulação de dupla frequência para a produção de mais estímulos visuais. Wang et al. 19, Allison et al. 20, Pan et al. 21, e Li <em> et al. 22 propuseram vários métodos híbridos para combinar o modelo baseado no SSVEP com outros padrões de ondas cerebrais, incluindo ERPs e MI. Também é possível a adopção de comutação técnicas baseadas em aprendizado de máquina ou arquitetura hierárquica para controlar o movimento de corpo inteiro do robô humanóide usando padrões de ondas cerebrais limitadas 23.
Considerando-se as freqüências piscando disponíveis do monitor LCD 24 ea influência entre os componentes harmônicas de SSVEPs 25, nós fizemos a varredura todas as possíveis frequências intermitentes de 1 a 60 Hz e encontrou com os quatro frequências, ie., 4.615, 12, 15 e 20 Hz, provavelmente a melhor escolha, pois alcançou a maior taxa média de precisão para os nossos assuntos. Portanto, nós utilizamos os quatro estímulos na interface para controlar os comportamentos robô humanóide, incluindo andar para a frente, virando à esquerda, virar à direita, parar e caminhada / empurrando o interruptor / pegar objetos, que são viáveis enOugh para controlar um robô humanóide para realizar as tarefas apresentadas neste manuscrito.
As vantagens do sistema são BRI sua confiabilidade e flexibilidade, uma vez que é desenvolvido através da integração de vários programas de software, tais como OpenViBE, Choregraph, software Central e programas do usuário desenvolvido em C ++ e MATLAB. É eficiente e confiável para a concepção de diferentes procedimentos experimentais utilizando o software padronizado. Nosso sistema é uma ferramenta poderosa para investigar novos algoritmos e técnicas para a interação cérebro-robô com um robô humanóide. Ele pode ser facilmente atualizado para explorar as aplicações BRI para auxiliar os trabalhos insalubres ou perigosos doentes e idosos, e do espectáculo.
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
Os autores gostariam de expressar sua gratidão ao Sr. Hong Hu por sua ajuda na realização dos experimentos relatados neste trabalho. Este trabalho foi apoiado em parte pela Fundação Nacional de Ciência Natural da China (No. 61473207).
Materials
| Name | Company | Catalog Number | Comments |
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
