Baseado no SSVEP procedimento experimental para a interação cérebro-robô com robôs humanóides

Resumo

O objetivo geral deste método é estabelecer um procedimento experimental baseado em SSVEP, integrando vários programas de software para permitir o estudo da interação cérebro-robô com robôs humanóides, que é prospectivo para ajudar os doentes e idosos, bem como realizar trabalhos insalubres ou perigosos.

Resumo

A Interação Cérebro-Robô (BRI), que fornece uma via de comunicação inovadora entre humanos e um dispositivo robótico por meio de sinais cerebrais, é prospectiva para ajudar os deficientes em suas vidas diárias. O objetivo geral do nosso método é estabelecer um procedimento experimental baseado em SSVEP, integrando vários programas de software, como OpenViBE, Choregraph e Central, bem como programas desenvolvidos pelo usuário escritos em C++ e MATLAB, para permitir o estudo da interação cérebro-robô com robôs humanóides.

Isso é conseguido colocando primeiro eletrodos de EEG em um sujeito humano para medir as respostas cerebrais por meio de um sistema de aquisição de dados de EEG. Uma interface de usuário é usada para obter respostas SSVEP e exibir feedback de vídeo nos experimentos de controle de malha fechada. O segundo passo é registrar os sinais de EEG de indivíduos iniciantes, analisar suas características do SSVEP offline e treinar o classificador para cada sujeito. Em seguida, o Processador de Sinal Online e o Controlador do Robô são configurados para o controle online de um robô humanóide. Como etapa final, o sujeito conclui três experimentos específicos de controle de circuito fechado em diferentes ambientes para avaliar o desempenho da interação cérebro-robô.

A vantagem dessa abordagem é sua confiabilidade e flexibilidade, pois é desenvolvida integrando vários programas de software. Os resultados mostram que, usando essa abordagem, o sujeito é capaz de interagir com o robô humanóide por meio de sinais cerebrais. Isso permite que o robô humanóide controlado pela mente execute tarefas típicas que são populares na pesquisa robótica e são úteis para ajudar os deficientes.

Introdução

Brain-Robot Interaction (BRI), que fornece um caminho de comunicação inovadora entre o ser humano e um dispositivo robótico através de sinais cerebrais, é potencial em ajudar as pessoas com deficiência em suas vidas diárias ^1,2. Uma variedade de métodos é capaz de adquirir sinais cerebrais tanto invasiva ou não-invasiva, tal como electrocorticografia (ECoG), electroencefalograma (EEG), ressonância magnética funcional (IRMf), etc. O método não-invasivo mais comumente utilizado para a construção do sistema BRI é a aquisição de sinais de EEG a partir de eletrodos colocados no couro cabeludo. Este método é barato, fácil de utilizar e fornece uma resolução temporal aceitável ^3. Entre uma variedade de dispositivos robóticos, robôs humanóides são avançados como eles são criados para imitar algumas das mesmas tarefas físicas e mentais que os seres humanos sofrem diariamente. BRI com um robô humanóide vai desempenhar um papel importante na assistência aos doentes e idosos, bem como a execução de trabalhos insalubres ou perigosos. Mas o controlede um robô humanóide através do sistema BRI é altamente desafiador, como o robô humanóide com movimento de corpo inteiro é desenvolvido para executar tarefas complexas tais como assistência pessoal ^{4, 5.}

Steady-State potencial evocado visual (SSVEP) é um tipo de sinal cerebral evocada pela modulação do estímulo visual em uma determinada frequência ^6. Ele contém sinusóides nas freqüências fundamentais e harmônicas do estímulo cintilação, e bem visível aparece em todo o córtex visual na região occipital do couro cabeludo ^7. A razão para a escolha dos sinais SSVEP é que o sistema baseado BRI-SSVEP produz relativamente alta taxa de transferência de informações e requer menos treinamento ^8. Outros tipos de ondas cerebrais, tais como potenciais relacionados a eventos (ERPs) ⁹ ou do motor-imagery (MI) potenciais de ^10, também podem ser incorporados a este procedimento experimental.

Nosso procedimento para a interação cérebro-robô humanóide comrobôs é baseado em Cerebot - uma plataforma robô humanóide controlado pela mente - que consiste em um sistema de aquisição de dados de EEG e um robô humanóide ^11. O sistema de EEG é capaz de gravar, pré-processamento dos sinais de bio-potencial de exibição adquiridos por vários tipos de eletrodos. Ele fornece analógico múltiplos I / Os e I / Os digitais e é capaz de gravar até 128 canais de sinal simultaneamente a uma taxa de amostragem de 30 kHz com resolução de 16 bits. Seus kits de desenvolvimento de software em C ++ e MATLAB são fáceis para os usuários a projetar os procedimentos experimentais. O robô humanóide tem 25 graus de liberdade e está equipado com vários sensores, incluindo 2 câmeras, 4 microfones, 2 rangefinders sonar, 2 IR emissores e receptores, uma placa de inércia, 9 sensores tácteis, e 8 sensores de pressão. Ele fornece Choregraphe e C ++ SDK para criar e movimentos de edição e comportamentos robôs interativos.

O objetivo geral deste método é estabelecer um proce experimental à base de SSVEPdure integrando vários programas de software, tais como OpenViBE, Choregraph, software Central, bem como programas de usuário desenvolvido escritos em C ++ e MATLAB, para permitir o estudo da interação cérebro-robô com robôs humanóides ^11. A Figura 1 mostra a estrutura do sistema. O computador apresentação do estímulo dedicado (SPC) exibe a interface do usuário para fornecer o assunto com estímulos visuais, instruções e feedbacks ambientais. O computador de processamento de dados dedicado (DPC) corre o Gravador de Dados eo off-line Data Analyzer no processo de treinamento off-line, e corre o processador de sinal de linha eo controlador do robô para o controle on-line do robô humanóide. Em comparação com outros sistemas de controle baseados em SSVEP, o nosso sistema é mais confiável, mais flexível e, sobretudo, mais conveniente para ser reutilizado e atualizado, uma vez que é desenvolvido através da integração de uma série de pacotes de software padronizados, como OpenViBE, Choregraph, software Central, e módulos escrito em C ++e MATLAB.

O procedimento a seguir foi revisado e aprovado pelo Tianjin University Medical hospital geral comitê de ética, e todos os indivíduos deram consentimento por escrito.

Protocolo

1. Adquirir sinais de EEG

1. Explique o procedimento experimental para o assunto e obter o consentimento informado por escrito para participar de experimentos.
2. Medir a circunferência da cabeça do sujeito usando uma fita métrica e selecione o tamanho da tampa EEG que fica perto da medição. A disposição de eléctrodos é baseada na "Sistema Internacional 10-20" ^12.
3. Meça a distância entre o násio e inion. Use um marcador lápis para marcar a pele 10% da distância como uma referência para alinhar a tampa, e marcar o ponto médio da distância que o vértice no couro cabeludo do indivíduo.
4. Coloque a tampa EEG sobre o assunto, alinhando a marca de 10%, com o ponto médio dos eléctrodos FP1 e FP2. Eletrodo Cz posição da tampa sobre o vértice.
5. Certifique-se de que a Fz, Cz, Pz e Oz estão na linha média da cabeça, e que cada par de eléctrodos localizados em ambos os lados da linha média é uma linha horizontal.
6. Smear os eletrodos REF1 e REF2 com gel condutor. Coloque os eletrodos de referência nas mastoides direita e esquerda usando fita adesiva médica. Aperte a barbicha.
7. Coloque uma seringa de ponta romba nos suportes de eléctrodos e injetar gel condutor em cada eletrodo na seguinte ordem: primeiro, o eletrodo "terra" na testa e, segundo, os cinco eletrodos utilizados no experimento, O2, O1, Oz, Pz e Cz.
8. Assentar o assunto em uma confortável cadeira de 60 centímetros na frente de um monitor de estímulo. Instrua o assunto para manter suas / seus olhos no mesmo nível horizontal, com o centro do monitor.
9. Ligue os fios dos eléctrodos para o sistema de aquisição de dados de EEG. Configure a taxa de amostragem de 1 kHz.
10. Examine a qualidade do sinal EEG no dedicado DPC. Se houver um problema com um eléctrodo em particular, gel de re-injectar para ajustar a impedância do canal.
11. Use a SPC dedicado a piscar quatro imagens robô a frequências de 4.615, 12, 15 e 20Hz como estímulos visuais na interface do usuário, como mostrado na Figura 2.

2. offline Analisar SSVEP Características

1. Realizar 32 ensaios de experiências de treinamento off-line para cada assunto e registrar seus sinais cerebrais adquiridos do sistema de EEG durante todo este processo.
   NOTA: Este processo só é realizado por indivíduos de primeira viagem do experimento para estabelecer seus vetores de características SSVEP e para treinar o classificador.
2. Quando um julgamento começa, selecione um estímulo como o destino aleatoriamente e exibir uma seta amarela acima dela.
3. 1 seg mais tarde, piscar os quatro estímulos visuais em freqüências diferentes na interface do usuário por 5 s.
4. Solicite o assunto para focar o alvo estímulo selecionado, mantendo sua / seu movimento do corpo a um mínimo.
5. Após cada ensaio, dar o assunto 3 seg para relaxar, e, em seguida, iniciar o próximo julgamento.
6. Quando todos os ensaios terminar, leia os dados salvos. Extrair uma época de dados 3-sec ser tween 2 segundos e 5 segundos após o gatilho que seleciona um estímulo como o alvo em cada tentativa.
7. Calcular a densidade do espectro de potência (PSD) de épocas de dados offline usando o Data Analyzer em scripts do MATLAB. Utilizar o algoritmo de processamento descrito em detalhes abaixo:
   1. Calcular os análise de correlação canônica (CCA) coeficientes dos dados de EEG multicanais com dados de referência. CCA é um método estatístico de múltiplas variáveis ​​utilizadas para dois conjuntos de dados para encontrar a sua correlação subjacente ^13. Considerando o segmento 3s de dados de EEG multicanal X e os dados de referência Y do mesmo comprimento, usar CCA para encontrar os vectores de ponderação, W _X e W _Y, para maximizar o coeficiente de correlação ρ entre X = X ^{T W} _{X e Y} = Y ^T W _y. Defina os dados de referência a ser os sinais periódicos em determinadas freqüências de estímulo.
      /ftp_upload/53558/53558eq1.jpg "/>
      onde f _1, f _2, f _3, f ₄ são as frequências característica dos quatro estímulos visuais.
   2. Espacialmente filtrar os dados EEG multicanais X utilizando os coeficientes calculados CCA W _x para obter uma one-dimensionais filtrados x de dados, que tem a correlação mais importante com a combinação linear dos dados de referência.
   3. Calcule o PSD dos dados espacialmente x filtradas usando Transformada Rápida de Fourier (FFT).
      
      onde N _FFT é o tamanho da amostra de dados de X, e FFT (x, n _FFT) retorna transformar a N _FFT Fourier discreta -ponto de x.
   4. Normalizar o PSD em relação ao seu valor médio entre 3 e 30 Hz.
      
      Onde60; indica a média do espectro de potência entre 3 e 30Hz.
8. Calibrar os parâmetros de classificação para as quatro freqüências de estímulo. Em primeiro lugar, observar o espectro PSD normalizado que corresponde ao seu alvo de estímulo, e configure manualmente a frequência com a forte amplitude PSD como a frequência característica. Com base na freqüência característica, dividir os dados PSD normalizados em dois conjuntos: um é adquirido quando o estímulo correspondente é selecionado como o destino, eo outro é adquirido quando os estímulos não-alvo são selecionadas. Calcular o valor médio de cada conjunto, respectivamente. Determinar o limiar pela mediana dos dois valores médios para classificar o alvo e não-alvo define ^14.

3. processamento on-line sinais cerebrais

1. Abra o processador de sinal de linha, conforme mostrado na Figura 3, que é desenvolvido based sobre o meio ambiente OpenViBE e os scripts de MATLAB, na DPC para os sinais cerebrais de processamento on-line.
2. Clique na caixa de sinal do Adquirir e Processos, que está marcado com um ciclo de vermelho na Figura 3, para abrir a janela de configuração do OpenViBE duplo. Configure os parâmetros de classificação para o assunto:. Definir a taxa de amostragem como 1 kHz, defina o intervalo de tempo para FFT como 3 segundos, e definir as freqüências de recursos de acordo com os resultados da análise off-line, por exemplo, 4.667, 24, 15 e 20 Hz .
3. Clique no botão começa a correr o processador de sinal online, que processa os dados em tempo real usando o seguinte algoritmo em três etapas.
4. Primeiro, o algoritmo adquire dados de EEG de canais de Oz, O1, O2, Pz e CPZ do sistema de EEG cada 0.5s, e extrai o segmento de dados dos últimos 3s para o processamento online.
5. Em segundo lugar, o algoritmo processa o segmento de dados 3-sec usando os algoritmos descritos no passo 2.7, e calcula o tempo real PSD para CLASSIFICAÇÃOção.
6. Em terceiro lugar, o algoritmo classifica os padrões de ondas cerebrais de acordo com as amplitudes de PSD nas quatro freqüências de recursos. Quando a amplitude de uma freqüência característica é acima de um dado limiar, classificar o estímulo bruxuleante à correspondente frequência, como o alvo SSVEP.

4. Ligar o robô humanóide

1. Pressione o botão no peito do robô humanóide e esperar por ele para o arranque.
   NOTA: Este processo demora cerca de 1 min e é completada quando o robô diz "OGNAK GNOUK", enquanto seu peito botão torna-se branco.
2. Estabelecer sua conexão Wireless Fidelity (WiFi) para o DPC ^15.
3. Aberta o controlador do robô programado em C ++ scripts do Visual na DPC. O controlador recebe os resultados da classificação do Processador de Sinal Online via Virtual-realidade periférica Network (VRPN) interface, os traduz em comandos do robô, e controla os comportamentos correspondentes do humanoid robô via conexão sem fio.
4. Configurar o Controlador do Robô introduzindo o endereço de IP do robô de acordo com sua conexão Wi-Fi, a definição de três conjuntos de comportamentos robô que pode ser facilmente transferido para executar as três tarefas diferentes, e definir os parâmetros de execução desses comportamentos (por exemplo., Velocidade de caminhada ou a distância) para atender a exigência de tarefas.
   NOTA: mais detalhes sobre estes comportamentos são descritos nos passos 5.2.1, 5.3.1, 5.4.1 e.
5. Clique no botão Criar da plataforma Visual Studio para executar o controlador do robô.
6. Abra o programa Choregraphe no SPC. Clique em "Conectar-se a" botão para fazer aparecer um widget Connection. Selecione o robô para ser controlado de acordo com seu endereço IP, e clique duas vezes em seu ícone para se conectar a ele.
7. Abra o monitor de vídeo a partir do menu Exibir na barra de menu Choregraphe, e mova o monitor para a frente da interface do usuário para exibir informações de vídeo ao vivo da câmera do robô.

5. Conduzindo experimentos controle de circuito fechado

1. Solicite o assunto para executar três tarefas específicas de controlo de malha fechada dentro de ambientes diferentes, a fim de avaliar o desempenho interação cérebro-robô.
   NOTA: estas tarefas, que são importantes em aplicações robóticas, porque eles são úteis para ajudar os deficientes e idosos em suas vidas diárias, precisa ativar diferentes comportamentos do robô.
2. Realizar a primeira tarefa de controle de malha fechada para telepresença controlar o robô humanóide através de sinais cerebrais para caminhar através de obstáculos e apertar um interruptor de luz para acender a luz, como mostrado na Figura 4.
   1. Para realizar a primeira tarefa, controlar os comportamentos de robôs que são codificadas pelos quatro estímulos SSVEP como: um passo à frente com uma distância fixa de 0,15 m, virando à esquerda com um radian fixa de 0,3 rad, virando à direita com um radian fixa de 0,3 rad, e empurrando o interruptor usando sua mão direita.
      NOTA: o Configuração processo é descrito na etapa 4.4.
   2. Informar a pessoa do objectivo tarefa e os quatro comportamentos para ser controlado.
   3. Execute o controlador do robô como nos passos 4,5-4,7, e iniciar a experiência. Dê o tema da liberdade de perceber o ambiente e tomar decisões com base no feedback de vídeo ao vivo, e para ativar os comportamentos do robô por olhando para os estímulos correspondentes.
      NOTA: nenhuma instrução ou ajuda deve ser dada ao assunto a não ser em situações de emergência, por exemplo, o robô está prestes a colidir com um obstáculo..
3. Realizar a segunda tarefa para telepresença controlar o robô humanóide através de sinais cerebrais para caminhar em direção à escada que segue o sinal de saída, como mostrado na Figura 5. Ao confrontar os transeuntes, pergunte o assunto para controlar o robô para dizer "desculpe-me" e aguarde o transeuntes a ceder.
   1. Controlar os comportamentos robô codificadas pelos quatro estímulos SSVEP como: andar para a frente continuously a uma velocidade de 0,05 m / seg, de virar à esquerda continuamente a uma velocidade de 0,1 rad / seg, transformando direita continuamente a uma velocidade de 0,1 rad / seg, e parar todos os comportamentos de locomoção.
   2. Alterne o controlador do robô para a função de regulação em função da postura ^16.
      NOTA: quando o robô está caminhando, essa função usa o quarto estímulo como o comando de parar os comportamentos de passeio; quando o robô não está andando, ele usa o quarto estímulo para controlar o robô para dizer "desculpe-me". A função é implementada em scripts C ++ através da detecção de status de caminhada do robô.
   3. Informar a pessoa do objectivo tarefa e os cinco condutas a serem controlados.
   4. Executar o Robot Controller e iniciar a experiência, tal como descrito no passo 5.2.3.
4. Realizar a terceira tarefa para telepresença controlar o robô humanóide de caminhar em direção a um alvo balão, para buscá-lo e entregá-lo para a mão do sujeito, conforme mostrado na Figura 6.
   1. Controlar os comportamentos robô codificadas pelos quatro estímulos SSVEP como: um passo à frente com uma distância fixa de 0,15 m, virar à esquerda com um radian fixa de 0,3 rad, virando à direita com um radian fixa de 0,3 rad, e pegar objetos.
   2. Ative a função de regulação em função da postura do Controlador do Robô reutilizar o quarto estímulo como o comando de colocar para baixo o objeto quando ele já tiver sido apanhado.
   3. Informar a pessoa do objectivo tarefa e os cinco condutas a serem controlados.
   4. Executar o Robot Controller e iniciar a experiência, tal como descrito no passo 5.2.3.

Resultados

Os resultados aqui apresentados foram obtidos a partir de um sujeito do sexo masculino tendo corrigido ao normal versão. A figura 7 mostra o procedimento do processamento de dados de EEG, incluindo extracção de uma época de dados multicanal (Figura 7A), espacialmente filtrar os dados com base nos coeficientes CCA (Figura 7B) e calculando o PSD normalizada (Figura 7C).

Discussão

Este trabalho apresenta um procedimento experimental à base de SSVEP para estabelecer o sistema de interação cérebro-robô com robôs humanóides, integrando vários programas de software. Como a intenção humano é percebido por interpretar os sinais EEG em tempo real, é crítico para verificar as ligações dos eléctrodos de EEG e qualidades de sinal antes de realizar a experiência. Se os sinais adquiridos de todos os eletrodos são de qualidades pobres, é necessário verificar a conexão da terra e eletrodos de referência em pri...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Sistema de aquisição de dados Cerebus EEG	Blackrock Microsystems	4176-9967
NAO robô humanóide	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Gel condutor	Weaver e empresa	10-20-8