Baseado no SSVEP procedimento experimental para a interação cérebro-robô com robôs humanóides

O objetivo geral deste método é estabelecer um procedimento experimental baseado em S-S-V-E-P, integrando vários programas de software para permitir o estudo da interação do robô cerebral com robôs humanóides. Isso é alcançado pelo primeiro lugar em eletrodos de EEG em seres humanos para medir as respostas cerebrais por meio de um sistema de aquisição de dados de EEG. Uma interface de usuário é usada para obter respostas S-S-V-E-P e para exibir feedback de vídeo nos experimentos de controle de malha fechada.

O segundo passo é registrar os sinais de EEG dos indivíduos pela primeira vez para analisar seu recurso S-S-V-E-P offline e treinar o classificador para cada sujeito. Em seguida, o processador de sinal online e o controlador do robô são configurados para o controle online de um Robert humanóide. Como etapa final, o sujeito conclui três experimentos específicos de controle de malha fechada em diferentes ambientes.

Para avaliar o desempenho da interação cerebral de Robert, os resultados mostram a densidade espectral de potência normalizada dos sinais cerebrais gerados ao olhar para os estímulos piscando em diferentes frequências. Nosso sistema traduz esses padrões de ondas cerebrais em comandos para controlar os comportamentos de Robert. Usando essa abordagem, o sujeito é capaz de interagir com os sinais cerebrais humanóides de Robert Bio.

Isso permite que o humanóide Robert execute tarefas típicas que são populares na pesquisa robótica e são úteis para ajudar os deficientes. A vantagem dessa abordagem é sua confiabilidade e flexibilidade, pois é desenvolvida integrando vários programas de software, como open wide graph e software central, bem como programas desenvolvidos pelo usuário relacionados em c plus plus e match lab. Este método permite estudar o robô cerebral em ação com o robô humanóide.

Este estudo é prospectivo para ajudar doentes e idosos, bem como realizar trabalhos insalubres ou perigosos. Meus companheiros de equipe, Lim e Han, agora demonstrarão o posicionamento dos sensores de EEG e mostrarão o método de conexão com o robô humano, respectivamente. Explique o experimento ao procedimento para o sujeito.

Obtenha consentimento para participar de experimentos. Meça a circunferência do sujeito, selecione o tamanho da tampa E EEG que está próximo da medição. Meça a distância entre a marca NAS 10% de distância como referência para o revestimento da tampa.

Marque o ponto médio da distância no vértice da posição do ponto do sujeito. O eletrodo cz da tampa E EEG no vértice alinha a marca de 10% com o ponto médio dos eletrodos FP um e FP dois. Certifique-se de que os eletrodos fz, cz, PZ e OZ estejam na linha média da cabeça.

Esfregue a referência de referência aos eletrodos com gel condutor. Coloque os eletrodos de referência nos OIDs esquerdo e direito usando fita adesiva. Aperte a alça da corrente.

Coloque a seringa de ponta romba em toters de eletrodo e injete géis condutores em cada eletrodo na seguinte ordem. Primeiro, o eletrodo terra e, segundo, os cinco eletrodos usados no experimento O 2 0 1 OZ. PZ e cz. Sente o sujeito em uma cadeira confortável, 60 centímetros na frente de um monitor de estímulo.

Conecte os fios do eletrodo ao sistema de aquisição de dados EEG. Configure a taxa de amostragem para um kilohertz. Examine a qualidade do sinal de EEG no computador de processamento de dados dedicado.

Se houver um problema com o eletrodo específico. Reinjete géis para ajustar a impedância do canal. Flicker quatro imagens de robôs com diferentes frequências como estímulos visuais na interface do usuário.

Pela primeira vez, conduza o experimento de treinamento offline para estabelecer seus vetores de recursos S-S-V-E-P e treinar o classificador. Realize 32 tentativas para cada sujeito e registre seu sinal cerebral durante todo esse processo. Quando um teste começar, selecione aleatoriamente um estímulo como alvo e exiba uma seta amarela acima dele.

Um segundo. Mais tarde, piscar os quatro estímulos visuais em diferentes frequências na interface do usuário por cinco segundos, solicitar que o sujeito se concentre no alvo de estímulo selecionado, mantendo o movimento do corpo no mínimo. Após cada tentativa, dê ao sujeito três segundos para relaxar e inicie a próxima tentativa.

Quando todos os testes forem concluídos, leia os dados salvos. Barras laranja verticais indicam gatilhos para selecionar um estímulo como o alvo, os estímulos estão piscando durante o período de cinco segundos. Em cada tentativa, extraia um apo de dados de três segundos entre dois segundos e cinco segundos após o gatilho.

Calcule o coeficiente CCA dos dados de EEG multicanal com um sinal de referência y, que é definido como o sinal de estímulo periódico em determinadas frequências. O método CCA encontra os vetores de combinação linear para maximizar o coeficiente de correlação entre os sinais combinados. Filtre espacialmente os dados de EEG multicanal usando os coeficientes CCA calculados.

Calcule a densidade espectral de potência dos dados do filtro usando a transformação rápida do foyer. Normalize a densidade espectral de potência em relação ao seu valor médio entre três hutz e 40 hutz. Em seguida, calibre os parâmetros de classificação para cada frequência de estímulo.

Configure os parâmetros de classificação para o assunto por meio de uma janela de configuração de limpeza aberta. Inicie o processador de sinal online no computador de processamento de dados. Adquira dados de EEG dos canais O 2, 0, 1, OZ, PZ e CZ do sistema de EEG a cada 0,5 segundos e extraia o segmento de dados dos últimos três segundos para processamento online.

Processe o segmento de dados usando os algoritmos descritos no processo offline. Calcule a densidade espectral de potência em tempo real para classificação. Quando a amplitude de uma frequência de característica está acima de um determinado limite, o estímulo cintilante na frequência correspondente é classificado.

Como alvo do SSV EEP, inicie o robô Noro humano e estabeleça sua conexão wi-fi com o computador de processamento de dados. Configure e execute o controlador do robô, que recebeu os resultados da classificação do processador de sinal online e controla os comportamentos correspondentes do humanóide Robert via conexão sem fio. Execute o programa coreógrafo no computador de apresentação de estímulo dedicado para exibir feedback de vídeo ao vivo da câmera Roberts na interface do usuário.

Solicite ao sujeito que realize três testes específicos de controle de malha fechada em diferentes ambientes para avaliar o desempenho da interação cerebral de Robert. Esses testes são populares na pesquisa robótica e são úteis para ajudar os deficientes e idosos em suas vidas diárias. Antes de uma nova tarefa, informe o sujeito sobre o objetivo da tarefa e os comportamentos disponíveis para controle.

Esses resultados mostram o procedimento de processamento de dados de EEG, incluindo a extração da época de dados multicanal, filtragem espacial dos dados usando coeficientes CCA e cálculo da densidade espectral de potência normalizada. A densidade espectral de potência normalizada obtida em tentativas únicas nas quais o sujeito olha para diferentes alvos cintilantes são mostradas aqui. Nos primeiros experimentos de controle de circuito fechado, o humano Noah Robert foi controlado por sinais cerebrais para atravessar obstáculos e apertar um interruptor de luz na parede.

Os sinais cerebrais foram possuídos em tempo real. Para classificar a intenção de controle do sujeito, o sujeito assistiu ao feedback do vídeo ao vivo e controlou o comportamento de Robert olhando para os estímulos correspondentes. Depois de alcançar o interruptor, o sujeito controlou o Robert para acender a luz.

No segundo experimento, o robô humano foi navegado continuamente em direção à escada seguindo o sinal de saída com base no feedback do vídeo. Ao confrontar o espião transeunte, o sujeito controlou o Robert para dizer, com licença, e esperar que o espião transeunte cedesse. O Robert foi então controlado para caminhar em direção à escada.

No terceiro experimento, o humanóide Robert foi controlado com movimento de corpo inteiro para alcançar e pegar o alvo do balão e entregá-lo à mão do sujeito com base no feedback do vídeo ao vivo. Como a intenção humana é percebida pela interpretação dos sinais de EEG de tempo LU, é fundamental verificar as conexões elétricas e as qualidades dos sinais de EEG antes de realizar experimentos. Outro problema comum durante a aquisição de sinais de EEG é uma interferência ou artefatos e ruídos.

Os lombos, nossa interferência é melhorada reduzindo o assunto do movimento do corpo e utilizando a técnica multicanal baseada em CCA. Nosso método é eficaz para projetar uma variedade de procedimentos experimentais e flexível para investigar algoritmos e técnicas para interação cérebro-robô, especialmente pode ser facilmente usado para explorar novas aplicações BRI.