Artigo de método

Desempenho de imagens motoras por meio de gêmeos digitais incorporados em um ambiente de interface cérebro-computador habilitado para realidade virtual

DOI:

10.3791/66859

⸱

10 de maio de 2024

 ,  ,  ,  ,  ,  ,  , 
1Department of Sensors and Biomedical Tech, School of Electronics Engineering, Vellore Institute of Technology, 2Department of Orthopaedic Surgery, University of Arizona, 3Jindal Institute of Behavioural Sciences, O. P. Jindal Global University, 4Soft Tissue Biomechanics Laboratory, Med-X Research Institute, School of Biomedical Engineering, Shanghai Jiao Tong University, 5Department of Occupational Science & Technology, University of Wisconsin-Milwaukee, 6Electrical Engineering, Collège Ahuntsic, 7Department of Mechanical Engineering, BioRobotics Lab, University of Wisconsin-Milwaukee

Neste artigo

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

As imagens motoras em um ambiente de realidade virtual têm amplas aplicações em sistemas de interface cérebro-computador. Este manuscrito descreve o uso de avatares digitais personalizados que se assemelham aos participantes realizando movimentos imaginados pelo participante em um ambiente de realidade virtual para aumentar a imersão e o senso de propriedade do corpo.

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudo apresenta uma estrutura inovadora para reabilitação neurológica, integrando interfaces cérebro-computador (BCI) e tecnologias de realidade virtual (VR) com a personalização de avatares tridimensionais (3D). As abordagens tradicionais de reabilitação muitas vezes não conseguem envolver totalmente os pacientes, principalmente devido à sua incapacidade de fornecer uma experiência profundamente imersiva e interativa. Esta pesquisa se esforça para preencher essa lacuna utilizando técnicas de imagens motoras (MI), onde os participantes visualizam movimentos físicos sem execução real. Este método capitaliza os mecanismos neurais do cérebro, ativando áreas envolvidas na execução do movimento ao imaginar movimentos, facilitando assim o processo de recuperação. A integração dos recursos imersivos da RV com a precisão da eletroencefalografia (EEG) para capturar e interpretar a atividade cerebral associada a movimentos imaginados forma o núcleo desse sistema. Gêmeos digitais na forma de avatares 3D personalizados são empregados para aumentar significativamente a sensação de imersão no ambiente virtual. Esse senso elevado de corporificação é crucial para uma reabilitação eficaz, com o objetivo de reforçar a conexão entre o paciente e sua contraparte virtual. Ao fazer isso, o sistema não visa apenas melhorar o desempenho das imagens motoras, mas também busca fornecer uma experiência de reabilitação mais envolvente e eficaz. Por meio da aplicação em tempo real do BCI, o sistema permite a tradução direta de movimentos imaginados em ações virtuais realizadas pelo avatar 3D, oferecendo feedback imediato ao usuário. Esse ciclo de feedback é essencial para reforçar as vias neurais envolvidas no controle e recuperação motora. O objetivo final do sistema desenvolvido é aumentar significativamente a eficácia dos exercícios de imagens motoras, tornando-os mais interativos e responsivos aos processos cognitivos do usuário, abrindo assim um novo caminho no campo da reabilitação neurológica.

Introdução

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os paradigmas de reabilitação para pacientes com deficiências neurológicas estão passando por uma mudança transformadora com a integração de tecnologias avançadas, como interfaces cérebro-computador (BCI) e realidade virtual imersiva (VR), oferecendo um método mais sutil e eficaz para promover a recuperação. A imaginação motora (IM), a técnica no coração da reabilitação baseada em BCI, envolve o ensaio mental de movimentos físicos sem execução motora real1. A EM explora um mecanismo neural em que imaginar um movimento desencadeia um padrão de atividade cerebral que reflete de perto o de realizar a própria ação física 2,3,4. Especificamente, o envolvimento em IM leva a um fenômeno conhecido como dessincronização relacionada a eventos (ERD) nas bandas de frequência alfa (8-13 Hz) e beta (13-25 Hz) da atividade elétrica do cérebro 5,6,7. O ERD é indicativo de uma supressão dos ritmos cerebrais basais, um padrão também observado durante o movimento real, fornecendo assim um substrato neural para o uso de IM dentro das estruturas de reabilitação assistida por BCI7. Essa semelhança na ativação cortical entre o IM e o movimento físico sugere que o IM pode efetivamente estimular as redes neurais envolvidas no controle motor, tornando-se uma ferramenta valiosa para pacientes com déficits motores8. Além disso, a prática da EM foi estendida além do mero ensaio mental para incluir estratégias de observação de ações9. Observar o movimento de partes do corpo relacionadas a tarefas ou ações em outras pessoas pode ativar a rede de neurônios-espelho (MNN), um grupo de neurônios que respondem tanto à observação quanto à execuçãoda ação 9. A ativação do MNN por meio da observação demonstrou induzir plasticidade cortical, como evidenciado por várias modalidades de neuroimagem, incluindo ressonância magnética funcional10, tomografia por emissão de pósitrons11 e estimulação magnética transcraniana12. As evidências apóiam a noção de que o treinamento de EM, aprimorado pela observação de ações, pode levar a uma adaptação neural significativa e recuperação em indivíduos afetados.

A tecnologia de realidade virtual revolucionou o domínio da reabilitação baseada em MI, oferecendo um ambiente imersivo que aumenta o senso de propriedade do corpo e confunde as distinções entre os mundos real e virtual 13,14,15. A qualidade imersiva da RV a torna uma ferramenta eficaz para a observação da ação e a prática de imagens motoras, pois permite que os participantes percebam o ambiente virtual como real15. A pesquisa mostrou que os dispositivos de RV têm um efeito mais pronunciado no treinamento de IM em comparação com os monitores 2D tradicionais15,16. Tais achados são evidenciados pelo aumento da atividade neural, como o aumento das taxas de amplitude do ERD no córtex sensório-motor, destacando os benefícios de níveis mais altos de imersão na estimulação da atividade cerebral durante exercícios de IM guiados visualmente16. O sistema auxilia na melhoria do desempenho do IM para tarefas que envolvem movimentos de braços ou membros, fornecendo feedback direto, melhorando assim o processo de reabilitação16,17. A sinergia entre IM e RV enfatiza a integração de atividades sensoriais, perceptivas, cognitivas e motoras18,19. A combinação tem sido particularmente benéfica para sobreviventes de AVC20,21 e veteranos de guerra22, pois estudos mostraram que a integração da RV em protocolos de reabilitação baseados em IM pode reduzir significativamente o tempo de reabilitação e melhorar os resultados de recuperação. A característica única da RV na reabilitação reside em sua capacidade de criar uma sensação de presença dentro de um ambiente virtual especificamente projetado, aprimorando a experiência de reabilitação que é aumentada ainda mais pela inclusão de avatares virtuais representando o corpo do usuário, que tem sido cada vez mais utilizado em estudos de reabilitação motora23. Esses avatares oferecem uma representação tridimensional realista dos movimentos dos membros, auxiliando na infarto do miocárdio e impactando significativamente a ativação do córtex motor. Ao permitir que os participantes visualizem seus eus virtuais realizando tarefas específicas, a RV não apenas enriquece a experiência de IM, mas também promove um processo de reorganização e recuperação neural mais rápido e eficaz24. A implementação de avatares virtuais e ambientes simulados no treinamento de MI enfatiza o uso natural e integrado de corpos virtuais em mundos virtuais imersivos.

Apesar das vantagens notáveis do controle baseado em BCI de avatares 3D em MI para reabilitação, uma limitação significativa permanece no uso predominante de metodologias offline. Atualmente, a maioria das aplicações de BCI envolve a captura de dados de eletroencefalografia (EEG) pré-gravados que são posteriormente utilizados para manipular um avatar24,25. Mesmo em cenários em que o controle do avatar em tempo real é alcançado, esses avatares geralmente são genéricos e não se assemelham aos participantes que representam23. Essa abordagem genérica perde uma oportunidade crítica de aprofundar a imersão e o senso de propriedade do corpo, o que é crucial para uma reabilitação eficaz24. A criação de um avatar 3D que espelhe a semelhança exata do sujeito pode melhorar significativamente a experiência imersiva da experiência16. Ao se visualizarem no mundo virtual, os participantes podem promover uma conexão mais forte entre seus movimentos imaginados e reais, potencialmente levando a padrões ERD mais pronunciados e, portanto, adaptação e recuperação neural mais eficazes16. Ao avançar para o controle em tempo real de avatares 3D personalizados, o campo de BCI e VR pode melhorar significativamente os paradigmas de reabilitação, oferecendo um método mais sutil, envolvente e eficaz para a recuperação do paciente.

O presente manuscrito apresenta a criação, design e aspectos tecnológicos de hardware e software do controle BCI em tempo real baseado em VR de avatares 3D, destacando seus resultados inovadores que suportam sua integração em configurações de reabilitação motora. O sistema proposto utilizará eletroencefalografia (EEG) para capturar sinais de imagens motoras geradas pelo sujeito, que serão usados para controlar os movimentos e ações do avatar em tempo real. A abordagem atual combinará os recursos avançados da tecnologia VR com a precisão do EEG no reconhecimento e interpretação da atividade cerebral relacionada a movimentos imaginados, com o objetivo de criar uma interface mais envolvente e eficaz para os usuários interagirem com ambientes digitais por meio do poder de seus pensamentos.

Protocolo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O presente estudo tem como objetivo investigar a viabilidade de controlar um avatar 3D em tempo real em um ambiente de RV usando sinais MI gravados via EEG. O estudo se concentra em aumentar a imersão e o senso de propriedade do corpo, personalizando o avatar para se parecer com o assunto. O protocolo recebeu aprovação do Conselho de Revisão do Instituto de Tecnologia de Vellore. Os participantes forneceram consentimento informado por escrito após revisar o propósito, os procedimentos e os riscos potenciais do estudo.

1. Configuração experimental

NOTA: Certifique-se de que o sistema incorpore todos os componentes conforme ilustrado no diagrama da configuração experimental na Figura 1 (consulte a Tabela de Materiais para o equipamento usado).

  1. Desenvolvimento de avatar 3D
    1. Modelando o avatar
      1. No dia anterior à coleta de dados, colete várias fotografias faciais de vários ângulos e medidas corporais precisas de cada participante.
      2. Clique em Software de Modelagem para abri-lo. Imediatamente após a abertura, encontre o controle deslizante para Gênero. Ajuste esse controle deslizante para corresponder ao gênero do modelo que deseja criar.
      3. Navegue até a guia Modelagem na parte superior da tela e clique na guia para acessar as opções de personalização do corpo.
      4. Use os controles deslizantes em várias seções, como Torso, Braços, Pernas, etc., para modelar o corpo. Concentre-se nas seguintes medidas básicas: Altura, Peito/Busto, Cintura, Quadris, Comprimento da Perna e Comprimento do Braço.
      5. Clique na guia Pose/Animate e selecione o esqueleto padrão para animações básicas. Vá para o menu Arquivos na parte superior, selecione Exportar e escolha o. MHX2 para compatibilidade com o software de animação. Certifique-se de selecionar a opção Exportar com equipamento para incluir o esqueleto. Escolha uma pasta de destino, nomeie o arquivo e clique em Exportar.
      6. Abra o software de animação. Vá para Arquivo > Importar e selecione .mhx2 ou o formato esperado. Navegue até o arquivo salvo, selecione-o e importe-o para o software.
      7. Vá para o menu Editar, selecione Preferências > Complementos e certifique-se de que o plug-in apropriado para criar rostos esteja ativado.
      8. Na janela de visualização 3D, mude para a predefinição de layout fornecida pelo plug-in ou vá para o painel do plug-in, geralmente localizado na prateleira de ferramentas no lado esquerdo.
      9. Clique em Criar uma nova cabeça no painel do plug-in para iniciar o modelo de cabeça. Use o botão Adicionar foto para importar fotos do participante. Use perfis frontais e laterais para modelagem precisa.
      10. Siga as instruções para alinhar pontos nas fotos com os pontos correspondentes no modelo 3D. O plug-in ajustará o modelo da cabeça para corresponder aos recursos do participante. Quando estiver satisfeito com a semelhança, finalize o modelo da cabeça.
      11. Posicione manualmente o modelo de cabeça para alinhá-lo com o pescoço do modelo de corpo. Ajuste a escala e a rotação da cabeça para um ajuste perfeito.
      12. Use a ferramenta Encaixar (Shift+Tab) para alinhar com precisão os vértices do pescoço na cabeça com os do corpo.
      13. Uma vez alinhado, junte a cabeça e o corpo selecionando ambas as malhas, pressionando Ctrl+J para juntá-las em um único objeto.
      14. Importe ou modele um par de bongôs e posicione-os na frente do modelo em uma altura apropriada.
    2. Animando o avatar
      1. Alterne para o Modo de pose para o modelo manipulado. No quadro 1, selecione todos os ossos e insira um quadro-chave (use a tecla I) para que LocRotScale registre suas posições iniciais.
      2. Mova a linha do tempo para frente até o quadro 30 para colocar a mão esquerda para bater no bongô.
      3. Mova e gire a armadura da mão esquerda para simular golpear o bongô. Insira um quadro-chave para esses ossos. Repita esse processo para retornar a mão à sua posição inicial no quadro 60, inserindo outro quadro-chave para concluir a ação.
      4. Mova a linha do tempo para o quadro 90, onde a mão direita inicia sua ação. Semelhante à mão esquerda, ajuste a posição e a rotação da mão direita para simular golpear o outro bongô e insira um quadro-chave.
      5. Retorne a mão à sua posição inicial e insira um quadro-chave para encerrar o movimento no quadro 150.
      6. Percorra a linha do tempo para revisar a animação. Ajuste conforme necessário para um movimento mais suave ou melhor tempo entre os golpes do bongô. Salve o arquivo.
  2. Configuração do equipamento
    1. Monte o sistema de aquisição de dados EEG de 16 canais conectando o módulo Daisy com 8 canais EEG na parte superior da placa com 8 canais EEG.
    2. Conecte o eletrodo de referência por meio de um cabo Y-Splitter ao pino de referência inferior na Daisy Board e ao pino de referência inferior da placa na parte inferior, ambos rotulados como SRB.
    3. Conecte o eletrodo de aterramento ao pino BIAS na placa inferior.
    4. Conecte os 16 eletrodos de EEG aos pinos da placa inferior identificados como N1P-N8P e os pinos inferiores da margarida rotulados como N1P-N8P.
    5. Insira os eletrodos na tampa sem gel nos locais rotulados de acordo com o sistema internacional 10-20 para colocação de eletrodos com eletrodos rotulados como FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 e T4.
    6. Mergulhe 18 esponjas fornecidas para os eletrodos de EEG em uma solução salina com 5 g de cloreto de sódio misturado em 200 mL de água da torneira por 15 min.
    7. Insira as esponjas embebidas na parte inferior de cada eletrodo para estabelecer contato entre o couro cabeludo e o eletrodo.
    8. Faça com que os participantes se sentem confortavelmente em uma sala silenciosa. Coloque a touca de EEG sem gel no couro cabeludo do participante, certificando-se de que a touca esteja alinhada corretamente para caber nas orelhas do participante.
    9. Conecte o dongle USB ao laptop. Abra a GUI do EEG, clique no sistema EEG, na opção Fonte de dados, selecione Serial (do Dongle), 16 canais e AUTO-CONNECT.
    10. Dentro da tela Aquisição de dados, selecione o widget de sinal para verificar a qualidade do sinal dos eletrodos conectados, verificando um nível de impedância ideal de <10 kΩ em cada local do eletrodo26.
    11. Se a impedância for superior a 10 kΩ, adicione algumas gotas de solução salina à esponja sob o eletrodo. Após a verificação de impedância, feche a GUI.
    12. Abra o software Acquisition Server, selecione a placa EEG apropriada em Driver e clique em Connect > Play para estabelecer uma conexão com o sistema EEG.
    13. Prepare o fone de ouvido VR higienizando-o com lenços umedecidos e colocando-o na cabeça do participante sobre a tampa do EEG para facilitar uma interação imersiva durante a captura de dados de EEG.
  3. Configuração do jogo
    NOTA: As instruções a seguir descrevem a configuração de dois cenários de mecanismo de jogo usando o Open Sound Control (OSC): um para treinamento de imagens motoras (feedforward) e outro para testar imagens motoras (feedback). O cenário feedforward treina os usuários em imagens motoras por meio de animações observadas acionadas por mensagens OSC. O cenário de feedback testa a eficácia das imagens motoras animando movimentos imaginados pelo usuário com base nas entradas OSC.
    1. Abra o software do mecanismo de jogo e selecione Projeto de treinamento de imagens motoras. Habilitar suporte a VR: Vá para Editar configurações do > projeto > Configurações do Player > XR, marque Realidade virtual com suporte e verifique se o headset VR está listado em SDKs de realidade virtual.
    2. Exclua a câmera padrão e arraste a câmera de RV para a cena do pacote de integração de RV.
    3. Coloque o arquivo de animação importado na cena. Ajuste a escala e a orientação conforme necessário. Verifique se o OSCListener GameObject com scripts pré-escritos está definido para disparar animações de modelo para movimentos da mão esquerda e direita com base em mensagens OSC, simulando a ação de bater bongô para treinamento de imagens motoras.
    4. Abra Arquivo > Configurações de compilação no software do mecanismo de jogo. Selecione PC, Mac e Linux Standalone, direcione o Windows e clique em Compilar e Executar.
    5. Para o projeto de teste de imagens motoras, execute etapas semelhantes às do projeto de treinamento de imagens motoras. Use o OSCListener GameObject configurado com scripts projetados para receber sinais OSC indicativos dos movimentos imaginados da mão do participante, acionando as animações correspondentes para o projeto de teste.

figure-protocol-1
Figura 1: Configuração VR-BCI. Toda a configuração VR-BCI mostra o participante usando o fone de ouvido VR e a touca de EEG. Os participantes visualizaram o avatar 3D personalizado no ambiente virtual e controlaram sua ação usando sinais cerebrais transmitidos para o computador sem fio. Clique aqui para ver uma versão maior desta figura.

2. Desenho experimental

  1. Estágio de verificação de sinal
    1. Abra a ferramenta de software para projetar e executar cenários de imagens de motor, vá para Arquivo e carregue os seis cenários de Motor-Imagery-BCI rotulados Verificação de Sinal, Aquisição, Treinamento CSP, Treinamento de Classificador, Teste e Matriz de Confusão.
    2. Navegue até o cenário de verificação de sinal. Aplique um filtro passa-banda entre 1 e 40 Hz com uma ordem de filtro de 4 aos sinais brutos usando caixas de design para processamento de sinal otimizado.
  2. Estágio de treinamento
    1. Guie e instrua os participantes a se submeterem a tarefas de imagens motoras, imaginando os movimentos das mãos em resposta a pistas visuais.
    2. Abra o arquivo para treinamento de imagens motoras e exiba o avatar 3D preparado em pé sobre um conjunto de bongôs por meio do fone de ouvido VR.
    3. Navegue até o cenário de aquisição e clique duas vezes no Graz Motor Imagery Stimulator para configurar a caixa.
    4. Configure tentativas de 50, 5 s (cue-1,25 s e MI-3,75 s) para movimentos da mão esquerda e direita, incorporando um período de linha de base de 20 s seguido por intervalos de 10 s de descanso após cada 10 tentativas para evitar fadiga mental.
    5. Configure os testes da mão esquerda e direita para serem randomizados e tenha uma sugestão antes do teste indicando a mão a ser imaginada.
    6. Conecte uma caixa OSC com o endereço IP e a porta para transmitir a sugestão para a mão a ser imaginada para o programa do mecanismo de jogo de treinamento de imagens motoras.
    7. Oriente os participantes a imaginar a execução do movimento de sua mão junto com o avatar 3D seguindo o mesmo ritmo do avatar ao atingir o bongô com a mão correspondente, seguindo uma sugestão de texto exibindo qual mão deve ser imaginada.
  3. Treinamento CSP e LDA
    1. Após a aquisição, execute o cenário de treinamento do CSP para analisar os dados de EEG do estágio de aquisição e calcular os padrões espaciais comuns (CSP), criando filtros para distinguir entre imagens da mão esquerda e da direita.
    2. Após o treinamento do CSP, navegue até o cenário de treinamento do classificador e execute-o para utilizar a LDA (Análise Discriminante Linear) usando os filtros do CSP para classificação de tarefas eficiente, preparando o sistema para controle de avatar em tempo real.
  4. Estágio de teste
    1. Navegue até o cenário de teste para que os participantes controlem seus avatares 3D em tempo real usando a tecnologia de interface cérebro-computador (BCI).
    2. Carregue nas caixas apropriadas os classificadores treinados durante o cenário anterior nos dados de EEG capturados enquanto os participantes imaginavam os movimentos das mãos para interpretar essas ações imaginadas em tempo real.
    3. Certifique-se de que o sistema de EEG e a configuração de RV estejam operacionais e configurados corretamente de acordo com as configurações do estágio de treinamento.
    4. Informe os participantes sobre o procedimento de teste, enfatizando a necessidade de imaginar claramente os movimentos das mãos (bongô batendo com a mão esquerda ou direita) conforme solicitado por dicas de texto.
    5. Semelhante ao estágio de treinamento, realize 20 tentativas para cada participante, divididas igualmente entre movimentos de imaginação da mão esquerda e direita e randomizadas.
    6. Conecte e configure uma caixa OSC para transmitir as informações de sugestão a serem exibidas como texto indicando qual mão deve ser visualizada no programa do mecanismo de jogo.
    7. Conecte-se a outra caixa OSC para transmitir o valor previsto para os movimentos da mão esquerda e direita para que o programa do mecanismo de jogo reproduza a animação correspondente com base na mão imaginada pelo participante.
    8. Execute o cenário de teste. Execute o programa do mecanismo de jogo Motor Imagery Testing.

3. Coleta e análise de dados

  1. Registre continuamente os dados de EEG e as saídas do classificador durante os estágios de aquisição e teste do experimento, com dados amostrados a 125 Hz.
  2. Navegue até o cenário Matriz de Confusão e carregue o arquivo EEG adquirido na caixa rotulada Leitor de fluxo genérico para cada participante e para os estágios de aquisição e treinamento.
  3. Execute o cenário para obter a matriz de Confusão para avaliar a precisão com que o sistema BCI interpreta os sinais de imagens motoras.
  4. Reúna feedback dos participantes sobre sua experiência com a facilidade de uso do avatar, recursos de controle, nível de imersão e conforto ao usar a touca de EEG e o fone de ouvido VR.

Resultados

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os resultados apresentados são de 5 indivíduos que seguiram o protocolo descrito acima. Participaram do estudo 5 adultos saudáveis (3 mulheres) com idades entre 21 e 38 anos.

O desempenho da classificação individual para cada participante sob condições de treinamento e teste de imagens motoras é mostrado na Figura 2. Uma matriz de confusão média para todos os indivíduos foi calculada para avaliar a precisão do classificador em distinguir entre sinais de IM esquerdo e direito durante as sessões de treinamento e teste (ver Figura 3).

Os pesos do CSP calculados para imagens motoras esquerda e direita durante a sessão de treinamento foram projetados como um padrão topográfico para um participante representativo na Figura 4A. Além disso, foi realizada uma análise de tempo-frequência para o mesmo participante nos dados de EEG coletados do eletrodo C4, que foi posicionado sobre a área sensório-motora direita contralateral correspondente à mão esquerda, e do eletrodo C3, localizado sobre a área sensório-motora esquerda para a mão direita. Os gráficos de tempo-frequência para identificar perturbações espectrais relacionadas a eventos (ERSP), revelando como a amplitude das frequências que variam de 8 a 30 Hz muda dinamicamente ao longo do tempo durante uma época, são mostrados na Figura 4B na sessão de treinamento de imagens motoras. Concentrando-se nas bandas alfa (8-12 Hz) e beta (13-30 Hz), os ERSPs para cada época foram normalizados dividindo-os por seus espectros de linha de base, e um ERSP médio foi calculado a partir desses valores normalizados.

Além disso, o feedback dos participantes foi amplamente positivo sobre o conforto e a facilidade de uso da touca de EEG e do fone de ouvido VR. Os participantes ficaram especialmente entusiasmados com o controle em tempo real de seus avatares 3D. No entanto, os participantes sentiram que a ação de bater no bongô poderia ser acompanhada por feedback sonoro para melhor imersão.

figure-results-1
Figura 2: Porcentagens de precisão para cada participante durante as sessões de treinamento e teste de imagens motoras. A taxa de verdadeiros positivos (TP) mostra a proporção de sinais de imagens motoras (MI) que o modelo classificador identificou corretamente como sinais MI. A taxa de falsos positivos (FP) indica a frequência com que os sinais de IM esquerdo foram erroneamente classificados como sinais de IM direito. A taxa de falsos negativos (FN) revela a proporção de sinais reais de IM esquerdo que o modelo não conseguiu detectar. Por fim, a taxa de verdadeiros negativos (TN) indica a proporção de sinais de IM à direita que o modelo reconheceu com precisão como tal. S1, S2, S3, S4 e S5 denotam os cinco participantes. Clique aqui para ver uma versão maior desta figura.

figure-results-2
Figura 3: Matrizes médias de confusão do desempenho da classificação durante as sessões de treinamento e teste de imagens motoras. A precisão média geral reflete a capacidade do modelo de classificar corretamente os sinais de MI esquerdo e direito. Clique aqui para ver uma versão maior desta figura.

figure-results-3
Figura 4: Filtro, padrão e gráficos de frequência de tempo CSP para ambas as mãos durante a sessão de treinamento de imagens motoras para um participante representativo. (A) A figura mostra os filtros CSP para S1 que diferenciam ao máximo entre as duas classes (esquerda e direita) com base na variância. (B) O gráfico de tempo-frequência para S1. As regiões azuis mostram a dessincronização relacionada ao evento. Em 0 ms, a sugestão para imaginar a mão esquerda ou direita foi exibida por um período de 1250 ms. Seguindo a deixa, o participante imaginou o movimento de bater no bongô com a mão correspondente. Clique aqui para ver uma versão maior desta figura.

Discussão

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A aplicação da IM em conjunto com a tecnologia VR oferece um caminho promissor para a reabilitação, aproveitando os mecanismos naturais do cérebro para planejamento e execução motora. A capacidade do IM de induzir a dessincronização relacionada a eventos em bandas de frequência cerebrais específicas, espelhando a atividade neural do movimento físico 2,3,4, fornece uma estrutura robusta para envolver e fortalecer as redes neurais envolvidas no controle motor8. Esse processo é aprimorado ainda mais pela qualidade imersiva da RV, que não apenas amplifica a sensação de presença e propriedade do corpo, mas também facilita a visualização dos movimentos, enriquecendo assim a experiência de IM16.

O desenvolvimento de avatares 3D personalizados que se assemelham muito aos assuntos que representam marca uma inovação notável neste campo 13,14,15. A abordagem está conceitualmente alinhada com o trabalho de Skola et al.27 sobre treinamento co-adaptativo de MI-BCI usando tarefas gamificadas em um ambiente de RV. No entanto, este protocolo introduz uma diferenciação significativa ao empregar um avatar 3D completo, espelhando de perto a aparência do participante, em oposição à perspectiva de ponto de vista focada nas mãos empregada por Skola et al. Ao fornecer uma representação visual dos movimentos imaginados do usuário em tempo real, esses avatares aprofundam a imersão e reforçam a conexão entre os movimentos imaginados e reais18. Espera-se que a abordagem detalhada neste manuscrito promova padrões ERD mais pronunciados, levando a uma adaptação e recuperação neural mais eficazes.

No entanto, a transição das metodologias BCI offline para o controle em tempo real de avatares apresenta desafios, principalmente para garantir a precisão e a capacidade de resposta do sistema aos movimentos imaginados do usuário. O sistema garante computação em tempo real por meio de uma configuração envolvendo o sistema de aquisição de dados EEG conectado a um laptop, que então faz interface com um fone de ouvido Oculus Rift-S VR. Essa configuração permite a integração perfeita da captura de dados de EEG com imersão em RV, facilitada pelo Servidor de Aquisição e pelo Mecanismo de Jogo para feedback visual e interação por meio de um avatar 3D personalizado.

A latência geral do sistema pode ser minimizada com eficiência em um cenário de integração BCI-VR, aproveitando um laptop para jogos equipado com uma placa gráfica de última geração e empregando mensagens leves no OSC para dicas e valores de previsão de mão. O uso de um laptop para jogos garante o processamento rápido dos dados de EEG adquiridos por meio da placa de EEG, com digitalização inicial e latência de transmissão mantida bem abaixo de 5 ms. Pode-se esperar que o processamento e a classificação de sinais subsequentes contribuam com uma latência adicional de aproximadamente 20 a 40 ms, levando em consideração a filtragem de sinais e a execução de algoritmos como CSP para extração de recursos. A comunicação entre o designer de cenários e o mecanismo do jogo, facilitada pelo OSC, que transmite dicas numéricas simples para movimentos da mão esquerda e direita, é projetada para sobrecarga mínima, provavelmente adicionando não mais do que 5 a 10 ms de latência. O processamento desses comandos pelo mecanismo de jogo, graças à eficiência computacional da placa gráfica, seria rápido, contribuindo com outro atraso abaixo de 10 ms antes de renderizar o feedback visual no ambiente VR fornecido pelo headset VR, que visa manter a latência abaixo de 20 ms. Coletivamente, esses componentes se sinergizam para manter a latência total do sistema dentro de uma faixa desejável de 45 a 75 ms, garantindo uma capacidade de resposta em tempo real crucial para experiências imersivas de RV e aplicativos BCI eficazes.

Além disso, os participantes receberam testes práticos suficientes como uma forma de módulo tutorial para se familiarizarem com a configuração e o ritmo da RV do avatar durante o estágio de treinamento e usar seus pensamentos para controlar o avatar 3D no estágio de teste. A ênfase na verificação da qualidade do sinal, o uso de CSP e LDA para classificação de tarefas e a fase de teste detalhada são essenciais para o sucesso do controle de avatar em tempo real.

Espera-se que os resultados deste estudo contribuam para o campo, demonstrando a viabilidade e eficácia do uso do controle BCI em tempo real de avatares 3D personalizados para reabilitação. Ao comparar a precisão da detecção da intenção motora entre a fase de treinamento de imagens motoras e o teste em tempo real, o estudo fornecerá informações valiosas sobre o potencial dessa tecnologia para melhorar os resultados da reabilitação. Além disso, o feedback dos participantes sobre a facilidade de controle e o nível de imersão experimentado informará os desenvolvimentos futuros nas tecnologias BCI e VR, com o objetivo de criar interfaces de reabilitação mais envolventes e eficazes.

Os avanços nas tecnologias BCI e VR abrem novas possibilidades para protocolos de reabilitação mais personalizados, envolventes e eficazes. Pesquisas futuras devem se concentrar em refinar a tecnologia para controle em tempo real de avatares, explorando o uso de algoritmos de aprendizado de máquina mais sofisticados para classificação de sinais e expandindo a aplicação dessa abordagem a uma gama mais ampla de condições neurológicas. Além disso, estudos longitudinais são necessários para avaliar o impacto a longo prazo desse método de reabilitação na recuperação funcional e na qualidade de vida de indivíduos com comprometimentos neurológicos.

Embora a integração da MI com a tecnologia VR na reabilitação seja considerável, várias limitações merecem atenção. Há uma gama significativa na capacidade dos indivíduos de gerar sinais claros de IM e suas respostas neurais às intervenções de MI e VR. Essa variabilidade significa que a eficácia do processo de reabilitação pode diferir amplamente entre os pacientes, tornando a personalização da terapia para atender às diferenças individuais um desafio substancial. Além disso, alcançar alta precisão e capacidade de resposta no controle em tempo real de avatares é um empreendimento complexo. Atrasos ou erros na interpretação dos sinais de IM podem interromper a experiência imersiva, reduzindo potencialmente a eficácia do processo de reabilitação. Embora a tecnologia VR possa aumentar a imersão e o engajamento, ela também pode causar desconforto ou enjôo para alguns usuários, afetando sua capacidade de se envolver em sessões longas e, consequentemente, o sucesso geral da terapia.

Em conclusão, a integração de BCI e VR, exemplificada pelo controle em tempo real de avatares 3D personalizados usando sinais MI, representa uma abordagem de ponta para a reabilitação neurológica. O protocolo atual não apenas ressalta a viabilidade técnica de tal integração, mas também prepara o terreno para uma nova era de reabilitação, onde a tecnologia e a neurociência convergem para liberar todo o potencial da capacidade de recuperação e adaptação do cérebro humano.

Divulgações

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm nenhum conflito de interesse a divulgar.

Agradecimentos

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores gostariam de agradecer a todos os participantes por seu tempo e envolvimento.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
Alienware LaptopDellLaptop para jogos de última geração com placa gráfica GTX1070 Fone
de ouvido Oculus Rift-S VRFone de ouvidoMeta
OpenBCI Cyton DaisyOpenBCISistema de EEG
OpenBCI Tampa sem gelOpenBCITampa sem gel OpenBCI para colocar os eletrodos de EEG sobre o couro cabeludo do participante
VR

Referências

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

Aquisi o de EEGAvatares 3DReabilita o de Habilidades MotorasTreinamento CSPControle de Avatar em Tempo RealPerturba es Espectrais Relacionadas a Eventos

Artigos relacionados