Artigo de método

Uma interface cérebro-computador vestível de canal único e não invasiva para a indústria e a saúde

DOI:

10.3791/65007

⸱

7 de julho de 2023

 ,  ,  , 
1Department of Electrical Engineering and Information Technology (DIETI), University of Naples Federico II, 2Interdepartmental Center for Research and Innovation in Management and Healthcare (CIRMIS), University of Naples Federico II, 3Advanced Metrological Services Center (CeSMA), University of Naples Federico II, 4Department of Innovation Engineering, University of Salento, 5Department of Electronics and Telecommunication (DET), Polytechnic of Turin

Neste artigo

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este artigo discute como construir uma interface cérebro-computador baseando-se em equipamentos de nível de consumo e potenciais evocados visuais em estado estacionário. Para isso, um eletroencefalógrafo de canal único explorando eletrodos secos foi integrado a óculos de realidade aumentada para apresentação de estímulos e visualização dos dados de saída. O sistema final era não invasivo, vestível e portátil.

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O presente trabalho se concentra em como construir uma interface cérebro-computador vestível (BCI). Os BCIs são um novo meio de interação humano-computador que depende de medições diretas de sinais cerebrais para ajudar tanto pessoas com deficiências quanto aquelas que são capazes. Exemplos de aplicação incluem controle robótico, inspeção industrial e neurorreabilitação. Notavelmente, estudos recentes mostraram que os potenciais evocados visuais em estado estacionário (SSVEPs) são particularmente adequados para aplicações de comunicação e controle, e esforços estão sendo feitos atualmente para trazer a tecnologia BCI para a vida diária. Para atingir esse objetivo, o sistema final deve contar com instrumentação vestível, portátil e de baixo custo. Na exploração de SSVEPs, um estímulo visual cintilante com frequências fixas é necessário. Assim, considerando as restrições da vida diária, a possibilidade de fornecer estímulos visuais por meio de óculos inteligentes foi explorada neste estudo. Além disso, para a detecção dos potenciais eliciados, foi considerado um aparelho comercial para eletroencefalografia (EEG). Este consiste em um único canal diferencial com eletrodos secos (sem gel condutor), alcançando assim a máxima usabilidade e portabilidade. Em tal BCI, o usuário pode interagir com os óculos inteligentes apenas olhando para os ícones que aparecem na tela. Com base nesse princípio simples, um BCI fácil de usar e de baixo custo foi construído integrando óculos de realidade estendida (XR) com um dispositivo de EEG disponível comercialmente. A funcionalidade deste XR-BCI vestível foi examinada com uma campanha experimental envolvendo 20 sujeitos. A acurácia da classificação foi de 80%-95%, em média, dependendo do tempo de estimulação. Diante desses resultados, o sistema pode ser usado como uma interface homem-máquina para inspeção industrial, mas também para reabilitação em TDAH e autismo.

Introdução

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A interface cérebro-computador (ICB) é um sistema que permite a comunicação e/ou o controle de dispositivos sem vias neuraisnaturais1. A tecnologia BCI é a coisa mais próxima que a humanidade tem de controlar objetos com o poder da mente. Do ponto de vista técnico, o funcionamento do sistema funciona medindo a atividade cerebral induzida ou evocada, que pode ser gerada involuntária ou voluntariamente a partir do sujeito2. Historicamente, a pesquisa se concentrava em ajudar pessoas com deficiências motoras por meio do BCI3, mas um número crescente de empresas hoje oferece instrumentação baseada em BCI para jogos4, robótica5, indústria6 e outras aplicações envolvendo interação homem-máquina. Notavelmente, os BCIs podem desempenhar um papel na quarta revolução industrial, ou seja, a indústria 4.07, onde os sistemas de produção ciber-físicos estão mudando a interação entre os seres humanos e o ambiente circundante8. Em termos gerais, o projeto europeu BNCI Horizonte 2020 identificou cenários de aplicação como substituir, restaurar, melhorar, melhorar ou complementar funções naturais perdidas do sistema nervoso central, bem como a utilização de BCI na investigação do cérebro9.

Nesse contexto, os recentes avanços tecnológicos fazem com que as interfaces cérebro-computador possam ser aplicáveis para uso na vida diária10,11. Para atingir esse objetivo, o primeiro requisito é a não invasividade, que é importante para evitar os riscos da intervenção cirúrgica e aumentar a aceitação do usuário. No entanto, é importante notar que a escolha da neuroimagem não invasiva afeta a qualidade dos sinais cerebrais medidos, e o desenho do BCI deve então lidar com as armadilhas associadas12. Além disso, usabilidade e portabilidade são necessárias. Estes requisitos estão em consonância com a necessidade de um sistema de fácil utilização, mas também apresentam alguns constrangimentos. Em geral, as restrições de hardware mencionadas são abordadas pelo uso de um sistema eletroencefalográfico (EEG) com eletrodos sem gel6. Esse BCI baseado em EEG também seria de baixo custo. Enquanto isso, em termos de software, o treinamento mínimo do usuário (ou idealmente nenhum treinamento) seria desejado; Ou seja, seria melhor evitar longos períodos para ajustar o algoritmo de processamento antes que o usuário possa usar o sistema. Esse aspecto é crítico nas ICBs devido à não estacionariedade inter e intrassujeito13,14.

A literatura tem demonstrado que a detecção de potenciais evocados cerebrais é robusta no que diz respeito à não estacionariedade e ao ruído na aquisição do sinal. Em outras palavras, os IBCs que dependem da detecção de potencial evocado são denominados reativos, e são os IBCs com melhor desempenho em termos de reconhecimento de padrões cerebrais15. No entanto, requerem estimulação sensorial, o que provavelmente é a principal desvantagem de tais interfaces. O objetivo do método proposto é, portanto, construir um BCI altamente vestível e portátil contando com instrumentação vestível pronta para uso. Os estímulos sensoriais aqui consistem em luzes cintilantes, geradas por óculos inteligentes, que são capazes de eliciar potenciais evocados visuais em estado estacionário (SSVEPs). Trabalhos anteriores já consideraram a integração do BCI com a realidade virtual, isoladamente ou em conjunto com a realidade aumentada16. Por exemplo, um sistema BCI-AR foi proposto para controlar um quadricóptero com SSVEP17. Realidade virtual, realidade aumentada e outros paradigmas são referidos com o termo realidade estendida. Nesse cenário, a escolha de óculos inteligentes atende aos requisitos de usabilidade e portabilidade, e os óculos inteligentes podem ser integrados com uma configuração mínima de aquisição de EEG. Este artigo mostra que o BCI baseado em SSVEP também requer treinamento mínimo, ao mesmo tempo em que alcança um desempenho de classificação aceitável para aplicações de comunicação e controle de baixa e média velocidade. Assim, a técnica é aplicada ao BCI para aplicações da vida diária, e parece especialmente adequada para a indústria e saúde.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O estudo foi aprovado pelo Comitê de Ética em Pesquisa Psicológica do Departamento de Humanidades da Universidade de Nápoles Federico II. Os voluntários assinaram o termo de consentimento livre e esclarecido antes de participarem dos experimentos.

1. Preparando o cérebro vestível não invasivo - interface de computador

  1. Obtenha um eletroencefalógrafo de baixo custo com eletrodos secos e configure-o para uso em canal único.
    1. Curto-circuito ou conexão de quaisquer canais de entrada não utilizados no eletroencefalógrafo de baixo custo a uma tensão de referência interna, conforme especificado pela folha de dados inerente. Ao fazer isso, os canais não utilizados são desativados e não geram ruído de crosstalk.
    2. Ajuste o ganho do eletroencefalógrafo (tipicamente através de um componente com resistência variável) para ter uma faixa de entrada da ordem de 100 μV.
      NOTA: Os sinais de EEG a serem medidos são da ordem de dezenas de microvolts. No entanto, os eletrodos secos são muito afetados por artefatos de movimento, que resultam em oscilações da ordem de 100 μV devido à variabilidade na impedância eletrodo-pele. Aumentar a faixa de tensão de entrada ajuda a limitar a saturação do amplificador de EEG, mas não a elimina completamente. Por outro lado, seria inconveniente aumentar ainda mais a faixa de tensão de entrada, pois isso afetaria a resolução da tensão na medição dos componentes desejados do EEG. Em última análise, os dois aspectos devem ser equilibrados, levando em conta também a resolução de bits do conversor analógico-digital dentro da placa eletroencefalográfica.
    3. Prepare três eletrodos secos para conectar à placa do eletroencefalógrafo. Use um eletrodo passivo (sem pré-amplificação) como eletrodo de referência. Os dois eletrodos de medição restantes devem ser ativos (ou seja, envolvem pré-amplificação e eventual filtragem analógica).
      NOTA: Os eletrodos colocados em uma área do couro cabeludo piloso requerem pinos para superar a impedância de contato eletrodo-pele. Se possível, solde pinos prateados com cabeças chatas (para evitar muita dor para o usuário), ou o ideal é usar borracha condutora (macia) com revestimento Ag/AgCl.
  2. Obtenha óculos inteligentes comerciais com um sistema operacional Android e uma taxa de atualização de 60 Hz. Como alternativa, use uma taxa de atualização mais baixa. Uma taxa de atualização mais alta seria desejável para estímulos, pois haveria menos fadiga ocular, mas não há soluções atualmente disponíveis no mercado.
    1. Baixe o código-fonte de um aplicativo Android para comunicação ou controle, ou desenvolva um.
    2. Substitua os botões virtuais no aplicativo por ícones cintilantes alterando o objeto inerente (geralmente em Java ou Kotlin). Quadrados brancos com pelo menos 5% de dimensão da tela são recomendados. Normalmente, quanto maior o quadrado estimulador, maior será o componente SSVEP a ser detectado, mas um ótimo pode ser encontrado dependendo do caso específico. As frequências recomendadas são 10 Hz e 12 Hz cintilantes. Implemente a cintilação na unidade de processamento gráfico (GPU) para evitar sobrecarregar a unidade de computação (CPU) dos óculos inteligentes. Para isso, use objetos da biblioteca OpenGL.
    3. Implemente um módulo do aplicativo Android para processamento em tempo real do fluxo de EEG de entrada. O serviço USB Android pode ser adicionado para que o fluxo possa ser recebido via USB. O processamento em tempo real pode simplesmente aplicar uma janela deslizante ao fluxo de EEG considerando os pacotes de entrada. Calcular as densidades espectrais de potência associadas às frequências de 10 Hz e 12 Hz através de uma função de transformada rápida de Fourier. Um classificador treinado pode, assim, distinguir que o usuário está olhando para o ícone de cintilação de 10 Hz ou o ícone de cintilação de 12 Hz, classificando os recursos de densidade espectral de potência.

2. Calibrando a interface cérebro-computador baseada em SSVEP

OBS: Voluntários saudáveis foram escolhidos para este estudo. Excluir indivíduos com histórico de doenças cerebrais. Os indivíduos envolvidos deveriam ter visão normal ou corrigida para normal. Eles foram orientados a relaxar durante os experimentos e evitar movimentos desnecessários, principalmente da cabeça.

  1. Permita que o usuário use os óculos inteligentes com o aplicativo Android.
  2. Deixe o usuário usar uma faixa de cabeça apertada para segurar os eletrodos.
  3. Conecte o eletroencefalógrafo de baixo custo a um PC através de um cabo USB enquanto o PC está desconectado da fonte de alimentação principal.
    1. Inicialmente desconecte todos os eletrodos da placa de aquisição do eletroencefalógrafo para partir de uma condição conhecida.
    2. Nesta fase, o fluxo de EEG é processado offline no PC com um script compatível com o processamento implementado no aplicativo Android. Inicie o script para receber os sinais de EEG e visualizá-los.
  4. Verifique o sinal exibido que é processado offline. Este deve corresponder apenas ao ruído de quantização do amplificador de EEG.
  5. Conecte os eletrodos.
    1. Aplique o eletrodo passivo na orelha esquerda com um clipe personalizado ou use um eletrodo de clipe de ouvido. O sinal de saída deve permanecer inalterado nesta etapa porque o canal diferencial de medição ainda é um circuito aberto.
    2. Conecte um eletrodo ativo ao terminal negativo da entrada diferencial do canal de EEG de medição e aplique na região frontal (localização padrão de Fpz) com uma faixa de cabeça. Após alguns segundos, o sinal deve retornar a zero (ruído de quantização).
    3. Conecte o outro eletrodo ativo ao terminal positivo da entrada diferencial do canal de EEG de medição e aplique na região occipital (localização padrão de Oz) com a faixa de cabeça. Um sinal cerebral é agora exibido, que corresponde à atividade visual medida em relação à área frontal do cérebro (nenhuma atividade visual prevista lá).
  6. Adquirir sinais para calibração do sistema.
    1. Estimule repetidamente o usuário com ícones cintilantes de 10 Hz e 12 Hz (e eventualmente outros) iniciando o ícone de cintilação no aplicativo Android e adquira e salve os sinais de EEG inerentes para processamento off-line. Certifique-se de que cada estimulação nesta fase consiste em um único ícone piscando por 10 s e inicie o ícone de cintilação pressionando o touchpad dos óculos inteligentes enquanto também inicia o script de aquisição e visualização do EEG.
    2. A partir dos sinais de 10 s associados a cada estimulação, extraia duas características usando a transformada rápida de Fourier: a densidade espectral de potência em 10 Hz e em 12 Hz. Alternativamente, considere os segundos harmônicos (20 Hz e 24 Hz).
    3. Use uma representação dos sinais adquiridos no domínio de recursos para treinar um classificador de máquina de vetor de suporte. Use uma ferramenta (em Matlab ou Python) para identificar os parâmetros de um hiperplano com um eventual kernel baseado nos recursos de entrada. O modelo treinado será capaz de classificar futuras observações de sinais de EEG.

3. Monte a interface final vestível e portátil baseada em SSVEP

  1. Desconecte o cabo USB do PC e conecte-o diretamente aos óculos inteligentes.
  2. Insira os parâmetros do classificador treinado no aplicativo Android. O sistema já está pronto.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Uma possível implementação do sistema descrito acima é mostrada na Figura 1; Esta implementação permite que o usuário navegue em realidade aumentada através da atividade cerebral. Os ícones cintilantes no visor dos óculos inteligentes correspondem às ações da aplicação (Figura 1A) e, portanto, esses óculos representam um substituto para uma interface tradicional baseada em pressionamentos de botões ou um touchpad. A eficácia de t...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O bom funcionamento do sistema envolve dois aspectos cruciais: a elicitação SSVEP e a aquisição do sinal. Além dos dispositivos específicos escolhidos para o estudo atual, o SSVEP poderia ser eliciado com diferentes dispositivos fornecendo uma luz cintilante, embora os óculos inteligentes sejam preferidos para garantir usabilidade e portabilidade. Analogamente, outros eletroencefalógrafos comerciais poderiam ser considerados, mas eles teriam que ser vestíveis, portáteis e envolver um número mínimo de eletrodos secos para...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm nada a revelar.

Agradecimentos

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este trabalho foi realizado no âmbito do projeto TIC para a Saúde, que contou com o apoio financeiro do Ministério da Educação, Universidade e Investigação (MIUR) italiano, no âmbito da iniciativa Departamentos de Excelência (Lei do Orçamento Italiano n.º 232/2016), através de uma bolsa de excelência atribuída ao Departamento de Tecnologia da Informação e Engenharia Elétrica da Universidade de Nápoles Federico II, Nápoles, Itália. O projeto foi de fato viabilizado pelo apoio da iniciativa Res4Net e do TC-06 (Emerging Technologies in Measurements) da IEEE Instrumentation and Measurement Society. Os autores também gostariam de agradecer a L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone e M. Ortolano por suas preciosas contribuições no desenvolvimento, teste e validação do sistema.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
Borracha condutora com revestimento Ag/AgCl Ab Medica S.p.A.N/AEléctrodos alternativos - tipo 2
Eléctrodo de grampo auricularOpenBCIN/AGrampo auricular
EEG-AEOlimexN/AEléctrodos activos
EEG-PEOlimexN/AEléctrodo passivo
EEG-SMTOlimexN/AElectroencefalógrafo de baixo custo
Moverio BT-200EpsonN/ASmart óculos
Eletrodos de pressãoOpenBCIN/AEletrodos alternativos - tipo 1

Referências

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49(2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005(2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099(2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708(2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010(2010).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

EEG de Canal nicoPotenciais Evocados Visualmente em Estado Estacion rioBCI SSVEPculos InteligentesProcessamento de Sinais de EEGM quina de Vetores de SuporteDensidade Espectral de Pot nciaInspe o IndustrialNeurorreabilita o

Artigos relacionados