Capturando gestos dinâmicos com os dedos com eletromiografia de superfície de alta resolução e visão computacional

Summary

O artigo apresenta um protocolo abrangente para registrar simultaneamente a eletromiografia manual (EMG) e o rastreamento visual dos dedos durante os gestos naturais dos dedos. Os dados visuais são projetados para servir como a verdade fundamental para o desenvolvimento de modelos computacionais precisos baseados em EMG para reconhecimento de gestos com os dedos.

Abstract

Os gestos dos dedos são um elemento crítico na comunicação humana e, como tal, o reconhecimento dos gestos dos dedos é amplamente estudado como uma interface humano-computador para próteses de última geração e reabilitação otimizada. A eletromiografia de superfície (EMGs), em conjunto com métodos de aprendizado profundo, é considerada um método promissor neste domínio. No entanto, os métodos atuais geralmente dependem de configurações de gravação complicadas e da identificação de posições estáticas das mãos, limitando sua eficácia em aplicações do mundo real. O protocolo que relatamos aqui apresenta uma abordagem avançada que combina um EMG de superfície vestível e um sistema de rastreamento de dedos para capturar dados abrangentes durante movimentos dinâmicos das mãos. O método registra a atividade muscular de matrizes de eletrodos impressos (16 eletrodos) colocados no antebraço enquanto os sujeitos realizam gestos em diferentes posições das mãos e durante o movimento. As instruções visuais solicitam que os sujeitos realizem gestos específicos enquanto a EMG e as posições dos dedos são registradas. A integração de registros EMG sincronizados e dados de rastreamento de dedos permite uma análise abrangente dos padrões de atividade muscular e gestos correspondentes. A abordagem relatada demonstra o potencial de combinar EMG e tecnologias de rastreamento visual como um recurso importante para o desenvolvimento de sistemas de reconhecimento de gestos intuitivos e responsivos com aplicações em próteses, reabilitação e tecnologias interativas. Este protocolo visa orientar pesquisadores e profissionais, promovendo mais inovação e aplicação do reconhecimento de gestos em cenários dinâmicos e do mundo real.

Introduction

O gesto manual é essencial na comunicação humana, tornando o reconhecimento de gestos com os dedos uma área crucial de pesquisa em campos como interação humano-computador, próteses avançadas 1,2,3,4 e tecnologias de reabilitação ^5,6. Como resultado, o reconhecimento de gestos com os dedos atraiu atenção significativa por seu potencial de aprimorar sistemas de controle intuitivos e dispositivos auxiliares. A eletromiografia de superfície (EMGs) combinada com algoritmos de aprendizado profundo está emergindo como uma abordagem altamente promissora para capturar e interpretar esses gestos devido à sua capacidade de detectar a atividade elétrica dos músculos associados aos movimentos das mãos 7,8,9,10,11,12,13,14,15.

No entanto, apesar desses avanços, as abordagens atuais enfrentam limitações em aplicações do mundo real. A maioria dos sistemas existentes requer configurações de gravação complexas e complicadas com vários eletrodos 5,7,9,16,17 e posicionamento preciso ^3,18, que muitas vezes são difíceis de implementar fora de ambientes controlados. Além disso, esses sistemas tendem a se concentrar em posições estáticas das mãos 13,18,19,20,21, limitando sua capacidade de interpretar gestos dinâmicos e fluidos que ocorrem nas atividades diárias. O protocolo visa resolver essas limitações, apoiando o reconhecimento dinâmico de gestos em condições mais naturais. Essa metodologia permitiria aplicações mais práticas e fáceis de usar em áreas como próteses e reabilitação, onde a interpretação de gestos naturais em tempo real é essencial.

Para enfrentar esses desafios, o desenvolvimento de algoritmos mais precisos e adaptáveis requer conjuntos de dados que reflitam as condições naturais do dia^{a dia 3,4}. Esses conjuntos de dados devem capturar uma ampla gama de movimentos dinâmicos, várias posições das mãos e grandes volumes de dados para garantir a robustez do modelo. Além disso, a variabilidade entre os conjuntos de dados de treinamento e teste é crucial, permitindo que os modelos generalizem diferentes posturas das mãos, padrões de ativação muscular e movimentos. A incorporação dessa diversidade nos dados permitirá que os algoritmos realizem o reconhecimento de gestos com mais precisão em aplicações cotidianas do mundo real²².

Superar esses desafios será essencial para o desenvolvimento futuro de sistemas de reconhecimento de gestos mais práticos e amplamente aplicáveis. O estudo e o protocolo descritos aqui decorrem da necessidade de ter uma configuração portátil e fácil de usar que possa capturar movimentos dinâmicos das mãos em ambientes naturais. Conjuntos de dados abrangentes e algoritmos avançados são essenciais para desbloquear totalmente o potencial da EMG e do aprendizado profundo em interfaces humano-computador, neuropróteses e tecnologias de reabilitação. Esperamos que este protocolo contribua para o campo, facilitando a coleta abrangente de dados para permitir ainda mais o desenvolvimento de modelos de algoritmos que generalizam em diversas posições das mãos.

Um desafio significativo no reconhecimento de gestos reside na sensibilidade dos sinais sEMG ao posicionamento das mãos. Embora muitos estudos se concentrem em posições fixas das mãos para previsão de gestos, as aplicações do mundo real exigem modelos capazes de reconhecer os movimentos dos dedos em várias posturas das mãos. Abordagens recentes abordaram isso incorporando a visão computacional como referência de verdade, aumentando a precisão e a flexibilidade desses modelos^15,19. Além disso, modelos híbridos que integram sinais sEMG com dados visuais oferecem melhorias adicionais na precisão do reconhecimento em diversos cenários²³.

Neste protocolo, apresentamos uma abordagem sincronizada para a coleta de dados que aprimora o reconhecimento dinâmico de gestos, incorporando dados de EMG e rastreamento manual em condições semelhantes às do mundo real. Ao contrário dos métodos tradicionais que restringem o desempenho do gesto a posições estáticas, este protocolo inclui gestos realizados em quatro posições distintas: mão para baixo, mão para cima, mão reta e mão em movimento. A câmera de rastreamento de mão rastreia os movimentos das mãos dentro de uma zona interativa tridimensional, identificando elementos distintos da mão e capturando movimentos dinâmicos com alta resolução. Um conjunto de eletrodos macios de 16 eletrodos colocados no antebraço para registrar a atividade muscular oferece gravações estáveis e sem fio sem impedir a mobilidade do participante. Os dados sincronizados dessas duas fontes fornecem uma base abrangente para o desenvolvimento de algoritmos avançados de reconhecimento de gestos capazes de operar em condições do mundo real. A abordagem aborda especificamente as limitações das configurações atuais, facilitando a livre circulação e a gravação estável do sinal em cenários realistas. Esse avanço oferece suporte a tecnologias de reconhecimento de gestos para aplicações em próteses, reabilitação e tecnologias interativas, onde o controle intuitivo e a flexibilidade são essenciais.

Protocol

Participantes saudáveis (n = 18, com idades entre 18 e 32 anos, homens e mulheres) foram recrutados para este estudo, que foi aprovado pelo Conselho de Revisão de Ética da Universidade de Tel Aviv (Aprovação nº 0004877-3). O protocolo segue as diretrizes do conselho para pesquisas envolvendo participantes humanos. O consentimento informado foi obtido de todos os participantes de acordo com os requisitos institucionais.

1. Briefing do experimentador

1. Peça aos participantes que realizem uma série de 14 gestos distintos com os dedos (veja a Figura 1) e repitam cada gesto 7x em uma sequência aleatória. Peça-lhes que mantenham cada gesto com firmeza por 5 segundos, seguido de um período de descanso de 3 segundos. A duração total de cada sessão é de 13:04 min.
2. Uma imagem grande do gesto exibida na tela do computador é acompanhada por um cronômetro de contagem regressiva para indicar o desempenho do gesto. Durante o período de descanso, peça ao participante que olhe para a pequena imagem do próximo gesto mostrado, juntamente com um cronômetro indicando o tempo restante de descanso. Dois bipes distintos sinalizam o início e o fim de cada gesto, ajudando os participantes a se prepararem para o próximo gesto.
3. Peça a cada participante que execute o procedimento em quatro posições diferentes, semelhantes às apresentadas anteriormente²²:
   Posição 1: Participante em pé. Mão para baixo, reta e relaxada.
   Posição 2: Participante sentado na poltrona. Mão estendida para a frente a 90°, palma da mão relaxada (um dispositivo de suporte pode ser usado).
   Posição 3: Mão dobrada para cima (com o cotovelo apoiado na poltrona), palma da mão relaxada.
   Posição 4: O participante escolhe uma das posições anteriores e pode mover a mão livremente dentro do alcance de detecção da câmera, monitorada em tempo real na tela do PC (consulte a etapa 1.4 para obter mais detalhes).
4. Para cada sessão, faça com que o participante use um dispositivo de eletromiografia no braço e posicione uma câmera de rastreamento manual em direção a ele. Peça aos participantes que garantam que as palmas das mãos estejam sempre voltadas para a câmera. O software de rastreamento de mãos é exibido em uma tela separada para que tanto o participante quanto o condutor possam verificar se a mão é reconhecida corretamente.
5. Para cada posição, ajuste a posição e o ângulo da câmera de rastreamento manual para garantir o reconhecimento preciso das mãos. Além disso, avalie a qualidade dos sinais dos eletrodos usando o script do espectrograma.

Figura 1: Representação esquemática do processo de coleta de dados. O sujeito é equipado com um feixe de eletrodos macios colocado no antebraço (3), que captura sinais de eletromiografia de superfície de alta resolução (sEMG) durante a execução do gesto. O sujeito executa 14 gestos diferentes com os dedos apresentados em ordem aleatória em uma tela de computador (4). Os dados EMG são transmitidos sem fio para um computador pessoal (PC) a partir da unidade de aquisição de dados (DAU; 1). Simultaneamente, os dados cinemáticos da mão (HKD) que representam os ângulos das articulações dos dedos são capturados usando uma câmera de rastreamento manual (2). Clique aqui para ver uma versão maior desta figura.

2. Configuração das unidades de aquisição de dados

1. Abra o repositório do Github em https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git e siga as instruções detalhadas na seção Instalação. Localize o arquivo Python primário data_collection.py na pasta finger_pose_estimation/data_acquisition. Use isso para executar o experimento, use o script spectrogram.py para avaliar a qualidade do sinal EMG antes do início do experimento e o script data_analysis.py para filtragem e segmentação de sinal.
2. Certifique-se de que a Unidade de Aquisição de Dados (DAU) EMG esteja totalmente carregada antes de cada sessão e ligue-a.
3. Conecte o DAU ao PC através de Bluetooth usando o aplicativo dedicado. Defina a taxa de comunicação Bluetooth para 500 samples por segundo (S/s).
4. Instale e abra o software da câmera de rastreamento manual no PC. Conecte a câmera de rastreamento manual ao PC usando um cabo.
5. Use uma tela para sempre exibir o software da câmera de rastreamento manual. Dessa forma, o maestro e o participante poderão garantir que a câmera reconheça a mão corretamente durante o experimento.

3. Preparação dos participantes

1. Introdução e consentimento
   1. Explique brevemente a relevância do estudo e o procedimento experimental ao participante. Obtenha o consentimento informado seguindo as diretrizes institucionais para pesquisas envolvendo seres humanos.
2. Colocação do eletrodo
   1. Instrua o participante a flexionar a mão direita formando um punho forte. Enquanto o participante flexiona, palpe o antebraço pressionando suavemente ao longo do músculo para identificar o local onde a ativação muscular é mais proeminente. Este local é facilmente identificável sentindo a área onde o músculo incha durante a contração.
   2. Opcional: Prepare a área da pele identificada limpando com um pano sem fibra de álcool, gel de preparação ou água e sabão. Deixe a área secar ao ar. Evite a limpeza excessiva com álcool, pois pode ressecar a pele. Esta etapa é opcional; Veja a seção de discussão.
   3. Retire a camada protetora branca do feixe de eletrodos EMG e prenda cuidadosamente os eletrodos à área do antebraço identificada, conforme determinado na etapa 3.2.1. (veja a Figura 1). Certifique-se de que a fita adesiva esteja mais próxima da palma da mão. Prenda o feixe de eletrodos à pele batendo suavemente.
   4. Uma vez que o feixe de eletrodos esteja preso à pele, retire a camada de suporte transparente.
   5. Insira a placa do conector do conjunto de eletrodos no soquete do conector da DAU. Prenda o DAU à fita adesiva ao lado dos eletrodos.
   6. Execute Spectrogram.py de script de espectrograma Python personalizado para verificar a qualidade do sinal em tempo real. Uma janela aparecerá exibindo dados brutos (à esquerda) e domínio da frequência (à direita) para todos os eletrodos (consulte a Figura Suplementar 1 para referência).
      1. Verifique se todos os eletrodos foram detectados e funcionam corretamente e se o sinal está limpo de ruído excessivo e ruído de 50 Hz.
      2. Se necessário, reduza o ruído de 50 Hz afastando-se de dispositivos eletrônicos que possam causar interferência e desconectando dispositivos desnecessários da energia. Dê tempo para que o sinal se estabilize.
      3. Verifique a captura do sinal EMG: instrua o participante a colocar um cotovelo na poltrona e mover os dedos, depois relaxe. Certifique-se de que um sinal EMG claro seja exibido seguido por ruído estático de linha de base.
      4. Feche o script assim que a verificação do sinal for concluída.
3. Revisão da posição do gesto e da mão
   1. Abra a pasta Imagens clicando em Finger_pose_estimation > Data_acquisition. Revise as imagens dos gestos com os participantes.
   2. Certifique-se de que eles entendam cada movimento e possam executá-los com precisão. Explique claramente as posições das quatro mãos ao participante.
   3. Instrua o participante sobre como segurar a mão antes de cada sessão, garantindo postura e posicionamento adequados.
4. Posicionamento do participante e da câmera
   1. Para a posição 1 da mão, instrua o participante a ficar em pé a cerca de 1 m de distância da mesa. Instrua o participante a segurar a mão direita para baixo, reta e relaxada, com a palma voltada para a câmera de rastreamento de mão. Fixe a câmera de rastreamento manual na mesa com um bastão de selfie e direcione-a para a mão do participante.
   2. Para a posição da mão 2, instrua o participante a sentar-se confortavelmente em uma poltrona posicionada a 40-70 cm dos monitores. Instrua o participante a estender a mão direita para a frente a 90° com a palma da mão relaxada voltada para a câmera de rastreamento manual. Use um dispositivo de suporte, se necessário, para manter a mão estável. Coloque a câmera de rastreamento manual na mesa voltada para cima.
      NOTA: Como o participante é solicitado a permanecer em uma postura fixa, é importante encontrar uma posição confortável que ele possa manter durante toda a sessão.
   3. Para a posição da mão 3, instrua o participante a sentar-se conforme descrito no passo 3.4.2. Instrua o participante a dobrar a mão para cima enquanto descansa o cotovelo na poltrona. A palma da mão deve estar relaxada e o participante deve ficar de frente para a câmera de rastreamento manual. Fixe a câmera de rastreamento manual na mesa de frente para a mão do participante (use um bastão de selfie, se necessário). Certifique-se de que a posição do participante seja ideal para visualizar as telas e estar dentro do campo de visão da câmera.
   4. Monitore continuamente a tela exibindo dados de rastreamento manual para garantir que a câmera detecte a mão e os dedos durante o experimento. Opcional: verifique a qualidade do sinal EMG (etapa 3.2.6.) em cada posição da mão antes de iniciar o experimento.

4. Coleta de dados

1. Executando o experimento
   1. Abra o Python e carregue data_collection.py. Verifique se os parâmetros num_repetition, gesture_duration rest_duration estão definidos conforme desejado.
      1. num_repetition: Defina o número de vezes que cada imagem de gesto é mostrada. Para este experimento, defina-o como 7, o que significa que cada imagem é mostrada 7 vezes. gesture_duration: Especifique a duração (em s) durante a qual o participante executa o gesto com a mão. Para este experimento, defina-o como 5 s, determinando por quanto tempo cada imagem de gesto é exibida. Rest_duration: Especifique a duração (em s) pela qual o participante relaxa a palma da mão entre os gestos. Para este experimento, defina-o como 3 s.
   2. Ajuste a posição e o ângulo da câmera de rastreamento manual para a posição da mão do participante.
   3. Execute o script data_collection.py. Uma janela aparecerá para inserir os detalhes do participante (número de série, idade, sexo, número da sessão e posição da mão). Preencha essas informações e pressione OK para iniciar o experimento automaticamente.
2. Recolha de dados
   1. Para cada sessão, registre os dados de EMG e rastreamento manual que são salvos automaticamente. Repita o experimento 4x para cada participante, uma vez por posição da mão.

5. Fim do experimento e tratamento de dados pós-experimento

1. À medida que o experimento é concluído, os dados são salvos automaticamente. Certifique-se de que os dados sejam salvos em uma pasta rotulada com o número de série do participante. Cada sessão é armazenada em uma subpasta chamada S# (por exemplo, S1), com quatro subpastas para cada posição da mão P# (P1, P2, P3 e P4). O tamanho da pasta para uma única sessão é de aproximadamente 160 MB.
2. Se um participante concluir várias sessões, certifique-se de que todos os dados sejam salvos na pasta de sessão correspondente (por exemplo, S1, S2).
3. Arquivos de dados
   Certifique-se de que cada pasta de posição da mão (P#) contenha os seguintes arquivos: Dados EMG salvos em um arquivo EDF, nomeados da seguinte forma: fpe_pos{número da posição}_{número do assunto}_S{número da sessão}_rep0_BT; dados de rastreamento manual salvos em um arquivo CSV, chamado fpe_pos{número da posição}_{número do assunto}_S{número da sessão}_rep0_BT_full; e um arquivo de log, log.txt, contendo metadados sobre a sessão.
4. Processamento de dados
   NOTA: Um usuário pode escolher como proceder com a análise de sinal e quais ferramentas usar. Aqui, fornecemos um script para realizar filtragem de sinal e segmentação de dados em Python. Ao usar o Python, certifique-se de que todas as dependências (por exemplo, Numpy, Pandas, SciPy, MNE, Sklearn) estejam instaladas.
   1. Abra o Python, carregue data_analysis.py e execute o script.
   2. A solicitação aparecerá no console para fornecer os parâmetros necessários para o processamento de dados: caminho para o arquivo EMG, caminho para os dados cinemáticos da mão, caminho onde os dados processados serão salvos, taxa de amostragem em Hz, duração da janela em ms e intervalo de passada em ms.
   3. Após essa etapa, o script executará o processamento de dados.
   4. Filtragem de sinal EMG: Execute o script como acima. O script primeiro filtra o sinal sEMG aplicando um filtro passa-alta Butterworth de 4ª ordem com um corte de 20 Hz para remover sinais não EMG e, em seguida, um filtro de entalhe para remover harmônicos de 50 Hz e 100 Hz. Além disso, o script aplica a normalização do sinal EMG.
   5. EMG, dados HKD e segmentação de gestos instruídos: execute o script como acima. O script aplica segmentação, utilizando uma técnica de janela de rolagem definida pela duração da janela especificada e pelo intervalo de passada. Neste experimento, defina-os como 512 e 2 ms, respectivamente. O script então transforma a organização do canal sEMG em uma configuração de grade espacial 4 x 4, mantendo o layout do conjunto de eletrodos. Por fim, o script gera um dicionário contendo metadados como um arquivo pickle.
   6. Etapas de limpeza e validação de dados
      1. Identifique e exclua segmentos que contenham artefatos, ruído ou rótulos de gestos inconsistentes do conjunto de dados.
      2. Garanta a integridade do segmento e a continuidade temporal entre as janelas para manter a confiabilidade dos dados.
      3. Verifique os dados de gestos em relação ao HKD para obter consistência. Remova as janelas que exibem padrões de gestos que se desviam dos padrões de sessão HKD.
      4. Detecte e descarte segmentos discrepantes que não estejam em conformidade com os padrões cinemáticos esperados para a sessão.
      5. Realize análises de dados adicionais usando algoritmos avançados. Estes não estão previstos no protocolo atual.

Results

O conjunto de dados consiste em dois componentes sincronizados com o tempo: um conjunto de dados EMG de 16 canais e dados de um sistema de câmera de rastreamento manual. Os dados EMG de 16 canais capturam a atividade muscular registrando sinais elétricos de diferentes músculos ao longo do tempo. O sistema de rastreamento de mãos fornece 16 canais de dados correspondentes a pontos-chave em um modelo esquelético da mão. Enquanto o modelo tem 21 pontos, excluindo o pulso, esse número foi reduzido para 16 devido a restrições de movimento²⁴. Os dados EMG e visuais foram coletados executando dois processos separados no mesmo computador durante a gravação para estabelecer a sincronia. Um carimbo de data/hora foi usado para marcar o início de cada processo, permitindo que o código de análise de dados alinhasse os dados de atividade muscular e movimento da mão no final da gravação. As anotações de carimbo de data/hora foram salvas automaticamente em arquivos EDF e CSV, marcando a hora exata em que gestos específicos com os dedos foram instruídos e facilitando o alinhamento durante a análise dos dados. O sinal EMG filtrado (filtro passa-alto Butterworth de 4ª ordem de 20 Hz) é caracterizado por uma linha de base baixa (áreas sombreadas em cinza), que normalmente fica na faixa de 3-9 μV²⁵. Essa linha de base é observada quando a mão do sujeito está parada e os músculos estão em repouso. No entanto, se o tônus muscular estiver presente mesmo na posição de repouso, um sinal EMG distinto pode ser detectado. Artefatos mecânicos causados pelo movimento geralmente se manifestam na faixa de 10-20 Hz e devem ser filtrados de acordo. Valores basais significativamente elevados podem indicar interferência de linha de 50 Hz e devem ser evitados durante o estágio de configuração experimental. Nos casos em que o ruído moderado de 50 Hz persiste; Um filtro de entalhe é aplicado. Artefatos de movimento nítidos, que são mais difíceis de remover, geralmente aparecem como picos pronunciados de alta amplitude no sinal (veja o asterisco na Figura 2A). A amplitude do sinal EMG através do arranjo de 16 eletrodos varia, refletindo a distribuição espacial da atividade muscular na região medida. Essa variação fornece informações valiosas sobre a heterogeneidade da contração muscular durante os gestos com as mãos.

A câmera de rastreamento manual fornece informações diretas dos ângulos dos dedos (dados cinemáticos da mão, HKD), que devem se correlacionar estreitamente com os sinais EMG registrados. Durante os gestos, os dedos se inclinam na faixa normal²⁶, dependendo do gesto específico. Quando o caminho visual entre a câmera de rastreamento manual e a mão está desobstruído, o sinal resultante é estável e preciso, conforme demonstrado na Figura 2. No entanto, nos casos em que o contato visual é perdido ou quando o sistema apresenta limitações técnicas, o HKD pode se tornar errático, exibindo saltos entre valores incorretos. Esses dados discrepantes devem ser minimizados durante a coleta de dados e descartados na análise final para manter a integridade dos resultados.

O HKD é intuitivo e fornece uma comparação direta com os gestos reais realizados. Ele exibe baixa variabilidade entre os sujeitos e em diferentes posições das mãos. Em contraste, os dados EMG tendem a variar significativamente entre os indivíduos devido a diferenças anatômicas, como tamanho da mão e desenvolvimento muscular²⁷. Além disso, a variabilidade pode ser observada entre as mãos dominantes e não dominantes. Essa variabilidade específica do assunto pode ser abordada durante a análise off-line.

Na Figura 2, é evidente que tanto o EMG quanto o HKD são deslocados em relação ao gatilho de gesto instruído. Essa discrepância surge devido ao tempo de resposta e à execução natural do movimento²⁸. Nas tarefas de regressão, essa variabilidade pode contribuir para a riqueza dos dados, enquanto nas tarefas de classificação, ela pode ser gerenciada usando uma abordagem de razão de verossimilhança generalizada, aplicada em cenários semelhantes²⁸.

Figura 2: EMG e HKD representativos durante a abdução do dedo. Sinais de eletromiografia de superfície (sEMG) e dados cinemáticos da mão (HKD) registrados durante a abdução dinâmica do dedo e o repouso realizados durante a posição 1 da mão (mão para baixo, reta e relaxada) por um único participante. (A) Sinais EMG filtrados de 16 canais em função do tempo. Asterisco (*) denota um artefato mecânico detectado na gravação EMG do Canal 5. (B) HKD, mostrando os ângulos das juntas em função do tempo. Os ângulos articulares são medidos em várias articulações: trapézio-metacarpo (TMC), metacarpofalângico (MCP) e interfalangeano proximal (PIP). As fases do experimento (repouso e abdução) são indicadas ao longo do eixo x. Clique aqui para ver uma versão maior desta figura.

Esses resultados representativos demonstraram a utilidade dos dados sincronizados de EMG e HKD na captura de gestos com as mãos. O alinhamento dos sinais EMG com o HKD correspondente permite mapear a atividade muscular para movimentos específicos dos dedos. Ao construir um modelo preditivo, os pesquisadores podem usar o HKD como verdade, verificando e refinando iterativamente as previsões de gestos baseadas em EMG. Essa abordagem destaca a aplicabilidade prática do protocolo e sugere a necessidade de mais pesquisas em ambientes mais naturais.

Figura suplementar 1: Janelas de espectrograma exibidas durante a etapa de verificação do sinal. Os painéis esquerdos mostram dados brutos de EMG, enquanto os painéis direitos mostram os domínios de frequência detectados. (A) Exemplo de um sinal EMG muito ruidoso com forte interferência de 50 Hz e 100 Hz. (B) Exemplo da mesma gravação de sinal EMG após afastar o participante de dispositivos elétricos, resultando em um sinal EMG limpo com interferência mínima. Clique aqui para baixar este arquivo.

Discussion

O protocolo apresentado neste estudo descreve etapas críticas, modificações e estratégias de solução de problemas destinadas a melhorar o reconhecimento de gestos manuais por meio da combinação de sinais sEMG e HKD. Ele aborda as principais limitações e compara essa abordagem com as alternativas existentes, destacando suas aplicações potenciais em vários domínios de pesquisa. Um dos aspectos mais importantes do protocolo é garantir o posicionamento e alinhamento corretos da câmera de rastreamento manual. A captura precisa de gestos é altamente dependente do ângulo e da distância da câmera em relação à mão do participante. Mesmo pequenos desvios no posicionamento da câmera podem levar a imprecisões de rastreamento, reduzindo a fidelidade dos dados do gesto. Esse alinhamento deve ser cuidadosamente ajustado para cada participante e posição da mão para garantir uma coleta de dados consistente e confiável. Além disso, é crucial que os participantes estejam bem familiarizados com o protocolo para evitar dados inúteis - onde os gestos são executados incorretamente ou desalinhados com o fluxo experimental. Garantir que os participantes estejam confortáveis e familiarizados com os gestos e a configuração experimental pode minimizar o ruído de dados e melhorar a qualidade das gravações.

Um desafio comum neste tipo de estudo é a contaminação por ruído em sEMG e HKD. Os sinais sEMG são particularmente sensíveis a fatores como fadiga muscular, artefatos de movimento e ruído ambiental, como interferência eletromagnética. Técnicas de pré-processamento, como filtragem passa-banda, são essenciais para reduzir o ruído e melhorar a clareza do sinal. A colocação adequada do eletrodo e a instrução dos participantes a manter os músculos relaxados durante as fases de repouso podem mitigar ainda mais os artefatos de movimento. Apesar dessas precauções, alguma variabilidade nos sinais de EMGs é inevitável devido a diferenças individuais na anatomia, força da mão e padrões de ativação muscular. Essa variabilidade pode ser abordada por meio de algoritmos flexíveis capazes de normalizar essas diferenças entre sujeitos e condições.

Um fator chave na obtenção de sinais sEMG de alta qualidade é a verificação inicial do sinal. Os protocolos tradicionais que usam eletrodos de gel requerem preparação da pele, como esfoliação ou limpeza com álcool, para melhorar a clareza do sinal. No entanto, em um estudo anterior, mostramos que, com eletrodos secos, o preparo da pele pode não afetar significativamente a qualidade do sinal²⁵. Neste protocolo, a limpeza da pele é opcional e, portanto, simplifica o processo. Outro problema relacionado à pele que afeta a qualidade do sinal são os pelos excessivos e grossos dos braços. Nesses casos, sugerimos raspar a área ou excluir o sujeito do estudo.

Um dos desafios críticos no uso do sEMG para reconhecimento de gestos é sua sensibilidade ao posicionamento das mãos. Mesmo ao realizar o mesmo gesto, variações na orientação da mão podem levar a diferentes padrões de sinal EMG. Para resolver esse problema, modelos de aprendizado de máquina que podem acomodar a variabilidade nas posições das mãos são essenciais²². Esses modelos devem ser treinados com dados de várias posturas das mãos para melhorar a robustez e a generalização. A sincronização de dados visuais e sEMG é outra consideração importante. O tempo consistente dos gestos é fundamental para evitar discrepâncias entre a execução do gesto e a gravação de dados. Este protocolo usa contagens regressivas visuais e dicas auditivas para ajudar a garantir que o tempo preciso e as etapas de recalibração sejam empregadas quando necessário para corrigir qualquer desalinhamento durante a coleta de dados.

Apesar de seus pontos fortes, este protocolo tem várias limitações. Uma grande restrição é o campo de visão limitado da câmera de rastreamento manual, que exige que as mãos do participante permaneçam dentro do alcance de detecção da câmera. Isso restringe a análise a um pequeno conjunto de movimentos. Para experimentos fora do laboratório, será necessária uma imagem de vídeo mais complexa ou o uso de luvas inteligentes. A fadiga do participante também representa um desafio durante sessões mais longas, afetando potencialmente a precisão do gesto e a ativação muscular, o que pode degradar a qualidade dos dados de EMGs. Para mitigar esses efeitos, pode ser necessário limitar a duração da sessão ou introduzir pausas para minimizar a fadiga. Além disso, a interferência da linha de energia pode introduzir ruído nos sinais sEMG, principalmente quando os participantes estão próximos ao PC para captura de dados. Uma versão sem fio do sistema poderia reduzir essa interferência, permitindo que os participantes ficassem mais distantes do computador.

Uma limitação metodológica significativa da detecção de gestos com os dedos baseada em EMG decorre da alta variabilidade inter-sujeito nos sinais sEMG, o que requer o desenvolvimento de modelos personalizados para cada participante. Essa abordagem específica do assunto, embora mais precisa, limita a escalabilidade do protocolo e requer calibração adicional e tempo de treinamento para cada novo usuário. Os fluxos de dados EMG e HKD mostram pequenas diferenças de sincronização temporal devido à gravação de processo duplo. Essas discrepâncias de tempo têm um impacto mínimo na análise de gestos estáticos, pois as poses mantidas são temporariamente estáveis. A natureza sustentada dos gestos estáticos fornece tempo adequado para que os recursos EMG e cinemáticos se estabilizem, ao contrário dos gestos dinâmicos, que requerem uma sincronização mais precisa.

Uma das principais vantagens desse método é sua flexibilidade na captura de gestos. Ao contrário de outros sistemas que requerem configurações rígidas e parâmetros de gestos rígidos, este protocolo acomoda posições dinâmicas e flexíveis das mãos¹⁹. Essa flexibilidade é especialmente útil em estudos destinados a analisar uma ampla gama de movimentos, tornando-a mais adaptável a aplicações do mundo real. Além disso, esse protocolo é econômico em comparação com sistemas mais avançados de captura de movimento e sEMG, que geralmente envolvem configurações complexas²⁹. Ao integrar uma câmera de rastreamento manual com algoritmos sEMG semiautomatizados, esse método fornece uma alternativa viável para estudos de reconhecimento de gestos sem comprometer a qualidade dos dados. Além disso, o potencial do sistema para processamento de dados em tempo real abre possibilidades de feedback imediato em aplicações como neuropróteses e reabilitação, onde a capacidade de resposta em tempo real é essencial. Este protocolo tem implicações significativas para vários campos, particularmente neuropróteses. A previsão precisa de gestos manuais a partir de sinais sEMG é crucial para controlar membros protéticos, e a flexibilidade no posicionamento das mãos oferecida por esse método o torna um candidato ideal para dispositivos protéticos em tempo real. Na reabilitação, esse protocolo pode ser empregado para monitorar e melhorar a recuperação motora em pacientes com deficiências nas mãos ou nos dedos. Ao analisar os padrões de ativação muscular durante a execução do gesto, esse sistema pode ser usado para adaptar os exercícios de reabilitação às necessidades individuais, oferecendo uma abordagem personalizada para a recuperação motora. Para interação humano-computador (HCI), esse método permite sistemas de controle baseados em gestos mais naturais, melhorando a intuitividade e a eficácia das interfaces do usuário. Por fim, o protocolo pode ser aplicado a estudos ergonômicos para avaliar como diferentes posições e gestos das mãos influenciam a atividade muscular e a fadiga, potencialmente levando a avanços no design do local de trabalho e na ergonomia do usuário.

Para garantir uma força de contração consistente entre os participantes, estudos futuros podem implementar uma luva com resistores sensíveis à força para medir a força diretamente. Isso permitiria um esforço padronizado entre os sujeitos, melhorando a confiabilidade dos dados EMG. Além disso, integrar essa medição de força como um rótulo na cinemática articular forneceria uma representação mais detalhada do estado interno do músculo, potencialmente enriquecendo a análise da função muscular e dos padrões de movimento. Essa abordagem não apenas aumentaria a consistência dos dados, mas também ofereceria insights mais profundos sobre a relação entre a contração muscular e o movimento articular.

Em conclusão, este protocolo fornece uma abordagem nova e flexível para o reconhecimento de gestos manuais com amplas aplicações em neuropróteses, reabilitação, HCI e ergonomia. Embora o sistema tenha limitações, sua flexibilidade, custo-benefício e potencial de uso em tempo real representam avanços substanciais em relação aos métodos existentes. Esses pontos fortes o tornam uma ferramenta promissora para maior desenvolvimento e inovação em tecnologias de reconhecimento de gestos.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Bastão			Usado para posicionar e inclinar a câmera de rastreamento manual na orientação desejada para captura de dados ideal durante o experimento.
Compressa			Para limpar a área para colocação do eletrodo.
Unidade de aquisição de dados (DAU)	X-trodes Ltd.	XTR-BT V1.3	DAU compatível em tempo real 2.0.17 ou 4.0.1
		gestos com os dedos	https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	Câmera
		Cabo longo Type-C para Type-C	Conexão da câmera de rastreamento manual ao PC.
Monitores de			Um para diretrizes, um para visualizar os dados da câmera de rastreamento manual
Computador Pessoal (PC)	Windows		Windows 10+; Processadores: Processador Inteli7. Receptor BT.
Código			Um script que permite streaming de dados contínuo e gravação de até 500 S/s quando o DAU está conectado ao PC via Bluetooth
Ultraleap Camera Python API	Ultraleap		Python API e instruções do Ultraleap' s Repositório GitHub (https://github.com/ultraleap/leapc-python-bindings) usado para coletar dados da unidade Ultraleap durante o experimento
Ultraleap Hyperion	Ultraleap		Tracking software
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	patch de matriz de eletrodo seco vestível de 16 canais para monitoramento de EMG, ECG
X-trodes PC App	X-trodes Ltd.	1.1.35.0	Um aplicativo para conectar X-trodes DAU ao PC via BT