Capturando gestos dinâmicos com os dedos com eletromiografia de superfície de alta resolução e visão computacional

Nossa pesquisa se concentra em melhorar o reconhecimento dinâmico de gestos manuais usando EMG sincronizado e dados visuais. Nosso objetivo é determinar com que precisão a atividade muscular é mapeada para o gesto do dedo em diferentes posições das mãos e como isso pode melhorar a aplicação na reabilitação protética e na interação humano-computador. Nosso protocolo aborda a lacuna no reconhecimento do gesto da mão, permitindo o mapeamento da atividade muscular para o gesto do dedo em várias posições dinâmicas da mão.

Nossa abordagem coleta e sincroniza DMG e dados visuais durante movimentos dinâmicos, estabelecendo as bases para o desenvolvimento de modelos robustos de reconhecimento de gestos. Ao contrário dos métodos tradicionais com configurações estáticas, nosso protocolo usa um EMGRA sem fio e o sistema de rastreamento de mãos durante movimentos dinâmicos, garantindo flexibilidade e coleta de dados mais realista para estudos de reconhecimento de gestos. Para começar, abra o repositório GitHub e siga as instruções detalhadas na seção de instalação.

Localize o arquivo Python primário data_collection. py, na pasta e prepará-lo para executar o experimento. Use o espectrograma de script.

py para avaliar a eletromiografia, em suma, a qualidade do sinal EMG, e o script de análise de dados para filtragem e segmentação de sinais. Certifique-se de que a unidade de aquisição de dados EMG, em suma, DAU, esteja totalmente carregada antes de cada sessão. Em seguida, ligue o DAU.

Conecte o DAU ao PC através de Bluetooth usando o aplicativo dedicado. Defina a taxa de comunicação Bluetooth para 500 samples por segundo. Instale e abra o software da câmera de rastreamento manual no PC. Conecte a câmera de rastreamento manual ao PC usando um cabo.

Use uma tela para sempre exibir o software da câmera de rastreamento manual. Para começar, instrua o participante a flexionar a mão direita em um punho forte. À medida que o participante flexiona, pressione suavemente ao longo do antebraço para palpar o músculo e identificar o ponto com a ativação mais proeminente.

Retire a camada protetora branca do feixe de eletrodos EMG e prenda cuidadosamente os eletrodos na área identificada do antebraço. Coloque a fita adesiva perto da palma da mão e bata suavemente para prender o feixe de eletrodos à pele. Uma vez que o feixe de eletrodos esteja preso à pele, retire a camada de suporte transparente.

Em seguida, insira a placa do conector do conjunto de eletrodos no soquete do conector DAU. Prenda o DAU à fita adesiva ao lado dos eletrodos. Execute o script de espectrograma Python personalizado para verificar a qualidade do sinal em tempo real.

Observe a janela exibida mostrando dados brutos à esquerda e dados no domínio da frequência à direita para todos os eletrodos. Verifique se todos os eletrodos estão detectados e funcionando corretamente e se o sinal está limpo de ruído excessivo e ruído de 50 hertz. Se necessário, desconecte os dispositivos de equipamentos desnecessários da energia e afaste-se dos dispositivos eletrônicos para reduzir o ruído, dando tempo para que o sinal se estabilize.

Em seguida, instrua o participante a colocar um cotovelo na poltrona e mover os dedos, depois peça para relaxar. Certifique-se de que um sinal EMG claro seja exibido, seguido por ruído estático de linha de base. Feche o script assim que a verificação do sinal for concluída.

Para revisar a posição, clique na estimativa da pose do dedo seguida da aquisição de dados para abrir a pasta de imagens. Revise as imagens dos gestos com o participante. Explique claramente as posições do forehand para o participante.

Instrua-os sobre como segurar a mão antes de cada sessão, garantindo postura e posicionamento adequados. Para a posição da mão um, peça ao participante que fique em pé, a aproximadamente um metro de distância da mesa. Em seguida, instrua o participante a manter a mão direita para baixo, reta e relaxada, com a palma voltada para a câmera de rastreamento de mão.

Fixe a câmera de rastreamento de mão na mesa usando um bastão de selfie e direcione-a para a mão do participante. Certifique-se de que o participante faça gestos firmes no início do som do bipe, seguidos pela palma da mão relaxada durante o período de descanso. Para a posição da mão dois, instrua o participante a sentar-se confortavelmente em uma poltrona, posicionada a 40 a 70 centímetros dos monitores.

Em seguida, peça ao participante que estenda a mão direita para a frente em um ângulo de 90 graus com a palma da mão relaxada e voltada para a câmera de rastreamento de mão. Use um dispositivo de suporte, se necessário, para manter a mão estável. Coloque a câmera de rastreamento manual na mesa voltada para cima.

Certifique-se de que o participante faça gestos firmes no início do som do bipe, seguidos pela palma da mão relaxada durante o período de descanso. Para a posição três da mão, peça ao participante que dobre a mão para cima enquanto descansa o cotovelo na poltrona. Certifique-se de que a palma da mão esteja relaxada e voltada para a câmera de rastreamento de mão.

Fixe a câmera de rastreamento de mão na mesa de frente para a mão do participante. Certifique-se de que a posição do participante seja ideal para visualizar as telas e estar dentro do campo de visão da câmera. Certifique-se de que o participante faça gestos firmes no início do som do bipe, seguidos pela palma da mão relaxada durante o período de descanso.

Para a posição quatro da mão, peça ao participante para realizar os gestos dos dedos enquanto move a mão livremente, escolhendo a posição dinâmica da mão um, a posição dinâmica da mão dois ou a posição dinâmica da mão três. Ligue o computador, abra o Python e carregue o script data_collection.py. Ajuste a posição e o ângulo da câmera de rastreamento manual para alinhar com a posição da mão do participante.

Execute o data_collection. py. Uma janela aparecerá para inserir os detalhes do participante.

Preencha as informações necessárias e pressione ok para iniciar o experimento automaticamente. Para cada sessão, registre os dados de EMG e rastreamento manual, que são salvos automaticamente. Quando o experimento for concluído, certifique-se de que os dados sejam salvos automaticamente em uma pasta rotulada com o número de série do participante.

Verifique se cada sessão está armazenada em uma subpasta chamada número S, contendo quatro subpastas para cada posição da mão rotulada como número P. Se um participante concluir várias sessões, confirme se todos os dados estão salvos na pasta de sessão correspondente. Certifique-se de que cada pasta de posição da mão contenha os dados EMG salvos em um arquivo EDF, dados de rastreamento manual salvos em um arquivo CSV e um arquivo de log contendo os metadados sobre a sessão.

Os canais EMG exibiram atividade elétrica aumentada durante as fases de abdução em comparação com as fases de repouso, como é evidente em sinais de maior amplitude em todos os canais, com artefatos mecânicos marcados por pontas afiadas. Os dados cinemáticos da mão demonstraram mudanças sincronizadas no ângulo dos dedos correspondentes aos gestos de abdução instruídos, com trajetórias de sinal estáveis durante o rastreamento desobstruído e desvio visível em seções desalinhadas.