Name: Capturando gestos dinâmicos com os dedos com eletromiografia de superfície de alta resolução e visão computacional (Vídeo) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: Aprenda a capturar gestos dinâmicos dos dedos combinando eletromiografia de superfície de alta resolução com visão computacional. Este protocolo sincroniza dados EMG e visuais para desenvolver modelos robustos de reconhecimento de gestos em aplicações de reabilitação.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Participantes saudáveis (n = 18, com idades entre 18 e 32 anos, homens e mulheres) foram recrutados para este estudo, que foi aprovado pelo Conselho de Revisão de Ética da Universidade de Tel Aviv (Aprovação nº 0004877-3). O protocolo segue as diretrizes do conselho para pesquisas envolvendo participantes humanos. O consentimento informado foi obtido de todos os participantes de acordo com os requisitos institucionais.
1. Briefing do experimentador
<ol>
	<li>Peça aos participantes que realizem uma série de 14 gestos distintos com os dedos (veja a Figura 1) e repitam cada gesto 7x em uma sequência aleatória. Peça-lhes que mantenham cada gesto com firmeza por 5 segundos, seguido de um período de descanso de 3 segundos. A duração total de cada sessão é de 13:04 min.</li>
	<li>Uma imagem grande do gesto exibida na tela do computador é acompanhada por um cronômetro de contagem regressiva para indicar o desempenho do gesto. Durante o período de descanso, peça ao participante que olhe para a pequena imagem do próximo gesto mostrado, juntamente com um cronômetro indicando o tempo restante de descanso. Dois bipes distintos sinalizam o início e o fim de cada gesto, ajudando os participantes a se prepararem para o próximo gesto.</li>
	<li>Peça a cada participante que execute o procedimento em quatro posições diferentes, semelhantes às apresentadas anteriormente22: Posição 1: Participante em pé. Mão para baixo, reta e relaxada. Posição 2: Participante sentado na poltrona. Mão estendida para a frente a 90°, palma da mão relaxada (um dispositivo de suporte pode ser usado). Posição 3: Mão dobrada para cima (com o cotovelo apoiado na poltrona), palma da mão relaxada. Posição 4: O participante escolhe uma das posições anteriores e pode mover a mão livremente dentro do alcance de detecção da câmera, monitorada em tempo real na tela do PC (consulte a etapa 1.4 para obter mais detalhes).</li>
	<li>Para cada sessão, faça com que o participante use um dispositivo de eletromiografia no braço e posicione uma câmera de rastreamento manual em direção a ele. Peça aos participantes que garantam que as palmas das mãos estejam sempre voltadas para a câmera. O software de rastreamento de mãos é exibido em uma tela separada para que tanto o participante quanto o condutor possam verificar se a mão é reconhecida corretamente.</li>
	<li>Para cada posição, ajuste a posição e o ângulo da câmera de rastreamento manual para garantir o reconhecimento preciso das mãos. Além disso, avalie a qualidade dos sinais dos eletrodos usando o script do espectrograma.</li>
</ol>
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67766/67766fig01.jpg"> 
Figura 1: Representação esquemática do processo de coleta de dados. O sujeito é equipado com um feixe de eletrodos macios colocado no antebraço (3), que captura sinais de eletromiografia de superfície de alta resolução (sEMG) durante a execução do gesto. O sujeito executa 14 gestos diferentes com os dedos apresentados em ordem aleatória em uma tela de computador (4). Os dados EMG são transmitidos sem fio para um computador pessoal (PC) a partir da unidade de aquisição de dados (DAU; 1). Simultaneamente, os dados cinemáticos da mão (HKD) que representam os ângulos das articulações dos dedos são capturados usando uma câmera de rastreamento manual (2). <a href="https://www.jove.com/files/ftp_upload/67766/67766fig01large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
2. Configuração das unidades de aquisição de dados
<ol>
	<li>Abra o repositório do Github em https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git e siga as instruções detalhadas na seção Instalação. Localize o arquivo Python primário data_collection.py na pasta finger_pose_estimation/data_acquisition. Use isso para executar o experimento, use o script spectrogram.py para avaliar a qualidade do sinal EMG antes do início do experimento e o script data_analysis.py para filtragem e segmentação de sinal.</li>
	<li>Certifique-se de que a Unidade de Aquisição de Dados (DAU) EMG esteja totalmente carregada antes de cada sessão e ligue-a.</li>
	<li>Conecte o DAU ao PC através de Bluetooth usando o aplicativo dedicado. Defina a taxa de comunicação Bluetooth para 500 samples por segundo (S/s).</li>
	<li>Instale e abra o software da câmera de rastreamento manual no PC. Conecte a câmera de rastreamento manual ao PC usando um cabo.</li>
	<li>Use uma tela para sempre exibir o software da câmera de rastreamento manual. Dessa forma, o maestro e o participante poderão garantir que a câmera reconheça a mão corretamente durante o experimento.</li>
</ol>
3. Preparação dos participantes
<ol>
	<li>Introdução e consentimento<ol>
		<li>Explique brevemente a relevância do estudo e o procedimento experimental ao participante. Obtenha o consentimento informado seguindo as diretrizes institucionais para pesquisas envolvendo seres humanos.</li>
	</ol>
	</li>
	<li>Colocação do eletrodo<ol>
		<li>Instrua o participante a flexionar a mão direita formando um punho forte. Enquanto o participante flexiona, palpe o antebraço pressionando suavemente ao longo do músculo para identificar o local onde a ativação muscular é mais proeminente. Este local é facilmente identificável sentindo a área onde o músculo incha durante a contração.</li>
		<li>Opcional: Prepare a área da pele identificada limpando com um pano sem fibra de álcool, gel de preparação ou água e sabão. Deixe a área secar ao ar. Evite a limpeza excessiva com álcool, pois pode ressecar a pele. Esta etapa é opcional; Veja a seção de discussão.</li>
		<li>Retire a camada protetora branca do feixe de eletrodos EMG e prenda cuidadosamente os eletrodos à área do antebraço identificada, conforme determinado na etapa 3.2.1. (veja a Figura 1). Certifique-se de que a fita adesiva esteja mais próxima da palma da mão. Prenda o feixe de eletrodos à pele batendo suavemente.</li>
		<li>Uma vez que o feixe de eletrodos esteja preso à pele, retire a camada de suporte transparente.</li>
		<li>Insira a placa do conector do conjunto de eletrodos no soquete do conector da DAU. Prenda o DAU à fita adesiva ao lado dos eletrodos.</li>
		<li>Execute Spectrogram.py de script de espectrograma Python personalizado para verificar a qualidade do sinal em tempo real. Uma janela aparecerá exibindo dados brutos (à esquerda) e domínio da frequência (à direita) para todos os eletrodos (consulte a Figura Suplementar 1 para referência).<ol>
			<li>Verifique se todos os eletrodos foram detectados e funcionam corretamente e se o sinal está limpo de ruído excessivo e ruído de 50 Hz.</li>
			<li>Se necessário, reduza o ruído de 50 Hz afastando-se de dispositivos eletrônicos que possam causar interferência e desconectando dispositivos desnecessários da energia. Dê tempo para que o sinal se estabilize.</li>
			<li>Verifique a captura do sinal EMG: instrua o participante a colocar um cotovelo na poltrona e mover os dedos, depois relaxe. Certifique-se de que um sinal EMG claro seja exibido seguido por ruído estático de linha de base.</li>
			<li>Feche o script assim que a verificação do sinal for concluída.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Revisão da posição do gesto e da mão<ol>
		<li>Abra a pasta Imagens clicando em Finger_pose_estimation &gt; Data_acquisition. Revise as imagens dos gestos com os participantes.</li>
		<li>Certifique-se de que eles entendam cada movimento e possam executá-los com precisão. Explique claramente as posições das quatro mãos ao participante.</li>
		<li>Instrua o participante sobre como segurar a mão antes de cada sessão, garantindo postura e posicionamento adequados.</li>
	</ol>
	</li>
	<li>Posicionamento do participante e da câmera<ol>
		<li>Para a posição 1 da mão, instrua o participante a ficar em pé a cerca de 1 m de distância da mesa. Instrua o participante a segurar a mão direita para baixo, reta e relaxada, com a palma voltada para a câmera de rastreamento de mão. Fixe a câmera de rastreamento manual na mesa com um bastão de selfie e direcione-a para a mão do participante.</li>
		<li>Para a posição da mão 2, instrua o participante a sentar-se confortavelmente em uma poltrona posicionada a 40-70 cm dos monitores. Instrua o participante a estender a mão direita para a frente a 90° com a palma da mão relaxada voltada para a câmera de rastreamento manual. Use um dispositivo de suporte, se necessário, para manter a mão estável. Coloque a câmera de rastreamento manual na mesa voltada para cima. NOTA: Como o participante é solicitado a permanecer em uma postura fixa, é importante encontrar uma posição confortável que ele possa manter durante toda a sessão.</li>
		<li>Para a posição da mão 3, instrua o participante a sentar-se conforme descrito no passo 3.4.2. Instrua o participante a dobrar a mão para cima enquanto descansa o cotovelo na poltrona. A palma da mão deve estar relaxada e o participante deve ficar de frente para a câmera de rastreamento manual. Fixe a câmera de rastreamento manual na mesa de frente para a mão do participante (use um bastão de selfie, se necessário). Certifique-se de que a posição do participante seja ideal para visualizar as telas e estar dentro do campo de visão da câmera.</li>
		<li>Monitore continuamente a tela exibindo dados de rastreamento manual para garantir que a câmera detecte a mão e os dedos durante o experimento. Opcional: verifique a qualidade do sinal EMG (etapa 3.2.6.) em cada posição da mão antes de iniciar o experimento.</li>
	</ol>
	</li>
</ol>
4. Coleta de dados
<ol>
	<li>Executando o experimento<ol>
		<li>Abra o Python e carregue data_collection.py. Verifique se os parâmetros num_repetition, gesture_duration rest_duration estão definidos conforme desejado.<ol>
			<li>num_repetition: Defina o número de vezes que cada imagem de gesto é mostrada. Para este experimento, defina-o como 7, o que significa que cada imagem é mostrada 7 vezes. gesture_duration: Especifique a duração (em s) durante a qual o participante executa o gesto com a mão. Para este experimento, defina-o como 5 s, determinando por quanto tempo cada imagem de gesto é exibida. Rest_duration: Especifique a duração (em s) pela qual o participante relaxa a palma da mão entre os gestos. Para este experimento, defina-o como 3 s.</li>
		</ol>
		</li>
		<li>Ajuste a posição e o ângulo da câmera de rastreamento manual para a posição da mão do participante.</li>
		<li>Execute o script data_collection.py. Uma janela aparecerá para inserir os detalhes do participante (número de série, idade, sexo, número da sessão e posição da mão). Preencha essas informações e pressione OK para iniciar o experimento automaticamente.</li>
	</ol>
	</li>
	<li>Recolha de dados<ol>
		<li>Para cada sessão, registre os dados de EMG e rastreamento manual que são salvos automaticamente. Repita o experimento 4x para cada participante, uma vez por posição da mão.</li>
	</ol>
	</li>
</ol>
5. Fim do experimento e tratamento de dados pós-experimento
<ol>
	<li>À medida que o experimento é concluído, os dados são salvos automaticamente. Certifique-se de que os dados sejam salvos em uma pasta rotulada com o número de série do participante. Cada sessão é armazenada em uma subpasta chamada S# (por exemplo, S1), com quatro subpastas para cada posição da mão P# (P1, P2, P3 e P4). O tamanho da pasta para uma única sessão é de aproximadamente 160 MB.</li>
	<li>Se um participante concluir várias sessões, certifique-se de que todos os dados sejam salvos na pasta de sessão correspondente (por exemplo, S1, S2).</li>
	<li>Arquivos de dados Certifique-se de que cada pasta de posição da mão (P#) contenha os seguintes arquivos: Dados EMG salvos em um arquivo EDF, nomeados da seguinte forma: fpe_pos{número da posição}_{número do assunto}_S{número da sessão}_rep0_BT; dados de rastreamento manual salvos em um arquivo CSV, chamado fpe_pos{número da posição}_{número do assunto}_S{número da sessão}_rep0_BT_full; e um arquivo de log, log.txt, contendo metadados sobre a sessão.</li>
	<li>Processamento de dados NOTA: Um usuário pode escolher como proceder com a análise de sinal e quais ferramentas usar. Aqui, fornecemos um script para realizar filtragem de sinal e segmentação de dados em Python. Ao usar o Python, certifique-se de que todas as dependências (por exemplo, Numpy, Pandas, SciPy, MNE, Sklearn) estejam instaladas.<ol>
		<li>Abra o Python, carregue data_analysis.py e execute o script.</li>
		<li>A solicitação aparecerá no console para fornecer os parâmetros necessários para o processamento de dados: caminho para o arquivo EMG, caminho para os dados cinemáticos da mão, caminho onde os dados processados serão salvos, taxa de amostragem em Hz, duração da janela em ms e intervalo de passada em ms.</li>
		<li>Após essa etapa, o script executará o processamento de dados.</li>
		<li>Filtragem de sinal EMG: Execute o script como acima. O script primeiro filtra o sinal sEMG aplicando um filtro passa-alta Butterworth de 4ª ordem com um corte de 20 Hz para remover sinais não EMG e, em seguida, um filtro de entalhe para remover harmônicos de 50 Hz e 100 Hz. Além disso, o script aplica a normalização do sinal EMG.</li>
		<li>EMG, dados HKD e segmentação de gestos instruídos: execute o script como acima. O script aplica segmentação, utilizando uma técnica de janela de rolagem definida pela duração da janela especificada e pelo intervalo de passada. Neste experimento, defina-os como 512 e 2 ms, respectivamente. O script então transforma a organização do canal sEMG em uma configuração de grade espacial 4 x 4, mantendo o layout do conjunto de eletrodos. Por fim, o script gera um dicionário contendo metadados como um arquivo pickle.</li>
		<li>Etapas de limpeza e validação de dados<ol>
			<li>Identifique e exclua segmentos que contenham artefatos, ruído ou rótulos de gestos inconsistentes do conjunto de dados.</li>
			<li>Garanta a integridade do segmento e a continuidade temporal entre as janelas para manter a confiabilidade dos dados.</li>
			<li>Verifique os dados de gestos em relação ao HKD para obter consistência. Remova as janelas que exibem padrões de gestos que se desviam dos padrões de sessão HKD.</li>
			<li>Detecte e descarte segmentos discrepantes que não estejam em conformidade com os padrões cinemáticos esperados para a sessão.</li>
			<li>Realize análises de dados adicionais usando algoritmos avançados. Estes não estão previstos no protocolo atual.</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

<table><tbody><tr><td>Bastão</td><td></td><td></td> de selfie ajustável <td>Usado para posicionar e inclinar a câmera de rastreamento manual na orientação desejada para captura de dados ideal durante o experimento.</td></tr><tr><td>Compressa</td><td></td><td></td> com álcool <td>Para limpar a área para colocação do eletrodo.</td></tr><tr><td>Unidade de aquisição de dados (DAU)</td><td>X-trodes Ltd.</td><td>&nbsp; XTR-BT V1.3</td><td>DAU compatível em tempo real 2.0.17 ou 4.0.1</td></tr><tr>Biblioteca de reconhecimento <td></td><td></td> de<td>gestos com os dedos</td><td>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</td></tr><tr><td>Leap Motion Controller 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>Câmera</td></tr><tr><td></td><td></td> de rastreamento manual<td>Cabo longo Type-C para Type-C</td><td>Conexão da câmera de rastreamento manual ao PC.</td></tr><tr><td>Monitores de</td><td></td><td></td> PC <td>Um para diretrizes, um para visualizar os dados da câmera de rastreamento manual&nbsp;</td></tr><tr><td>Computador Pessoal (PC)</td><td>Windows</td><td></td><td>Windows 10+; Processadores: Processador Inteli7. Receptor BT.</td></tr><tr><td>Código</td><td></td><td></td> Python <td>Um script que permite streaming de dados contínuo e gravação de até 500 S/s quando o DAU está conectado ao PC via Bluetooth</td></tr><tr><td>Ultraleap Camera Python API</td><td>Ultraleap</td><td></td><td>Python API e instruções do Ultraleap' s Repositório GitHub (https://github.com/ultraleap/leapc-python-bindings) usado para coletar dados da unidade Ultraleap durante o experimento</td></tr><tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>Tracking software</td></tr><tr><td>XTR EXG16</td><td>X-trodes Ltd.</td><td>XTELC0003405RM</td><td>patch de matriz de eletrodo seco vestível de 16 canais para monitoramento de EMG, ECG</td></tr><tr><td>X-trodes PC App</td><td>X-trodes Ltd.</td><td>1.1.35.0</td><td>Um aplicativo para conectar X-trodes DAU ao PC via BT</td></tr></tbody></table>

capturando gestos dinâmicos com os dedos com eletromiografia de superfície de alta resolução e visão computacional

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

O conjunto de dados consiste em dois componentes sincronizados com o tempo: um conjunto de dados EMG de 16 canais e dados de um sistema de câmera de rastreamento manual. Os dados EMG de 16 canais capturam a atividade muscular registrando sinais elétricos de diferentes músculos ao longo do tempo. O sistema de rastreamento de mãos fornece 16 canais de dados correspondentes a pontos-chave em um modelo esquelético da mão. Enquanto o modelo tem 21 pontos, excluindo o pulso, esse número foi reduzido para 16 devido a restrições de movimento24. Os dados EMG e visuais foram coletados executando dois processos separados no mesmo computador durante a gravação para estabelecer a sincronia. Um carimbo de data/hora foi usado para marcar o início de cada processo, permitindo que o código de análise de dados alinhasse os dados de atividade muscular e movimento da mão no final da gravação. As anotações de carimbo de data/hora foram salvas automaticamente em arquivos EDF e CSV, marcando a hora exata em que gestos específicos com os dedos foram instruídos e facilitando o alinhamento durante a análise dos dados. O sinal EMG filtrado (filtro passa-alto Butterworth de 4ª ordem de 20 Hz) é caracterizado por uma linha de base baixa (áreas sombreadas em cinza), que normalmente fica na faixa de 3-9 μV25. Essa linha de base é observada quando a mão do sujeito está parada e os músculos estão em repouso. No entanto, se o tônus muscular estiver presente mesmo na posição de repouso, um sinal EMG distinto pode ser detectado. Artefatos mecânicos causados pelo movimento geralmente se manifestam na faixa de 10-20 Hz e devem ser filtrados de acordo. Valores basais significativamente elevados podem indicar interferência de linha de 50 Hz e devem ser evitados durante o estágio de configuração experimental. Nos casos em que o ruído moderado de 50 Hz persiste; Um filtro de entalhe é aplicado. Artefatos de movimento nítidos, que são mais difíceis de remover, geralmente aparecem como picos pronunciados de alta amplitude no sinal (veja o asterisco na Figura 2A). A amplitude do sinal EMG através do arranjo de 16 eletrodos varia, refletindo a distribuição espacial da atividade muscular na região medida. Essa variação fornece informações valiosas sobre a heterogeneidade da contração muscular durante os gestos com as mãos.
A câmera de rastreamento manual fornece informações diretas dos ângulos dos dedos (dados cinemáticos da mão, HKD), que devem se correlacionar estreitamente com os sinais EMG registrados. Durante os gestos, os dedos se inclinam na faixa normal26, dependendo do gesto específico. Quando o caminho visual entre a câmera de rastreamento manual e a mão está desobstruído, o sinal resultante é estável e preciso, conforme demonstrado na Figura 2. No entanto, nos casos em que o contato visual é perdido ou quando o sistema apresenta limitações técnicas, o HKD pode se tornar errático, exibindo saltos entre valores incorretos. Esses dados discrepantes devem ser minimizados durante a coleta de dados e descartados na análise final para manter a integridade dos resultados.
O HKD é intuitivo e fornece uma comparação direta com os gestos reais realizados. Ele exibe baixa variabilidade entre os sujeitos e em diferentes posições das mãos. Em contraste, os dados EMG tendem a variar significativamente entre os indivíduos devido a diferenças anatômicas, como tamanho da mão e desenvolvimento muscular27. Além disso, a variabilidade pode ser observada entre as mãos dominantes e não dominantes. Essa variabilidade específica do assunto pode ser abordada durante a análise off-line.
Na Figura 2, é evidente que tanto o EMG quanto o HKD são deslocados em relação ao gatilho de gesto instruído. Essa discrepância surge devido ao tempo de resposta e à execução natural do movimento28. Nas tarefas de regressão, essa variabilidade pode contribuir para a riqueza dos dados, enquanto nas tarefas de classificação, ela pode ser gerenciada usando uma abordagem de razão de verossimilhança generalizada, aplicada em cenários semelhantes28.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67766/67766fig02.jpg"> 
Figura 2: EMG e HKD representativos durante a abdução do dedo. Sinais de eletromiografia de superfície (sEMG) e dados cinemáticos da mão (HKD) registrados durante a abdução dinâmica do dedo e o repouso realizados durante a posição 1 da mão (mão para baixo, reta e relaxada) por um único participante. (A) Sinais EMG filtrados de 16 canais em função do tempo. Asterisco (*) denota um artefato mecânico detectado na gravação EMG do Canal 5. (B) HKD, mostrando os ângulos das juntas em função do tempo. Os ângulos articulares são medidos em várias articulações: trapézio-metacarpo (TMC), metacarpofalângico (MCP) e interfalangeano proximal (PIP). As fases do experimento (repouso e abdução) são indicadas ao longo do eixo x. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig02large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
Esses resultados representativos demonstraram a utilidade dos dados sincronizados de EMG e HKD na captura de gestos com as mãos. O alinhamento dos sinais EMG com o HKD correspondente permite mapear a atividade muscular para movimentos específicos dos dedos. Ao construir um modelo preditivo, os pesquisadores podem usar o HKD como verdade, verificando e refinando iterativamente as previsões de gestos baseadas em EMG. Essa abordagem destaca a aplicabilidade prática do protocolo e sugere a necessidade de mais pesquisas em ambientes mais naturais.
Figura suplementar 1: Janelas de espectrograma exibidas durante a etapa de verificação do sinal. Os painéis esquerdos mostram dados brutos de EMG, enquanto os painéis direitos mostram os domínios de frequência detectados. (A) Exemplo de um sinal EMG muito ruidoso com forte interferência de 50 Hz e 100 Hz. (B) Exemplo da mesma gravação de sinal EMG após afastar o participante de dispositivos elétricos, resultando em um sinal EMG limpo com interferência mínima. <a href="https://www.jove.com/files/ftp_upload/67766/S1_R1.jpg" target="_blank">Clique aqui para baixar este arquivo.</a>

Capturando gestos dinâmicos com os dedos com eletromiografia de superfície de alta resolução e visão computacional

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

JoVE Journal

Bioengineering

Bioengenharia

Fonte:Hila Man1, Paul F. Funk2, Ieva Vebraite-Adereth3, Christoph Anders4, Orlando Guntinas-Lichius2, Yael Hanein1,3,51Escola Sagol de Neurociência, Universidade de Tel Aviv, 2Departamento de Otorrinolaringologia, Hospital Universitário de Jena, Universidade Friedrich-Schiller Jena, 3Escola de Engenharia Elétrica, Universidade de Tel Aviv, 4ªDivisão de Pesquisa Motora, Fisiopatologia e Biomecânica, Departamento de Trauma, Mão e Cirurgia Reconstrutiva, Hospital Universitário de Jena,...

Eletromiografia de superfície sem fio Registro da atividade muscular facial durante as expressões

Monitorar a atividade cerebral durante tarefas motoras eretas é de grande valor ao investigar a fonte neural dos distúrbios do movimento. Aqui, demonstramos um protocolo que combina espectroscopia funcional de infravermelho próximo com monitoramento contínuo da atividade muscular e cinemática durante 4 tipos de tarefas motoras.

Perto Funcional Espectroscopia no Infravermelho das Regiões sensoriais e motoras do cérebro com simultânea cinemática e Monitoramento EMG Durante tarefas motoras

Uma nova interface homem-máquina de baixo custo para um sistema interativo de reabilitação do equilíbrio pós-AVC é apresentada neste artigo. O sistema integra sensores de baixo custo prontos para uso em direção ao paradigma de eletroterapia acionado por volição. A interface do software de prova de conceito é demonstrada em voluntários saudáveis.

A-máquina interface humana Integrando sensores de baixo custo com uma estimulação do sistema neuromuscular eléctrico para pós-AVC Reabilitação Balance

Estimulação magnética transcraniana, eletromiografia e captura de movimento 3D são técnicas não invasivas comumente usadas para investigar a função neuromuscular em humanos. Neste artigo, descrevemos um protocolo que faz amostras síncronas de dados gerados por todas essas três ferramentas, juntamente com a adição exclusiva de apresentação e feedback de estímulos de realidade virtual.

Setup Multifuncional de Estudos de Controle Motor Humano Utilizando Estimulação Magnética Transcraniana, Eletromiografia, Captura de Movimento, e Realidade Virtual

Apresentado aqui é um paradigma comportamental que provoca respostas robustas e rápidas de visuomotor nos músculos dos membros superiores humanos durante alcances visualmente guiados.

Um paradigma de alvo emergente para evocar respostas rápidas do visuomotor sobre músculos dos membros superiores humanos

Quando agarramos um objeto, várias regiões dos dedos e da mão normalmente entram em contato com a superfície do objeto. Reconstruir essas regiões de contato é um desafio. Aqui, apresentamos um método para estimar aproximadamente as regiões de contato combinando captura de movimento baseada em marcadores com reconstrução de malha manual baseada em aprendizado profundo existente.

Estimativa de regiões de contato entre mãos e objetos durante a apreensão humana de múltiplos dígitos

A magnetoencefalografia (MEG) e a eletroencefalografia de alta densidade (HD-EEG) raramente são registradas simultaneamente, embora forneçam informações confirmatórias e complementares. Aqui, ilustramos a configuração experimental para registrar MEG e HD-EEG simultâneos e a metodologia para analisar esses dados com o objetivo de localizar áreas cerebrais epileptogênicas e eloquentes em crianças com epilepsia resistente a medicamentos.

Imagem de fonte eletromagnética na avaliação pré-cirúrgica de crianças com epilepsia resistente a medicamentos

Em muitas situações biológicas e clínicas, é vantajoso para estudar os processos celulares como eles evoluem no seu microambiente nativa. Aqui, descrevemos a montagem e uso de um microscópio de baixo custo de fibra óptica que pode fornecer imagens em tempo real em cultura de células, estudos em animais e estudos clínicos do paciente.

De alta resolução de fibra óptica para Microendoscopy In situ Celular imagem

Não-destrutivos visualização volumétrica só pode ser alcançada através de técnicas de tomografia, dos quais o mais eficiente é o x-ray tomografia micro computadorizada (TC).

Imagens de alta resolução em 3D de Ex-Vivo Amostras Biológicas por Micro CT

Nós descrevemos aqui a operação de um dispositivo de microfluidos, que permite contínua e de elevada resolução de imagem microscópica de células de levedura de brotamento individuais durante a sua replicativo completo e / ou o tempo de vida cronológica.

Contínua observação microscópica de alta resolução de replicativa envelhecimento em leveduras de brotamento

Aprenda a capturar gestos dinâmicos dos dedos combinando eletromiografia de superfície de alta resolução com visão computacional. Este protocolo sincroniza dados EMG e visuais para desenvolver modelos robustos de reconhecimento de gestos em aplicações de reabilitação.

Capturando gestos dinâmicos com os dedos com eletromiografia de superfície de alta resolução e visão computacional

Explorar mais vídeos