Name: Acquisizione di gesti dinamici delle dita con lelettromiografia di superficie ad alta risoluzione e la visione artificiale (Video) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: Scopri un protocollo per registrare simultaneamente elettromiografia di superficie e tracciamento visuale delle dita durante gesti dinamici naturali. Questo metodo consente di sviluppare modelli accurati per il riconoscimento dei gesti in applicazioni di riabilitazione protesica.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

I partecipanti sani (n = 18, di età compresa tra 18 e 32 anni, sia maschi che femmine) sono stati reclutati per questo studio, che è stato approvato dal Comitato di revisione etica dell'Università di Tel Aviv (approvazione n. 0004877-3). Il protocollo aderisce alle linee guida del consiglio per la ricerca che coinvolge partecipanti umani. Il consenso informato è stato ottenuto da tutti i partecipanti in conformità con i requisiti istituzionali.
1. Briefing per gli sperimentatori
<ol>
	<li>Chiedi ai partecipanti di eseguire una serie di 14 gesti distinti con le dita (vedi Figura 1) e di ripetere ogni gesto 7 volte in una sequenza casuale. Chiedi loro di mantenere saldamente ogni gesto per 5 secondi, seguiti da un periodo di riposo di 3 secondi. La durata totale di ogni sessione è di 13:04 min.</li>
	<li>Un'immagine di grandi dimensioni del gesto visualizzata sullo schermo di un computer è accompagnata da un timer per il conto alla rovescia per indicare l'esecuzione del gesto. Durante il periodo di riposo, chiedi al partecipante di guardare la piccola immagine del gesto imminente mostrata, insieme a un timer che indica il tempo di riposo rimanente. Due distinti segnali acustici segnalano l'inizio e la fine di ogni gesto, aiutando i partecipanti a prepararsi per il gesto successivo.</li>
	<li>Chiedi a ciascun partecipante di eseguire la procedura in quattro diverse posizioni, simili alle22 presentate in precedenza: Posizione 1: Partecipante in piedi. Mano bassa, dritto e rilassato. Posizione 2: Partecipante seduto sulla poltrona. Mano tesa in avanti a 90°, palmo rilassato (può essere utilizzato un dispositivo di supporto). Posizione 3: Mano piegata verso l'alto (con il gomito appoggiato sulla poltrona), palmo rilassato. Posizione 4: il partecipante sceglie una delle posizioni precedenti e può muovere liberamente la mano all'interno del raggio di rilevamento della telecamera, monitorato in tempo reale sullo schermo di un PC (vedere il passaggio 1.4 per maggiori dettagli).</li>
	<li>Per ogni sessione, fai indossare al partecipante un dispositivo di elettromiografia sul braccio e posiziona una telecamera di tracciamento manuale verso di lui. Chiedi ai partecipanti di assicurarsi che i loro palmi siano sempre rivolti verso la fotocamera. Il software di tracciamento delle mani viene visualizzato su uno schermo separato in modo che sia il partecipante che il conduttore possano verificare che la mano sia riconosciuta correttamente.</li>
	<li>Per ogni posizione, regolare la posizione e l'angolazione della telecamera di tracciamento manuale per garantire un riconoscimento accurato della mano. Inoltre, valutare la qualità dei segnali provenienti dagli elettrodi utilizzando lo script dello spettrogramma.</li>
</ol>
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67766/67766fig01.jpg"> 
Figura 1: Rappresentazione schematica del processo di raccolta dei dati. Il soggetto è dotato di un array di elettrodi morbidi posizionato sull'avambraccio (3), che cattura i segnali dell'elettromiografia di superficie ad alta risoluzione (sEMG) durante l'esecuzione dei gesti. Il soggetto esegue 14 diversi gesti delle dita presentati in ordine casuale sul display di un computer (4). I dati EMG vengono trasmessi in modalità wireless a un personal computer (PC) dall'unità di acquisizione dati (DAU; 1). Contemporaneamente, i dati cinematici della mano (HKD) che rappresentano gli angoli delle articolazioni delle dita vengono acquisiti utilizzando una telecamera di tracciamento manuale (2). <a href="https://www.jove.com/files/ftp_upload/67766/67766fig01large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>
2. Impostazione delle unità di acquisizione dati
<ol>
	<li>Apri il repository Github all https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git e segui le istruzioni dettagliate nella sezione Installazione. Individua il file Python primario data_collection.py nella cartella finger_pose_estimation/data_acquisition. Utilizzare questa opzione per eseguire l'esperimento, utilizzare lo script spectrogram.py per valutare la qualità del segnale EMG prima dell'inizio dell'esperimento e lo script data_analysis.py per il filtraggio e la segmentazione del segnale.</li>
	<li>Assicurarsi che l'unità di acquisizione dati (DAU) EMG sia completamente carica prima di ogni sessione e accenderla.</li>
	<li>Collegare la DAU al PC tramite Bluetooth utilizzando l'applicazione dedicata. Impostare la velocità di comunicazione Bluetooth su 500 campioni al secondo (S/s).</li>
	<li>Installa e apri il software della telecamera per il rilevamento della mano sul PC. Collegare la telecamera di rilevamento della mano al PC utilizzando un cavo.</li>
	<li>Usa uno schermo per visualizzare sempre il software della telecamera per il tracciamento della mano. In questo modo, il conduttore e il partecipante saranno in grado di assicurarsi che la telecamera riconosca correttamente la mano durante l'esperimento.</li>
</ol>
3. Preparazione dei partecipanti
<ol>
	<li>Introduzione e consenso<ol>
		<li>Spiegare brevemente la rilevanza dello studio e la procedura sperimentale al partecipante. Ottenere il consenso informato seguendo le linee guida istituzionali per la ricerca che coinvolge l'uomo.</li>
	</ol>
	</li>
	<li>Posizionamento degli elettrodi<ol>
		<li>Chiedi al partecipante di flettere la mano destra formando un pugno forte. Mentre il partecipante si flette, palpare l'avambraccio premendo delicatamente lungo il muscolo per identificare il punto in cui l'attivazione muscolare è più prominente. Questa posizione è facilmente identificabile sentendo l'area in cui il muscolo si gonfia durante la contrazione.</li>
		<li>Facoltativo: preparare l'area della pelle identificata pulendola con un panno privo di fibre imbevute di alcol, gel di preparazione o acqua e sapone. Lasciare asciugare l'area all'aria. Evitare una pulizia eccessiva con alcol, poiché potrebbe seccare la pelle. Questo passaggio è facoltativo; Vedi la sezione di discussione.</li>
		<li>Staccare lo strato protettivo bianco dall'array di elettrodi EMG e fissare con cura gli elettrodi all'area identificata dell'avambraccio come determinato al punto 3.2.1. (vedi Figura 1). Assicurati che il nastro adesivo sia più vicino al palmo. Fissare l'array di elettrodi alla pelle picchiettando delicatamente.</li>
		<li>Una volta che l'array di elettrodi è attaccato alla pelle, staccare lo strato di supporto trasparente.</li>
		<li>Inserire la scheda del connettore dell'array di elettrodi nella presa del connettore del DAU. Fissare la DAU al nastro adesivo accanto agli elettrodi.</li>
		<li>Esegui Spectrogram.py script di spettrogramma Python personalizzati per verificare la qualità del segnale in tempo reale. Apparirà una finestra che mostra i dati grezzi (a sinistra) e il dominio della frequenza (a destra) per tutti gli elettrodi (vedere la Figura 1 supplementare per riferimento).<ol>
			<li>Verificare che tutti gli elettrodi siano rilevati e funzionino correttamente e che il segnale sia pulito da rumore eccessivo e rumore a 50 Hz.</li>
			<li>Se necessario, ridurre il rumore a 50 Hz allontanandosi dai dispositivi elettronici che potrebbero causare interferenze e scollegando i dispositivi non necessari dall'alimentazione. Attendere che il segnale si stabilizzi.</li>
			<li>Verificare l'acquisizione del segnale EMG: chiedere al partecipante di posizionare un gomito sulla poltrona e muovere le dita, quindi rilassarsi. Assicurarsi che venga visualizzato un segnale EMG chiaro seguito da rumore statico di base.</li>
			<li>Chiudere lo script una volta completata la verifica del segnale.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Revisione dei gesti e della posizione delle mani<ol>
		<li>Apri la cartella Immagini cliccando su Finger_pose_estimation &gt; Data_acquisition. Rivedi le immagini dei gesti con i partecipanti.</li>
		<li>Assicurati che comprendano ogni movimento e possano eseguirli con precisione. Spiega chiaramente le quattro posizioni delle mani al partecipante.</li>
		<li>Istruisci il partecipante su come tenere la mano prima di ogni sessione, assicurandoti una postura e un posizionamento corretti.</li>
	</ol>
	</li>
	<li>Posizionamento dei partecipanti e della telecamera<ol>
		<li>Per la posizione delle mani 1, chiedere al partecipante di stare in posizione eretta a circa 1 m di distanza dal tavolo. Chiedi al partecipante di tenere la mano destra abbassata, dritta e rilassata, con il palmo rivolto verso la telecamera di tracciamento della mano. Fissa la fotocamera di tracciamento della mano sul tavolo con un selfie stick e indirizzala verso la mano del partecipante.</li>
		<li>Per la posizione delle mani 2, chiedi al partecipante di sedersi comodamente su una poltrona posizionata a 40-70 cm dai monitor. Chiedi al partecipante di estendere la mano destra in avanti a 90° con il palmo rilassato rivolto verso la telecamera di tracciamento della mano. Utilizzare un dispositivo di supporto, se necessario, per tenere stabile la mano. Posiziona la telecamera di tracciamento manuale sul tavolo rivolta verso l'alto. NOTA: Poiché al partecipante viene richiesto di rimanere in una postura fissa, è importante trovare una posizione comoda che possa mantenere durante la sessione.</li>
		<li>Per la posizione delle mani 3, istruire il partecipante a sedersi come descritto nel passaggio 3.4.2. Chiedi al partecipante di piegare la mano verso l'alto mentre appoggia il gomito sulla poltrona. Il palmo della mano deve essere rilassato e il partecipante deve essere rivolto verso la telecamera di tracciamento manuale. Fissa la telecamera di tracciamento della mano sul tavolo rivolto verso la mano del partecipante (usa un selfie stick se necessario). Assicurati che la posizione del partecipante sia ottimale sia per viewing gli schermi che per essere all'interno del campo visivo della telecamera.</li>
		<li>Monitora continuamente lo schermo che visualizza i dati di tracciamento della mano per assicurarti che la fotocamera rilevi la mano e le dita durante l'esperimento. Opzionale: verificare la qualità del segnale EMG (passaggio 3.2.6.) in ciascuna posizione della mano prima di iniziare l'esperimento.</li>
	</ol>
	</li>
</ol>
4. Raccolta dei dati
<ol>
	<li>Esecuzione dell'esperimento<ol>
		<li>Apri Python e carica data_collection.py. Verificare che i parametri num_repetition, gesture_duration rest_duration siano impostati come desiderato.<ol>
			<li>num_repetition: Definisce il numero di volte in cui viene mostrata ogni immagine gestuale. Per questo esperimento, impostalo su 7, il che significa che ogni immagine viene mostrata 7 volte. gesture_duration: specificare la durata (in s) durante la quale il partecipante esegue il gesto della mano. Per questo esperimento, impostarlo su 5 s, determinando per quanto tempo viene visualizzata ogni immagine gestuale. Rest_duration: specificare la durata (in s) durante la quale il partecipante rilassa il palmo della mano tra un gesto e l'altro. Per questo esperimento, impostarlo su 3 s.</li>
		</ol>
		</li>
		<li>Regolare la posizione e l'angolazione della telecamera di tracciamento della mano in base alla posizione della mano del partecipante.</li>
		<li>Eseguire lo script data_collection.py. Apparirà una finestra per inserire i dettagli del partecipante (numero di serie, età, sesso, numero di sessione e posizione della mano). Completa queste informazioni e premi OK per avviare automaticamente l'esperimento.</li>
	</ol>
	</li>
	<li>Raccolta dei dati<ol>
		<li>Per ogni sessione, registrare i dati EMG e di tracciamento manuale che vengono salvati automaticamente. Ripeti l'esperimento 4 volte per ogni partecipante, una volta per posizione della mano.</li>
	</ol>
	</li>
</ol>
5. Fine dell'esperimento e gestione dei dati post-esperimento
<ol>
	<li>Al termine dell'esperimento, i dati vengono salvati automaticamente. Assicurarsi che i dati siano salvati in una cartella etichettata con il numero di serie del partecipante. Ogni sessione è memorizzata in una sottocartella denominata S# (ad esempio, S1), con quattro sottocartelle per ogni posizione della mano P# (P1, P2, P3 e P4). La dimensione della cartella per una singola sessione è di circa 160 MB.</li>
	<li>Se un partecipante completa più sessioni, assicurarsi che tutti i dati siano salvati nella cartella della sessione corrispondente (ad esempio, S1, S2).</li>
	<li>File di dati Assicurarsi che ogni cartella di posizione della mano (P#) contenga i seguenti file: Dati EMG salvati in un file EDF, denominato come segue: fpe_pos{numero di posizione}_{numero di soggetto}_S{numero di sessione}_rep0_BT; dati di tracciamento manuale salvati in un file CSV, denominato fpe_pos{numero di posizione}_{numero soggetto}_S{numero di sessione}_rep0_BT_full; e un file di registro, log.txt, contenente i metadati relativi alla sessione.</li>
	<li>Elaborazione dati NOTA: L'utente può scegliere come procedere con l'analisi del segnale e quali strumenti utilizzare. Qui, forniamo uno script per eseguire il filtraggio del segnale e la segmentazione dei dati in Python. Quando si utilizza Python, assicurarsi che tutte le dipendenze (ad esempio, Numpy, Pandas, SciPy, MNE, Sklearn) siano installate.<ol>
		<li>Apri Python, carica data_analysis.py ed esegui lo script.</li>
		<li>Nella console apparirà la richiesta di fornire i parametri necessari per l'elaborazione dei dati: percorso del file EMG, percorso dei dati cinematici della mano, percorso in cui verranno salvati i dati elaborati, frequenza di campionamento in Hz, durata della finestra in ms e intervallo di falcata in ms.</li>
		<li>Seguendo questo passaggio, lo script eseguirà l'elaborazione dei dati.</li>
		<li>Filtraggio del segnale EMG: eseguire lo script come sopra. Lo script filtra prima il segnale sEMG applicando un filtro passa-alto Butterworth di 4° ordine con un cutoff di 20 Hz per rimuovere i segnali non EMG, quindi un filtro notch per rimuovere le armoniche a 50 Hz e 100 Hz. Inoltre, lo script applica la normalizzazione del segnale EMG.</li>
		<li>EMG, dati HKD e segmentazione dei gesti istruiti: eseguire lo script come sopra. Lo script applica la segmentazione, utilizzando una tecnica di finestra mobile definita dalla durata della finestra e dall'intervallo di falcata specificati. In questo esperimento, impostarli rispettivamente su 512 e 2 ms. Lo script trasforma quindi l'organizzazione del canale sEMG in una configurazione a griglia spaziale 4 x 4, mantenendo il layout dell'array di elettrodi. Infine, lo script genera un dizionario contenente metadati come file di sottaceti.</li>
		<li>Fasi di pulizia e convalida dei dati<ol>
			<li>Identifica ed escludi dal set di dati i segmenti contenenti artefatti, rumore o etichette di gesti incoerenti.</li>
			<li>Garantisci la completezza dei segmenti e la continuità temporale tra le finestre per mantenere l'affidabilità dei dati.</li>
			<li>Confrontate i dati dei gesti con l'HKD per verificarne la coerenza. Rimuovi le finestre che mostrano modelli di gesti che si discostano dagli standard di sessione HKD.</li>
			<li>Rileva ed elimina i segmenti anomali che non sono conformi ai modelli cinematici previsti per la sessione.</li>
			<li>Esegui ulteriori analisi dei dati utilizzando algoritmi avanzati. Questi non sono forniti nel protocollo corrente.</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

<table><tbody><tr><td>Selfie Stick</td><td></td><td></td> regolabile <td>Utilizzato per posizionare e inclinare la fotocamera di tracciamento della mano nell'orientamento desiderato per un'acquisizione ottimale dei dati durante l'esperimento.</td></tr><tr>Tampone <td></td><td></td><td>imbevuto di alcol</td><td>Per pulire l'area per il posizionamento degli elettrodi.</td></tr><tr><td>Unità di acquisizione dati (DAU)</td><td>X-trodes Ltd.</td><td>&nbsp; XTR-BT V1.3</td><td>Compatibile in tempo reale DAU 2.0.17 o 4.0.1</td></tr><tr><td></td>Libreria <td></td><td></td><td>di riconoscimento dei gesti delle dita</td> https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</tr><tr><td>Leap Motion Controller 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>Telecamera per il tracciamento della mano</td></tr><tr><td>Cavo</td><td></td><td></td> lungo da Type-C a Type-C <td>Collegamento della telecamera per il tracciamento della mano al PC.</td></tr><tr><td>Monitor</td><td></td><td></td> per PC <td>Uno per le linee guida, uno per la visualizzazione dei dati della telecamera di tracciamento manuale.</td></tr><tr><td>Personal Computer (PC)</td><td>Windows</td><td></td><td>Windows 10+; Processori: processore Inteli7. Ricevitore BT.</td></tr><tr><td>Codice</td><td></td><td></td> Python <td>Uno script che consente lo streaming e la registrazione dei dati senza interruzioni fino a 500 S/s quando DAU è collegato al PC tramite Bluetooth,</td></tr><tr><td>Ultraleap Camera Python API</td>, <td>Ultraleap</td><td></td><td>Python API e istruzioni da Ultraleap' s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) utilizzato per raccogliere dati dall'unità Ultraleap durante l'esperimento</td></tr><tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>Tracking software</td></tr><tr><td>XTR EXG16</td><td>X-trodes Ltd.</td><td>XTELC0003405RM</td><td>patch indossabile a 16 canali per elettrodi secchi per EMG, monitoraggio ECG</td></tr><tr><td>X-trodes App per PC</td><td>X-trodes Ltd.</td><td>1.1.35.0</td><td>Un'applicazione per collegare X-trodes DAU al PC tramite BT</td></tr></tbody></table>

acquisizione di gesti dinamici delle dita con l'elettromiografia di superficie ad alta risoluzione e la visione artificiale

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

Il set di dati è costituito da due componenti sincronizzati nel tempo: un set di dati EMG a 16 canali e i dati provenienti da un sistema di telecamere di tracciamento manuale. I dati EMG a 16 canali catturano l'attività muscolare registrando i segnali elettrici provenienti da diversi muscoli nel tempo. Il sistema di tracciamento della mano fornisce 16 canali di dati corrispondenti ai punti chiave su un modello scheletrico della mano. Mentre il modello ha 21 punti, escluso il polso, questo numero è stato ridotto a 16 a causa dei limiti di movimento24. L'EMG e i dati visivi sono stati raccolti eseguendo due processi separati sullo stesso computer durante la registrazione per stabilire la sincronia. Un timestamp è stato utilizzato per contrassegnare l'inizio di ogni processo, consentendo al codice di analisi dei dati di allineare l'attività muscolare e i dati di movimento della mano alla fine della registrazione. Le annotazioni di timestamp sono state salvate automaticamente sia in file EDF che in file CSV, segnando l'ora esatta in cui sono stati istruiti i gesti specifici delle dita e facilitando l'allineamento durante l'analisi dei dati. Il segnale EMG filtrato (filtro passa-alto Butterworth del 4° ordine a 20 Hz) è caratterizzato da una linea di base bassa (aree ombreggiate in grigio), che in genere rientra nell'intervallo di 3-9 μV25. Questa linea di base si osserva quando la mano del soggetto è ferma e i muscoli sono a riposo. Tuttavia, se il tono muscolare è presente anche in posizione di riposo, è possibile rilevare un segnale EMG distinto. Gli artefatti meccanici causati dal movimento di solito si manifestano nell'intervallo 10-20 Hz e dovrebbero essere filtrati di conseguenza. Valori di base significativamente elevati possono indicare un'interferenza di linea a 50 Hz e dovrebbero essere evitati durante la fase di configurazione sperimentale. Nei casi in cui persiste un rumore moderato a 50 Hz; Viene applicato un filtro notch. Gli artefatti di movimento bruschi, che sono più difficili da rimuovere, appaiono spesso come picchi pronunciati di alta ampiezza nel segnale (vedere l'asterisco nella Figura 2A). L'ampiezza del segnale EMG attraverso l'array di 16 elettrodi varia, riflettendo la distribuzione spaziale dell'attività muscolare sulla regione misurata. Questa varianza fornisce preziose informazioni sull'eterogeneità della contrazione muscolare durante i gesti delle mani.
La telecamera di tracciamento manuale fornisce informazioni dirette sugli angoli delle dita (dati cinematici della mano, HKD), che dovrebbero essere strettamente correlati con i segnali EMG registrati. Durante i gesti, gli angoli delle dita sono nell'intervallo normale26, a seconda del gesto specifico. Quando il percorso visivo tra la telecamera di tracciamento della mano e la mano non è ostruito, il segnale risultante è stabile e preciso, come dimostrato nella Figura 2. Tuttavia, nei casi in cui si perde il contatto visivo o quando il sistema presenta limitazioni tecniche, l'HKD può diventare irregolare, visualizzando salti tra valori errati. Tali dati anomali dovrebbero essere ridotti al minimo durante la raccolta dei dati e scartati nell'analisi finale per mantenere l'integrità dei risultati.
L'HKD è intuitivo e fornisce un confronto diretto con le gesti effettivamente eseguite. Presenta una bassa variabilità tra i soggetti e tra le diverse posizioni delle mani. Al contrario, i dati EMG tendono a variare in modo significativo tra gli individui a causa di differenze anatomiche come le dimensioni della mano e lo sviluppo muscolare27. Inoltre, si può osservare variabilità tra mani dominanti e non dominanti. Questa variabilità specifica per argomento può essere affrontata durante l'analisi offline.
Nella Figura 2, è evidente che sia l'EMG che l'HKD sono sfalsati rispetto al trigger del gesto indicato. Questa discrepanza deriva dal tempo di risposta e dall'esecuzione naturale del movimento28. Nelle attività di regressione, tale variabilità potrebbe contribuire alla ricchezza dei dati, mentre nelle attività di classificazione può essere gestita utilizzando un approccio del rapporto di verosimiglianza generalizzato, come applicato in scenari simili28.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67766/67766fig02.jpg"> 
Figura 2: SEMG e HKD rappresentativi durante l'abduzione delle dita. Segnali di elettromiografia di superficie (sEMG) e dati cinematici della mano (HKD) registrati durante l'abduzione dinamica delle dita e il riposo eseguiti durante la posizione della mano 1 (mano in basso, dritta e rilassata) da un singolo partecipante. (A) Segnali EMG filtrati da 16 canali in funzione del tempo. L'asterisco (*) indica un artefatto meccanico rilevato nella registrazione EMG del canale 5. (B) HKD, che mostra gli angoli dei giunti in funzione del tempo. Gli angoli articolari sono misurati in varie articolazioni: trapeziometacarpale (TMC), metacarpo-falangea (MCP) e interfalangea prossimale (PIP). Le fasi dell'esperimento (riposo e abduzione) sono indicate lungo l'asse x. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig02large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>
Questi risultati rappresentativi hanno dimostrato l'utilità dei dati EMG e HKD sincronizzati nell'acquisizione dei gesti delle mani. L'allineamento dei segnali EMG con il corrispondente HKD consente di mappare l'attività muscolare su specifici movimenti delle dita. Durante la costruzione di un modello predittivo, i ricercatori possono utilizzare l'HKD come verità di base, verificando e perfezionando iterativamente le previsioni dei gesti basate sull'EMG. Questo approccio evidenzia l'applicabilità pratica del protocollo e suggerisce la necessità di ulteriori ricerche in contesti più naturali.
Figura 1 supplementare: Finestre dello spettrogramma visualizzate durante la fase di verifica del segnale. I pannelli di sinistra mostrano i dati EMG grezzi, mentre i pannelli di destra mostrano i domini di frequenza rilevati. (A) Esempio di un segnale EMG molto rumoroso con forti interferenze a 50 Hz e 100 Hz. (B) Esempio della stessa registrazione del segnale EMG dopo aver allontanato il partecipante dai dispositivi elettrici, ottenendo un segnale EMG pulito con interferenze minime. <a href="https://www.jove.com/files/ftp_upload/67766/S1_R1.jpg" target="_blank">Clicca qui per scaricare questo file.</a>

Acquisizione di gesti dinamici delle dita con l'elettromiografia di superficie ad alta risoluzione e la visione artificiale

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

Ricerca

JoVE Journal

Bioengineering

Bioingegneria

Fonte:Hila Man1, Paul F. Funk2, Ieva Vebraite-Adereth3, Christoph Anders4, Orlando Guntinas-Lichius2, Yael Hanein1,3,51Scuola Sagol di Neuroscienze, Università di Tel Aviv, 2Dipartimento di Otorinolaringoiatria, Ospedale Universitario di Jena, Università Friedrich-Schiller di Jena, 3Scuola di Ingegneria Elettrica, Università di Tel Aviv, 4Divisione Ricerca Motoria, Fisiopatologia e Biomeccanica, Dipartimento di Traumatologia, Chirurgia della Mano e Ricostruttiva, Ospedale Universitario di Jena,...

Registrazione dell'attività dei muscoli facciali durante le espressioni

Il monitoraggio dell'attività cerebrale durante i compiti motori in posizione eretta è di grande valore quando si indaga la fonte neurale dei disturbi del movimento. Qui, dimostriamo un protocollo che combina la spettroscopia funzionale nel vicino infrarosso con il monitoraggio continuo dell'attività muscolare e cinematica durante 4 tipi di compiti motori.

Vicino funzionale Infrared Spectroscopy delle regioni sensoriali e motorie cerebrali con simultanea cinematica e EMG monitoraggio durante compiti motori

In questo articolo viene presentata una nuova interfaccia uomo-macchina a basso costo per un sistema interattivo di riabilitazione dell'equilibrio post-ictus. Il sistema integra sensori a basso costo pronti all'uso verso il paradigma dell'elettroterapia guidato dalla volontà. L'interfaccia software proof-of-concept è stata dimostrata su volontari sani.

Un uomo-macchina-interfaccia Integrazione di sensori a basso costo con una stimolazione del sistema neuromuscolare elettrica per post-ictus Balance riabilitazione

La stimolazione magnetica transcranica, l'elettromiografia e la cattura del movimento 3D sono tecniche non invasive comunemente usate per studiare la funzione neuromuscolare negli esseri umani. In questo articolo, descriviamo un protocollo che campiona in modo sincrono i dati generati da tutti e tre questi strumenti insieme all'aggiunta unica della presentazione e del feedback degli stimoli in realtà virtuale.

Impostazione multifunzionale per lo studio di controllo del motore umano Utilizzando la Stimolazione Magnetica Transcranica, Elettromiografia, Motion Capture, e la realtà virtuale

Presentato qui è un paradigma comportamentale che suscita solide risposte visuomotor veloci sui muscoli degli arti superiori umani durante i raggiungeli visivamente guidati.

Un paradigma bersaglio emergente per evocare risposte visuomotor veloci sui muscoli degli arti superiori umani

Quando afferriamo un oggetto, più regioni delle dita e della mano in genere entrano in contatto con la superficie dell'oggetto. Ricostruire tali regioni di contatto è impegnativo. Qui, presentiamo un metodo per stimare approssimativamente le regioni di contatto combinando l'acquisizione del movimento basata su marker con la ricostruzione della mesh manuale basata sul deep learning esistente.

Stima delle regioni di contatto tra mani e oggetti durante la presa umana a più cifre

La magnetoencefalografia (MEG) e l'elettroencefalografia ad alta densità (HD-EEG) sono raramente registrate contemporaneamente, sebbene forniscano informazioni di conferma e complementari. Qui, illustriamo il setup sperimentale per la registrazione simultanea di MEG e HD-EEG e la metodologia per l'analisi di questi dati con l'obiettivo di localizzare le aree cerebrali epilettogene ed eloquenti nei bambini con epilessia resistente ai farmaci.

Imaging della sorgente elettromagnetica nella valutazione prechirurgica di bambini con epilessia resistente ai farmaci

In molte situazioni biologici e clinici è vantaggioso per lo studio dei processi cellulari, come si evolvono nel loro microambiente nativo. Qui si descrive il montaggio e l'uso di un basso costo in fibra ottica microscopio in grado di fornire immagini in tempo reale in coltura cellulare, studi su animali e studi clinici del paziente.

Ad alta risoluzione in fibra ottica per Microendoscopy In situ Cellular Imaging

Non distruttivo di visualizzazione volume può essere raggiunto solo con tecniche tomografiche, di cui il più efficiente è la tomografia a raggi X micro computerizzata (TAC).

Ad alta risoluzione di immagini 3D Ex-Vivo I campioni biologici da Micro CT

Descriviamo qui il funzionamento di un dispositivo microfluidico che permette continuo e ad alta risoluzione di immagini microscopiche di cellule di lievito in erba singole durante la loro replicazione completa e / o durata cronologica.

Continuo ad alta risoluzione osservazione microscopica di replicativo invecchiamento nel lievito germogliante

Scopri un protocollo per registrare simultaneamente elettromiografia di superficie e tracciamento visuale delle dita durante gesti dinamici naturali. Questo metodo consente di sviluppare modelli accurati per il riconoscimento dei gesti in applicazioni di riabilitazione protesica.

Acquisizione di gesti dinamici delle dita con l'elettromiografia di superficie ad alta risoluzione e la visione artificiale

Esplora altri video