Acquisizione di gesti dinamici delle dita con l'elettromiografia di superficie ad alta risoluzione e la visione artificiale

La nostra ricerca si concentra sul miglioramento del riconoscimento dinamico dei gesti delle mani utilizzando EMG sincronizzati e dati visivi. Il nostro obiettivo è determinare la precisione con cui l'attività muscolare si associa al gesto delle dita in diverse posizioni della mano e come questo possa migliorare l'applicazione nella riabilitazione protesica e nell'interazione uomo-computer. Il nostro protocollo affronta il divario nel riconoscimento dei gesti delle mani consentendo la mappatura dell'attività muscolare ai gesti delle dita in varie posizioni dinamiche della mano.

Il nostro approccio raccoglie e sincronizza i dati DMG e visivi durante i movimenti dinamici, gettando le basi per lo sviluppo di solidi modelli di riconoscimento dei gesti. A differenza dei metodi tradizionali con configurazioni statiche, il nostro protocollo utilizza un EMGRA wireless e il sistema di tracciamento della mano durante i movimenti dinamici, garantendo flessibilità e una raccolta dati più realistica per gli studi di riconoscimento dei gesti. Per iniziare, apri il repository GitHub e segui le istruzioni dettagliate nella sezione di installazione.

Individua il file Python primario, data_collection. py, nella cartella e prepararlo per eseguire l'esperimento. Utilizzare lo spettrogramma dello script.

py per valutare l'elettromiografia, in breve, la qualità del segnale EMG e lo script di analisi dei dati per il filtraggio e la segmentazione del segnale. Assicurarsi che l'unità di acquisizione dati EMG, in breve DAU, sia completamente carica prima di ogni sessione. Quindi, accendi il DAU.

Collegare la DAU al PC tramite Bluetooth utilizzando l'applicazione dedicata. Impostare la velocità di comunicazione Bluetooth su 500 campioni al secondo. Installa e apri il software della telecamera di tracciamento manuale sul PC. Collegare la telecamera di rilevamento manuale al PC utilizzando un cavo.

Utilizzare uno schermo per visualizzare sempre il software della telecamera di tracciamento della mano. Per iniziare, chiedi al partecipante di flettere la mano destra in un pugno forte. Mentre il partecipante si flette, premere delicatamente lungo l'avambraccio per palpare il muscolo e identificare il punto con l'attivazione più prominente.

Staccare lo strato protettivo bianco dall'array di elettrodi EMG e fissare con cura gli elettrodi all'area dell'avambraccio identificata. Posiziona il nastro adesivo vicino al palmo della mano e picchiettalo delicatamente per fissare l'array di elettrodi alla pelle. Una volta che l'array di elettrodi è attaccato alla pelle, staccare lo strato di supporto trasparente.

Quindi, inserire la scheda del connettore dell'array di elettrodi nella presa del connettore DAU. Fissare la DAU al nastro adesivo accanto agli elettrodi. Esegui lo script di spettrogramma Python personalizzato per verificare la qualità del segnale in tempo reale.

Osservare la finestra visualizzata che mostra i dati grezzi a sinistra e i dati nel dominio della frequenza a destra per tutti gli elettrodi. Verificare che tutti gli elettrodi siano rilevati e funzionino correttamente e che il segnale sia pulito da rumore eccessivo e rumore a 50 hertz. Se necessario, scollegare i dispositivi non necessari dall'alimentazione e allontanarsi dai dispositivi elettronici per ridurre il rumore, lasciando il tempo al segnale di stabilizzarsi.

Quindi, chiedi al partecipante di posizionare un gomito sulla poltrona e muovere le dita, quindi chiedi di rilassarsi. Assicurarsi che venga visualizzato un segnale EMG chiaro, seguito da rumore statico di base. Chiudere lo script una volta completata la verifica del segnale.

Per rivedere la posizione, fare clic su stima della posa del dito seguita dall'acquisizione dei dati per aprire la cartella delle immagini. Rivedi le immagini dei gesti con il partecipante. Spiega chiaramente le posizioni del dritto al partecipante.

Istruiscili su come tenere la mano prima di ogni sessione, assicurandoti una postura e un posizionamento corretti. Per la posizione della prima mano, chiedi al partecipante di stare dritto, a circa un metro di distanza dal tavolo. Quindi, chiedi al partecipante di tenere la mano destra abbassata, dritta e rilassata, con il palmo rivolto verso la telecamera di tracciamento della mano.

Fissa la telecamera di tracciamento della mano sul tavolo usando un selfie stick e dirigila verso la mano del partecipante. Assicurarsi che il partecipante faccia gesti decisi all'inizio del segnale acustico, seguiti da un palmo rilassato durante il periodo di riposo. Per la posizione delle mani due, chiedi al partecipante di sedersi comodamente su una poltrona, posizionata da 40 a 70 centimetri dai monitor.

Quindi, chiedi al partecipante di estendere la mano destra in avanti con un angolo di 90 gradi con il palmo rilassato e rivolto verso la telecamera di tracciamento della mano. Se necessario, utilizzare un dispositivo di supporto per tenere stabile la mano. Posizionare la telecamera di tracciamento manuale sul tavolo rivolta verso l'alto.

Assicurarsi che il partecipante faccia gesti decisi all'inizio del segnale acustico, seguiti da un palmo rilassato durante il periodo di riposo. Per la posizione tre delle mani, chiedi al partecipante di piegare la mano verso l'alto mentre appoggia il gomito sulla poltrona. Assicurati che il palmo sia rilassato e rivolto verso la telecamera di tracciamento della mano.

Fissare la telecamera di tracciamento della mano sul tavolo di fronte alla mano del partecipante. Assicurati che la posizione del partecipante sia ottimale sia per viewing gli schermi che per essere all'interno del campo visivo della telecamera. Assicurarsi che il partecipante faccia gesti decisi all'inizio del segnale acustico, seguiti da un palmo rilassato durante il periodo di riposo.

Per la posizione quattro della mano, chiedi al partecipante di eseguire i gesti delle dita muovendo liberamente la mano, scegliendo la posizione dinamica della mano uno, la posizione dinamica della mano due o la posizione dinamica della mano tre. Accendi il computer, apri Python e carica lo script data_collection.py. Regolare la posizione e l'angolazione della telecamera di rilevamento della mano in modo che si allinei con la posizione della mano del partecipante.

Esegui il data_collection. script py. Apparirà una finestra per inserire i dettagli del partecipante.

Inserisci le informazioni richieste e premi ok per avviare automaticamente l'esperimento. Per ogni sessione, registrare i dati EMG e di tracciamento delle mani, che vengono salvati automaticamente. Al termine dell'esperimento, assicurati che i dati vengano salvati automaticamente in una cartella etichettata con il numero di serie del partecipante.

Verificare che ogni sessione sia memorizzata in una sottocartella denominata numero S, contenente quattro sottocartelle per ogni posizione della mano etichettata come numero P. Se un partecipante completa più sessioni, verificare che tutti i dati siano salvati nella cartella della sessione corrispondente. Assicurarsi che ogni cartella di posizione delle mani contenga i dati EMG salvati in un file EDF, i dati di tracciamento delle mani salvati in un file CSV e un file di registro contenente i metadati relativi alla sessione.

I canali EMG hanno mostrato una maggiore attività elettrica durante le fasi di abduzione rispetto alle fasi di riposo, come evidente nei segnali di ampiezza più elevata su tutti i canali, con artefatti meccanici contrassegnati da picchi acuti. I dati cinematici della mano hanno dimostrato cambiamenti sincronizzati dell'angolo delle dita corrispondenti ai gesti di abduzione istruiti, con traiettorie del segnale stabili durante il tracciamento senza ostacoli e deviazioni visibili nelle sezioni disallineate.