Name: Prestazioni delle immagini motorie attraverso gemelli digitali incorporati in un ambiente di interfaccia cervello-computer abilitato alla realtà virtuale (Video) | JoVE Journal
Uploaded: 2024-05-10T15:00:00.000+00:00
Duration: 10 min 14 s
Description: Esplora l'integrazione di EEG, immagini motorie e realtà virtuale per la riabilitazione degli arti superiori. Avatar digitali personalizzati migliorano l'immersione e l'efficacia delle interfacce cervello-computer nei pazienti con lesioni neurologiche.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Gli autori desiderano ringraziare tutti i partecipanti per il loro tempo e il loro coinvolgimento.

Il presente studio mira a indagare la fattibilità del controllo di un avatar 3D in tempo reale all'interno di un ambiente VR utilizzando segnali MI registrati tramite EEG. Lo studio si concentra sul miglioramento dell'immersione e del senso di proprietà del corpo personalizzando l'avatar per assomigliare molto al soggetto. Il protocollo ha ricevuto l'approvazione dal Vellore Institute of Technology Review Board. I partecipanti hanno fornito il consenso informato scritto dopo aver esaminato lo scopo, le procedure e i potenziali rischi dello studio.
1. Configurazione sperimentale
NOTA: Assicurarsi che il sistema incorpori tutti i componenti come illustrato nello schema della configurazione sperimentale in Figura 1 (vedere la tabella dei materiali per l'apparecchiatura utilizzata).
<ol><li>Sviluppo avatar 3D<ol><li>Modellazione dell'avatar<ol><li>Il giorno prima della raccolta dei dati, raccogli più fotografie facciali da varie angolazioni e misurazioni precise del corpo da ciascun partecipante.</li>
			<li>Fare clic su Software di modellazione per aprirlo. Subito dopo l'apertura, trova il cursore per Genere. Regola questo cursore in modo che corrisponda al sesso del modello che si desidera creare.</li>
			<li>Vai alla scheda Modellazione nella parte superiore dello schermo e fai clic sulla scheda per accedere alle opzioni di personalizzazione del corpo.</li>
			<li>Usa i cursori sotto varie sezioni, come busto, braccia, gambe, ecc., per modellare il corpo. Concentrati sulle seguenti misure di base: altezza, petto/busto, vita, fianchi, lunghezza delle gambe e lunghezza delle braccia.</li>
			<li>Fai clic sulla scheda Pose/Animate e seleziona lo scheletro predefinito per le animazioni di base. Vai al menu File in alto, seleziona Esporta, quindi scegli il. Formato MHX2 per la compatibilità con il software di animazione. Assicurati di selezionare l'opzione Esporta con rig per includere lo scheletro. Scegli una cartella di destinazione, assegna un nome al file e fai clic su Esporta.</li>
			<li>Apri il software di animazione. Vai su File &gt; Importa e seleziona .mhx2 o il formato previsto. Passare al file salvato, selezionarlo e importarlo nel software.</li>
			<li>Vai al menu Modifica, seleziona Preferenze &gt; componenti aggiuntivi e assicurati che il plug-in appropriato per creare volti sia abilitato.</li>
			<li>Nella vista 3D, passa al layout preimpostato fornito dal plug-in o vai al pannello del plug-in, di solito situato sullo scaffale degli strumenti sul lato sinistro.</li>
			<li>Fare clic su Crea una nuova testa nel pannello del plugin per avviare il modello della testa. Utilizzare il pulsante Aggiungi foto per importare le foto del partecipante. Utilizza i profili anteriori e laterali per una modellazione accurata.</li>
			<li>Segui le istruzioni per allineare i punti sulle foto con i punti corrispondenti sul modello 3D. Il plug-in regolerà quindi il modello della testa in modo che corrisponda alle caratteristiche del partecipante. Una volta soddisfatto della somiglianza, finalizza il modello della testa.</li>
			<li>Posizionare manualmente il modello della testa in modo che si allinei con il collo del modello del corpo. Regola la scala e la rotazione della testa per una vestibilità perfetta.</li>
			<li>Usa lo strumento Aggancia (Maiusc+Tab) per allineare con precisione i vertici del collo sulla testa con quelli sul corpo.</li>
			<li>Una volta allineati, unisci la testa e il corpo selezionando entrambe le mesh, premendo Ctrl+J per unirle in un unico oggetto.</li>
			<li>Importa o modella un paio di bonghi e posizionali davanti al modello a un'altezza appropriata.</li>
		</ol></li>
		<li>Animazione dell'avatar<ol><li>Passa alla modalità Posa per il modello truccato. Al fotogramma 1, seleziona tutte le ossa e inserisci un fotogramma chiave (usa il tasto I) per consentire a LocRotScale di registrare le loro posizioni iniziali.</li>
			<li>Sposta la timeline in avanti fino al fotogramma 30 per posizionare la mano sinistra per colpire il bongo.</li>
			<li>Muovi e ruota l'armatura della mano sinistra per simulare il colpo del bongo. Inserisci un fotogramma chiave per queste ossa. Ripeti questo processo per riportare la mano alla posizione iniziale al fotogramma 60, inserendo un altro fotogramma chiave per completare l'azione.</li>
			<li>Sposta la timeline al fotogramma 90, dove la mano destra inizia la sua azione. Simile alla mano sinistra, regola la posizione e la rotazione della mano destra per simulare il colpo dell'altro bongo e inserisci un fotogramma chiave.</li>
			<li>Riporta la mano nella posizione iniziale e inserisci un fotogramma chiave per terminare il movimento al fotogramma 150.</li>
			<li>Scorri la timeline per rivedere l'animazione. Regolare secondo necessità per un movimento più fluido o un migliore tempismo tra i colpi di bongo. Salva il file.</li>
		</ol></li>
	</ol></li>
	<li>Configurazione dell'attrezzatura<ol><li>Assemblare il sistema di acquisizione dati EEG a 16 canali collegando il modulo Daisy con 8 canali EEG sulla parte superiore della scheda con 8 canali EEG.</li>
		<li>Collegare l'elettrodo di riferimento tramite un cavo Y-Splitter al pin di riferimento inferiore sulla Daisy Board e al pin di riferimento inferiore della scheda nella parte inferiore, entrambi etichettati come SRB.</li>
		<li>Collegare l'elettrodo di terra al pin BIAS sulla scheda inferiore.</li>
		<li>Collegare i 16 elettrodi EEG ai pin della scheda inferiore etichettati N1P-N8P e ai pin inferiori a margherita etichettati N1P-N8P.</li>
		<li>Inserire gli elettrodi sul cappuccio privo di gel nelle posizioni etichettate aderendo al sistema internazionale 10-20 per il posizionamento degli elettrodi con elettrodi etichettati come FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 e T4.</li>
		<li>Immergere 18 spugne fornite per gli elettrodi EEG in una soluzione salina con 5 g di cloruro di sodio mescolato in 200 ml di acqua di rubinetto per 15 minuti.</li>
		<li>Inserire le spugne imbevute sul lato inferiore di ciascun elettrodo per stabilire il contatto tra il cuoio capelluto e l'elettrodo.</li>
		<li>Fai sedere comodamente i partecipanti in una stanza tranquilla. Posiziona la cuffia EEG senza gel sul cuoio capelluto del partecipante, assicurandoti che la cuffia sia allineata correttamente per adattarsi alle orecchie del partecipante.</li>
		<li>Collegare il dongle USB al laptop. Aprire la GUI EEG, fare clic sul sistema EEG, sotto l'opzione Origine dati selezionare Seriale (da Dongle), 16 canali e AUTO-CONNECT.</li>
		<li>All'interno della schermata Acquisizione dati, selezionare il widget del segnale per verificare la qualità del segnale degli elettrodi collegati verificando un livello di impedenza ottimale di &lt;10 kΩ in ciascun sitodell'elettrodo 26.</li>
		<li>Se l'impedenza è superiore a 10 kΩ, aggiungere alcune gocce di soluzione salina alla spugna sotto l'elettrodo. Dopo il controllo dell'impedenza, chiudere la GUI.</li>
		<li>Aprire il software del server di acquisizione, selezionare la scheda EEG appropriata in Driver e fare clic su Connect &gt; Play per stabilire una connessione con il sistema EEG.</li>
		<li>Prepara il visore VR igienizzandolo con salviette e posizionandolo sulla testa del partecipante sopra la cuffia EEG per facilitare un'interazione coinvolgente durante l'acquisizione dei dati EEG.</li>
	</ol></li>
	<li>Configurazione del gioco NOTA: le seguenti istruzioni descrivono la configurazione di due scenari del motore di gioco utilizzando Open Sound Control (OSC): uno per l'addestramento delle immagini motorie (feedforward) e un altro per il test delle immagini motorie (feedback). Lo scenario feedforward addestra gli utenti nelle immagini motorie attraverso animazioni osservate attivate da messaggi OSC. Lo scenario di feedback verifica l'efficacia delle immagini motorie animando i movimenti immaginati dall'utente in base agli input OSC.<ol><li>Apri il software del motore di gioco e seleziona Progetto di formazione sulle immagini motorie. Abilita il supporto VR: vai a Modifica impostazioni progetto &gt; &gt; Impostazioni &gt; lettore XR, seleziona Realtà virtuale supportata e assicurati che il visore VR sia elencato in SDK per realtà virtuale.</li>
		<li>Elimina la fotocamera predefinita e trascina la fotocamera VR nella scena dal pacchetto di integrazione VR.</li>
		<li>Posizionate il file di animazione importato nella scena. Regolare la scala e l'orientamento secondo necessità. Assicurati che OSCListener GameObject con script pre-scritti sia impostato per attivare animazioni del modello per i movimenti della mano sinistra e destra in base ai messaggi OSC, simulando l'azione di colpire il bongo per l'addestramento delle immagini motorie.</li>
		<li>Apri File &gt; Impostazioni build nel software del motore di gioco. Seleziona PC, Mac e Linux Standalone, scegli come destinazione Windows, quindi fai clic su Genera ed esegui.</li>
		<li>Per il progetto di test delle immagini motorie, eseguire passaggi simili a quelli del progetto di formazione sulle immagini motorie. Utilizzare l'oggetto GameObject OSCListener configurato con script progettati per ricevere segnali OSC indicativi dei movimenti della mano immaginati dal partecipante, attivando le animazioni corrispondenti per il progetto di test.</li>
	</ol></li>
</ol><img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66859/66859fig01.jpg"> Figura 1: Configurazione VR-BCI. L'intera configurazione VR-BCI mostra il partecipante che indossa il visore VR e la cuffia EEG. I partecipanti hanno visualizzato l'avatar 3D personalizzato nell'ambiente virtuale e ne hanno controllato l'azione utilizzando i segnali cerebrali trasmessi al computer in modalità wireless. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig01large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>
2. Progettazione sperimentale
<ol><li>Fase di verifica del segnale<ol><li>Apri lo strumento software per progettare ed eseguire scenari di immagini motorie, vai su File e carica i sei scenari Motor-Imagery-BCI etichettati Verifica del segnale, Acquisizione, Addestramento CSP, Addestramento classificatore, Test e Matrice di confusione.</li>
		<li>Passare allo scenario di verifica del segnale. Applica un filtro passa-banda compreso tra 1 e 40 Hz con un ordine di filtro di 4 ai segnali grezzi utilizzando le scatole di progettazione per un'elaborazione del segnale ottimizzata.</li>
	</ol></li>
	<li>Fase di formazione<ol><li>Guida e istruisci i partecipanti a sottoporsi a compiti di immaginazione motoria, immaginando i movimenti delle mani in risposta a segnali visivi.</li>
		<li>Apri il file per l'allenamento con le immagini motorie e visualizza l'avatar 3D preparato in piedi su una serie di bonghi attraverso il visore VR.</li>
		<li>Passare allo scenario di acquisizione e fare doppio clic sullo stimolatore di immagini del motore Graz per configurare la casella.</li>
		<li>Configura prove di 50, 5 s (cue-1.25 s e MI-3.75 s) sia per i movimenti della mano sinistra che per quelli destrorsi, incorporando un periodo di base di 20 s seguito da intervalli di 10 s di riposo dopo ogni 10 prove per evitare l'affaticamento mentale.</li>
		<li>Configura le prove con la mano sinistra e destra in modo che siano randomizzate e disponi di un segnale prima della prova che indichi la mano da immaginare.</li>
		<li>Collegare una scatola OSC con l'indirizzo IP e la porta per trasmettere il segnale per la mano da immaginare al programma del motore di gioco di formazione delle immagini motorie.</li>
		<li>Chiedi ai partecipanti di immaginare di eseguire il movimento della loro mano insieme all'avatar 3D seguendo lo stesso ritmo dell'avatar mentre colpisce il bongo con la mano corrispondente, seguendo un segnale di testo che mostra quale mano deve essere immaginata.</li>
	</ol></li>
	<li>Formazione CSP e LDA<ol><li>Dopo l'acquisizione, eseguire lo scenario di addestramento CSP per analizzare i dati EEG della fase di acquisizione e calcolare i modelli spaziali comuni (CSP), creando filtri per distinguere tra immagini della mano sinistra e destra.</li>
		<li>Dopo l'addestramento CSP, passare allo scenario di addestramento del classificatore ed eseguirlo per utilizzare l'analisi discriminante lineare (LDA) utilizzando i filtri CSP per una classificazione efficiente delle attività, preparando il sistema per il controllo avatar in tempo reale.</li>
	</ol></li>
	<li>Fase di collaudo<ol><li>Passa allo scenario di test per consentire ai partecipanti di controllare i propri avatar 3D in tempo reale utilizzando la tecnologia dell'interfaccia cervello-computer (BCI).</li>
		<li>Caricare nelle apposite caselle i classificatori addestrati durante lo scenario precedente sui dati EEG acquisiti mentre i partecipanti immaginavano i movimenti delle mani per interpretare queste azioni immaginate in tempo reale.</li>
		<li>Assicurarsi che il sistema EEG e la configurazione VR siano operativi e configurati correttamente secondo le impostazioni della fase di allenamento.</li>
		<li>Informare i partecipanti sulla procedura di test, sottolineando la necessità di immaginare chiaramente i movimenti della mano (bongo che colpisce con la mano sinistra o destra) come suggerito da segnali di testo.</li>
		<li>Simile alla fase di allenamento, condurre 20 prove per ogni partecipante, divise equamente tra l'immaginazione dei movimenti della mano sinistra e destra e randomizzate.</li>
		<li>Collega e configura una scatola OSC per trasmettere le informazioni cue da visualizzare come testo che indica quale mano deve essere visualizzata nel programma del motore di gioco.</li>
		<li>Connettiti a un'altra casella OSC per trasmettere il valore previsto per i movimenti della mano sinistra e destra per il programma del motore di gioco per riprodurre l'animazione corrispondente in base alla mano immaginata dal partecipante.</li>
		<li>Eseguire lo scenario di test. Esegui il programma del motore di gioco Motor Imagery Testing.</li>
	</ol></li>
</ol>3. Raccolta e analisi dei dati
<ol><li>Registra continuamente i dati EEG e le uscite del classificatore durante le fasi di acquisizione e test dell'esperimento, con i dati campionati a 125 Hz.</li>
	<li>Passare allo scenario Matrice di confusione e caricare il file EEG acquisito nella casella denominata Lettore di flusso generico per ciascun partecipante e per entrambe le fasi di acquisizione e formazione.</li>
	<li>Esegui lo scenario per ottenere la matrice di confusione per valutare l'accuratezza con cui il sistema BCI interpreta i segnali delle immagini motorie.</li>
	<li>Raccogli il feedback dei partecipanti in merito alla loro esperienza con la facilità d'uso, le capacità di controllo, il livello di immersione e il comfort dell'avatar mentre indossano la cuffia EEG e il visore VR.</li>
</ol>

Immagini motorie che utilizzano avatar digitali VR nel sistema di interfaccia cervello-computer

<ol><li>Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Separability+of+motor+imagery+of+the+self+from+interpretation+of+motor+intentions+of+others+at+the+single+trial+level%3A+An+eeg+study%5BTitle%5D)+AND+%22J.+NeuroEng.+Rehabil%22%5BJournal%5D)">Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study.</a> J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).</li>
<li>Lorey, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neural+simulation+of+actions%3A+Effector-versus+action-specific+motor+maps+within+the+human+premotor+and+posterior+parietal+area%5BTitle%5D)+AND+%22Hum.+Brain+Mapp%22%5BJournal%5D)">Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area.</a> Hum. Brain Mapp. 35 (4), 1212-1225 (2014).</li>
<li>Ehrsson, H. H., Geyer, S., Naito, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Imagery+of+voluntary+movement+of+fingers%2C+toes%2C+and+tongue+activates+corresponding+body-part-specific+motor+representations%5BTitle%5D)+AND+%22J+Neurophysiol%22%5BJournal%5D)">Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations.</a> J Neurophysiol. 90 (5), 3304-3316 (2003).</li>
<li>Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain+areas+involved+in+the+control+of+speed+during+a+motor+sequence+of+the+foot%3A+Real+movement+versus+mental+imagery%5BTitle%5D)+AND+%22J+Neuroradiol%22%5BJournal%5D)">Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery.</a> J Neuroradiol. 40 (4), 267-280 (2013).</li>
<li>Pfurtscheller, G., Neuper, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Motor+imagery+activates+primary+sensorimotor+area+in+humans%5BTitle%5D)+AND+%22Neurosci+Lett%22%5BJournal%5D)">Motor imagery activates primary sensorimotor area in humans.</a> Neurosci Lett. 239 (2-3), 65-68 (1997).</li>
<li>Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+%28de%29synchronization+%28erd%2Fers%29+during+motor+imagery+tasks%3A+Implications+for+brain-computer+interfaces%5BTitle%5D)+AND+%22Int.+J.+Ind.+Ergon%22%5BJournal%5D)">Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces.</a> Int. J. Ind. Ergon. 41 (5), 428-436 (2011).</li>
<li>Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mu+and+beta+rhythm+topographies+during+motor+imagery+and+actual+movements%5BTitle%5D)+AND+%22Brain+Topogr%22%5BJournal%5D)">Mu and beta rhythm topographies during motor imagery and actual movements.</a> Brain Topogr. 12 (3), 177-186 (2000).</li>
<li>Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Understanding+motor+events%3A+A+neurophysiological+study%5BTitle%5D)+AND+%22Exp+Brain+Res%22%5BJournal%5D)">Understanding motor events: A neurophysiological study.</a> Exp Brain Res. 91 (1), 176-180 (1992).</li>
<li>Rizzolatti, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+mirror+neuron+system+and+its+function+in+humans%5BTitle%5D)+AND+%22Anat+Embryol+%28Berl%29%22%5BJournal%5D)">The mirror neuron system and its function in humans.</a> Anat Embryol (Berl). 210 (5-6), 419-421 (2005).</li>
<li>Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+cerebral+reorganization+following+motor+sequence+learning+through+mental+practice+with+motor+imagery%5BTitle%5D)+AND+%22Neuroimage%22%5BJournal%5D)">Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery.</a> Neuroimage. 20 (2), 1171-1180 (2003).</li>
<li>Cramer, S. C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Harnessing+neuroplasticity+for+clinical+applications%5BTitle%5D)+AND+%22Brain%22%5BJournal%5D)">Harnessing neuroplasticity for clinical applications.</a> Brain. 134, Pt 6 1591-1609 (2011).</li>
<li>Nojima, I., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+motor+plasticity+induced+by+mirror+visual+feedback%29%5BTitle%5D)+AND+%22J+Neurosci%22%5BJournal%5D)">Human motor plasticity induced by mirror visual feedback).</a> J Neurosci. 32 (4), 1293-1300 (2012).</li>
<li>Slater, M. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSlater%2C+M+%22Implicit+learning+through+embodiment+in+immersive+virtual+reality%22">Implicit learning through embodiment in immersive virtual reality</a>. , Springer. (2017).</li>
<li>Tham, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Understanding+virtual+reality%3A+Presence%2C+embodiment%2C+and+professional+practice%5BTitle%5D)+AND+%22IEEE+Trans.+Prof.+Commun%22%5BJournal%5D)">Understanding virtual reality: Presence, embodiment, and professional practice.</a> IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).</li>
<li>Choi, J. W., Kim, B. H., Huh, S., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observing+actions+through+immersive+virtual+reality+enhances+motor+imagery+training%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">Observing actions through immersive virtual reality enhances motor imagery training.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).</li>
<li>Lakshminarayanan, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+effect+of+combining+action+observation+in+virtual+reality+with+kinesthetic+motor+imagery+on+cortical+activity%5BTitle%5D)+AND+%22Front+Neurosci%22%5BJournal%5D)">The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity.</a> Front Neurosci. 17, 1201865(2023).</li>
<li>Juliano, J. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Embodiment+is+related+to+better+performance+on+a+brain-computer+interface+in+immersive+virtual+reality%3A+A+pilot+study%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study.</a> Sensors. 20 (4), 1204(2020).</li>
<li>Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+effects+of+subthreshold+vibratory+noise+on+cortical+activity+during+motor+imagery%5BTitle%5D)+AND+%22Motor+Control%22%5BJournal%5D)">The effects of subthreshold vibratory noise on cortical activity during motor imagery.</a> Motor Control. 27 (3), 559-572 (2023).</li>
<li>Cole, S. W., Yoo, D. J., Knutson, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactivity+and+reward-related+neural+activation+during+a+serious+videogame%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Interactivity and reward-related neural activation during a serious videogame.</a> PLoS One. 7 (3), e33909(2012).</li>
<li>Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+combined+impact+of+virtual+reality+neurorehabilitation+and+its+interfaces+on+upper+extremity+functional+recovery+in+patients+with+chronic+stroke%5BTitle%5D)+AND+%22Stroke%22%5BJournal%5D)">The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke.</a> Stroke. 43 (10), 2720-2728 (2012).</li>
<li>Turolla, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+for+the+rehabilitation+of+the+upper+limb+motor+function+after+stroke%3A+A+prospective+controlled+trial%5BTitle%5D)+AND+%22J+Neuroeng+Rehabil%22%5BJournal%5D)">Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial.</a> J Neuroeng Rehabil. 10, 85(2013).</li>
<li>Isaacson, B. M., Swanson, T. M., Pasquina, P. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+use+of+a+computer-assisted+rehabilitation+environment+%28caren%29+for+enhancing+wounded+warrior+rehabilitation+regimens%5BTitle%5D)+AND+%22J+Spinal+Cord+Med%22%5BJournal%5D)">The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens.</a> J Spinal Cord Med. 36 (4), 296-299 (2013).</li>
<li>Alchalabi, B., Faubert, J., Labbe, D. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((EEG+can+be+used+to+measure+embodiment+when+controlling+a+walking+self-avatar%5BTitle%5D)+AND+%22IEEE+Conf.+on+Virtual+Reality+and+3D+User+Interfaces+%28VR%29%22%5BJournal%5D)">EEG can be used to measure embodiment when controlling a walking self-avatar.</a> IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).</li>
<li>Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+eeg-based+brain-computer+interface+to+a+virtual+avatar+enhances+cortical+involvement+in+human+treadmill+walking%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking.</a> Sci Rep. 7 (1), 8895(2017).</li>
<li>Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+brain-computer+interface+to+control+an+avatar+in+a+virtual+reality+environment%5BTitle%5D)+AND+%225th+ISSNIP-IEEE+Biosignals+and+Biorobotics+Conf.+%28BRC%29%22%5BJournal%5D)">Using brain-computer interface to control an avatar in a virtual reality environment.</a> 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).</li>
<li>Hinrichs, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparison+between+a+wireless+dry+electrode+eeg+system+with+a+conventional+wired+wet+electrode+eeg+system+for+clinical+applications%5BTitle%5D)+AND+%22Scientific+reports%22%5BJournal%5D)">Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications.</a> Scientific reports. 10 (1), 5218(2020).</li>
<li>Škola, F., Tinková, S., Liarokapis, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Progressive+training+for+motor+imagery+brain-computer+interfaces+using+gamification+and+virtual+reality+embodiment%5BTitle%5D)+AND+%22Front+Human+Neurosci%22%5BJournal%5D)">Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment.</a> Front Human Neurosci. 13, 329(2019).</li>
</ol>

Gli autori non hanno alcun conflitto di interessi da rivelare.

L'applicazione dell'infarto miocardico in combinazione con la tecnologia VR offre una strada promettente per la riabilitazione sfruttando i meccanismi naturali del cervello per la pianificazione e l'esecuzione motoria. La capacità dell'MI di indurre la desincronizzazione correlata agli eventi in specifiche bande di frequenza cerebrali, rispecchiando l'attività neurale del movimento fisico 2,3,4, fornisce un quadro robusto per coinvolgere e rafforzare le reti neurali coinvolte nel controllo motorio8. Questo processo è ulteriormente potenziato dalla qualità immersiva della VR, che non solo amplifica il senso di presenza e di proprietà del corpo, ma facilita anche la visualizzazione dei movimenti, arricchendo così l'esperienza MI16.
Lo sviluppo di avatar 3D personalizzati che assomigliano molto ai soggetti che rappresentano segna una notevole innovazione in questo campo 13,14,15. L'approccio è concettualmente allineato con il lavoro di Skola et al.27 sull'allenamento MI-BCI co-adattivo utilizzando attività gamificate in un ambiente VR. Tuttavia, questo protocollo introduce una differenziazione significativa utilizzando un avatar 3D completo, che rispecchia fedelmente l'aspetto del partecipante, in contrasto con la prospettiva del punto di vista focalizzata sulle mani impiegata da Skola et al. Fornendo una rappresentazione visiva dei movimenti immaginati dall'utente in tempo reale, questi avatar approfondiscono l'immersione e rafforzano la connessione tra i movimenti immaginati e quelli reali18. Si prevede che l'approccio descritto in questo manoscritto favorisca modelli ERD più pronunciati, portando a un adattamento e un recupero neurale più efficaci.
Tuttavia, la transizione dalle metodologie BCI offline al controllo in tempo reale degli avatar presenta delle sfide, in particolare nel garantire l'accuratezza e la reattività del sistema ai movimenti immaginati dall'utente. Il sistema garantisce il calcolo in tempo reale attraverso una configurazione che coinvolge il sistema di acquisizione dati EEG collegato a un laptop, che poi si interfaccia con un visore Oculus Rift-S VR. Questa configurazione consente la perfetta integrazione dell'acquisizione dei dati EEG con l'immersione in realtà virtuale, facilitata dal server di acquisizione e dal motore di gioco per il feedback visivo e l'interazione attraverso un avatar 3D sviluppato su misura.
La latenza complessiva del sistema può essere ridotta al minimo in modo efficiente in uno scenario di integrazione BCI-VR sfruttando un laptop da gioco dotato di una scheda grafica di fascia alta e impiegando messaggi leggeri su OSC per i segnali e i valori di previsione della mano. L'uso di un laptop da gioco garantisce una rapida elaborazione dei dati EEG acquisiti attraverso la scheda EEG, con una latenza iniziale di digitalizzazione e trasmissione ben al di sotto di 5 ms. Ci si può aspettare che la successiva elaborazione e classificazione del segnale contribuisca a una latenza aggiuntiva di circa 20-40 ms, tenendo conto sia del filtraggio del segnale che dell'esecuzione di algoritmi come CSP per l'estrazione delle caratteristiche. La comunicazione tra lo scenario designer e il motore di gioco, facilitata dall'OSC, che trasmette semplici segnali numerici per i movimenti della mano sinistra e destra, è progettata per un sovraccarico minimo, probabilmente aggiungendo non più di 5-10 ms di latenza. L'elaborazione di questi comandi da parte del motore di gioco, grazie all'efficienza computazionale della scheda grafica, sarebbe rapida, contribuendo con un altro ritardo inferiore a 10 ms prima di eseguire il rendering del feedback visivo nell'ambiente VR fornito dal visore VR, che mira a mantenere la latenza al di sotto dei 20 ms. Collettivamente, questi componenti sinergizzano per mantenere la latenza totale del sistema entro un intervallo desiderabile di 45-75 ms, garantendo una reattività in tempo reale cruciale per esperienze VR immersive e applicazioni BCI efficaci.
Inoltre, ai partecipanti sono state fornite prove pratiche sufficienti come forma di modulo tutorial per familiarizzare con la configurazione VR e il ritmo dell'avatar durante la fase di formazione e utilizzare i loro pensieri per controllare l'avatar 3D nella fase di test. L'enfasi sulla verifica della qualità del segnale, l'uso di CSP e LDA per la classificazione delle attività e la fase di test dettagliata sono fondamentali per il successo del controllo avatar in tempo reale.
Si prevede che i risultati di questo studio contribuiranno al campo dimostrando la fattibilità e l'efficacia dell'utilizzo del controllo BCI in tempo reale di avatar 3D personalizzati per la riabilitazione. Confrontando l'accuratezza del rilevamento dell'intenzione motoria tra la fase di allenamento delle immagini motorie e i test in tempo reale, lo studio fornirà preziose informazioni sul potenziale di questa tecnologia per migliorare i risultati della riabilitazione. Inoltre, il feedback dei partecipanti sulla facilità di controllo e sul livello di immersione sperimentato informerà i futuri sviluppi delle tecnologie BCI e VR, con l'obiettivo di creare interfacce di riabilitazione più coinvolgenti ed efficaci.
I progressi nelle tecnologie BCI e VR aprono nuove possibilità per protocolli di riabilitazione più personalizzati, coinvolgenti ed efficaci. La ricerca futura dovrebbe concentrarsi sul perfezionamento della tecnologia per il controllo in tempo reale degli avatar, esplorando l'uso di algoritmi di apprendimento automatico più sofisticati per la classificazione dei segnali e ampliando l'applicazione di questo approccio a una gamma più ampia di condizioni neurologiche. Inoltre, sono necessari studi longitudinali per valutare l'impatto a lungo termine di questo metodo di riabilitazione sul recupero funzionale e sulla qualità della vita degli individui con disabilità neurologiche.
Sebbene l'integrazione dell'MI con la tecnologia VR nella riabilitazione sia molto promettente, diverse limitazioni meritano attenzione. Esiste una gamma significativa nella capacità degli individui di generare chiari segnali di infarto miocardico e le loro risposte neurali agli interventi di infarto miocardico e VR. Questa variabilità significa che l'efficacia del processo di riabilitazione può differire notevolmente tra i pazienti, rendendo la personalizzazione della terapia per adattarsi alle differenze individuali una sfida sostanziale. Inoltre, ottenere un'elevata precisione e reattività nel controllo in tempo reale degli avatar è un'impresa complessa. Ritardi o errori nell'interpretazione dei segnali MI possono interrompere l'esperienza immersiva, riducendo potenzialmente l'efficacia del processo di riabilitazione. Sebbene la tecnologia VR possa migliorare l'immersione e il coinvolgimento, può anche portare a disagio o cinetosi per alcuni utenti, compromettendo la loro capacità di impegnarsi in lunghe sessioni e, di conseguenza, il successo complessivo della terapia.
In conclusione, l'integrazione di BCI e VR, esemplificata dal controllo in tempo reale di avatar 3D personalizzati utilizzando segnali MI, rappresenta un approccio all'avanguardia alla riabilitazione neurologica. L'attuale protocollo non solo sottolinea la fattibilità tecnica di tale integrazione, ma pone anche le basi per una nuova era della riabilitazione in cui tecnologia e neuroscienze convergono per sbloccare il pieno potenziale della capacità di recupero e adattamento del cervello umano.

I paradigmi riabilitativi per i pazienti con disabilità neurologiche stanno subendo un cambiamento trasformativo con l'integrazione di tecnologie avanzate come le interfacce cervello-computer (BCI) e la realtà virtuale immersiva (VR), offrendo un metodo più sfumato ed efficace per favorire il recupero. L'immaginazione motoria (MI), la tecnica al centro della riabilitazione basata sulla BCI, prevede la prova mentale di movimenti fisici senza un'effettiva esecuzione motoria1. L'infarto miocardico sfrutta un meccanismo neurale in cui l'immaginazione di un movimento innesca un modello di attività cerebrale che rispecchia da vicino quello dell'esecuzione dell'azione fisica stessa 2,3,4. In particolare, l'impegno nell'infarto miocardico porta a un fenomeno noto come desincronizzazione correlata agli eventi (ERD) nelle bande di frequenza alfa (8-13 Hz) e beta (13-25 Hz) dell'attività elettrica del cervello 5,6,7. L'ERD è indicativo di una soppressione dei ritmi cerebrali di base, un modello osservato anche durante il movimento effettivo, fornendo così un substrato neurale per l'uso dell'infarto miocardico all'interno dei quadri di riabilitazione assistita da BCI7. Una tale somiglianza nell'attivazione corticale tra infarto miocardico e movimento fisico suggerisce che l'infarto miocardico può stimolare efficacemente le reti neurali coinvolte nel controllo motorio, rendendolo uno strumento prezioso per i pazienti con deficit motori8. Inoltre, la pratica dell'MI è stata estesa oltre la mera prova mentale per includere strategie di osservazione dell'azione9. Osservare il movimento di parti del corpo correlate al compito o le azioni in altri può attivare la rete di neuroni specchio (MNN), un gruppo di neuroni che rispondono sia all'osservazione dell'azione che all'esecuzione9. È stato dimostrato che l'attivazione della MNN attraverso l'osservazione induce plasticità corticale, come evidenziato da varie modalità di neuroimaging, tra cui la risonanza magnetica funzionale10, la tomografia a emissione di positroni11 e la stimolazione magnetica transcranica12. L'evidenza supporta l'idea che l'allenamento dell'infarto miocardico, potenziato dall'osservazione dell'azione, può portare a un significativo adattamento neurale e recupero negli individui affetti.
La tecnologia della realtà virtuale ha rivoluzionato il regno della riabilitazione basata sull'MI offrendo un ambiente immersivo che migliora il senso di proprietà del corpo e offusca le distinzioni tra il mondo reale e quello virtuale 13,14,15. La qualità immersiva della realtà virtuale la rende uno strumento efficace per l'osservazione dell'azione e la pratica delle immagini motorie, in quanto consente ai partecipanti di percepire l'ambiente virtualecome reale. La ricerca ha dimostrato che i dispositivi VR hanno un effetto più pronunciato sull'allenamento MI rispetto ai tradizionali display 2D15,16. Tali risultati sono evidenziati da una maggiore attività neurale, come l'aumento dei rapporti di ampiezza ERD nella corteccia sensomotoria, evidenziando i benefici di livelli di immersione più elevati nella stimolazione dell'attività cerebrale durante gli esercizi di infarto miocardico guidati visivamente16. Il sistema aiuta a migliorare le prestazioni dell'infarto miocardico per le attività che coinvolgono i movimenti delle braccia o degli arti fornendo un feedback diretto, migliorando così il processo di riabilitazione16,17. La sinergia tra MI e VR enfatizza l'integrazione delle attività sensoriali, percettive, cognitive e motorie18,19. La combinazione è stata particolarmente vantaggiosa per i sopravvissuti all'ictus20,21 e per i veterani di guerra22, poiché gli studi hanno dimostrato che l'integrazione della realtà virtuale nei protocolli di riabilitazione basati sull'infarto miocardico può ridurre significativamente i tempi di riabilitazione e migliorare i risultati del recupero. La caratteristica unica della VR in riabilitazione risiede nella sua capacità di creare un senso di presenza all'interno di un ambiente virtuale appositamente progettato, migliorando l'esperienza di riabilitazione che è ulteriormente aumentata dall'inclusione di avatar virtuali che rappresentano il corpo dell'utente, che è stato sempre più utilizzato negli studi di riabilitazione motoria23. Questi avatar offrono una rappresentazione tridimensionale realistica dei movimenti degli arti, aiutando l'infarto miocardico e influenzando in modo significativo l'attivazione della corteccia motoria. Consentendo ai partecipanti di visualizzare i loro sé virtuali mentre eseguono compiti specifici, la realtà virtuale non solo arricchisce l'esperienza MI, ma favorisce anche una riorganizzazione neurale più rapida ed efficace e un processo di recupero24. L'implementazione di avatar virtuali e ambienti simulati nella formazione MI enfatizza l'uso naturale e integrato dei corpi virtuali all'interno di mondi virtuali immersivi.
Nonostante i notevoli vantaggi del controllo basato su BCI di avatar 3D nell'infarto miocardico per la riabilitazione, rimane una limitazione significativa nell'uso predominante di metodologie offline. Attualmente, la maggior parte delle applicazioni BCI prevede l'acquisizione di dati elettroencefalografici (EEG) preregistrati che vengono successivamente utilizzati per manipolare un avatar24,25. Anche negli scenari in cui si ottiene il controllo dell'avatar in tempo reale, questi avatar sono spesso generici e non assomigliano ai partecipanti che rappresentano23. Questo approccio generico perde un'opportunità fondamentale per approfondire l'immersione e il senso di proprietà del corpo, che è fondamentale per una riabilitazione efficace24. La creazione di un avatar 3D che rispecchi l'esatta somiglianza del soggetto potrebbe migliorare significativamente l'esperienza immersiva dell'esperienza16. Visualizzando se stessi nel mondo virtuale, i partecipanti potrebbero favorire una connessione più forte tra i loro movimenti immaginati e reali, portando potenzialmente a modelli ERD più pronunciati e, quindi, a un adattamento e un recupero neurale più efficaci16. Avanzando verso il controllo in tempo reale di avatar 3D personalizzati, il campo della BCI e della VR può migliorare significativamente i paradigmi di riabilitazione, offrendo un metodo più sfumato, coinvolgente ed efficace per il recupero del paziente.
Il presente manoscritto presenta la creazione, la progettazione e gli aspetti tecnologici sia dell'hardware che del software del controllo BCI in tempo reale basato su VR di avatar 3D, evidenziando i suoi risultati innovativi che ne supportano l'integrazione in contesti di riabilitazione motoria. Il sistema proposto utilizzerà l'elettroencefalografia (EEG) per catturare i segnali di immagini motorie generati dal soggetto, che verranno poi utilizzati per controllare i movimenti e le azioni dell'avatar in tempo reale. L'approccio attuale combinerà le capacità avanzate della tecnologia VR con la precisione dell'EEG nel riconoscere e interpretare l'attività cerebrale correlata ai movimenti immaginati, con l'obiettivo di creare un'interfaccia più coinvolgente ed efficace per consentire agli utenti di interagire con gli ambienti digitali attraverso il potere dei loro pensieri.

<table><tbody><tr><td>Laptop Alienware</td><td>Dell</td><td></td><td>Laptop da gioco di fascia alta con scheda grafica GTX1070</td></tr><tr><td>Cuffie Oculus Rift-S VR Cuffie</td><td>Meta</td><td></td><td>VR</td></tr><tr><td>OpenBCI Cyton Daisy</td> Sistema <td>EEG</td><td>OpenBCI</td><td></td></tr><tr><td>Cappuccio senza gel OpenBCI Cappuccio senza gel</td><td>OpenBCI</td><td></td><td>per posizionare gli elettrodi EEG sul cuoio capelluto del partecipante</td></tr></tbody></table>

prestazioni delle immagini motorie attraverso gemelli digitali incorporati in un ambiente di interfaccia cervello-computer abilitato alla realtà virtuale

Motor Imagery Performance Through Embodied Digital Twins in a Virtual Reality-Enabled Brain-Computer Interface Environment

Questo studio introduce un framework innovativo per la riabilitazione neurologica integrando le tecnologie di interfacce cervello-computer (BCI) e realtà virtuale (VR) con la personalizzazione di avatar tridimensionali (3D). Gli approcci tradizionali alla riabilitazione spesso non riescono a coinvolgere pienamente i pazienti, principalmente a causa della loro incapacità di fornire un'esperienza profondamente immersiva e interattiva. Questa ricerca cerca di colmare questa lacuna utilizzando tecniche di imaging motorio (MI), in cui i partecipanti visualizzano movimenti fisici senza un'esecuzione effettiva. Questo metodo sfrutta i meccanismi neurali del cervello, attivando le aree coinvolte nell'esecuzione del movimento quando si immaginano i movimenti, facilitando così il processo di recupero. L'integrazione delle capacità immersive della realtà virtuale con la precisione dell'elettroencefalografia (EEG) per catturare e interpretare l'attività cerebrale associata ai movimenti immaginati costituisce il cuore di questo sistema. I Digital Twin sotto forma di avatar 3D personalizzati vengono utilizzati per migliorare significativamente il senso di immersione all'interno dell'ambiente virtuale. Questo accresciuto senso di incarnazione è fondamentale per una riabilitazione efficace, con l'obiettivo di rafforzare la connessione tra il paziente e la sua controparte virtuale. In questo modo, il sistema non solo mira a migliorare le prestazioni delle immagini motorie, ma cerca anche di fornire un'esperienza di riabilitazione più coinvolgente ed efficace. Attraverso l'applicazione in tempo reale di BCI, il sistema consente di tradurre direttamente i movimenti immaginati in azioni virtuali eseguite dall'avatar 3D, offrendo un feedback immediato all'utente. Questo ciclo di feedback è essenziale per rafforzare i percorsi neurali coinvolti nel controllo motorio e nel recupero. L'obiettivo finale del sistema sviluppato è quello di migliorare significativamente l'efficacia degli esercizi di imaging motorio rendendoli più interattivi e reattivi ai processi cognitivi dell'utente, aprendo così un nuovo percorso nel campo della riabilitazione neurologica.

I risultati mostrati provengono da 5 individui che hanno seguito il protocollo sopra descritto. Hanno partecipato allo studio un totale di 5 adulti sani (3 femmine) di età compresa tra 21 e 38 anni.
Le prestazioni di classificazione individuale per ciascun partecipante sia in condizioni di allenamento con immagini motorie che di test sono mostrate nella Figura 2. È stata calcolata una matrice di confusione media per tutti i soggetti per valutare l'accuratezza del classificatore nel distinguere tra segnali MI sinistro e destro durante le sessioni di formazione e test (vedi Figura 3).
I pesi CSP calcolati per le immagini motorie sinistra e destra durante la sessione di allenamento sono stati proiettati come modello topografico per un partecipante rappresentativo nella Figura 4A. Inoltre, è stata condotta un'analisi tempo-frequenza per lo stesso partecipante sui dati EEG raccolti dall'elettrodo C4, che era posizionato sopra l'area sensomotoria destra controlaterale corrispondente alla mano sinistra, e dall'elettrodo C3, situato sopra l'area sensomotoria sinistra per la mano destra. I grafici tempo-frequenza per identificare le perturbazioni spettrali correlate agli eventi (ERSP), che rivelano come l'ampiezza delle frequenze che vanno da 8 a 30 Hz cambia dinamicamente nel tempo durante un'epoca, sono mostrati nella Figura 4B sotto la sessione di addestramento con immagini motorie. Concentrandosi sulle bande alfa (8-12 Hz) e beta (13-30 Hz), gli ERSP per ogni epoca sono stati normalizzati dividendoli per i loro spettri di base e da questi valori normalizzati è stato calcolato un ERSP medio.
Inoltre, il feedback dei partecipanti è stato ampiamente positivo sul comfort e la facilità d'uso della cuffia EEG e del visore VR. I partecipanti sono stati particolarmente entusiasti del controllo in tempo reale dei loro avatar 3D. Tuttavia, i partecipanti hanno ritenuto che l'azione di colpire il bongo potesse essere accompagnata da un feedback sonoro per una migliore immersione.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66859/66859fig02.jpg"> Figura 2: Percentuali di precisione per ciascun partecipante durante le sessioni di allenamento e test con immagini motorie. Il tasso di vero positivo (TP) mostra la proporzione di segnali di immagini motorie (MI) che il modello di classificatore ha correttamente identificato come segnali MI. Il tasso di falsi positivi (FP) indica la frequenza con cui i segnali MI sinistro sono stati erroneamente classificati come segnali MI destro. Il tasso di falsi negativi (FN) rivela la proporzione di segnali MI sinistri effettivi che il modello non è riuscito a rilevare. Infine, il tasso di vero negativo (TN) indica la proporzione di segnali MI destro che il modello ha riconosciuto con precisione come tali. S1, S2, S3, S4 e S5 indicano i cinque partecipanti. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig02large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/66859/66859fig03.jpg"> Figura 3: Matrici di confusione media delle prestazioni di classificazione durante l'addestramento e le sessioni di test con immagini motorie. L'accuratezza media complessiva riflette la capacità del modello di classificare correttamente i segnali MI sinistro e destro. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig03large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/66859/66859fig04.jpg"> Figura 4: Filtro CSP, pattern e grafici tempo-frequenza per entrambe le mani durante una sessione di allenamento con immagini motorie per un partecipante rappresentativo. (A) La figura mostra i filtri CSP per S1 che differenziano al massimo tra le due classi (sinistra e destra) in base alla varianza. (B) Il grafico tempo-frequenza per S1. Le regioni blu mostrano la desincronizzazione correlata all'evento. A 0 ms il segnale per immaginare la mano sinistra o destra veniva visualizzato per una durata di 1250 ms. Dopo la denominazione, il partecipante ha immaginato il movimento del bongo con la mano corrispondente. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig04large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>

L'immaginazione motoria in un ambiente di realtà virtuale ha ampie applicazioni nei sistemi di interfaccia cervello-computer. Questo manoscritto delinea l'uso di avatar digitali personalizzati che assomigliano ai partecipanti che eseguono movimenti immaginati dal partecipante in un ambiente di realtà virtuale per migliorare l'immersione e il senso di proprietà del corpo.

Prestazioni delle immagini motorie attraverso gemelli digitali incorporati in un ambiente di interfaccia cervello-computer abilitato alla realtà virtuale

This study introduces an innovative framework for neurological rehabilitation by integrating brain-computer interfaces (BCI) and virtual reality (VR) ...

motor-imagery-performance-through-embodied-digital-twins-virtual

Research

Ricerca

JoVE Journal

Bioengineering

Bioingegneria

In questo video, dimostriamo i passaggi necessari per eseguire un cervello-computer esperimento di interfaccia, compresa l'istituzione il tappo EEG, calibrare il sistema, e la formazione all'utente di spostare un cursore in due dimensioni utilizzando movimenti immaginato.

L&#39;utilizzo di un EEG basato su Brain-Computer Interface permette movimenti del cursore virtuale con BCI2000

Questo articolo illustra un disegno sperimentale in cui vengono usati personaggi animati di tutto il corpo in collaborazione con la risonanza magnetica funzionale (fMRI) per studiare i correlati neurali di osservare le interazioni sociali virtuali.

Indagine del cervello Imaging i correlati neurali di osservazione virtuale interazioni sociali

Recentemente, una grande quantità di prospettive si sono disponibile per sistemi interattivi uomo-robot. In questo lavoro delineare l'integrazione di un nuovo dispositivo robotico con software open source che può rapidamente rendere possibile una libreria di funzionalità interattive. Abbiamo poi delineare una applicazione clinica per un'applicazione neuroriabilitazione.

Haptic / grafica di riabilitazione: integrazione di un robot in un ambiente di biblioteca virtuale e sua applicazione alla terapia Corsa

La stimolazione magnetica transcranica, l'elettromiografia e la cattura del movimento 3D sono tecniche non invasive comunemente usate per studiare la funzione neuromuscolare negli esseri umani. In questo articolo, descriviamo un protocollo che campiona in modo sincrono i dati generati da tutti e tre questi strumenti insieme all'aggiunta unica della presentazione e del feedback degli stimoli in realtà virtuale.

Impostazione multifunzionale per lo studio di controllo del motore umano Utilizzando la Stimolazione Magnetica Transcranica, Elettromiografia, Motion Capture, e la realtà virtuale

Questo articolo descrive un nuovo metodo per stimare drift propriocettiva su un piano 2D utilizzando l'illusione specchio e combinando una procedura psicofisico con analisi utilizzando apprendimento automatico.

Metodo di visualizzazione per Drift propriocettiva su un piano 2D Utilizzando Support Vector Machine

Qui, descriviamo virtuale a mano e paradigmi illusione virtuale faccia che possono essere utilizzati per lo studio del corpo legati percezione di sé / -Rappresentazione. Sono già stati utilizzati in vari studi per dimostrare che, in particolari condizioni, una mano virtuale o faccia possono essere incorporati in uno di rappresentazione del corpo, suggerendo che le rappresentazioni del corpo sono piuttosto flessibili.

Creazione virtuale a mano e Virtual-face Illusions per Indagare Autorappresentazione

Descriviamo un'impostazione basata romanzo di realtà virtuale che sfrutta il controllo volontario di una mano per migliorare le prestazioni del motore-abilità in altra mano (non qualificato). Ciò si ottiene fornendo feedback sensoriale basato sul movimento in tempo reale, come se la mano non addestrato è in movimento. Questo nuovo approccio può essere utilizzato per migliorare la riabilitazione di pazienti con emiparesi unilaterale.

Utilizzo di realtà virtuale per trasferire conoscenza motoria da un lato a altro

Qui presentiamo un protocollo che caratterizza il senso dell'Agenzia ha sviluppato per il controllo delle protesi virtuale o robotizzato sensate di mano. Questionari psico-fisico sono impiegati per catturare l'esperienza esplicita dell'Agenzia, e le stime di intervallo di tempo (associazione intenzionale) sono impiegate per misurare in modo implicito il senso dell'Agenzia.

Caratterizzazione del senso dell'Agenzia sulle azioni della protesi operati interfaccia neurale-macchina

Vi presentiamo un romanzo combinato comportamentale e neuroimaging protocollo impiegando proiezione video in tempo reale allo scopo di caratterizzare i correlati neurali connessi con la terapia di specchio all'interno dell'ambiente di scanner di risonanza magnetica in gamba soggetti amputati con dolore dell'arto fantasma.

Proiezione Video in tempo reale in una risonanza magnetica per la caratterizzazione di componenti neurali associati con la terapia di specchio per dolore dell'arto fantasma

Presentiamo protocolli e metodi di analisi per costruire interfacce co-adattive che tras stream, parametrizzano, analizzano e modificano i segnali del corpo umano e del cuore in loop ravvicinato. Questa configurazione interfaccia i segnali derivati dal sistema nervoso periferico e centrale della persona con ingressi sensoriali esterni per aiutare a tenere traccia del cambiamento biofisico.

Controllo proxy in tempo reale dei segnali periferici rimizionati utilizzando un'interfaccia a circuito chiuso

Lo scopo di questo studio è fornire un importante riferimento per il funzionamento clinico standard dell'interfaccia cervello-computer (MI-BCI) per la disfunzione motoria degli arti superiori dopo l'ictus.

Interfaccia cervello-computer nella riabilitazione della disfunzione motoria dell'arto superiore dopo l'ictus

Esplora l'integrazione di EEG, immagini motorie e realtà virtuale per la riabilitazione degli arti superiori. Avatar digitali personalizzati migliorano l'immersione e l'efficacia delle interfacce cervello-computer nei pazienti con lesioni neurologiche.

Prestazioni delle immagini motorie attraverso gemelli digitali incorporati in un ambiente di interfaccia cervello-computer abilitato alla realtà virtuale (Video) | JoVE Journal

Prestazioni delle immagini motorie attraverso gemelli digitali incorporati in un ambiente di interfaccia cervello-computer abilitato alla realtà virtuale

Esplora altri video