Name: SSVEP-based Procedura sperimentale per Brain-Robot Interaction con Humanoid Robots (Video) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: Scopri la procedura sperimentale SSVEP per l'interazione cervello-robot con robot umanoidi. Questo metodo integra software multipli per assistere anziani e malati e svolgere compiti pericolosi in sicurezza.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Gli autori desiderano esprimere la loro gratitudine al signor Hong Hu per la sua assistenza nello svolgimento degli esperimenti riportati in questo documento. Questo lavoro è stato sostenuto in parte dalla National Science Foundation naturale della Cina (n ° 61.473.207).

1. Acquisizione del segnale EEG <ol><li> Spiegare la procedura sperimentale al soggetto e ottenere il consenso informato scritto a partecipare ad esperimenti. </li><li> Misurare la circonferenza della testa del soggetto utilizzando una misura di nastro e selezionare il formato della protezione EEG che è vicino alla misura. La disposizione degli elettrodi si basa sul &quot;Sistema Internazionale 10-20&quot; 12. </li><li> Misurare la distanza tra la nasion e inion. Utilizzare una matita pennarello pelle per marcare il 10% della distanza come riferimento per l&#39;allineamento del tappo, e segnare il punto mediano della distanza come il vertice sul cuoio capelluto del soggetto. </li><li> Mettere il tappo EEG sull&#39;argomento allineando la soglia del 10% con il punto medio degli elettrodi FP1 e FP2. Posizione elettrodo Cz del tappo sul vertice. </li><li> Assicurarsi che il Fz, Cz, Pz e Oz sono sulla linea mediana della testa, e che ciascuna coppia di elettrodi posti su entrambi i lati della linea mediana sono in una linea orizzontale. </li><li>Spalmare gli elettrodi RIF1 e RIF2 con gel conduttore. Posizionare gli elettrodi di riferimento sulle mastoide sinistra e destra con del nastro medico. Stringere il sottogola. </li><li> Inserire una siringa a punta smussata in portaelettrodi e iniettare gel conduttivo in ogni elettrodo nell&#39;ordine seguente: in primo luogo, la &quot;terra&quot; elettrodo sulla fronte e secondo, i cinque elettrodi usati nell&#39;esperimento, O2, O1, Oz, Pz , e Cz. </li><li> Sedile il soggetto in una comoda poltrona 60 centimetri di fronte a un monitor stimolo. Istruire il soggetto di tenere gli occhi / nello stesso livello orizzontale con il centro del monitor. </li><li> Collegare i fili degli elettrodi al sistema di acquisizione dati EEG. Configurare la frequenza di campionamento di 1 kHz. </li><li> Esaminare la qualità del segnale EEG sulla DPC dedicato. Se c&#39;è un problema con un elettrodo particolare, gel ri-iniezione per regolare l&#39;impedenza del canale. </li><li> Utilizzare l&#39;SPC dedicato a tremolare quattro immagini di robot a frequenze di 4.615, 12, 15 e 20Hz come stimoli visivi sull&#39;interfaccia utente come illustrato nella Figura 2. </li></ol> 2. Analizzare Offline SSVEP Caratteristiche <ol><li> Condurre 32 prove di esperimenti formativi in ​​linea per ogni soggetto e registrare i loro segnali cerebrali acquisiti dal sistema di EEG nel corso di questo processo. NOTA: questo processo è condotta solo da soggetti per la prima volta di questo esperimento per stabilire le loro funzionalità vettori SSVEP e per addestrare il classificatore. </li><li> Quando un processo viene avviato, selezionare uno stimolo come destinazione casuale e visualizzare una freccia gialla sopra. </li><li> 1 sec dopo, sfarfallio i quattro stimoli visivi a frequenze diverse sull&#39;interfaccia utente per 5 sec. </li><li> Richiedere al soggetto di concentrarsi sul bersaglio selezionato stimolo, mantenendo la sua / suo movimento del corpo al minimo. </li><li> Dopo ogni prova, dare il soggetto 3 secondi per rilassarsi, e quindi avviare la prova successiva. </li><li> Quando tutte le prove sono finite, leggere i dati salvati. Estrarre un data un&#39;epoca 3 sec essere<html> tween 2 sec e 5 secondi dopo il trigger che seleziona uno stimolo come destinazione in ogni prova. </li><li> Calcolare la densità di spettro di potenza (PSD) delle epoche di dati utilizzando la Offline Data Analyzer negli script MATLAB. Utilizzare l&#39;algoritmo di elaborazione descritto in dettaglio di seguito: <ol><li> Calcolare le analisi della correlazione canonica (CCA) coefficienti dei dati multicanale EEG con dati di riferimento. CCA è un metodo statistico multivariato utilizzato per due serie di dati per trovare la loro correlazione di base 13. Considerando il segmento 3s di dati multicanale EEG X e dati di riferimento Y della stessa lunghezza, utilizzare CCA per trovare i vettori peso W x e W y, per massimizzare il coefficiente di correlazione ρ tra x = X T W x ed y = Y T W a. Impostare i dati di riferimento per essere i segnali periodici a certe frequenze di stimolo. /ftp_upload/53558/53558eq1.jpg &quot;/&gt; dove f 1, f 2, f 3, f 4 sono le frequenze caratteristica delle quattro stimoli visivi. </li><li> Spazialmente filtrare i dati multicanale EEG X utilizzando i coefficienti calcolati CCA W x avere un monodimensionale filtrati x di dati, che ha la correlazione più importante con la combinazione lineare dei dati di riferimento. </li><li> Calcolare il PSD dei dati x spazialmente filtrati utilizzando Fast Fourier Transform (FFT). <img alt="Equazione 2" src="/files/ftp_upload/53558/53558eq2.jpg" /> dove N è la dimensione FFT campione di dati x, e FFT (x, N FFT) restituisce il N FFT -point trasformata discreta di Fourier di x. </li><li> Normalizzare il PSD rispetto al suo valore medio tra 3 e 30 Hz. <img alt="Equazione 3" src="/files/ftp_upload/53558/53558eq3.jpg" /> dove60; <img alt="Equazione 3 Denominatore" src="/files/ftp_upload/53558/53558eq3denominator.jpg" /> denota la media dello spettro di potenza tra 3 e 30Hz. </li></ol></li><li> Calibrare i parametri di classificazione per le quattro frequenze di stimolo. In primo luogo, osserva lo spettro PSD normalizzato che corrisponde al suo obiettivo di stimolo, e configurare manualmente la frequenza con la più forte di ampiezza PSD come la frequenza caratteristica. In base alla frequenza caratteristica, dividere i dati PSD normalizzati in due gruppi: uno è acquisito quando lo stimolo corrispondente viene selezionato come bersaglio, e l&#39;altro è acquisito quando si selezionano gli stimoli non bersaglio. Calcolare il valore medio di ciascun set rispettivamente. Determinare la soglia per la mediana dei due valori medi per classificare il bersaglio e non-bersaglio set 14. </li></ol> 3. Il trattamento in linea segnali del cervello <ol><li> Aprire il processore di segnale digitale, come mostrato in figura 3, che si sviluppa based sull&#39;ambiente OpenViBE e gli script MATLAB, il DPC per i segnali cerebrali di elaborazione on-line. </li><li> Fare doppio clic sulla casella del segnale acquisire e trattare, contrassegnato con un ciclo di rosso nella figura 3, per aprire la finestra di impostazione OpenViBE. Configurare i parametri di classificazione per il soggetto:. Impostare la frequenza di campionamento 1 kHz, impostare l&#39;intervallo di tempo per FFT come 3 secondi, e impostare le frequenze funzione in base ai risultati delle analisi non in linea, ad esempio, 4.667, 24, 15 e 20 Hz . </li><li> Fare clic sul pulsante Avvia per eseguire il processore di segnale digitale, che elabora i dati in tempo reale utilizzando il seguente algoritmo in tre fasi. </li><li> In primo luogo, l&#39;algoritmo acquisisce dati EEG dai canali Oz, O1, O2, Pz e CPZ del sistema EEG ogni 0.5s, ed estrae il segmento di dati degli ultimi 3 secondi per l&#39;elaborazione on-line. </li><li> In secondo luogo, l&#39;algoritmo elabora il segmento di dati 3-sec utilizzando gli algoritmi descritti al punto 2.7, e calcola il tempo reale PSD per classifizione. </li><li> In terzo luogo, l&#39;algoritmo classifica le onde cerebrali secondo le ampiezze PSD a quattro frequenze funzionalità. Quando l&#39;ampiezza di una frequenza caratteristica supera una certa soglia, classificare lo stimolo tremolante alla corrispondente frequenza come destinazione SSVEP. </li></ol> 4. Collegamento del Humanoid Robot <ol><li> Premere il pulsante di petto del robot umanoide e attendere che venga avviato. NOTA: questo processo richiede circa 1 minuto ed è completata quando il robot dice &quot;OGNAK GNOUK&quot;, mentre il suo pulsante Petto diventa bianca. </li><li> Stabilire la connessione Wireless Fidelity (WiFi) alla DPC 15. </li><li> Aprire il controllo del robot programmato in Visual C ++ script sul DPC. Il controller riceve i risultati della classificazione del Signal Processor online tramite l&#39;interfaccia di realtà virtuale periferica di rete (VRPN), li traduce in comandi robot, e controlla le corrispondenti comportamenti del humanoid robot tramite connessione wireless. </li><li> Configurare il controllo robot inserendo l&#39;indirizzo IP del robot in base alla sua connessione WiFi, definendo tre serie di comportamenti del robot che possono essere facilmente attivato per eseguire le tre compiti diversi, e l&#39;impostazione dei parametri di esecuzione di questi comportamenti (ad es., Velocità di marcia o distanza) per adattare il requisito di attività. NOTA: più dettagli di questi comportamenti sono descritte nei passaggi 5.2.1, 5.3.1, 5.4.1 e. </li><li> Fare clic sul pulsante di generatori della piattaforma Visual Studio per eseguire il controllo del robot. </li><li> Aprire il programma chorégraphe sulla SPC. Fare clic su &quot;Connetti a&quot; tasto per fare apparire un widget Connection. Selezionare il robot da controllare in base al suo indirizzo IP, e fare doppio clic sulla sua icona per connettersi ad esso. </li><li> Aprire il monitor video dal menu Visualizza nella barra dei menu chorégraphe, e spostare il monitor verso la parte anteriore dell&#39;interfaccia utente per visualizzare un feedback video in diretta dalla telecamera del robot. </li></ol> &lt;p class = &quot;jove_title&quot;&gt; 5. Condurre esperimenti di controllo a circuito chiuso <ol><li> Richiedere al soggetto di eseguire tre compiti di controllo ad anello chiuso specifici all&#39;interno di ambienti differenti per valutare le prestazioni interazione cervello-robot. NOTA: questi compiti, che sono importanti nelle applicazioni robotiche, perché sono utili per aiutare i disabili e gli anziani nella loro vita quotidiana, necessario attivare diversi comportamenti del robot. </li><li> Condurre il primo compito di controllo a circuito chiuso alla telepresenza controllare il robot umanoide con i segnali del cervello per camminare tra ostacoli e spingere un interruttore della luce per accendere la luce, come mostrato in Figura 4. <ol><li> Per realizzare il primo compito, controllare i comportamenti del robot che sono codificati dalle quattro stimoli SSVEP come: un passo in avanti con una distanza fissa di 0,15 m, girando a sinistra con un radiante fisso di 0,3 rad, svoltando a destra con un radiante fisso di 0,3 rad, e premendo l&#39;interruttore con la sua mano destra. NOTA: il configurazioniprocesso ne è descritta nel passo 4.4. </li><li> Inform oggetto dell&#39;obiettivo compito e le quattro comportamenti da controllare. </li><li> Eseguire il controller del robot come nei passaggi 4.5-4.7, e avviare l&#39;esperimento. Dare al soggetto la libertà di percepire l&#39;ambiente e prendere decisioni in base al feedback video dal vivo, e per attivare i comportamenti del robot da fissare stimoli corrispondenti. NOTA: nessuna istruzione o di aiuto dovrebbe essere data al soggetto se non in situazioni di emergenza, ad esempio, il robot è in procinto di entrare in collisione con un ostacolo.. </li></ol></li><li> Condurre il secondo compito di telepresenza controllare il robot umanoide con i segnali del cervello a camminare verso la scala seguendo il segnale di uscita, come mostrato nella Figura 5. Quando affrontare i passanti, chiedere al soggetto di controllare il robot di dire &quot;mi scusi&quot; e attendere che il i passanti a cedere il passo. <ol><li> Controllare i comportamenti del robot codificate dai quattro stimoli SSVEP come: camminare avanti continuously a una velocità di 0,05 m / sec, girando a sinistra in continuo ad una velocità di 0,1 rad / sec, girando a destra continuo ad una velocità di 0,1 rad / sec, e fermando tutti i comportamenti piedi. </li><li> Accendere il controller del robot alla funzione di controllo della postura dipendente 16. NOTA: quando il robot sta camminando, questa funzione utilizza la quarta di stimolo del comando di fermare i comportamenti a piedi; quando il robot non cammina, usa il quarto stimolo a controllare il robot di dire &quot;mi scusi&quot;. La funzione è implementata in C ++ script rilevando lo stato del robot a piedi. </li><li> Inform oggetto dell&#39;obiettivo compito e cinque comportamenti da controllare. </li><li> Eseguire il controllo del robot e iniziare l&#39;esperimento, come descritto al punto 5.2.3. </li></ol></li><li> Condurre il terzo compito di telepresenza controllare il robot umanoide a camminare verso un obiettivo mongolfiera, per raccoglierlo, e di consegnarlo a mano del soggetto, come mostrato in figura 6. <ol><li> Controllare i comportamenti del robot codificate dai quattro stimoli SSVEP esempio: un passo in avanti con una distanza fissa di 0,15 m, girando a sinistra con un radiante fisso di 0,3 rad, svoltando a destra con un radiante fisso di 0,3 rad, e raccogliere oggetti. </li><li> Attivare la funzione di controllo della postura-dipendente il controller del robot di riutilizzare il quarto di stimolo del comando di mettere giù l&#39;oggetto quando è già stato preso. </li><li> Inform oggetto dell&#39;obiettivo compito e cinque comportamenti da controllare. </li><li> Eseguire il controllo del robot e iniziare l&#39;esperimento, come descritto al punto 5.2.3. </li></ol></li></ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

Gli autori non hanno nulla da rivelare.

Questo articolo presenta una procedura sperimentale basato SSVEP a stabilire il sistema di interazione cervello-robot con robot umanoidi, integrando software multipli. Poiché intento umano è percepito interpretando segnali EEG in tempo reale, è fondamentale per verificare le connessioni degli elettrodi e le qualità del segnale EEG prima di condurre l&#39;esperimento. Se i segnali acquisiti da tutti gli elettrodi sono di qualità scarsa, è necessario controllare il collegamento degli elettrodi di massa e di riferimento pr...

Brain-Robot Interaction (BRI), che fornisce un innovativo percorso di comunicazione tra l&#39;uomo e un dispositivo robotico tramite segnali del cervello, è potenziale per aiutare i disabili nella loro vita quotidiana 1,2. Una varietà di metodi sono in grado di acquisire i segnali del cervello sia invasivo o non invasivo, come ad esempio elettrocorticografia (ECoG), elettroencefalogramma (EEG), la risonanza magnetica funzionale (fMRI), etc. Il metodo non invasivo più comunemente usato per la costruzione del Sistema BRI è di acquisire segnali EEG da elettrodi posti sul cuoio capelluto. Questo metodo è poco costoso, facile da usare, e fornisce una risoluzione temporale accettabile 3. Tra una varietà di dispositivi robotici, robot umanoidi sono avanzati in quanto sono creati per imitare alcune delle stesse attività fisiche e mentali che gli esseri umani subiscono quotidianamente. BRI con un robot umanoide svolgerà un ruolo importante nell&#39;assistere i malati e gli anziani, oltre a svolgere i lavori insalubri o pericolosi. Ma il controllodi un robot umanoide attraverso il sistema BRI è molto impegnativo, come il robot umanoide con il movimento di tutto il corpo è stato sviluppato per eseguire attività complesse, come l&#39;assistenza personale 4, 5. In condizioni di regime visiva Potenziali Evocati (SSVEP) è un tipo di segnale cerebrale evocata dalla modulazione di stimolo visivo ad una determinata frequenza 6. Esso contiene sinusoidi alle frequenze fondamentali ed armoniche dello stimolo sfarfallio e prominente appare in tutta la corteccia visiva nella regione occipitale del cuoio capelluto 7. La ragione della scelta dei segnali SSVEP è che il sistema BRI-based SSVEP rendimenti relativamente alto tasso di trasferimento dati e richiede meno formazione 8. Altri tipi di onde cerebrali, come potenziali evento-correlati (ERP) 9 o al motore-imagery (MI) Potenziali 10, possono anche essere incorporati in questa procedura sperimentale. La nostra procedura per l&#39;interazione cervello-robot con umanoiderobot si basa su Cerebot - una piattaforma robot umanoide mente controllata - costituita da un sistema di acquisizione dati EEG e un robot umanoide 11. Il sistema EEG è in grado di registrare, visualizzare segnali bio-potenziale acquisite da vari tipi di elettrodi pre-processo e. Esso fornisce analogico multiplo I / O e I / O digitali ed è in grado di registrare fino a 128 canali di segnali simultaneamente a una frequenza di campionamento di 30 kHz con una risoluzione di 16-bit. I suoi kit di sviluppo software in C ++ e MATLAB sono facile per gli utenti di progettare procedure sperimentali. Il robot umanoide ha 25 gradi di libertà ed è dotato di sensori multipli, tra cui 2 fotocamere, 4 microfoni, 2 telemetri sonar, 2 emettitori IR e ricevitori, 1 scheda di inerzia, 9 sensori tattili, e 8 sensori di pressione. Esso fornisce chorégraphe e C ++ SDK per la creazione e la modifica di movimenti e comportamenti del robot interattivi. L&#39;obiettivo generale di questo metodo è quello di stabilire un proce sperimentale basato SSVEP-Dure integrando più programmi software, come OpenViBE, Choregraph, software centrale così come programmi utente sviluppati scritti in C ++ e MATLAB, per consentire lo studio delle interazioni cervello-robot con robot umanoidi 11. figura 1 mostra la struttura del sistema. Il computer presentazione dello stimolo dedicato (SPC) visualizza l&#39;interfaccia utente di fornire al soggetto con stimoli visivi, istruzioni e feedback ambientali. Il computer di elaborazione dati dedicato (DPC) gestisce il Data Recorder e non in linea Data Analyzer nel processo di formazione non in linea, e gestisce il Signal Processor in linea e il controllore del robot per il controllo on-line del robot umanoide. Rispetto ad altri sistemi di controllo basati SSVEP-, il nostro sistema è più affidabile, più flessibili, e soprattutto più conveniente per essere riutilizzato e aggiornato mentre viene sviluppata integrando un numero di pacchetti software standardizzati, come OpenViBE, Choregraph, software centrale, e I moduli scritti in C ++e MATLAB. La seguente procedura è stato esaminato e approvato dal Tianjin University Medical policlinico comitato etico, e tutti i soggetti ha dato consenso scritto.

<table><tbody><tr><td>Sistema di acquisizione dati EEG Cerebus Blackrock</td><td>Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>Robot umanoide NAO</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>Cappuccio EEG</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 Gel conduttivo</td><td>Weaver e compagnia</td><td>10-20-8</td><td></td></tr></tbody></table>

ssvep-based procedura sperimentale per brain-robot interaction con humanoid robots

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

Brain-Robot Interaction (BRI), che fornisce un innovativo percorso di comunicazione tra l'uomo e un dispositivo robotico tramite segnali cerebrali, è in grado di aiutare i disabili nella loro vita quotidiana. L'obiettivo generale del nostro metodo è quello di stabilire una procedura sperimentale basata su SSVEP integrando più programmi software, come OpenViBE, Choregraph e software Central, nonché programmi sviluppati dall'utente scritti in C++ e MATLAB, per consentire lo studio dell'interazione cervello-robot con robot umanoidi.
Questo si ottiene posizionando prima gli elettrodi EEG su un soggetto umano per misurare le risposte cerebrali attraverso un sistema di acquisizione dati EEG. Un'interfaccia utente viene utilizzata per suscitare risposte SSVEP e per visualizzare un feedback video negli esperimenti di controllo a circuito chiuso. Il secondo passo consiste nel registrare i segnali EEG dei soggetti per la prima volta, analizzare le loro caratteristiche SSVEP offline e addestrare il classificatore per ciascun soggetto. Successivamente, il processore di segnale online e il controller del robot sono configurati per il controllo online di un robot umanoide. Come fase finale, il soggetto completa tre specifici esperimenti di controllo a circuito chiuso all'interno di diversi ambienti per valutare le prestazioni dell'interazione cervello-robot.
Il vantaggio di questo approccio è la sua affidabilità e flessibilità perché è sviluppato integrando più programmi software. I risultati mostrano che utilizzando questo approccio, il soggetto è in grado di interagire con il robot umanoide tramite segnali cerebrali. Ciò consente al robot umanoide controllato mentalmente di eseguire compiti tipici che sono popolari nella ricerca robotica e sono utili nell'assistenza ai disabili.

I risultati presentati sono stati ottenuti da un soggetto di sesso maschile che hanno corretto-per-versione normale. La figura 7 mostra la procedura di elaborazione dati EEG, tra cui l&#39;estrazione di un&#39;epoca di dati multicanale (Figura 7A), spazialmente filtrando i dati utilizzando coefficienti CCA (Figura 7B) , e calcolando il PSD normalizzato (figura 7C). <p class="jove_content" fo:keep-together.within-page...

L'obiettivo generale di questo metodo è quello di stabilire una procedura sperimentale basata su SSVEP integrando più programmi software per consentire lo studio dell'interazione cervello-robot con robot umanoidi, che è prospettico nell'assistere i malati e gli anziani, nonché nell'eseguire lavori insalubri o pericolosi.

SSVEP-based Procedura sperimentale per Brain-Robot Interaction con Humanoid Robots

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

L'obiettivo generale di questo metodo è stabilire una procedura sperimentale basata su P-E-V-E-S-S integrando diversi programmi software per consentire lo studio dell'interazione cervello-robot con robot umanoidi. Questo viene realizzato posizionando innanzitutto degli elettrodi EEG su un soggetto umano per misurare le risposte cerebrali attraverso un sistema di acquisizione dati EEG. Un'interfaccia utente viene utilizzata per evocare risposte P-E-V-E-S-S e per visualizzare un feedback video negli esperimenti di controllo in ciclo chiuso.Il secondo passaggio consiste nel registrare i segnali EEG dei soggetti al primo utilizzo, al fine di analizzare offline la caratteristica S-S-V-E-P e addestrare il classificatore per ogni soggetto. Successivamente, il processore del segnale in tempo reale e il controllore del robot vengono configurati per il controllo in tempo reale di un robot umanoide Robert. Come passaggio finale, il soggetto completa tre esperimenti specifici di controllo in loop chiuso in ambienti diversi.Per valutare le prestazioni dell'interazione tra cervello e Robert, i risultati mostrano la densità spettrale di potenza normalizzata dei segnali cerebrali generati mentre si osservano stimoli che lampeggiano a diverse frequenze. Il nostro sistema traduce questi modelli di onde cerebrali in comandi per controllare i comportamenti di Robert. Grazie a questo approccio, il soggetto è in grado di interagire con il robot umanoide Robert utilizzando segnali cerebrali.Questo consente all'umanoide Robert di eseguire compiti tipici, comuni nella ricerca robotica e utili per assistere le persone con disabilità. Il vantaggio di questo approccio risiede nella sua affidabilità e flessibilità, poiché è stato sviluppato integrando diversi programmi software come open wide graph e central software, oltre a programmi sviluppati dall'utente in c plus plus e match lab. Questo metodo permette di studiare il cervello robotico in azione mediante il robot umanoide.Questo studio ha come obiettivo quello di assistere i malati e gli anziani, oltre a svolgere lavori insalubri o pericolosi. I miei compagni di squadra, Lim e Han, mostreranno ora il posizionamento dei sensori EEG e il metodo di collegamento rispettivamente all'uomo e al robot. Spiegare l'esperimento e la procedura al soggetto.Ottenere il consenso a partecipare agli esperimenti. Misurare la circonferenza del soggetto e selezionare la taglia del capo EEG più vicina alla misurazione. Misurare la distanza tra il segno NAS, pari al 10% della distanza, come riferimento per allineare il capo.Segnare il punto medio della distanza al vertice sulla posizione del solco soggetto. L'elettrodo Cz del capo EEG al vertice deve allineare il segno del 10% con il punto medio tra gli elettrodi FP1 e FP2. Assicurarsi che gli elettrodi Fz, Cz, Pz e Oz siano allineati sulla linea mediana della testa.Applicare il gel conduttivo sul riferimento degli elettrodi. Posizionare gli elettrodi di riferimento sui OIDs sinistro e destro utilizzando nastro medico. Stringere la cinghia a catena.Inserire la siringa con punta smussata nei supporti degli elettrodi e iniettare il gel conduttivo in ciascun elettrodo nel seguente ordine: prima l'elettrodo di terra, poi i cinque elettrodi utilizzati nell'esperimento O 2 0 1 OZ.PZ e cz. Far sedere il soggetto su una sedia comoda, a 60 centimetri di distanza dal monitor di stimolazione.Collegare i cavi degli elettrodi al sistema di acquisizione dati EEG. Impostare la frequenza di campionamento a un chilohertz. Esaminare la qualità del segnale EEG sul computer dedicato all'elaborazione dei dati.Se si verifica un problema con l'elettrodo specifico, reiniettare i gel per regolare l'impedenza del canale. Alternare rapidamente quattro immagini di robot con diverse frequenze come stimoli visivi sull'interfaccia utente.Per il primo soggetto, eseguire l'esperimento di allenamento offline per stabilire i suoi vettori caratteristici S-S-V-E-P e addestrare il classificatore. Eseguire 32 prove per ogni soggetto e registrare il segnale cerebrale durante tutto il processo. Quando inizia una prova, selezionare casualmente uno stimolo come bersaglio e visualizzare una freccia gialla al di sopra.Un secondo. Successivamente, far lampeggiare i quattro stimoli visivi a diverse frequenze sull'interfaccia utente per cinque secondi, chiedendo al soggetto di concentrarsi sullo stimolo bersaglio selezionato mantenendo al minimo i movimenti del corpo. Dopo ogni prova, concedere al soggetto tre secondi per rilassarsi, quindi iniziare la prova successiva.Al termine di tutte le prove, leggere i dati salvati. Le barre verticali arancioni indicano i trigger per selezionare uno stimolo come bersaglio mentre gli stimoli lampeggiano durante il periodo di cinque secondi. In ciascuna prova, estrarre un'apo dati della durata di tre secondi compresa tra due e cinque secondi dopo il trigger.Calcolare il coefficiente CCA dei dati EEG multicanale con un segnale di riferimento y, impostato come il segnale di stimolo periodico a determinate frequenze. Il metodo CCA determina i vettori di combinazione lineare per massimizzare il coefficiente di correlazione tra i segnali combinati. Filtrare spazialmente i dati EEG multicanale utilizzando i coefficienti CCA calcolati.Calcola la densità spettrale di potenza dei dati del filtro utilizzando la trasformata di Fourier veloce. Normalizza la densità spettrale di potenza rispetto al suo valore medio compreso tra tre hutz e 40 hutz. Quindi calibra i parametri di classificazione per ciascuna frequenza dello stimolo.Configurare i parametri di classificazione per il soggetto tramite una finestra di impostazione aperta. Avviare il processore del segnale in tempo reale sul computer per l'elaborazione dei dati. Acquisire i dati EEG dai canali O2, 01, OZ, PZ e CZ del sistema EEG ogni 0,5 secondi ed estrarre il segmento di dati degli ultimi tre secondi per l'elaborazione in tempo reale.Elaborare il segmento di dati utilizzando gli algoritmi descritti nel processo offline. Calcolare la densità spettrale di potenza in tempo reale per la classificazione. Quando l'ampiezza di una frequenza caratteristica supera una soglia prestabilita, lo stimolo lampeggiante alla frequenza corrispondente viene classificato.Come bersaglio SSV EEP, avviare il robot umanoide Noro e stabilire la sua connessione Wi-Fi con il computer per l'elaborazione dei dati. Configurare ed eseguire il controllore del robot, che riceve i risultati di classificazione dal processore del segnale in tempo reale e controlla i comportamenti corrispondenti dell'umanoide Robert tramite connessione wireless. Eseguire il programma di coreografia sul computer dedicato alla presentazione degli stimoli per visualizzare in tempo reale il video trasmesso dalla telecamera di Robert sull'interfaccia utente.Chiedere al soggetto di eseguire tre specifici test di controllo ad anello chiuso in ambienti diversi al fine di valutare le prestazioni dell'interazione cervello-robot. Questi test sono diffusi nella ricerca robotica e risultano utili per assistere le persone con disabilità e gli anziani nella vita quotidiana. Prima di ogni nuova attività, informare il soggetto sull'obiettivo dell'attività e sui comportamenti disponibili per il controllo.Questi risultati mostrano la procedura di elaborazione dei dati EEG, inclusa l'estrazione dell'epoca di dati multicanale, il filtraggio spaziale dei dati mediante coefficienti CCA e il calcolo della densità spettrale di potenza normalizzata. Qui vengono mostrate le densità spettrali di potenza normalizzate ottenute in singoli trial in cui il soggetto fissa diversi bersagli lampeggianti. Nei primi esperimenti di controllo in loop chiuso, l'essere umano Noah Robert è stato controllato mediante segnali cerebrali per camminare attraverso ostacoli e premere un interruttore della luce a parete.I segnali cerebrali venivano elaborati in tempo reale. Per classificare l'intento di controllo del soggetto, quest'ultimo osservava un feedback video in diretta e controllava il comportamento di Robert fissando gli stimoli corrispondenti. Dopo aver raggiunto l'interruttore, il soggetto controllava Robert per accendere la luce.Nel secondo esperimento, il robot umanoide è stato guidato in modo continuo verso le scale seguendo il cartello di uscita sulla base del feedback video. Quando incontrava un passante, il soggetto controllava il Robert affinché dicesse "mi scusi" e attendesse che il passante gli cedesse il passo. Il Robert veniva quindi controllato per camminare verso le scale.Nel terzo esperimento, l'umanoide Robert è stato controllato con un movimento completo del corpo per raggiungere il palloncino bersaglio, prenderlo e consegnarlo nella mano del soggetto sulla base del feedback video in tempo reale. Poiché l'intento umano viene percepito interpretando i segnali EEG del tempo LU, è fondamentale verificare le connessioni elettriche e la qualità dei segnali EEG prima di eseguire gli esperimenti. Un altro problema comune durante l'acquisizione dei segnali EEG è l'interferenza o la presenza di artefatti e rumori.I lombi, il nostro disturbo di questo tipo viene migliorato riducendo il movimento del soggetto e utilizzando una tecnica multicanale basata sulla CCA. Il nostro metodo è efficace per progettare una varietà di procedure sperimentali ed è flessibile nell'indagare algoritmi e tecniche per l'interazione cervello-robot, in particolare può essere facilmente utilizzato per esplorare nuove applicazioni dell'interazione cervello-robot (BRI).

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

Ricerca

JoVE Journal

Engineering

Ingegneria

Usiamo un circuito chiuso volare-macchina per studiare i principi generali di controllo neuronale.

Una piattaforma sperimentale per studiare il ciclo chiuso delle prestazioni di interfacce cervello-macchina

Recentemente, una grande quantità di prospettive si sono disponibile per sistemi interattivi uomo-robot. In questo lavoro delineare l'integrazione di un nuovo dispositivo robotico con software open source che può rapidamente rendere possibile una libreria di funzionalità interattive. Abbiamo poi delineare una applicazione clinica per un'applicazione neuroriabilitazione.

Haptic / grafica di riabilitazione: integrazione di un robot in un ambiente di biblioteca virtuale e sua applicazione alla terapia Corsa

L'adattamento e l'uso di un robot tattile in un fMRI 3T è descritto.

Adattamento di un robot tattile in un fMRI 3T

In questo articolo, viene presentato un quadro sperimentale per eseguire esperimenti a circuito chiuso, in cui l'elaborazione delle informazioni (cioè codifica e decodifica) e l'apprendimento di assemblaggi neuronali vengono studiati durante l'interazione continua con un corpo robotico.

Closed-loop di esperimenti neuro-robotica a prova le proprietà computazionali di neuronali Networks

In questo articolo viene presentata una nuova interfaccia uomo-macchina a basso costo per un sistema interattivo di riabilitazione dell'equilibrio post-ictus. Il sistema integra sensori a basso costo pronti all'uso verso il paradigma dell'elettroterapia guidato dalla volontà. L'interfaccia software proof-of-concept è stata dimostrata su volontari sani.

Un uomo-macchina-interfaccia Integrazione di sensori a basso costo con una stimolazione del sistema neuromuscolare elettrica per post-ictus Balance riabilitazione

Qui, descriviamo virtuale a mano e paradigmi illusione virtuale faccia che possono essere utilizzati per lo studio del corpo legati percezione di sé / -Rappresentazione. Sono già stati utilizzati in vari studi per dimostrare che, in particolari condizioni, una mano virtuale o faccia possono essere incorporati in uno di rappresentazione del corpo, suggerendo che le rappresentazioni del corpo sono piuttosto flessibili.

Creazione virtuale a mano e Virtual-face Illusions per Indagare Autorappresentazione

Presentiamo protocolli e metodi di analisi per costruire interfacce co-adattive che tras stream, parametrizzano, analizzano e modificano i segnali del corpo umano e del cuore in loop ravvicinato. Questa configurazione interfaccia i segnali derivati dal sistema nervoso periferico e centrale della persona con ingressi sensoriali esterni per aiutare a tenere traccia del cambiamento biofisico.

Controllo proxy in tempo reale dei segnali periferici rimizionati utilizzando un'interfaccia a circuito chiuso

Si stima che 1 persona su 6 in tutto il mondo avrà un ictus nel corso della vita, causando disabilità a lungo termine, i cui meccanismi di riabilitazione sono ancora poco compresi. Questo studio propone un protocollo per valutare l'attivazione cerebrale mediante spettroscopia funzionale nel vicino infrarosso (fNIRS) durante una sessione di terapia robotica degli arti inferiori.

Un esperimento che utilizza la spettroscopia funzionale nel vicino infrarosso e i movimenti di puntamento multiarticolare dell'arto inferiore assistiti da robot

L'immaginazione motoria in un ambiente di realtà virtuale ha ampie applicazioni nei sistemi di interfaccia cervello-computer. Questo manoscritto delinea l'uso di avatar digitali personalizzati che assomigliano ai partecipanti che eseguono movimenti immaginati dal partecipante in un ambiente di realtà virtuale per migliorare l'immersione e il senso di proprietà del corpo.

Prestazioni delle immagini motorie attraverso gemelli digitali incorporati in un ambiente di interfaccia cervello-computer abilitato alla realtà virtuale

Questo studio introduce un sistema di interfaccia cervello-computer (BCI) per i pazienti con ictus, che combina i segnali dell'elettroencefalografia e dell'elettrooculografia per controllare una mano robotica dell'arto superiore, migliorando le attività quotidiane. La valutazione ha utilizzato il Berlin Bimanual Test for Stroke (BeBiTS).

Sistema robotico dell'arto superiore controllato dall'interfaccia cervello-computer per migliorare le attività quotidiane nei pazienti con ictus

Scopri la procedura sperimentale SSVEP per l'interazione cervello-robot con robot umanoidi. Questo metodo integra software multipli per assistere anziani e malati e svolgere compiti pericolosi in sicurezza.

SSVEP-based Procedura sperimentale per Brain-Robot Interaction con Humanoid Robots

Esplora altri video