Introduction
Brain-Robot Interaction (BRI), che fornisce un innovativo percorso di comunicazione tra l'uomo e un dispositivo robotico tramite segnali del cervello, è potenziale per aiutare i disabili nella loro vita quotidiana 1,2. Una varietà di metodi sono in grado di acquisire i segnali del cervello sia invasivo o non invasivo, come ad esempio elettrocorticografia (ECoG), elettroencefalogramma (EEG), la risonanza magnetica funzionale (fMRI), etc. Il metodo non invasivo più comunemente usato per la costruzione del Sistema BRI è di acquisire segnali EEG da elettrodi posti sul cuoio capelluto. Questo metodo è poco costoso, facile da usare, e fornisce una risoluzione temporale accettabile 3. Tra una varietà di dispositivi robotici, robot umanoidi sono avanzati in quanto sono creati per imitare alcune delle stesse attività fisiche e mentali che gli esseri umani subiscono quotidianamente. BRI con un robot umanoide svolgerà un ruolo importante nell'assistere i malati e gli anziani, oltre a svolgere i lavori insalubri o pericolosi. Ma il controllodi un robot umanoide attraverso il sistema BRI è molto impegnativo, come il robot umanoide con il movimento di tutto il corpo è stato sviluppato per eseguire attività complesse, come l'assistenza personale 4, 5.
In condizioni di regime visiva Potenziali Evocati (SSVEP) è un tipo di segnale cerebrale evocata dalla modulazione di stimolo visivo ad una determinata frequenza 6. Esso contiene sinusoidi alle frequenze fondamentali ed armoniche dello stimolo sfarfallio e prominente appare in tutta la corteccia visiva nella regione occipitale del cuoio capelluto 7. La ragione della scelta dei segnali SSVEP è che il sistema BRI-based SSVEP rendimenti relativamente alto tasso di trasferimento dati e richiede meno formazione 8. Altri tipi di onde cerebrali, come potenziali evento-correlati (ERP) 9 o al motore-imagery (MI) Potenziali 10, possono anche essere incorporati in questa procedura sperimentale.
La nostra procedura per l'interazione cervello-robot con umanoiderobot si basa su Cerebot - una piattaforma robot umanoide mente controllata - costituita da un sistema di acquisizione dati EEG e un robot umanoide 11. Il sistema EEG è in grado di registrare, visualizzare segnali bio-potenziale acquisite da vari tipi di elettrodi pre-processo e. Esso fornisce analogico multiplo I / O e I / O digitali ed è in grado di registrare fino a 128 canali di segnali simultaneamente a una frequenza di campionamento di 30 kHz con una risoluzione di 16-bit. I suoi kit di sviluppo software in C ++ e MATLAB sono facile per gli utenti di progettare procedure sperimentali. Il robot umanoide ha 25 gradi di libertà ed è dotato di sensori multipli, tra cui 2 fotocamere, 4 microfoni, 2 telemetri sonar, 2 emettitori IR e ricevitori, 1 scheda di inerzia, 9 sensori tattili, e 8 sensori di pressione. Esso fornisce chorégraphe e C ++ SDK per la creazione e la modifica di movimenti e comportamenti del robot interattivi.
L'obiettivo generale di questo metodo è quello di stabilire un proce sperimentale basato SSVEP-Dure integrando più programmi software, come OpenViBE, Choregraph, software centrale così come programmi utente sviluppati scritti in C ++ e MATLAB, per consentire lo studio delle interazioni cervello-robot con robot umanoidi 11. figura 1 mostra la struttura del sistema. Il computer presentazione dello stimolo dedicato (SPC) visualizza l'interfaccia utente di fornire al soggetto con stimoli visivi, istruzioni e feedback ambientali. Il computer di elaborazione dati dedicato (DPC) gestisce il Data Recorder e non in linea Data Analyzer nel processo di formazione non in linea, e gestisce il Signal Processor in linea e il controllore del robot per il controllo on-line del robot umanoide. Rispetto ad altri sistemi di controllo basati SSVEP-, il nostro sistema è più affidabile, più flessibili, e soprattutto più conveniente per essere riutilizzato e aggiornato mentre viene sviluppata integrando un numero di pacchetti software standardizzati, come OpenViBE, Choregraph, software centrale, e I moduli scritti in C ++e MATLAB.
La seguente procedura è stato esaminato e approvato dal Tianjin University Medical policlinico comitato etico, e tutti i soggetti ha dato consenso scritto.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Acquisizione del segnale EEG
- Spiegare la procedura sperimentale al soggetto e ottenere il consenso informato scritto a partecipare ad esperimenti.
- Misurare la circonferenza della testa del soggetto utilizzando una misura di nastro e selezionare il formato della protezione EEG che è vicino alla misura. La disposizione degli elettrodi si basa sul "Sistema Internazionale 10-20" 12.
- Misurare la distanza tra la nasion e inion. Utilizzare una matita pennarello pelle per marcare il 10% della distanza come riferimento per l'allineamento del tappo, e segnare il punto mediano della distanza come il vertice sul cuoio capelluto del soggetto.
- Mettere il tappo EEG sull'argomento allineando la soglia del 10% con il punto medio degli elettrodi FP1 e FP2. Posizione elettrodo Cz del tappo sul vertice.
- Assicurarsi che il Fz, Cz, Pz e Oz sono sulla linea mediana della testa, e che ciascuna coppia di elettrodi posti su entrambi i lati della linea mediana sono in una linea orizzontale.
- Spalmare gli elettrodi RIF1 e RIF2 con gel conduttore. Posizionare gli elettrodi di riferimento sulle mastoide sinistra e destra con del nastro medico. Stringere il sottogola.
- Inserire una siringa a punta smussata in portaelettrodi e iniettare gel conduttivo in ogni elettrodo nell'ordine seguente: in primo luogo, la "terra" elettrodo sulla fronte e secondo, i cinque elettrodi usati nell'esperimento, O2, O1, Oz, Pz , e Cz.
- Sedile il soggetto in una comoda poltrona 60 centimetri di fronte a un monitor stimolo. Istruire il soggetto di tenere gli occhi / nello stesso livello orizzontale con il centro del monitor.
- Collegare i fili degli elettrodi al sistema di acquisizione dati EEG. Configurare la frequenza di campionamento di 1 kHz.
- Esaminare la qualità del segnale EEG sulla DPC dedicato. Se c'è un problema con un elettrodo particolare, gel ri-iniezione per regolare l'impedenza del canale.
- Utilizzare l'SPC dedicato a tremolare quattro immagini di robot a frequenze di 4.615, 12, 15 e 20Hz come stimoli visivi sull'interfaccia utente come illustrato nella Figura 2.
2. Analizzare Offline SSVEP Caratteristiche
- Condurre 32 prove di esperimenti formativi in linea per ogni soggetto e registrare i loro segnali cerebrali acquisiti dal sistema di EEG nel corso di questo processo.
NOTA: questo processo è condotta solo da soggetti per la prima volta di questo esperimento per stabilire le loro funzionalità vettori SSVEP e per addestrare il classificatore. - Quando un processo viene avviato, selezionare uno stimolo come destinazione casuale e visualizzare una freccia gialla sopra.
- 1 sec dopo, sfarfallio i quattro stimoli visivi a frequenze diverse sull'interfaccia utente per 5 sec.
- Richiedere al soggetto di concentrarsi sul bersaglio selezionato stimolo, mantenendo la sua / suo movimento del corpo al minimo.
- Dopo ogni prova, dare il soggetto 3 secondi per rilassarsi, e quindi avviare la prova successiva.
- Quando tutte le prove sono finite, leggere i dati salvati. Estrarre un data un'epoca 3 sec essere tween 2 sec e 5 secondi dopo il trigger che seleziona uno stimolo come destinazione in ogni prova.
- Calcolare la densità di spettro di potenza (PSD) delle epoche di dati utilizzando la Offline Data Analyzer negli script MATLAB. Utilizzare l'algoritmo di elaborazione descritto in dettaglio di seguito:
- Calcolare le analisi della correlazione canonica (CCA) coefficienti dei dati multicanale EEG con dati di riferimento. CCA è un metodo statistico multivariato utilizzato per due serie di dati per trovare la loro correlazione di base 13. Considerando il segmento 3s di dati multicanale EEG X e dati di riferimento Y della stessa lunghezza, utilizzare CCA per trovare i vettori peso W x e W y, per massimizzare il coefficiente di correlazione ρ tra x = X T W x ed y = Y T W a. Impostare i dati di riferimento per essere i segnali periodici a certe frequenze di stimolo.
/ftp_upload/53558/53558eq1.jpg "/>
dove f 1, f 2, f 3, f 4 sono le frequenze caratteristica delle quattro stimoli visivi. - Spazialmente filtrare i dati multicanale EEG X utilizzando i coefficienti calcolati CCA W x avere un monodimensionale filtrati x di dati, che ha la correlazione più importante con la combinazione lineare dei dati di riferimento.
- Calcolare il PSD dei dati x spazialmente filtrati utilizzando Fast Fourier Transform (FFT).
dove N è la dimensione FFT campione di dati x, e FFT (x, N FFT) restituisce il N FFT -point trasformata discreta di Fourier di x. - Normalizzare il PSD rispetto al suo valore medio tra 3 e 30 Hz.
dove60;
denota la media dello spettro di potenza tra 3 e 30Hz.
- Calcolare le analisi della correlazione canonica (CCA) coefficienti dei dati multicanale EEG con dati di riferimento. CCA è un metodo statistico multivariato utilizzato per due serie di dati per trovare la loro correlazione di base 13. Considerando il segmento 3s di dati multicanale EEG X e dati di riferimento Y della stessa lunghezza, utilizzare CCA per trovare i vettori peso W x e W y, per massimizzare il coefficiente di correlazione ρ tra x = X T W x ed y = Y T W a. Impostare i dati di riferimento per essere i segnali periodici a certe frequenze di stimolo.
- Calibrare i parametri di classificazione per le quattro frequenze di stimolo. In primo luogo, osserva lo spettro PSD normalizzato che corrisponde al suo obiettivo di stimolo, e configurare manualmente la frequenza con la più forte di ampiezza PSD come la frequenza caratteristica. In base alla frequenza caratteristica, dividere i dati PSD normalizzati in due gruppi: uno è acquisito quando lo stimolo corrispondente viene selezionato come bersaglio, e l'altro è acquisito quando si selezionano gli stimoli non bersaglio. Calcolare il valore medio di ciascun set rispettivamente. Determinare la soglia per la mediana dei due valori medi per classificare il bersaglio e non-bersaglio set 14.
denota la media dello spettro di potenza tra 3 e 30Hz. 3. Il trattamento in linea segnali del cervello
- Aprire il processore di segnale digitale, come mostrato in figura 3, che si sviluppa based sull'ambiente OpenViBE e gli script MATLAB, il DPC per i segnali cerebrali di elaborazione on-line.
- Fare doppio clic sulla casella del segnale acquisire e trattare, contrassegnato con un ciclo di rosso nella figura 3, per aprire la finestra di impostazione OpenViBE. Configurare i parametri di classificazione per il soggetto:. Impostare la frequenza di campionamento 1 kHz, impostare l'intervallo di tempo per FFT come 3 secondi, e impostare le frequenze funzione in base ai risultati delle analisi non in linea, ad esempio, 4.667, 24, 15 e 20 Hz .
- Fare clic sul pulsante Avvia per eseguire il processore di segnale digitale, che elabora i dati in tempo reale utilizzando il seguente algoritmo in tre fasi.
- In primo luogo, l'algoritmo acquisisce dati EEG dai canali Oz, O1, O2, Pz e CPZ del sistema EEG ogni 0.5s, ed estrae il segmento di dati degli ultimi 3 secondi per l'elaborazione on-line.
- In secondo luogo, l'algoritmo elabora il segmento di dati 3-sec utilizzando gli algoritmi descritti al punto 2.7, e calcola il tempo reale PSD per classifizione.
- In terzo luogo, l'algoritmo classifica le onde cerebrali secondo le ampiezze PSD a quattro frequenze funzionalità. Quando l'ampiezza di una frequenza caratteristica supera una certa soglia, classificare lo stimolo tremolante alla corrispondente frequenza come destinazione SSVEP.
4. Collegamento del Humanoid Robot
- Premere il pulsante di petto del robot umanoide e attendere che venga avviato.
NOTA: questo processo richiede circa 1 minuto ed è completata quando il robot dice "OGNAK GNOUK", mentre il suo pulsante Petto diventa bianca. - Stabilire la connessione Wireless Fidelity (WiFi) alla DPC 15.
- Aprire il controllo del robot programmato in Visual C ++ script sul DPC. Il controller riceve i risultati della classificazione del Signal Processor online tramite l'interfaccia di realtà virtuale periferica di rete (VRPN), li traduce in comandi robot, e controlla le corrispondenti comportamenti del humanoid robot tramite connessione wireless.
- Configurare il controllo robot inserendo l'indirizzo IP del robot in base alla sua connessione WiFi, definendo tre serie di comportamenti del robot che possono essere facilmente attivato per eseguire le tre compiti diversi, e l'impostazione dei parametri di esecuzione di questi comportamenti (ad es., Velocità di marcia o distanza) per adattare il requisito di attività.
NOTA: più dettagli di questi comportamenti sono descritte nei passaggi 5.2.1, 5.3.1, 5.4.1 e. - Fare clic sul pulsante di generatori della piattaforma Visual Studio per eseguire il controllo del robot.
- Aprire il programma chorégraphe sulla SPC. Fare clic su "Connetti a" tasto per fare apparire un widget Connection. Selezionare il robot da controllare in base al suo indirizzo IP, e fare doppio clic sulla sua icona per connettersi ad esso.
- Aprire il monitor video dal menu Visualizza nella barra dei menu chorégraphe, e spostare il monitor verso la parte anteriore dell'interfaccia utente per visualizzare un feedback video in diretta dalla telecamera del robot.
- Richiedere al soggetto di eseguire tre compiti di controllo ad anello chiuso specifici all'interno di ambienti differenti per valutare le prestazioni interazione cervello-robot.
NOTA: questi compiti, che sono importanti nelle applicazioni robotiche, perché sono utili per aiutare i disabili e gli anziani nella loro vita quotidiana, necessario attivare diversi comportamenti del robot. - Condurre il primo compito di controllo a circuito chiuso alla telepresenza controllare il robot umanoide con i segnali del cervello per camminare tra ostacoli e spingere un interruttore della luce per accendere la luce, come mostrato in Figura 4.
- Per realizzare il primo compito, controllare i comportamenti del robot che sono codificati dalle quattro stimoli SSVEP come: un passo in avanti con una distanza fissa di 0,15 m, girando a sinistra con un radiante fisso di 0,3 rad, svoltando a destra con un radiante fisso di 0,3 rad, e premendo l'interruttore con la sua mano destra.
NOTA: il configurazioniprocesso ne è descritta nel passo 4.4. - Inform oggetto dell'obiettivo compito e le quattro comportamenti da controllare.
- Eseguire il controller del robot come nei passaggi 4.5-4.7, e avviare l'esperimento. Dare al soggetto la libertà di percepire l'ambiente e prendere decisioni in base al feedback video dal vivo, e per attivare i comportamenti del robot da fissare stimoli corrispondenti.
NOTA: nessuna istruzione o di aiuto dovrebbe essere data al soggetto se non in situazioni di emergenza, ad esempio, il robot è in procinto di entrare in collisione con un ostacolo..
- Per realizzare il primo compito, controllare i comportamenti del robot che sono codificati dalle quattro stimoli SSVEP come: un passo in avanti con una distanza fissa di 0,15 m, girando a sinistra con un radiante fisso di 0,3 rad, svoltando a destra con un radiante fisso di 0,3 rad, e premendo l'interruttore con la sua mano destra.
- Condurre il secondo compito di telepresenza controllare il robot umanoide con i segnali del cervello a camminare verso la scala seguendo il segnale di uscita, come mostrato nella Figura 5. Quando affrontare i passanti, chiedere al soggetto di controllare il robot di dire "mi scusi" e attendere che il i passanti a cedere il passo.
- Controllare i comportamenti del robot codificate dai quattro stimoli SSVEP come: camminare avanti continuously a una velocità di 0,05 m / sec, girando a sinistra in continuo ad una velocità di 0,1 rad / sec, girando a destra continuo ad una velocità di 0,1 rad / sec, e fermando tutti i comportamenti piedi.
- Accendere il controller del robot alla funzione di controllo della postura dipendente 16.
NOTA: quando il robot sta camminando, questa funzione utilizza la quarta di stimolo del comando di fermare i comportamenti a piedi; quando il robot non cammina, usa il quarto stimolo a controllare il robot di dire "mi scusi". La funzione è implementata in C ++ script rilevando lo stato del robot a piedi. - Inform oggetto dell'obiettivo compito e cinque comportamenti da controllare.
- Eseguire il controllo del robot e iniziare l'esperimento, come descritto al punto 5.2.3.
- Condurre il terzo compito di telepresenza controllare il robot umanoide a camminare verso un obiettivo mongolfiera, per raccoglierlo, e di consegnarlo a mano del soggetto, come mostrato in figura 6.
- Controllare i comportamenti del robot codificate dai quattro stimoli SSVEP esempio: un passo in avanti con una distanza fissa di 0,15 m, girando a sinistra con un radiante fisso di 0,3 rad, svoltando a destra con un radiante fisso di 0,3 rad, e raccogliere oggetti.
- Attivare la funzione di controllo della postura-dipendente il controller del robot di riutilizzare il quarto di stimolo del comando di mettere giù l'oggetto quando è già stato preso.
- Inform oggetto dell'obiettivo compito e cinque comportamenti da controllare.
- Eseguire il controllo del robot e iniziare l'esperimento, come descritto al punto 5.2.3.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
I risultati presentati sono stati ottenuti da un soggetto di sesso maschile che hanno corretto-per-versione normale. La figura 7 mostra la procedura di elaborazione dati EEG, tra cui l'estrazione di un'epoca di dati multicanale (Figura 7A), spazialmente filtrando i dati utilizzando coefficienti CCA (Figura 7B) , e calcolando il PSD normalizzato (figura 7C).
Figura 8 mostra la normalizzata PSD ottenuti utilizzando prove singole in cui il soggetto fissava gli obiettivi tremolanti a frequenze diverse. Il picco significativo appare alla frequenza fondamentale o armonica dello stimolo sfarfallio. Il sistema BRI mappa questi modelli di risposte SSVEP in comandi per il controllo di diversi comportamenti del robot.
Le figure 4-6 mostrano il cont tre anello chiusoattività di Rol eseguiti per valutare le prestazioni di interazione cervello-robot. Questi compiti sono molto popolari nel campo della ricerca robotica e sono utili per aiutare i disabili e gli anziani nella loro vita quotidiana. La Figura 4 mostra l'esperimento di controllo telepresenza di camminare attraverso gli ostacoli e spingendo un interruttore per accendere la luce tramite onde cerebrali. La Figura 5 mostra il controllo telepresenza esperimento di camminare verso la scalinata che segue il segno di uscita. La Figura 6 mostra l'esperimento di controllo telepresenza di prendere in mano un palloncino e la consegna alla mano del soggetto.
Figura 1. Struttura del sistema per Brain-Robot Interaction con un robot umanoide. I segnali del cervello sono misurati attraverso il sistema di acquisizione dati di EEG. L'interfaccia utente suscita risposte SSVEP e display vivono un feedback video nel esperimenti di controllo in anello chiuso. Per i soggetti per la prima volta, il registratore dei dati e non in linea Data Analyzer sono utilizzati nel processo di formazione in linea per analizzare il loro SSVEP caratteristiche in linea e per addestrare il classificatore per ogni soggetto. Poi il Signal Processor Online e il controllore del robot sono configurati per il controllo on-line di un robot umanoide. Cliccate qui per vedere una versione più grande di questa figura.
Figura 2. Interfaccia utente per il sistema BRI con sede a SSVEP. I display di interfaccia utente vive un feedback video nella finestra centrale e sfarfallio quattro immagini alla periferia rappresenta comportamenti robot umanoide a quattro frequenze. La rappresentazione 3D nel pannello a destra indica la corrente postura del robot umanoide. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "target =" _ blank "> Clicca qui per vedere una versione più grande di questa figura.
Figura 3. Signal Processor online implementato nell'ambiente di programmazione OpenViBE. La scatola acquisire e trattare segnali contrassegnati con il ciclo rosso richiama il algoritmo di elaborazione scritta negli script MATLAB. Il pulsante Avvia sul pannello del menu si avvia il programma. Cliccate qui per vedere una versione più grande di questa figura.
Figura 4. Telepresence Controllo Esperimento di camminare attraverso ostacoli e spingendo un interruttore della luce.es / ftp_upload / 53558 / 53558fig4large.jpg "target =" _ blank "> Clicca qui per vedere una versione più grande di questa figura.
Figura 5. Telepresence Controllo Esperimento di camminare verso la Scala A seguito della Exit Sign. Cliccate qui per vedere una versione più grande di questa figura.
Figura 6. Telepresence Controllo esperimento di Fornire un palloncino al soggetto. Cliccate qui per vedere una versione più grande di questa figura.
Figura 7. procedura di elaborazione multicanale EEG dati (A) Multicanale epoca dati estratti dal processo in cui il soggetto sta fissando lo stimolo a 4.615 Hz.; (B) i dati spazialmente filtrati utilizzando coefficienti CCA; (C) PSD normalizzata dei dati spazialmente filtrati. Cliccate qui per vedere una versione più grande di questa figura.
Figura 8. PSD normalizzati ottenuti negli studi singoli in cui il soggetto sta guardando stimoli Flickering a diverse frequenze. Cliccate qui per vedere una versione più grande di questa figura.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Questo articolo presenta una procedura sperimentale basato SSVEP a stabilire il sistema di interazione cervello-robot con robot umanoidi, integrando software multipli. Poiché intento umano è percepito interpretando segnali EEG in tempo reale, è fondamentale per verificare le connessioni degli elettrodi e le qualità del segnale EEG prima di condurre l'esperimento. Se i segnali acquisiti da tutti gli elettrodi sono di qualità scarsa, è necessario controllare il collegamento degli elettrodi di massa e di riferimento prima. Se ci sono problemi con parti degli elettrodi, re-iniettare gel conduttivo per regolare l'impedenza di questi canali.
Un altro problema comune, mentre l'acquisizione di segnali EEG è l'interferenza di artefatti e rumori 17. Poiché il segnale EEG è piccolo rapporto segnale-rumore (SNR), artefatti e rumore può facilmente oscuri cambiamenti PSD delle risposte SSVEP. E 'importante mantenere l'amplificatore del sistema EEG segnale dal powforniture er e di altre fonti di rumore. Durante l'esperimento, batter d'occhio e il movimento del corpo devono essere tenuti al minimo per ridurre gli artefatti. Per migliorare ulteriormente la robustezza contro tali interferenze, il nostro metodo utilizza una tecnica a base di CCA per interpretare i dati EEG multicanale. I risultati mostrano che questa tecnica è efficace per l'estrazione di caratteristiche di segnali EEG contenenti rumori e artefatti.
Per iniziare una nuova attività di controllo a circuito chiuso di robot umanoidi, abbiamo bisogno di configurare manualmente la definizione dei parametri di ogni comportamento del robot per adattarsi al nuovo requisito compito. Ciò è dovuto al numero limitato di comandi di controllo disponibili nel sistema BRI corrente, e quindi può essere migliorata evocando più tipi di onde cerebrali. Hwang et al. 18 ha proposto un metodo di stimolazione doppia frequenza per produrre stimoli più visiva. Wang et al. 19, Allison et al. 20, Pan et al. 21, e Li <em> et al. 22 ha proposto diversi metodi ibridi per combinare il modello basato su SSVEP con altri modelli di onde cerebrali, tra cui ERP e MI. E 'anche possibile per adottare tecniche di commutazione basata su apprendimento automatico o l'architettura gerarchica per controllare il movimento di tutto il corpo del robot umanoide utilizzando modelli di onde cerebrali limitate 23.
Considerando le frequenze di lampeggio disponibili del monitor LCD 24 e l'influenza tra componenti armoniche SSVEPs 25, abbiamo scansione di tutte le possibili frequenze di lampeggio da 1 a 60 Hz e trovati con quattro frequenze, cioè., 4.615, 12, 15, e 20 Hz, sono probabilmente la scelta migliore in quanto hanno raggiunto il più alto tasso medio di precisione per i nostri soggetti. Pertanto, abbiamo utilizzato i quattro stimoli sulla interfaccia per controllare i comportamenti del robot umanoidi, tra cui camminare in avanti, girando a sinistra, girando a destra, e fermandosi a piedi / spingendo l'opzione / raccogliere oggetti, che sono fattibili itough per controllare un robot umanoide per svolgere i compiti presentati in questo manoscritto.
I vantaggi del sistema sono BRI sua affidabilità e flessibilità mentre viene sviluppata integrando più programmi software, come OpenViBE, Choregraph, software centrale e programmi utente sviluppato in C ++ e MATLAB. È efficiente ed affidabile per la progettazione di diverse procedure sperimentali utilizzando il software standardizzato. Il nostro sistema è un potente strumento per indagare nuovi algoritmi e tecniche per l'interazione cervello-robot con un robot umanoide. Esso può essere facilmente aggiornato per esplorare le applicazioni BRI nell'assistere i posti di lavoro insalubri o pericolosi malati e anziani, e dello spettacolo.
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
Gli autori desiderano esprimere la loro gratitudine al signor Hong Hu per la sua assistenza nello svolgimento degli esperimenti riportati in questo documento. Questo lavoro è stato sostenuto in parte dalla National Science Foundation naturale della Cina (n ° 61.473.207).
Materials
| Name | Company | Catalog Number | Comments |
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
