SSVEP-based Procedura sperimentale per Brain-Robot Interaction con Humanoid Robots

Sommario

L'obiettivo generale di questo metodo è quello di stabilire una procedura sperimentale basata su SSVEP integrando più programmi software per consentire lo studio dell'interazione cervello-robot con robot umanoidi, che è prospettico nell'assistere i malati e gli anziani, nonché nell'eseguire lavori insalubri o pericolosi.

Abstract

Brain-Robot Interaction (BRI), che fornisce un innovativo percorso di comunicazione tra l'uomo e un dispositivo robotico tramite segnali cerebrali, è in grado di aiutare i disabili nella loro vita quotidiana. L'obiettivo generale del nostro metodo è quello di stabilire una procedura sperimentale basata su SSVEP integrando più programmi software, come OpenViBE, Choregraph e software Central, nonché programmi sviluppati dall'utente scritti in C++ e MATLAB, per consentire lo studio dell'interazione cervello-robot con robot umanoidi.

Questo si ottiene posizionando prima gli elettrodi EEG su un soggetto umano per misurare le risposte cerebrali attraverso un sistema di acquisizione dati EEG. Un'interfaccia utente viene utilizzata per suscitare risposte SSVEP e per visualizzare un feedback video negli esperimenti di controllo a circuito chiuso. Il secondo passo consiste nel registrare i segnali EEG dei soggetti per la prima volta, analizzare le loro caratteristiche SSVEP offline e addestrare il classificatore per ciascun soggetto. Successivamente, il processore di segnale online e il controller del robot sono configurati per il controllo online di un robot umanoide. Come fase finale, il soggetto completa tre specifici esperimenti di controllo a circuito chiuso all'interno di diversi ambienti per valutare le prestazioni dell'interazione cervello-robot.

Il vantaggio di questo approccio è la sua affidabilità e flessibilità perché è sviluppato integrando più programmi software. I risultati mostrano che utilizzando questo approccio, il soggetto è in grado di interagire con il robot umanoide tramite segnali cerebrali. Ciò consente al robot umanoide controllato mentalmente di eseguire compiti tipici che sono popolari nella ricerca robotica e sono utili nell'assistenza ai disabili.

Introduzione

Brain-Robot Interaction (BRI), che fornisce un innovativo percorso di comunicazione tra l'uomo e un dispositivo robotico tramite segnali del cervello, è potenziale per aiutare i disabili nella loro vita quotidiana ^1,2. Una varietà di metodi sono in grado di acquisire i segnali del cervello sia invasivo o non invasivo, come ad esempio elettrocorticografia (ECoG), elettroencefalogramma (EEG), la risonanza magnetica funzionale (fMRI), etc. Il metodo non invasivo più comunemente usato per la costruzione del Sistema BRI è di acquisire segnali EEG da elettrodi posti sul cuoio capelluto. Questo metodo è poco costoso, facile da usare, e fornisce una risoluzione temporale accettabile ^3. Tra una varietà di dispositivi robotici, robot umanoidi sono avanzati in quanto sono creati per imitare alcune delle stesse attività fisiche e mentali che gli esseri umani subiscono quotidianamente. BRI con un robot umanoide svolgerà un ruolo importante nell'assistere i malati e gli anziani, oltre a svolgere i lavori insalubri o pericolosi. Ma il controllodi un robot umanoide attraverso il sistema BRI è molto impegnativo, come il robot umanoide con il movimento di tutto il corpo è stato sviluppato per eseguire attività complesse, come l'assistenza personale ^{4, 5.}

In condizioni di regime visiva Potenziali Evocati (SSVEP) è un tipo di segnale cerebrale evocata dalla modulazione di stimolo visivo ad una determinata frequenza ^6. Esso contiene sinusoidi alle frequenze fondamentali ed armoniche dello stimolo sfarfallio e prominente appare in tutta la corteccia visiva nella regione occipitale del cuoio capelluto ^7. La ragione della scelta dei segnali SSVEP è che il sistema BRI-based SSVEP rendimenti relativamente alto tasso di trasferimento dati e richiede meno formazione ^8. Altri tipi di onde cerebrali, come potenziali evento-correlati (ERP) ⁹ o al motore-imagery (MI) Potenziali ^10, possono anche essere incorporati in questa procedura sperimentale.

La nostra procedura per l'interazione cervello-robot con umanoiderobot si basa su Cerebot - una piattaforma robot umanoide mente controllata - costituita da un sistema di acquisizione dati EEG e un robot umanoide ^11. Il sistema EEG è in grado di registrare, visualizzare segnali bio-potenziale acquisite da vari tipi di elettrodi pre-processo e. Esso fornisce analogico multiplo I / O e I / O digitali ed è in grado di registrare fino a 128 canali di segnali simultaneamente a una frequenza di campionamento di 30 kHz con una risoluzione di 16-bit. I suoi kit di sviluppo software in C ++ e MATLAB sono facile per gli utenti di progettare procedure sperimentali. Il robot umanoide ha 25 gradi di libertà ed è dotato di sensori multipli, tra cui 2 fotocamere, 4 microfoni, 2 telemetri sonar, 2 emettitori IR e ricevitori, 1 scheda di inerzia, 9 sensori tattili, e 8 sensori di pressione. Esso fornisce chorégraphe e C ++ SDK per la creazione e la modifica di movimenti e comportamenti del robot interattivi.

L'obiettivo generale di questo metodo è quello di stabilire un proce sperimentale basato SSVEP-Dure integrando più programmi software, come OpenViBE, Choregraph, software centrale così come programmi utente sviluppati scritti in C ++ e MATLAB, per consentire lo studio delle interazioni cervello-robot con robot umanoidi ^11. figura 1 mostra la struttura del sistema. Il computer presentazione dello stimolo dedicato (SPC) visualizza l'interfaccia utente di fornire al soggetto con stimoli visivi, istruzioni e feedback ambientali. Il computer di elaborazione dati dedicato (DPC) gestisce il Data Recorder e non in linea Data Analyzer nel processo di formazione non in linea, e gestisce il Signal Processor in linea e il controllore del robot per il controllo on-line del robot umanoide. Rispetto ad altri sistemi di controllo basati SSVEP-, il nostro sistema è più affidabile, più flessibili, e soprattutto più conveniente per essere riutilizzato e aggiornato mentre viene sviluppata integrando un numero di pacchetti software standardizzati, come OpenViBE, Choregraph, software centrale, e I moduli scritti in C ++e MATLAB.

La seguente procedura è stato esaminato e approvato dal Tianjin University Medical policlinico comitato etico, e tutti i soggetti ha dato consenso scritto.

Protocollo

1. Acquisizione del segnale EEG

1. Spiegare la procedura sperimentale al soggetto e ottenere il consenso informato scritto a partecipare ad esperimenti.
2. Misurare la circonferenza della testa del soggetto utilizzando una misura di nastro e selezionare il formato della protezione EEG che è vicino alla misura. La disposizione degli elettrodi si basa sul "Sistema Internazionale 10-20" ^12.
3. Misurare la distanza tra la nasion e inion. Utilizzare una matita pennarello pelle per marcare il 10% della distanza come riferimento per l'allineamento del tappo, e segnare il punto mediano della distanza come il vertice sul cuoio capelluto del soggetto.
4. Mettere il tappo EEG sull'argomento allineando la soglia del 10% con il punto medio degli elettrodi FP1 e FP2. Posizione elettrodo Cz del tappo sul vertice.
5. Assicurarsi che il Fz, Cz, Pz e Oz sono sulla linea mediana della testa, e che ciascuna coppia di elettrodi posti su entrambi i lati della linea mediana sono in una linea orizzontale.
6. Spalmare gli elettrodi RIF1 e RIF2 con gel conduttore. Posizionare gli elettrodi di riferimento sulle mastoide sinistra e destra con del nastro medico. Stringere il sottogola.
7. Inserire una siringa a punta smussata in portaelettrodi e iniettare gel conduttivo in ogni elettrodo nell'ordine seguente: in primo luogo, la "terra" elettrodo sulla fronte e secondo, i cinque elettrodi usati nell'esperimento, O2, O1, Oz, Pz , e Cz.
8. Sedile il soggetto in una comoda poltrona 60 centimetri di fronte a un monitor stimolo. Istruire il soggetto di tenere gli occhi / nello stesso livello orizzontale con il centro del monitor.
9. Collegare i fili degli elettrodi al sistema di acquisizione dati EEG. Configurare la frequenza di campionamento di 1 kHz.
10. Esaminare la qualità del segnale EEG sulla DPC dedicato. Se c'è un problema con un elettrodo particolare, gel ri-iniezione per regolare l'impedenza del canale.
11. Utilizzare l'SPC dedicato a tremolare quattro immagini di robot a frequenze di 4.615, 12, 15 e 20Hz come stimoli visivi sull'interfaccia utente come illustrato nella Figura 2.

2. Analizzare Offline SSVEP Caratteristiche

1. Condurre 32 prove di esperimenti formativi in ​​linea per ogni soggetto e registrare i loro segnali cerebrali acquisiti dal sistema di EEG nel corso di questo processo.
   NOTA: questo processo è condotta solo da soggetti per la prima volta di questo esperimento per stabilire le loro funzionalità vettori SSVEP e per addestrare il classificatore.
2. Quando un processo viene avviato, selezionare uno stimolo come destinazione casuale e visualizzare una freccia gialla sopra.
3. 1 sec dopo, sfarfallio i quattro stimoli visivi a frequenze diverse sull'interfaccia utente per 5 sec.
4. Richiedere al soggetto di concentrarsi sul bersaglio selezionato stimolo, mantenendo la sua / suo movimento del corpo al minimo.
5. Dopo ogni prova, dare il soggetto 3 secondi per rilassarsi, e quindi avviare la prova successiva.
6. Quando tutte le prove sono finite, leggere i dati salvati. Estrarre un data un'epoca 3 sec essere tween 2 sec e 5 secondi dopo il trigger che seleziona uno stimolo come destinazione in ogni prova.
7. Calcolare la densità di spettro di potenza (PSD) delle epoche di dati utilizzando la Offline Data Analyzer negli script MATLAB. Utilizzare l'algoritmo di elaborazione descritto in dettaglio di seguito:
   1. Calcolare le analisi della correlazione canonica (CCA) coefficienti dei dati multicanale EEG con dati di riferimento. CCA è un metodo statistico multivariato utilizzato per due serie di dati per trovare la loro correlazione di base ^13. Considerando il segmento 3s di dati multicanale EEG X e dati di riferimento Y della stessa lunghezza, utilizzare CCA per trovare i vettori peso W _x e W _y, per massimizzare il coefficiente di correlazione ρ tra x = X ^T W _x ed y = Y ^T W _a. Impostare i dati di riferimento per essere i segnali periodici a certe frequenze di stimolo.
      /ftp_upload/53558/53558eq1.jpg "/>
      dove f _1, f _2, f _3, f _{4 sono} le frequenze caratteristica delle quattro stimoli visivi.
   2. Spazialmente filtrare i dati multicanale EEG X utilizzando i coefficienti calcolati CCA W _x avere un monodimensionale filtrati x di dati, che ha la correlazione più importante con la combinazione lineare dei dati di riferimento.
   3. Calcolare il PSD dei dati x spazialmente filtrati utilizzando Fast Fourier Transform (FFT).
      
      dove N è la dimensione _FFT campione di dati x, e FFT (x, N _FFT) restituisce il N _FFT -point trasformata discreta di Fourier di x.
   4. Normalizzare il PSD rispetto al suo valore medio tra 3 e 30 Hz.
      
      dove60; denota la media dello spettro di potenza tra 3 e 30Hz.
8. Calibrare i parametri di classificazione per le quattro frequenze di stimolo. In primo luogo, osserva lo spettro PSD normalizzato che corrisponde al suo obiettivo di stimolo, e configurare manualmente la frequenza con la più forte di ampiezza PSD come la frequenza caratteristica. In base alla frequenza caratteristica, dividere i dati PSD normalizzati in due gruppi: uno è acquisito quando lo stimolo corrispondente viene selezionato come bersaglio, e l'altro è acquisito quando si selezionano gli stimoli non bersaglio. Calcolare il valore medio di ciascun set rispettivamente. Determinare la soglia per la mediana dei due valori medi per classificare il bersaglio e non-bersaglio set ^14.

3. Il trattamento in linea segnali del cervello

1. Aprire il processore di segnale digitale, come mostrato in figura 3, che si sviluppa based sull'ambiente OpenViBE e gli script MATLAB, il DPC per i segnali cerebrali di elaborazione on-line.
2. Fare doppio clic sulla casella del segnale acquisire e trattare, contrassegnato con un ciclo di rosso nella figura 3, per aprire la finestra di impostazione OpenViBE. Configurare i parametri di classificazione per il soggetto:. Impostare la frequenza di campionamento 1 kHz, impostare l'intervallo di tempo per FFT come 3 secondi, e impostare le frequenze funzione in base ai risultati delle analisi non in linea, ad esempio, 4.667, 24, 15 e 20 Hz .
3. Fare clic sul pulsante Avvia per eseguire il processore di segnale digitale, che elabora i dati in tempo reale utilizzando il seguente algoritmo in tre fasi.
4. In primo luogo, l'algoritmo acquisisce dati EEG dai canali Oz, O1, O2, Pz e CPZ del sistema EEG ogni 0.5s, ed estrae il segmento di dati degli ultimi 3 secondi per l'elaborazione on-line.
5. In secondo luogo, l'algoritmo elabora il segmento di dati 3-sec utilizzando gli algoritmi descritti al punto 2.7, e calcola il tempo reale PSD per classifizione.
6. In terzo luogo, l'algoritmo classifica le onde cerebrali secondo le ampiezze PSD a quattro frequenze funzionalità. Quando l'ampiezza di una frequenza caratteristica supera una certa soglia, classificare lo stimolo tremolante alla corrispondente frequenza come destinazione SSVEP.

4. Collegamento del Humanoid Robot

1. Premere il pulsante di petto del robot umanoide e attendere che venga avviato.
   NOTA: questo processo richiede circa 1 minuto ed è completata quando il robot dice "OGNAK GNOUK", mentre il suo pulsante Petto diventa bianca.
2. Stabilire la connessione Wireless Fidelity (WiFi) alla DPC ^15.
3. Aprire il controllo del robot programmato in Visual C ++ script sul DPC. Il controller riceve i risultati della classificazione del Signal Processor online tramite l'interfaccia di realtà virtuale periferica di rete (VRPN), li traduce in comandi robot, e controlla le corrispondenti comportamenti del humanoid robot tramite connessione wireless.
4. Configurare il controllo robot inserendo l'indirizzo IP del robot in base alla sua connessione WiFi, definendo tre serie di comportamenti del robot che possono essere facilmente attivato per eseguire le tre compiti diversi, e l'impostazione dei parametri di esecuzione di questi comportamenti (ad es., Velocità di marcia o distanza) per adattare il requisito di attività.
   NOTA: più dettagli di questi comportamenti sono descritte nei passaggi 5.2.1, 5.3.1, 5.4.1 e.
5. Fare clic sul pulsante di generatori della piattaforma Visual Studio per eseguire il controllo del robot.
6. Aprire il programma chorégraphe sulla SPC. Fare clic su "Connetti a" tasto per fare apparire un widget Connection. Selezionare il robot da controllare in base al suo indirizzo IP, e fare doppio clic sulla sua icona per connettersi ad esso.
7. Aprire il monitor video dal menu Visualizza nella barra dei menu chorégraphe, e spostare il monitor verso la parte anteriore dell'interfaccia utente per visualizzare un feedback video in diretta dalla telecamera del robot.

5. Condurre esperimenti di controllo a circuito chiuso

1. Richiedere al soggetto di eseguire tre compiti di controllo ad anello chiuso specifici all'interno di ambienti differenti per valutare le prestazioni interazione cervello-robot.
   NOTA: questi compiti, che sono importanti nelle applicazioni robotiche, perché sono utili per aiutare i disabili e gli anziani nella loro vita quotidiana, necessario attivare diversi comportamenti del robot.
2. Condurre il primo compito di controllo a circuito chiuso alla telepresenza controllare il robot umanoide con i segnali del cervello per camminare tra ostacoli e spingere un interruttore della luce per accendere la luce, come mostrato in Figura 4.
   1. Per realizzare il primo compito, controllare i comportamenti del robot che sono codificati dalle quattro stimoli SSVEP come: un passo in avanti con una distanza fissa di 0,15 m, girando a sinistra con un radiante fisso di 0,3 rad, svoltando a destra con un radiante fisso di 0,3 rad, e premendo l'interruttore con la sua mano destra.
      NOTA: il configurazioniprocesso ne è descritta nel passo 4.4.
   2. Inform oggetto dell'obiettivo compito e le quattro comportamenti da controllare.
   3. Eseguire il controller del robot come nei passaggi 4.5-4.7, e avviare l'esperimento. Dare al soggetto la libertà di percepire l'ambiente e prendere decisioni in base al feedback video dal vivo, e per attivare i comportamenti del robot da fissare stimoli corrispondenti.
      NOTA: nessuna istruzione o di aiuto dovrebbe essere data al soggetto se non in situazioni di emergenza, ad esempio, il robot è in procinto di entrare in collisione con un ostacolo..
3. Condurre il secondo compito di telepresenza controllare il robot umanoide con i segnali del cervello a camminare verso la scala seguendo il segnale di uscita, come mostrato nella Figura 5. Quando affrontare i passanti, chiedere al soggetto di controllare il robot di dire "mi scusi" e attendere che il i passanti a cedere il passo.
   1. Controllare i comportamenti del robot codificate dai quattro stimoli SSVEP come: camminare avanti continuously a una velocità di 0,05 m / sec, girando a sinistra in continuo ad una velocità di 0,1 rad / sec, girando a destra continuo ad una velocità di 0,1 rad / sec, e fermando tutti i comportamenti piedi.
   2. Accendere il controller del robot alla funzione di controllo della postura dipendente ^16.
      NOTA: quando il robot sta camminando, questa funzione utilizza la quarta di stimolo del comando di fermare i comportamenti a piedi; quando il robot non cammina, usa il quarto stimolo a controllare il robot di dire "mi scusi". La funzione è implementata in C ++ script rilevando lo stato del robot a piedi.
   3. Inform oggetto dell'obiettivo compito e cinque comportamenti da controllare.
   4. Eseguire il controllo del robot e iniziare l'esperimento, come descritto al punto 5.2.3.
4. Condurre il terzo compito di telepresenza controllare il robot umanoide a camminare verso un obiettivo mongolfiera, per raccoglierlo, e di consegnarlo a mano del soggetto, come mostrato in figura 6.
   1. Controllare i comportamenti del robot codificate dai quattro stimoli SSVEP esempio: un passo in avanti con una distanza fissa di 0,15 m, girando a sinistra con un radiante fisso di 0,3 rad, svoltando a destra con un radiante fisso di 0,3 rad, e raccogliere oggetti.
   2. Attivare la funzione di controllo della postura-dipendente il controller del robot di riutilizzare il quarto di stimolo del comando di mettere giù l'oggetto quando è già stato preso.
   3. Inform oggetto dell'obiettivo compito e cinque comportamenti da controllare.
   4. Eseguire il controllo del robot e iniziare l'esperimento, come descritto al punto 5.2.3.

Risultati

I risultati presentati sono stati ottenuti da un soggetto di sesso maschile che hanno corretto-per-versione normale. La figura 7 mostra la procedura di elaborazione dati EEG, tra cui l'estrazione di un'epoca di dati multicanale (Figura 7A), spazialmente filtrando i dati utilizzando coefficienti CCA (Figura 7B) , e calcolando il PSD normalizzato (figura 7C).

Discussione

Questo articolo presenta una procedura sperimentale basato SSVEP a stabilire il sistema di interazione cervello-robot con robot umanoidi, integrando software multipli. Poiché intento umano è percepito interpretando segnali EEG in tempo reale, è fondamentale per verificare le connessioni degli elettrodi e le qualità del segnale EEG prima di condurre l'esperimento. Se i segnali acquisiti da tutti gli elettrodi sono di qualità scarsa, è necessario controllare il collegamento degli elettrodi di massa e di riferimento pr...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Sistema di acquisizione dati EEG Cerebus Blackrock	Microsystems	4176-9967
Robot umanoide NAO	Aldebaran Robotics	H25
Cappuccio EEG	Neuroscan	8732
Ten20 Gel conduttivo	Weaver e compagnia	10-20-8