SSVEP-based Procedura sperimentale per Brain-Robot Interaction con Humanoid Robots

L'obiettivo generale di questo metodo è stabilire una procedura sperimentale basata su P-E-V-E-S-S integrando diversi programmi software per consentire lo studio dell'interazione cervello-robot con robot umanoidi. Questo viene realizzato posizionando innanzitutto degli elettrodi EEG su un soggetto umano per misurare le risposte cerebrali attraverso un sistema di acquisizione dati EEG. Un'interfaccia utente viene utilizzata per evocare risposte P-E-V-E-S-S e per visualizzare un feedback video negli esperimenti di controllo in ciclo chiuso.

Il secondo passaggio consiste nel registrare i segnali EEG dei soggetti al primo utilizzo, al fine di analizzare offline la caratteristica S-S-V-E-P e addestrare il classificatore per ogni soggetto. Successivamente, il processore del segnale in tempo reale e il controllore del robot vengono configurati per il controllo in tempo reale di un robot umanoide Robert. Come passaggio finale, il soggetto completa tre esperimenti specifici di controllo in loop chiuso in ambienti diversi.

Per valutare le prestazioni dell'interazione tra cervello e Robert, i risultati mostrano la densità spettrale di potenza normalizzata dei segnali cerebrali generati mentre si osservano stimoli che lampeggiano a diverse frequenze. Il nostro sistema traduce questi modelli di onde cerebrali in comandi per controllare i comportamenti di Robert. Grazie a questo approccio, il soggetto è in grado di interagire con il robot umanoide Robert utilizzando segnali cerebrali.

Questo consente all'umanoide Robert di eseguire compiti tipici, comuni nella ricerca robotica e utili per assistere le persone con disabilità. Il vantaggio di questo approccio risiede nella sua affidabilità e flessibilità, poiché è stato sviluppato integrando diversi programmi software come open wide graph e central software, oltre a programmi sviluppati dall'utente in c plus plus e match lab. Questo metodo permette di studiare il cervello robotico in azione mediante il robot umanoide.

Questo studio ha come obiettivo quello di assistere i malati e gli anziani, oltre a svolgere lavori insalubri o pericolosi. I miei compagni di squadra, Lim e Han, mostreranno ora il posizionamento dei sensori EEG e il metodo di collegamento rispettivamente all'uomo e al robot. Spiegare l'esperimento e la procedura al soggetto.

Ottenere il consenso a partecipare agli esperimenti. Misurare la circonferenza del soggetto e selezionare la taglia del capo EEG più vicina alla misurazione. Misurare la distanza tra il segno NAS, pari al 10% della distanza, come riferimento per allineare il capo.

Segnare il punto medio della distanza al vertice sulla posizione del solco soggetto. L'elettrodo Cz del capo EEG al vertice deve allineare il segno del 10% con il punto medio tra gli elettrodi FP1 e FP2. Assicurarsi che gli elettrodi Fz, Cz, Pz e Oz siano allineati sulla linea mediana della testa.

Applicare il gel conduttivo sul riferimento degli elettrodi. Posizionare gli elettrodi di riferimento sui OIDs sinistro e destro utilizzando nastro medico. Stringere la cinghia a catena.

Inserire la siringa con punta smussata nei supporti degli elettrodi e iniettare il gel conduttivo in ciascun elettrodo nel seguente ordine: prima l'elettrodo di terra, poi i cinque elettrodi utilizzati nell'esperimento O 2 0 1 OZ.PZ e cz. Far sedere il soggetto su una sedia comoda, a 60 centimetri di distanza dal monitor di stimolazione.

Collegare i cavi degli elettrodi al sistema di acquisizione dati EEG. Impostare la frequenza di campionamento a un chilohertz. Esaminare la qualità del segnale EEG sul computer dedicato all'elaborazione dei dati.

Se si verifica un problema con l'elettrodo specifico, reiniettare i gel per regolare l'impedenza del canale. Alternare rapidamente quattro immagini di robot con diverse frequenze come stimoli visivi sull'interfaccia utente.

Per il primo soggetto, eseguire l'esperimento di allenamento offline per stabilire i suoi vettori caratteristici S-S-V-E-P e addestrare il classificatore. Eseguire 32 prove per ogni soggetto e registrare il segnale cerebrale durante tutto il processo. Quando inizia una prova, selezionare casualmente uno stimolo come bersaglio e visualizzare una freccia gialla al di sopra.

Un secondo. Successivamente, far lampeggiare i quattro stimoli visivi a diverse frequenze sull'interfaccia utente per cinque secondi, chiedendo al soggetto di concentrarsi sullo stimolo bersaglio selezionato mantenendo al minimo i movimenti del corpo. Dopo ogni prova, concedere al soggetto tre secondi per rilassarsi, quindi iniziare la prova successiva.

Al termine di tutte le prove, leggere i dati salvati. Le barre verticali arancioni indicano i trigger per selezionare uno stimolo come bersaglio mentre gli stimoli lampeggiano durante il periodo di cinque secondi. In ciascuna prova, estrarre un'apo dati della durata di tre secondi compresa tra due e cinque secondi dopo il trigger.

Calcolare il coefficiente CCA dei dati EEG multicanale con un segnale di riferimento y, impostato come il segnale di stimolo periodico a determinate frequenze. Il metodo CCA determina i vettori di combinazione lineare per massimizzare il coefficiente di correlazione tra i segnali combinati. Filtrare spazialmente i dati EEG multicanale utilizzando i coefficienti CCA calcolati.

Calcola la densità spettrale di potenza dei dati del filtro utilizzando la trasformata di Fourier veloce. Normalizza la densità spettrale di potenza rispetto al suo valore medio compreso tra tre hutz e 40 hutz. Quindi calibra i parametri di classificazione per ciascuna frequenza dello stimolo.

Configurare i parametri di classificazione per il soggetto tramite una finestra di impostazione aperta. Avviare il processore del segnale in tempo reale sul computer per l'elaborazione dei dati. Acquisire i dati EEG dai canali O2, 01, OZ, PZ e CZ del sistema EEG ogni 0,5 secondi ed estrarre il segmento di dati degli ultimi tre secondi per l'elaborazione in tempo reale.

Elaborare il segmento di dati utilizzando gli algoritmi descritti nel processo offline. Calcolare la densità spettrale di potenza in tempo reale per la classificazione. Quando l'ampiezza di una frequenza caratteristica supera una soglia prestabilita, lo stimolo lampeggiante alla frequenza corrispondente viene classificato.

Come bersaglio SSV EEP, avviare il robot umanoide Noro e stabilire la sua connessione Wi-Fi con il computer per l'elaborazione dei dati. Configurare ed eseguire il controllore del robot, che riceve i risultati di classificazione dal processore del segnale in tempo reale e controlla i comportamenti corrispondenti dell'umanoide Robert tramite connessione wireless. Eseguire il programma di coreografia sul computer dedicato alla presentazione degli stimoli per visualizzare in tempo reale il video trasmesso dalla telecamera di Robert sull'interfaccia utente.

Chiedere al soggetto di eseguire tre specifici test di controllo ad anello chiuso in ambienti diversi al fine di valutare le prestazioni dell'interazione cervello-robot. Questi test sono diffusi nella ricerca robotica e risultano utili per assistere le persone con disabilità e gli anziani nella vita quotidiana. Prima di ogni nuova attività, informare il soggetto sull'obiettivo dell'attività e sui comportamenti disponibili per il controllo.

Questi risultati mostrano la procedura di elaborazione dei dati EEG, inclusa l'estrazione dell'epoca di dati multicanale, il filtraggio spaziale dei dati mediante coefficienti CCA e il calcolo della densità spettrale di potenza normalizzata. Qui vengono mostrate le densità spettrali di potenza normalizzate ottenute in singoli trial in cui il soggetto fissa diversi bersagli lampeggianti. Nei primi esperimenti di controllo in loop chiuso, l'essere umano Noah Robert è stato controllato mediante segnali cerebrali per camminare attraverso ostacoli e premere un interruttore della luce a parete.

I segnali cerebrali venivano elaborati in tempo reale. Per classificare l'intento di controllo del soggetto, quest'ultimo osservava un feedback video in diretta e controllava il comportamento di Robert fissando gli stimoli corrispondenti. Dopo aver raggiunto l'interruttore, il soggetto controllava Robert per accendere la luce.

Nel secondo esperimento, il robot umanoide è stato guidato in modo continuo verso le scale seguendo il cartello di uscita sulla base del feedback video. Quando incontrava un passante, il soggetto controllava il Robert affinché dicesse "mi scusi" e attendesse che il passante gli cedesse il passo. Il Robert veniva quindi controllato per camminare verso le scale.

Nel terzo esperimento, l'umanoide Robert è stato controllato con un movimento completo del corpo per raggiungere il palloncino bersaglio, prenderlo e consegnarlo nella mano del soggetto sulla base del feedback video in tempo reale. Poiché l'intento umano viene percepito interpretando i segnali EEG del tempo LU, è fondamentale verificare le connessioni elettriche e la qualità dei segnali EEG prima di eseguire gli esperimenti. Un altro problema comune durante l'acquisizione dei segnali EEG è l'interferenza o la presenza di artefatti e rumori.

I lombi, il nostro disturbo di questo tipo viene migliorato riducendo il movimento del soggetto e utilizzando una tecnica multicanale basata sulla CCA. Il nostro metodo è efficace per progettare una varietà di procedure sperimentali ed è flessibile nell'indagare algoritmi e tecniche per l'interazione cervello-robot, in particolare può essere facilmente utilizzato per esplorare nuove applicazioni dell'interazione cervello-robot (BRI).