SSVEP basert Eksperimentell Prosedyre for Brain-Robot Interaksjon med menneskelignende roboter

Introduction

Brain-Robot Interaction (BRI), som gir en innovativ kommunikasjonsvei mellom menneske og en robot enhet via hjernesignaler, er prospektiv i å hjelpe funksjonshemmede i sitt daglige liv ^1,2. En rekke metoder er i stand til å tilegne seg hjernesignaler enten invasiv eller non-invasiv, for eksempel electrocorticography (ECOG), electroencephalograph (EEG), funksjonell magnetisk resonans imaging (fMRI), etc. Den mest brukte non-invasiv metode for å bygge BRI system er å tilegne seg EEG-signaler fra elektroder plassert på hodebunnen. Denne metoden er billig, lett å bruke, og gir et akseptabelt tidsoppløsning ^tre. Blant en rekke robot enheter, menneskelignende roboter er avansert som de er laget for å etterligne noen av de samme fysiske og mentale oppgaver som mennesker gjennomgår daglig. BRI med en humanoid robot vil spille en viktig rolle i å hjelpe de syke og eldre, samt utføre uhygieniske eller farlige arbeidsplasser. Men kontrollav en humanoid robot gjennom BRI system er svært utfordrende, som humanoid robot med full kroppsbevegelse er utviklet for å utføre komplekse oppgaver som personlig assistanse ^{4, 5.}

Steady-State Visual fremkalt potensial (SSVEP) er en type hjerne signal fremkalt av modulering av visuelle stimulus ved en gitt frekvens ^6. Den inneholder sinusoids på de grunnleggende og harmoniske frekvenser av flimring stimulans, og tydelig vises i hele den visuelle cortex i occipital regionen i hodebunnen ^7. Bakgrunnen for å velge de SSVEP signalene er at SSVEP baserte BRI system gir relativt høy informasjon overføringshastighet og krever mindre trening ^8. Andre typer hjernebølger, for eksempel hendelsesrelaterte potensialer (ERP) ⁹ eller motor-bilder (MI) potensialer ^10, kan også bygges inn i denne eksperimentelle prosedyren.

Vår prosedyre for hjerne-robot interaksjon med humanoidroboter er basert på Cerebot - en tankestyrt humanoid robot plattform - som består av en EEG datainnsamling system og en humanoid robot ^11. EEG-systemet er i stand til å ta opp, pre-prosessen og vise bio-potensial signaler ervervet av ulike typer elektroder. Det gir flere analoge I / Os og digital I / Os og kan ta opp inntil 128 signal kanaler samtidig på en samplingsfrekvens på 30 kHz med 16-bits oppløsning. Sine programvareutviklingssett i C ++ og MATLAB er enkelt for brukerne å designe de eksperimentelle prosedyrer. Humanoid robot har 25 frihetsgrader og er utstyrt med flere sensorer, inkludert 2 kameraer, 4 mikrofoner, 2 sonaravstandsmålere, 2 IR sender og mottaker, en treghet brett, 9 taktile sensorer og 8 trykksensorer. Det gir Choregraphe og C ++ SDK for å lage og redigere bevegelser og interaktive robot atferd.

Det overordnede målet med denne metoden er å etablere en SSVEP basert eksperimentell procedure ved å integrere flere programmer, for eksempel OpenViBE, Choregraph, Central-programvare og bruker utviklet programmer skrevet i C ++ og MATLAB, slik at studiet av hjerne-robot interaksjon med menneskelignende roboter ^11. Figur 1 viser systemstruktur. Den dedikerte stimulus presentasjon datamaskin (SPC) viser brukergrensesnittet for å gi emnet med visuelle stimuli, instrukser og miljø tilbakemeldinger. Den dedikerte databehandlings datamaskin (DPC) kjører Data Recorder og offline data Analyzer i frakoblet opplæringsprosessen, og driver Online Signal Processor og Robot Controller for den elektroniske styringen av humanoid robot. Sammenlignet med andre SSVEP-baserte systemer, er vårt system mer pålitelig, mer fleksibel, og særlig mer praktisk å bli gjenbrukt og oppgradert slik den er utviklet ved å integrere en rekke standardiserte programvarepakker som OpenViBE, Choregraph, Central-programvaren, og Modulene skrevet i C ++og MATLAB.

Følgende prosedyre ble gjennomgått og godkjent av Tianjin Medical University sykehuset etisk komité, og alle fag ga skriftlig samtykke.

Protocol

1. Anskaffelse av EEG-signaler

1. Forklar den eksperimentelle prosedyren til faget og innhente skriftlig informert samtykke til å delta i eksperimenter.
2. Mål omkretsen av faget hode ved hjelp av et målebånd og velg EEG cap størrelse som er nær målingen. Elektrodene anordning er basert på den "International 10-20 System" ^12.
3. Mål avstanden mellom nasion og inion. Bruk en hud markør blyant for å markere 10% av avstanden som en referanse for å justere hetten, og merk midtpunktet av avstanden som toppunktet på motivets hodebunnen.
4. Plasser EEG cap på emnet ved å samkjøre 10% mark med midtpunktet av FP1 og FP2 elektroder. Posisjon elektrode Cz av hetten på toppunktet.
5. Kontroller at Fz, Cz, Pz og Oz er på midtlinjen av hodet, og at hvert par av elektroder plassert på hver side av midtlinjen er en horisontal linje.
6. Smøre REF1 og REF2 elektroder med ledende gel. Plasser referanseelektroder på venstre og høyre mastoids bruke medisinsk tape. Stram hakestropp.
7. Plasser en butt spiss sprøyte i elektrodeholdere og injisere ledende gel i hver elektrode i følgende rekkefølge: Først "bakken" elektrode på pannen og andre, de fem elektroder som brukes i forsøket, O2, O1, Oz, Pz og Cz.
8. Seat faget i en komfortabel stol 60 cm foran en stimulus skjerm. Instruere lagt holde hans / hennes øyne i samme horisontale nivå med midten av skjermen.
9. Koble elektrode ledningene til EEG datainnsamling system. Konfigurer samplingsraten til 1 kHz.
10. Undersøke EEG signalkvaliteten på dedikert DPC. Hvis det er et problem med en spesiell elektrode, for å re-injisere gel regulere impedansen av kanalen.
11. Bruk den dedikerte SPC å flimre fire robot bilder ved frekvenser på 4,615, 12, 15 og 20Hz som visuelle stimuli på brukergrensesnittet som er vist i figur 2.

2. Offline Analysere SSVEP Funksjoner

1. Gjennomføre 32 studier med offline trening eksperimenter for hvert fag og registrere sine hjernen signaler ervervet fra EEG system i hele denne prosessen.
   MERK: Denne prosessen gjennomføres kun ved første gangs emner av forsøket å etablere sine SSVEP har vektorer og å trene klassifikator.
2. Når en rettssak starter, velger du en stimulus som målet tilfeldig og vise en gul pil over det.
3. 1 sek senere, flimmer de fire visuelle stimuli på ulike frekvenser på brukergrensesnittet i 5 sek.
4. Be om emnet til å fokusere på det valgte stimulus målet samtidig som hans / hennes kropp bevegelse til et minimum.
5. Etter hvert forsøk, gi faget 3 sek å slappe av, og deretter starte neste rettssaken.
6. Når alle forsøkene er ferdig, kan du lese de lagrede dataene. Pakk en 3-sec data epoken være tween 2 sek og 5 sek etter at avtrekkeren som velger en stimulus som målet i hvert forsøk.
7. Beregne kraften spektrum tetthet (PSD) av data epoker bruker Offline data Analyzer i Matlab skript. Bruk behandlingen algoritmen beskrevet i detaljer nedenfor:
   1. Beregn kanonisk korrelasjonsanalyse (CCA) koeffisienter av de flerkanals EEG data med en referansedata. CCA er en multivariabel statistisk metode som brukes for to sett med data for å finne den underliggende sammenheng ^13. Tatt i betraktning den 3s segmentet av flerkanals EEG data X og referansedata Y har samme lengde, bruker CCA å finne vekt vektorer, W _x og W _y, for å maksimere korrelasjonskoeffisienten ρ mellom x = X ^{T O} _x og y = Y ^T W _y. Still referansedata å være periodiske signaler på visse stimulans frekvenser.
      /ftp_upload/53558/53558eq1.jpg "/>
      der f _1, f _2, f _{3, 4-f} er funksjonen frekvensene for de fire visuelle stimuli.
   2. Romlig filtrere flerkanals EEG data X ved hjelp av de beregnede CCA koeffisientene W _x for å oppnå en one-dimensjon filtrerte data x, som har den mest fremtredende korrelasjon med lineær kombinasjon av referansedata.
   3. Beregn PSD av romlig filtrerte data x ved hjelp av Fast Fourier Transform (FFT).
      
      hvor N _FFT er størrelsen på utvalget av data x, og FFT (x, N _FFT) returnerer N _FFT -poeng diskrete Fourier transform av x.
   4. Normalisere PSD i forhold til dets middelverdi mellom 3 og 30 Hz.
      
      hvor60; angir gjennomsnittet av effektspekteret mellom 3 og 30 Hz.
8. Kalibrere klassifiseringsparametre for de fire tiltaks frekvenser. Først, observere normalisert PSD spekteret som tilsvarer sin stimulans målet, og manuelt konfigurere hvor ofte den sterkeste PSD amplitude som funksjon frekvens. Basert på den funksjonen frekvens, dele de normaliserte PSD data i to sett: en er ervervet når den tilsvarende stimulans er valgt som mål, og den andre er ervervet når utenfor målgruppen stimuli er valgt. Beregn middelverdien av hvert sett henholdsvis. Bestem terskelen av medianen av de to middelverdier til å klassifisere målet og ikke-target setter ^14.

3. Online Processing hjernen signaler

1. Åpne Online Signal Processor som vist i figur 3, som er utviklet based på OpenViBE miljø og Matlab skript, på DPC for online behandling hjernesignaler.
2. Dobbelklikk på Acquire og Process Signal boksen, som er merket med en rød syklus i Figur 3, for å åpne innstillingsvinduet OpenViBE. Konfigurere parametrene klassifiserings for faget. Stille samplingsfrekvens som en kHz, angi tidslengde for FFT som 3 sek, og slå funksjonen frekvenser i henhold til resultatene av offline analyse, for eksempel, 4,667, 24, 15 og 20 Hz .
3. Klikk på Starts knappen for å kjøre Online Signal Processor, som behandler sanntidsdata ved hjelp av følgende algoritme i tre trinn.
4. Først algoritmen kjøper EEG data fra kanaler Oz, O1, O2, Pz og CPZ av EEG systemet hver 0.5s, og trekker ut data segment av de siste 3 fettsyrer for elektronisk behandling.
5. For det andre, prosesser algoritmen 3-sek datasegment ved hjelp av algoritmer som er beskrevet i trinn 2.7, og beregner i sanntid PSD for klassifiseringensjon.
6. Tredje, algoritme klassifiserer brainwave mønstre i henhold til PSD amplitudene ved de fire spille frekvenser. Når amplituden av en funksjon frekvens ligger over en gitt terskelverdi, klassifisere stimulus flimring ved den tilsvarende frekvens som det SSVEP målet.

4. Koble til Humanoid robot

1. Trykk på Chest knappen på humanoid robot og vent til det å starte opp.
   MERK: Denne prosessen tar ca 1 min og er ferdig når roboten sier "OGNAK GNOUK" mens Chest knappen blir hvit.
2. Etablere sin Wireless Fidelity (WiFi) tilkobling til DPC ^15.
3. Åpne Robot Controller programmert i Visual C ++ skript på DPC. Kontrolleren mottar klassifiserings resultatene fra Online Signal Processor via Virtual-Reality Peripheral Network (VRPN) grensesnitt, oversetter dem til roboten kommandoer, og kontrollerer de tilsvarende oppførsel av den humanoid robot via trådløs tilkobling.
4. Konfigurere Robot Controller ved å taste inn IP-adressen til roboten i henhold til sine WiFi-tilkobling, definerer tre sett av robot atferd som lett kan slås å utføre de tre ulike oppgaver, og sette henrettelsen parametrene av disse atferd (f.eks., Gangfart eller avstanden) for å passe til oppgave kravet.
   MERK: mer detaljer om disse atferd er beskrevet i trinn 5.2.1, 5.3.1 og 5.4.1.
5. Klikk på Build-knappen på Visual Studio plattform for å kjøre Robot Controller.
6. Åpne Choregraphe programmet på SPC. Klikk på "Koble til" -knappen for å komme opp en tilkobling widget. Velg roboten som skal kontrolleres i henhold til IP-adressen, og dobbeltklikke på ikonet for å koble til det.
7. Åpne video monitor fra menyvisningen i Choregraphe menylinjen, og flytt skjermen til forsiden av brukergrensesnittet for å vise live video tilbakemeldinger fra robotens kamera.

<p class = "jove_title"> 5. Gjennomføre reguleringsstrekningen Eksperimenter

1. Be om motivet for å utføre tre spesifikke lukket-sløyfe styringsoppgaver innen ulike miljøer for å evaluere hjerne-robot interaksjon ytelse.
   MERK: disse oppgavene, som er viktig i robot applikasjoner fordi de er nyttige i å hjelpe funksjonshemmede og eldre i deres daglige liv, må du aktivere ulike robot atferd.
2. Gjennomføre den første lukket sløyfekontroll oppgave på telepresens kontrollere humanoid robot via hjernen signaler til å gå gjennom hindringer og presse en lysbryter for å slå på lyset, som vist i Figur 4.
   1. For å oppnå den første oppgaven, styre roboten atferd som er kodet av de fire SSVEP stimuli som: stepping fremover med en fast avstand på 0,15 m, svinge til venstre med en fast radian på 0,3 rad, snu høyre med en fast radian på 0,3 rad, og skyve bryteren med sin høyre hånd.
      MERK: Configurasjon fremgangsmåte er beskrevet i trinn 4.4.
   2. Rette gjenstand for oppgaven objektiv og de fire atferd som skal styres.
   3. Kjør Robot Controller som i trinn 4,5-4,7, og starte eksperimentet. Gi emnet frihet til å oppfatte miljøet og ta avgjørelser basert på live video tilbakemeldinger, og aktivere roboten atferd ved å stirre på de tilsvarende stimuli.
      MERK: ingen instruksjon eller hjelp bør gis til faget mindre i nødssituasjoner, for eksempel, er i ferd med å kollidere med en hindring roboten..
3. Gjennomføre den andre oppgaven på telepresens kontrollere humanoid robot via hjernen signaler å gå mot trappen etter avkjøringen skiltet, som vist i figur 5. Når konfrontere forbipasserende, spør underlagt styre roboten til å si "unnskyld" og vent til den forbipasserende til å vike.
   1. Styr roboten atferd kodet av de fire SSVEP stimuli som: gå fremover continuously med en hastighet på 0,05 m / sek, går til venstre kontinuerlig med en hastighet på 0,1 rad / sek, slå rett kontinuerlig med en hastighet på 0,1 rad / sek, og stoppe alle walking atferd.
   2. Slå Robot Controller til holdning avhengig kontrollfunksjon ^16.
      MERK: Når roboten er på tur, bruker denne funksjonen fjerde stimulus som kommando for å stoppe walking atferd; når roboten ikke er på tur, bruker den fjerde stimulans for å styre roboten til å si "unnskyld". Funksjonen er implementert i C ++ skript ved å registrere robotens gang status.
   3. Rette gjenstand for oppgaven objektiv og de fem atferd som skal styres.
   4. Kjør Robot Controller og starte forsøket, som er beskrevet i trinn 5.2.3.
4. Gjennomføre den tredje oppgaven til telepresens kontrollere humanoid robot til å gå mot en ballong målet, å plukke den opp, og å levere den til gjenstand i hånden, som vist i Figur 6.
   1. Styr roboten atferd kodet av de fire SSVEP stimuli som: stepping fremover med en fast avstand på 0,15 m, svinge til venstre med en fast radian på 0,3 rad, snu høyre med en fast radian på 0,3 rad, og plukke opp gjenstander.
   2. Aktiver holdning avhengig kontrollfunksjon i Robot Controller å gjenbruke den fjerde stimulus som kommando av å sette ned objektet når det har allerede blitt plukket opp.
   3. Rette gjenstand for oppgaven objektiv og de fem atferd som skal styres.
   4. Kjør Robot Controller og starte forsøket, som er beskrevet i trinn 5.2.3.

Representative Results

Resultatene som presenteres her, ble erholdt fra en av hannkjønn etter å ha korrigert til normal versjon. Figur 7 viser fremgangsmåten til behandling EEG data, inkludert ekstrahering av en flerkanals data epoke (figur 7A), romlig filtrering av data ved hjelp av CCA-koeffisienter (figur 7B) og beregning av normalisert PSD (figur 7C).

Figur 8 viser normalisert PSD innhentet ved hjelp av enkle forsøk hvor motivet stirret på mål flimrende på ulike frekvenser. Den fremtredende topp vises ved den fundamentale eller harmonisk frekvens av flimring stimulus. BRI systemet tilordner disse mønstrene av SSVEP responser inn kommandoer for kontroll av ulike robot atferd.

Figurene 4-6 viser de tre lukket control oppgaver utført for å evaluere hjerne-robot interaksjon ytelse. Disse oppgavene er populære i robotforskning og er nyttig i å hjelpe funksjonshemmede og eldre i deres daglige liv. Figur 4 viser telepresence kontrollforsøk av å gå gjennom hindringer og trykke på en bryter for å slå på lyset via hjernebølger. Figur 5 viser telepresence-kontroll eksperiment for å vandre mot trapp saken etter avkjøringen skiltet. Figur 6 viser telepresence kontroll eksperiment for å plukke opp en ballong og levere den til gjenstand i hånden.

Figur 1. System Struktur for Brain-Robot Interaksjon med Humanoid robot. Hjernen signalene blir målt gjennom EEG datainnsamling system. Brukergrensesnittet utløser SSVEP svar og vises live video tilbakemelding i lukket sløyfekontroll eksperimenter. For førstegangs fag, er Data Recorder og Offline data Analyzer brukes i offline trening prosess for å analysere sine SSVEP har offline og å trene klassifikator for hvert fag. Da Online Signal Processor og Robot Controller er konfigurert for den elektroniske kontrollen over en humanoid robot. Klikk her for å se en større versjon av dette tallet.

Figur 2. brukergrensesnitt for SSVEP baserte BRI System. Brukergrensesnittet vises live video tilbakemeldinger i midten vinduet og flimrer fire bilder i periferien som representerer menneskelignende robot atferd på fire frekvenser. 3D-representasjon på høyre panel indikerer nåværende holdning av humanoid robot. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "target =" _ blank "> Klikk her for å se en større versjon av dette tallet.

Figur 3. Online Signal Processor implementert i OpenViBE programmeringsmiljøet. Erverve og behandle signaler boksen som er merket med rød syklus påkaller behandlingen algoritmen skrevet i Matlab skript. The Starter knappen på menypanelet starter opp programmet. Klikk her for å se en større versjon av dette tallet.

Figur 4. Telepresence Kontroll Experiment av Walking gjennom hindringer og Pushing en lysbryter.es / ftp_upload / 53558 / 53558fig4large.jpg "target =" _ blank "> Klikk her for å se en større versjon av dette tallet.

Figur 5. Telepresence Kontroll Experiment av Walking Mot Trapp Etter Exit Sign. Klikk her for å se en større versjon av dette tallet.

Figur 6. Telepresence Kontroll Experiment levere en ballong til faget. Klikk her for å se en større versjon av dette tallet.

Figur 7. Prosedyre for Behandling Multichannel EEG Data (A) Multichannel data epoken hentet fra rettsaken hvor motivet er stirrer på stimulus på 4,615 Hz.; (B) Romlig filtrerte data ved hjelp av CCA-koeffisienter; (C) Normalisert PSD av romlig filtrerte data. Klikk her for å se en større versjon av dette tallet.

Figur 8. Normalisert PSD Oppnådd på Enkelt Trials hvor motivet stirrer på Stimuli Flimring på ulike frekvenser. Klikk her for å se en større versjon av dette tallet.

Discussion

Dette notatet presenterer en SSVEP basert eksperimentell prosedyre for å etablere hjernen-robot interaksjon system med menneskelignende roboter ved å integrere flere programmer. Fordi human hensikt oppfattes ved å tolke sanntid EEG-signaler, er det viktig å kontrollere elektrodetilkoblinger og EEG signalkvaliteter før gjennomføring av eksperimentet. Hvis signalene kjøpt fra alle elektrodene er for dårlige kvaliteter, er det nødvendig å kontrollere tilkoblingen av tomter og referanseelektroder først. Dersom det er problemer med deler av elektrodene, re-injisere ledende gel for å justere impedansen av disse kanalene.

Et annet vanlig problem under henting EEG-signaler er forstyrrelser av gjenstander og lyder ^17. Som EEG-signalet har lite signal-til-støy-forhold (SNR), artefakt og støy kan lett uklare endringer i PSD av SSVEP responser. Det er viktig å holde signalforsterker av EEG systemet bort fra POWeh forsyninger og andre støykilder. Under eksperimentet skulle øye blink og kroppsbevegelse holdes på et minimum for å redusere artifakter. For ytterligere å forbedre robusthet mot slike forstyrrelser, benytter vår metode en CCA-basert teknikk for å tolke multikanal EEG data. Resultatene viser at denne teknikk er effektiv i å trekke funksjoner fra EEG-signaler som inneholder støy og artefakter.

For å begynne en ny oppgave for lukket sløyfekontroll av menneskelignende roboter, må vi konfigurere definisjon og parameter for hver robot atferd manuelt for å passe den nye oppgaven kravet. Dette er på grunn av det begrensede antall av styrekommandoer som er tilgjengelige i dagens BRI-systemet, og således kan forbedres ved fremkaller flere typer av hjernebølgemønstre. Hwang et al., ¹⁸ foreslått en to-frekvens stimulering fremgangsmåte for fremstilling av flere synsinntrykk. Wang et al. ^19, Allison et al. ^20, Pan et al ^21., Og Li <em> et al. ²² foreslått flere hybride metoder for å kombinere den SSVEP-basert modell med andre brainwave mønstre, inkludert ERP og MI. Det er også mulig å vedta bytte teknikker basert på maskinlæring eller hierarkisk arkitektur til å styre hele kroppen bevegelse av humanoid robot ved hjelp av begrensede hjernebølgemønstre ^23.

Tatt i betraktning de tilgjengelige blinkende frekvensene av LCD-skjermen ^24, og den innflytelse blant harmoniske komponenter av SSVEPs ^25, vi skannet alle mulige blinkfrekvenser fra 1 til 60 Hz, og finnes ved hjelp av fire frekvenser, det vil si., 4,615, 12, 15, og 20 Hz, er sannsynligvis det beste valget som de oppnådde den høyeste gjennomsnittlige nøyaktighet for våre fag. Derfor brukte vi fire stimuli på grensesnittet til å styre menneskelignende robot atferd, inkludert å gå fremover, svinge til venstre, snu til høyre, og stoppe gang / skyve bryteren / plukke opp gjenstander, som er gjennomførbare noough å styre en humanoid robot til å utføre de oppgavene som presenteres i dette manuskriptet.

Fordelene med BRI system er sin pålitelighet og fleksibilitet som det er utviklet ved å integrere flere programmer, for eksempel OpenViBE, Choregraph, Central programvare og bruker utviklet programmer i C ++ og MATLAB. Det er effektiv og pålitelig for å utforme forskjellige eksperimentelle prosedyrer ved hjelp av standardiserte programvaren. Vårt system er et kraftig verktøy for å undersøke nye algoritmer og teknikker for hjernen-robot interaksjon med en humanoid robot. Det kan lett oppgraderes til å utforske BRI programmer i å hjelpe de syke og eldre, og utfører uhygieniske eller farlige arbeidsplasser.

Materials

Name	Company	Catalog Number	Comments
Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8