Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Engineering

SSVEP-baserede Eksperimentel Procedure for Brain-robot Interaktion med menneskelignende robotter

Published: November 24, 2015 doi: 10.3791/53558

Introduction

Brain-Robot Interaction (BRI), som giver en innovativ kommunikation sti mellem menneske og en robot enhed via hjernens signaler, er prospektivt i at hjælpe de handicappede i deres dagligdag 1,2. En række fremgangsmåder er i stand til at erhverve hjernen signaler enten invasivt eller ikke-invasivt, såsom elektrocorticografi (ECoG), electroencephalograph (EEG), funktionel magnetisk resonans billeddannelse (fMRI), etc. Den mest almindeligt anvendte ikke-invasiv metode til opbygning af BRI-systemet er at erhverve EEG signaler fra elektroder placeret på hovedbunden. Denne metode er billig, let at bruge, og giver en acceptabel tidsmæssig opløsning 3. Blandt en række robot enheder, menneskelignende robotter er avanceret som de er skabt til at efterligne nogle af de samme fysiske og mentale opgaver, som mennesker gennemgår dagligt. BRI med en menneskelignende robot vil spille en vigtig rolle i at hjælpe de syge og ældre, samt udfører uhygiejniske eller farlige job. Men kontrolaf en menneskelignende robot via BRI system er meget udfordrende, da den menneskelignende robot med fuld kropsbevægelser er udviklet til at udføre komplekse opgaver som personlig assistance 4, 5.

Steady-State visuelt fremkaldt Potential (SSVEP) er en type af hjernens signal fremkaldt af modulation af visuelle stimuli ved en given frekvens 6. Den indeholder sinusoids på de grundlæggende og harmoniske frekvenser af flimrende stimulus, og tydeligt vises i hele den visuelle cortex i occipital regionen i hovedbunden 7. Grunden til at vælge de SSVEP signaler er, at SSVEP-baserede BRI systemet giver relativt høj information overførselshastighed og kræver mindre uddannelse 8. Andre typer af hjernebølger, såsom event-relaterede potentialer (ERP systemer) 9 eller motor-billedsprog (MI) potentialer 10, kan også blive indlejret i denne eksperimentelle procedure.

Vores procedure for hjerne-robot interaktion med menneskelignenderobotter er baseret på Cerebot - et sind-kontrolleret menneskelignende robot platform - som består af en EEG dataopsamlingssystem og en menneskelignende robot 11. EEG-systemet er i stand til at registrere, præ-proces og vise bio-potentiale signaler erhvervet af forskellige typer af elektroder. Det giver flere analoge I / O'er og digitale I / O'er og er i stand til at optage op til 128 signal kanaler samtidigt med en samplingfrekvens på 30 kHz med 16-bit opløsning. Dens softwareudvikling kits i C ++ og Matlab er nemt for brugerne at designe de eksperimentelle procedurer. Den menneskelignende robot har 25 frihedsgrader og er udstyret med flere sensorer, herunder 2 kameraer, 4 mikrofoner, 2 sonar afstandsmålere, 2 IR emittere og modtagere, 1 inerti bord, 9 taktile sensorer og 8 tryksensorer. Det giver Choregraphe og C ++ SDK til at oprette og redigere bevægelser og interaktive robot adfærd.

Det overordnede mål med denne metode er at etablere en SSVEP-baserede eksperimentelle procedure ved at integrere flere softwareprogrammer, såsom OpenViBE, Choregraph, Central software samt brugernes udviklet programmer skrevet i C ++ og Matlab, for at muliggøre studiet af hjernen-robot interaktion med menneskelignende robotter 11. Figur 1 viser systemets struktur. Den dedikerede stimulus præsentation computer (SPC) viser brugergrænsefladen til at give emnet med visuelle stimuli, instruktioner og miljømæssige feedbacks. Den dedikerede databehandling computer (DPC) løber Data Recorder og offline data Analyzer i offline uddannelse proces, og kører Online Signal Processor og Robot Controller til online styring af menneskelignende robot. Sammenlignet med andre SSVEP-baserede styresystemer, vores system er mere pålidelige, mere fleksibel, og især mere bekvemt at blive genbrugt og opgraderet, da den er udviklet ved at integrere en række standardiserede softwarepakker såsom OpenViBE, Choregraph, Central software og moduler skrevet i C ++og Matlab.

Følgende procedure blev gennemgået og godkendt af Tianjin medicinske universitet hospital etiske udvalg, og alle fag gav skriftligt samtykke.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

1. Erhvervelse EEG signaler

  1. Forklare den eksperimentelle procedure til emnet og få skriftligt informeret samtykke til at deltage i forsøg.
  2. Måle omkredsen af ​​individets hoved ved hjælp af et målebånd og vælg EEG cap størrelse, der er tæt på målingen. Elektroderne arrangement er baseret på "International 10-20 System" 12.
  3. Måle afstanden mellem nasion og inion. Brug en hud markør blyant til at markere 10% af afstanden som reference til justering af hætten, og markere midtpunktet af afstanden som toppunktet om emnet hovedbund.
  4. Placer EEG hætten på emnet ved at justere 10% -mærket med midtpunktet af FP1 og FP2 elektroder. Position elektrode Cz af hætten på vinkelspids.
  5. Kontroller, at Fz, Cz, Pz og Oz er på midterlinjen af ​​hovedet, og at hvert par af elektroder er placeret på hver side af midterlinjen er i en vandret linie.
  6. Smøre de REF1 og REF2 elektroder med ledende gel. Placer reference- elektroder på venstre og højre mastoids hjælp medicinsk tape. Stram hagerem.
  7. Placer en stump spids sprøjte i elektrodeholdere og injicere ledende gel i hver elektrode i følgende rækkefølge: For det første "jord" elektrode på panden og for det andet de fem elektroder, der anvendes i forsøget, O2, O1, Oz, Pz og Cz.
  8. Seat emnet i en behagelig stol 60 cm foran en stimulus skærm. Instruer motivet til at holde hans / hendes øjne i samme vandrette niveau med midten af ​​skærmen.
  9. Forbind elektrode ledninger til erhvervelse EEG datasystem. Konfigurer samplingfrekvens til 1 kHz.
  10. Undersøg EEG-signalet kvalitet på den dedikerede DPC. Hvis der er et problem med en bestemt elektrode, at re-injicere gel justere impedansen af ​​kanalen.
  11. Brug den dedikerede SPC at flimre fire robot billeder ved frekvenser på 4,615, 12, 15 og 20Hz som visuelle stimuli på betjeningspanelet, som vist i figur 2.

2. Offline Analyse SSVEP Egenskaber

  1. Gennemføre 32 forsøg med offline uddannelse eksperimenter for hvert emne og registrere deres hjerne signaler erhvervet fra EEG-systemet i hele denne proces.
    BEMÆRK: Denne proces er kun udføres af førstegangs-emner af eksperimentet til at etablere deres SSVEP har vektorer og uddanne klassificeringen.
  2. Når en retssag starter, skal du vælge en stimulus som mål tilfældigt og vise en gul pil over det.
  3. 1 sek senere, flimre de fire visuelle stimuli ved forskellige frekvenser på brugergrænsefladen i 5 sek.
  4. Anmod emnet til at fokusere på det valgte stimulus mål samtidig med at hans / hendes krop bevægelser til et minimum.
  5. Efter hvert forsøg, giver emnet 3 sek at slappe af, og derefter starte det næste forsøg.
  6. Når alle forsøg er færdig, kan du læse de gemte data. Udtrække en 3-sec data epoke være lem 2 sek og 5 sek efter aftrækkeren, der vælger en stimulus som målet i hvert forsøg.
  7. Beregn magt spektrum densitet (PSD) af data epoker ved hjælp af offline data Analyzer i MATLAB scripts. Brug beskrevet i detaljer nedenfor algoritme:
    1. Beregn kanonisk korrelationsanalyse (CCA) koefficienter for multikanal EEG data med referencedata. CCA er en multivariabelt statistisk metode, der anvendes til to sæt af data for at finde deres underliggende korrelation 13. I betragtning af den 3s segment af multikanal EEG data X og referencedata Y af samme længde, brug CCA at finde vægten vektorer, W x og W y, for at maksimere korrelationskoefficienten ρ mellem x = X T B x og y = Y T W y. Indstil referencedata til at være de periodiske signaler på bestemte stimulus frekvenser.
      /ftp_upload/53558/53558eq1.jpg "/>
      hvor f 1, f2, f3, f4 er har frekvenser af fire visuelle stimuli.
    2. Rumligt filtrere multikanal EEG data X ved hjælp af de beregnede CCA koefficienter W x for at få en én-dimension filtrerede data x, som har den mest fremtrædende korrelation med den lineære kombination af referencedata.
    3. Beregn PSD af de rumligt filtrerede data x ved hjælp af Fast Fourier Transform (FFT).
      Ligning 2
      hvor N FFT er stikprøvestørrelse på data-x, og FFT (x, N FFT) returnerer N FFT -point diskrete Fouriertransformation af x.
    4. Normalisere PSD i forhold til dets middelværdi mellem 3 og 30 Hz.
      Ligning 3
      hvor60; Ligning 3 Nævner betegner gennemsnittet af magten spektret mellem 3 og 30 Hz.
  8. Kalibrere klassificering parametre for de fire stimulus frekvenser de. Først observere normaliserede PSD spektrum, der svarer til dens stimulus mål, og manuelt konfigurere frekvensen med den stærkeste PSD amplitude som funktion frekvens. Baseret på funktionen frekvens, opdele de normaliserede PSD data i to sæt: Den ene er erhvervet, når den tilsvarende stimulus er valgt som mål, og den anden er erhvervet, når de ikke-målorganismer stimuli er valgt. Beregn middelværdien for hvert sæt hhv. Bestem tærskelen med medianen af de to middelværdier at klassificere målet og ikke-mål sætter 14.

3. Online Processing Brain Signaler

  1. Åbn Online Signal Processor som vist i figur 3, som er udviklet based på OpenViBE miljøet og MATLAB scripts, på DPC for online behandling hjernen signaler.
  2. Dobbeltklik på Acquire og Process Signal box, som er markeret med en rød cyklus i figur 3, for at åbne OpenViBE indstilling vindue. Konfigurer klassificeringsparametre de for emnet:. Indstille samplingfrekvens som 1 kHz, indstille tiden længde for FFT som 3 sek, og indstil funktionen frekvenser i henhold til resultaterne af offline analyse, fx 4.667, 24, 15 og 20 Hz .
  3. Klik på knappen begynder at løbe Online Signal Processor, som behandler de realtidsdata ved hjælp af følgende algoritme i tre trin.
  4. Først algoritmen erhverver EEG data fra kanalerne Oz, O1, O2, Pz og CPZ af EEG-systemet hver 0.5s, og udtrækker data segment af de sidste 3s for online behandling.
  5. For det andet, algoritmen bearbejder 3-sec datasegment ved hjælp af algoritmer, der er beskrevet i trin 2.7, og beregner realtid PSD for klassifikationtion.
  6. For det tredje, algoritmen klassificerer brainwave mønstre i henhold til de PSD amplituder på de fire har frekvenser. Når amplituden af ​​et træk frekvens er over en bestemt tærskel, klassificere stimulus flimrende ved den tilsvarende frekvens som SSVEP målet.

4. Tilslutning af Humanoid Robot

  1. Tryk på brystet knappen på menneskelignende robot og vente på det til at starte op.
    BEMÆRK: Denne proces tager ca. 1 min og er fuldført, når robotten siger "OGNAK GNOUK", mens dens Bryst knappen bliver hvid.
  2. Fastlægge sin Wireless Fidelity (WiFi) forbindelse til DPC 15.
  3. Åbn Robot Controller programmeret i Visual C ++ scripts på DPC. Controlleren modtager resultaterne klassificering fra online Signal Processor via Virtual-Reality Peripheral Network (VRPN) interface, oversætter dem til robotten kommandoer, og styrer de tilsvarende adfærd i humanoid robot via trådløs forbindelse.
  4. Konfigurer Robot Controller ved at indtaste IP-adressen på robotten i henhold til dens WiFi forbindelse, der definerer tre sæt robot adfærd, der kan være let skiftes til at udføre de tre forskellige opgaver, og indstilling af udførelse parametre for disse adfærdsmønstre (f.eks., Ganghastighed eller afstand) for at passe til krav opgave.
    BEMÆRK: flere detaljer om disse adfærdsmønstre er beskrevet i trin 5.2.1, 5.3.1 og 5.4.1.
  5. Klik på Build-knappen på Visual Studio platform til at køre Robot Controller.
  6. Åbn Choregraphe program på produktresuméet. Klik på "Opret forbindelse til" knappen for at vise en forbindelse widget. Vælg robotten skal styres i henhold til dens IP-adresse, og dobbeltklik på dens ikon for at oprette forbindelse til den.
  7. Åbn videoskærm fra visningen menuen i Choregraphe menulinjen og flytte skærmen til forsiden af ​​brugergrænsefladen til at vise live video feedback fra robottens kamera.
<p class = "jove_title"> 5. Gennemførelse af closed-loop kontroleksperimenter

  1. Anmode emnet at udføre tre specifikke lukkede kredsløb styringsopgaver inden for forskellige miljøer for at vurdere hjernen-robot interaktion ydeevne.
    BEMÆRK: disse opgaver, som er vigtige i robot applikationer, fordi de er nyttige i at hjælpe de handicappede og ældre i deres dagligdag, nødt til at aktivere forskellige robot adfærd.
  2. Gennemføre den første lukket kredsløb kontrolopgave til telepresence styre menneskelignende robot via hjernens signaler til at gå gennem forhindringer og skubbe en lyskontakt til at tænde lyset, som vist i figur 4.
    1. For at opnå den første opgave, styre robotten adfærd, der er kodet af de fire SSVEP stimuli som: gå frem med en fast afstand på 0,15 m, drejer til venstre med en fast radian på 0,3 rad, dreje til højre med en fast radian på 0,3 rad, og skubbe kontakten ved hjælp af sin højre hånd.
      NB: Configuration er beskrevet i trin 4.4.
    2. Underrette genstand for opgaven mål og de fire adfærd, der skal bekæmpes.
    3. Kør Robot Controller som i trin 4.5-4.7, og start eksperimentet. Giv emnet frihed til at opfatte miljøet og træffe beslutninger baseret på live video feedback, og til at aktivere robotten adfærd ved at stirre på de tilsvarende stimuli.
      BEMÆRK: ingen instruktion eller hjælp bør gives til emnet, medmindre i nødsituationer, f.eks robotten er ved at kollidere med en forhindring..
  3. Gennemføre den anden opgave at telepresence styre menneskelignende robot via hjernens signaler til at gå mod trappen efter exit tegn, som vist i figur 5. Når konfrontere forbipasserende, bede motivet til at styre robotten til at sige "undskyld" og vente på forbipasserende til at vige.
    1. Styre robotten adfærd kodet af de fire SSVEP stimuli som: gå fremad continuously med en hastighed på 0,05 m / sek, dreje til venstre kontinuerligt med en hastighed på 0,1 rad / sek, dreje til højre kontinuerligt med en hastighed på 0,1 rad / sek, og stoppe alle walking adfærd.
    2. Skift Robot Controller til kropsholdning-afhængige kontrolfunktion 16.
      BEMÆRK: når robotten går, denne funktion bruger den fjerde stimulus som kommando af stoppe walking adfærd; når robotten ikke er at gå, bruger den fjerde stimulus til at styre robotten til at sige "undskyld". Funktionen er implementeret i C ++ scripts ved at registrere robottens walking status.
    3. Underrette genstand for opgaven mål og de fem adfærd, der skal bekæmpes.
    4. Kør Robot Controller og start eksperimentet, som beskrevet i trin 5.2.3.
  4. Gennemføre den tredje opgave at telepresence styre menneskelignende robot til at gå mod en ballon mål, at samle den op, og levere den til emnet hånd, som vist i figur 6.
    1. Styre robotten adfærd kodet af de fire SSVEP stimuli som: gå frem med en fast afstand på 0,15 m, drejer til venstre med en fast radian på 0,3 rad, dreje til højre med en fast radian på 0,3 rad og optagning objekter.
    2. Aktiver kropsholdning-afhængige kontrolfunktion i Robot Controller at genbruge den fjerde stimulus som kommando af at sætte ned objektet, når det er allerede blevet samlet op.
    3. Underrette genstand for opgaven mål og de fem adfærd, der skal bekæmpes.
    4. Kør Robot Controller og start eksperimentet, som beskrevet i trin 5.2.3.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Resultaterne præsenteret her blev opnået fra en mandlig patient, der har korrigeret-til-normale version. Figur 7 viser proceduren for forarbejdning EEG data, herunder udvinding af en multikanaldataforbindelse epoke (figur 7A), rumligt filtrering af data ved hjælp af CCA koefficienter (figur 7B) og beregne den normaliserede PSD (figur 7C).

Figur 8 viser den normaliserede PSD opnået ved brug enkelt forsøg, hvor emnet stirrede på de mål, flimrende ved forskellige frekvenser. Den fremtrædende spids vises den grundlæggende eller harmoniske frekvens af flimrende stimulus. Det BRI-systemet kortlægger disse mønstre af SSVEP svar til kommandoer til styring af forskellige robot adfærd.

Figur 4-6 viser de tre lukkede kredsløb control opgaver udført for at evaluere hjernen-robot interaktion ydeevne. Disse opgaver er populære i robot forskning og er nyttige i at hjælpe de handicappede og ældre i deres dagligdag. Figur 4 viser telepresence kontrolforsøg med at gå gennem forhindringer og skubber en kontakt til at tænde lyset via hjernebølger. Figur 5 viser telepresence kontrol eksperiment af at gå mod trappe tilfældet efter exit tegn. Figur 6 viser telepresence kontrolforsøg med optagning en ballon og levere den til emnet hånd.

Figur 1
Figur 1. System Struktur for Brain-robot interaktion med en Humanoid Robot. Hjernen signaler måles via EEG datafangst system. Brugerfladen fremkalder SSVEP svar og displays live video feedback i lukkede kredsløb kontrolforsøg. For første gang fag, er Data Recorder og offline data Analyzer bruges i offline uddannelse proces til at analysere deres SSVEP funktioner offline og til at uddanne klassificeringen for hver emne. Derefter Online Signal Processor og Robot Controller er konfigureret til online styring af en menneskelignende robot. Klik her for at se en større version af dette tal.

Figur 2
Figur 2. brugergrænseflade for SSVEP-baserede BRI system. Viser brugergrænsefladen bor video feedback i midterste vindue og flimrer fire billeder i periferien som repræsenterer menneskelignende robot adfærd på fire frekvenser. 3D-repræsentation på højre panel viser den aktuelle kropsholdning af menneskelignende robot. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "target =" _ blank "> Klik her for at se en større version af dette tal.

Figur 3
Figur 3. Online Signal Processor implementeret i OpenViBE programmering miljø. De erhverve og behandle signaler kasse mærket med røde cyklus påberåber behandling algoritme skrevet i MATLAB scripts. Knappen Starter på menuen panelet starter programmet. Klik her for at se en større version af dette tal.

Figur 4
Figur 4. Telepresence kontrolforsøg af Gåture gennem forhindringer og Pushing en lyskontakt.es / ftp_upload / 53558 / 53558fig4large.jpg "target =" _ blank "> Klik her for at se en større version af dette tal.

Figur 5
Figur 5. Telepresence kontrolforsøg for at gå mod Trappe Efter Exit Sign. Klik her for at se en større version af dette tal.

Figur 6
Figur 6. Telepresence kontrolforsøg levere en ballon til emnet. Klik her for at se en større version af dette tal.

Figur 7 Figur 7. forretningsorden Processing Multichannel EEG data (A) Multichannel data epoke udvundet fra forsøget, hvor motivet stirre på stimulus på 4,615 Hz.; (B) Rumligt filtrerede data ved hjælp af CCA koefficienter; (C) Normaliseret PSD af de rumligt filtrerede data. Klik her for at se en større version af dette tal.

Figur 8
Figur 8. Normaliseret PSD Opnået i Single forsøg, hvor motivet er at stirre på Stimuli Flimrer ved forskellige frekvenser. Klik her for at se en større version af dette tal.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Denne artikel præsenterer en SSVEP-baserede eksperimentelle procedure for at etablere hjernen-robot interaktion systemet med menneskelignende robotter ved at integrere flere softwareprogrammer. Da humant hensigt opfattes ved at fortolke realtid EEG-signaler, er det vigtigt at kontrollere elektrodernes forbindelser og EEG signalkvaliteterne forud for udførelsen af ​​forsøget. Hvis signalerne erhvervet fra alle elektroderne er af dårlige kvaliteter, er det nødvendigt at kontrollere forbindelsen af ​​jorden og reference elektroder først. Hvis der er problemer med dele af elektroderne, re-injicere ledende gel til at justere impedansen af ​​disse kanaler.

Et andet fælles problem, mens erhverve EEG-signaler er indblanding af artefakter og lyde 17. Da EEG-signalet har lille signal støjforhold (SNR), artefakt og støj kan nemt obskure ændringer i PSD af SSVEP svar på. Det er vigtigt at holde signalforstærker af EEG systemet væk fra powER leverancer og andre støjkilder. Under eksperimentet, bør øje blink og kropsbevægelser holdes på et minimum for at reducere artefakter. For yderligere at forbedre robusthed mod sådanne interferenser vores metode anvender en CCA-baseret teknik til at fortolke multikanal EEG data. Resultaterne viser, at denne teknik er effektiv i at udvinde funktioner fra EEG-signaler, der indeholder lyde og artefakter.

Til at begynde en ny opgave for lukkede kredsløb kontrol over menneskelignende robotter, er vi nødt til manuelt at konfigurere definition og parameter for hver robot adfærd til at passe den nye opgave krav. Dette skyldes det begrænsede antal styrekommandoer tilgængelige i nuværende BRI system og derved kan forbedres ved at fremkalde flere typer brainwave mønstre. Hwang et al. 18 foreslået en dobbelt frekvens stimulation fremgangsmåde til fremstilling af mere visuelle stimuli. Wang et al. 19, Allison et al. 20, Pan et al 21. Og Li <em> et al. 22 foreslået flere hybride metoder til at kombinere SSVEP-baserede model med andre brainwave mønstre, herunder ERP systemer og MI. Det er også muligt at vedtage skifte teknikker baseret på maskine læring eller hierarkisk arkitektur til at styre hele kroppen bevægelse af menneskelignende robot ved hjælp begrænsede brainwave mønstre 23.

I betragtning af de tilgængelige blinkende frekvenser af LCD-skærmen 24 og indflydelsen blandt harmoniske komponenter af SSVEPs 25, vi scannet alle mulige blinkende frekvenser fra 1 til 60 Hz og fundet ved hjælp af de fire frekvenser, dvs.., 4,615, 12, 15, og 20 Hz, sandsynligvis det bedste valg, da de opnåede den højeste gennemsnitlige præcision for vores fag. Derfor brugte vi de fire stimuli på grænsefladen til at styre de humanoide robot adfærd, herunder gå fremad, dreje til venstre, dreje til højre, og stop gå / skubbe kontakten / optagning objekter, som er gennemførlige dadybdegående at styre en menneskelignende robot til at udføre de opgaver, der præsenteres i dette manuskript.

Fordelene ved BRI-systemet er dens pålidelighed og fleksibilitet, som den er udviklet ved at integrere flere softwareprogrammer, såsom OpenViBE, Choregraph, Central software og bruger udviklet programmer i C ++ og Matlab. Det er effektivt og pålideligt for at designe forskellige eksperimentelle procedurer ved hjælp af den standardiserede software. Vores system er et kraftfuldt værktøj til at undersøge nye algoritmer og teknikker for hjernen-robot interaktion med en menneskelignende robot. Det kan nemt opgraderes til at udforske BRI applikationer i at hjælpe de syge og ældre, og udfører uhygiejniske eller farlige job.

Subscription Required. Please recommend JoVE to your librarian.

Acknowledgments

Forfatterne vil gerne udtrykke deres taknemmelighed til Mr. Hong Hu for hans bistand til gennemførelsen af ​​forsøgene rapporteret i dette papir. Dette arbejde blev støttet delvist af National Natural Science Foundation of China (nr 61473207).

Materials

Name Company Catalog Number Comments
Cerebus EEG Data Acquisition System Blackrock Microsystems 4176-9967
NAO humanoid robot Aldebaran Robotics H25
EEG cap Neuroscan 8732
Ten20 Conductive gel Weaver and company 10-20-8

DOWNLOAD MATERIALS LIST

References

  1. McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
  2. Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
  3. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
  4. Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
  5. Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
  6. Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
  7. Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
  8. Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
  9. Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
  10. Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
  11. Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
  12. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
  13. Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
  14. Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
  15. Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
  16. Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
  17. Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
  18. Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
  19. Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
  20. Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
  21. Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
  22. Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
  23. Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
  24. Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
  25. Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).

Tags

Engineering Neuroscience hjerne-robot interaktion (BRI) menneskelignende robot Cerebot elektroencefalograf (EEG) steady state visuelt fremkaldt potentiale (SSVEP) flere software integration kanonisk korrelationsanalyse (CCA) lukket kredsløb kontrol telepresence-kontrol
SSVEP-baserede Eksperimentel Procedure for Brain-robot Interaktion med menneskelignende robotter
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhao, J., Li, W., Mao, X., Li, M.More

Zhao, J., Li, W., Mao, X., Li, M. SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots. J. Vis. Exp. (105), e53558, doi:10.3791/53558 (2015).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter