Summary

SSVEP-baserede Eksperimentel Procedure for Brain-robot Interaktion med menneskelignende robotter

Published: November 24, 2015
doi:

Summary

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Abstract

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Introduction

Brain-Robot Interaction (BRI), som giver en innovativ kommunikation sti mellem menneske og en robot enhed via hjernens signaler, er prospektivt i at hjælpe de handicappede i deres dagligdag 1,2. En række fremgangsmåder er i stand til at erhverve hjernen signaler enten invasivt eller ikke-invasivt, såsom elektrocorticografi (ECoG), electroencephalograph (EEG), funktionel magnetisk resonans billeddannelse (fMRI), etc. Den mest almindeligt anvendte ikke-invasiv metode til opbygning af BRI-systemet er at erhverve EEG signaler fra elektroder placeret på hovedbunden. Denne metode er billig, let at bruge, og giver en acceptabel tidsmæssig opløsning 3. Blandt en række robot enheder, menneskelignende robotter er avanceret som de er skabt til at efterligne nogle af de samme fysiske og mentale opgaver, som mennesker gennemgår dagligt. BRI med en menneskelignende robot vil spille en vigtig rolle i at hjælpe de syge og ældre, samt udfører uhygiejniske eller farlige job. Men kontrolaf en menneskelignende robot via BRI system er meget udfordrende, da den menneskelignende robot med fuld kropsbevægelser er udviklet til at udføre komplekse opgaver som personlig assistance 4, 5.

Steady-State visuelt fremkaldt Potential (SSVEP) er en type af hjernens signal fremkaldt af modulation af visuelle stimuli ved en given frekvens 6. Den indeholder sinusoids på de grundlæggende og harmoniske frekvenser af flimrende stimulus, og tydeligt vises i hele den visuelle cortex i occipital regionen i hovedbunden 7. Grunden til at vælge de SSVEP signaler er, at SSVEP-baserede BRI systemet giver relativt høj information overførselshastighed og kræver mindre uddannelse 8. Andre typer af hjernebølger, såsom event-relaterede potentialer (ERP systemer) 9 eller motor-billedsprog (MI) potentialer 10, kan også blive indlejret i denne eksperimentelle procedure.

Vores procedure for hjerne-robot interaktion med menneskelignenderobotter er baseret på Cerebot – et sind-kontrolleret menneskelignende robot platform – som består af en EEG dataopsamlingssystem og en menneskelignende robot 11. EEG-systemet er i stand til at registrere, præ-proces og vise bio-potentiale signaler erhvervet af forskellige typer af elektroder. Det giver flere analoge I / O'er og digitale I / O'er og er i stand til at optage op til 128 signal kanaler samtidigt med en samplingfrekvens på 30 kHz med 16-bit opløsning. Dens softwareudvikling kits i C ++ og Matlab er nemt for brugerne at designe de eksperimentelle procedurer. Den menneskelignende robot har 25 frihedsgrader og er udstyret med flere sensorer, herunder 2 kameraer, 4 mikrofoner, 2 sonar afstandsmålere, 2 IR emittere og modtagere, 1 inerti bord, 9 taktile sensorer og 8 tryksensorer. Det giver Choregraphe og C ++ SDK til at oprette og redigere bevægelser og interaktive robot adfærd.

Det overordnede mål med denne metode er at etablere en SSVEP-baserede eksperimentelle procedure ved at integrere flere softwareprogrammer, såsom OpenViBE, Choregraph, Central software samt brugernes udviklet programmer skrevet i C ++ og Matlab, for at muliggøre studiet af hjernen-robot interaktion med menneskelignende robotter 11. Figur 1 viser systemets struktur. Den dedikerede stimulus præsentation computer (SPC) viser brugergrænsefladen til at give emnet med visuelle stimuli, instruktioner og miljømæssige feedbacks. Den dedikerede databehandling computer (DPC) løber Data Recorder og offline data Analyzer i offline uddannelse proces, og kører Online Signal Processor og Robot Controller til online styring af menneskelignende robot. Sammenlignet med andre SSVEP-baserede styresystemer, vores system er mere pålidelige, mere fleksibel, og især mere bekvemt at blive genbrugt og opgraderet, da den er udviklet ved at integrere en række standardiserede softwarepakker såsom OpenViBE, Choregraph, Central software og moduler skrevet i C ++og Matlab.

Følgende procedure blev gennemgået og godkendt af Tianjin medicinske universitet hospital etiske udvalg, og alle fag gav skriftligt samtykke.

Protocol

1. Erhvervelse EEG signaler Forklare den eksperimentelle procedure til emnet og få skriftligt informeret samtykke til at deltage i forsøg. Måle omkredsen af ​​individets hoved ved hjælp af et målebånd og vælg EEG cap størrelse, der er tæt på målingen. Elektroderne arrangement er baseret på "International 10-20 System" 12. Måle afstanden mellem nasion og inion. Brug en hud markør blyant til at markere 10% af afstanden som reference til justering af hæ…

Representative Results

Resultaterne præsenteret her blev opnået fra en mandlig patient, der har korrigeret-til-normale version. Figur 7 viser proceduren for forarbejdning EEG data, herunder udvinding af en multikanaldataforbindelse epoke (figur 7A), rumligt filtrering af data ved hjælp af CCA koefficienter (figur 7B) og beregne den normaliserede PSD (figur 7C). Figur 8 vi…

Discussion

Denne artikel præsenterer en SSVEP-baserede eksperimentelle procedure for at etablere hjernen-robot interaktion systemet med menneskelignende robotter ved at integrere flere softwareprogrammer. Da humant hensigt opfattes ved at fortolke realtid EEG-signaler, er det vigtigt at kontrollere elektrodernes forbindelser og EEG signalkvaliteterne forud for udførelsen af ​​forsøget. Hvis signalerne erhvervet fra alle elektroderne er af dårlige kvaliteter, er det nødvendigt at kontrollere forbindelsen af ​​jorden og…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Forfatterne vil gerne udtrykke deres taknemmelighed til Mr. Hong Hu for hans bistand til gennemførelsen af ​​forsøgene rapporteret i dette papir. Dette arbejde blev støttet delvist af National Natural Science Foundation of China (nr 61473207).

Materials

Cerebus EEG Data Acquisition System Blackrock Microsystems 4176-9967
NAO humanoid robot Aldebaran Robotics H25
EEG cap Neuroscan 8732
Ten20 Conductive gel Weaver and company 10-20-8

References

  1. McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
  2. Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
  3. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
  4. Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
  5. Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
  6. Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
  7. Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
  8. Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
  9. Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
  10. Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
  11. Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
  12. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
  13. Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
  14. Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
  15. Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
  16. Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
  17. Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
  18. Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
  19. Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
  20. Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
  21. Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
  22. Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
  23. Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
  24. Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).

Play Video

Cite This Article
Zhao, J., Li, W., Mao, X., Li, M. SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots. J. Vis. Exp. (105), e53558, doi:10.3791/53558 (2015).

View Video