SSVEP-baserede Eksperimentel Procedure for Brain-robot Interaktion med menneskelignende robotter

Summary

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Abstract

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Introduction

Brain-Robot Interaction (BRI), som giver en innovativ kommunikation sti mellem menneske og en robot enhed via hjernens signaler, er prospektivt i at hjælpe de handicappede i deres dagligdag ^1,2. En række fremgangsmåder er i stand til at erhverve hjernen signaler enten invasivt eller ikke-invasivt, såsom elektrocorticografi (ECoG), electroencephalograph (EEG), funktionel magnetisk resonans billeddannelse (fMRI), etc. Den mest almindeligt anvendte ikke-invasiv metode til opbygning af BRI-systemet er at erhverve EEG signaler fra elektroder placeret på hovedbunden. Denne metode er billig, let at bruge, og giver en acceptabel tidsmæssig opløsning ^3. Blandt en række robot enheder, menneskelignende robotter er avanceret som de er skabt til at efterligne nogle af de samme fysiske og mentale opgaver, som mennesker gennemgår dagligt. BRI med en menneskelignende robot vil spille en vigtig rolle i at hjælpe de syge og ældre, samt udfører uhygiejniske eller farlige job. Men kontrolaf en menneskelignende robot via BRI system er meget udfordrende, da den menneskelignende robot med fuld kropsbevægelser er udviklet til at udføre komplekse opgaver som personlig assistance ^{4, 5.}

Steady-State visuelt fremkaldt Potential (SSVEP) er en type af hjernens signal fremkaldt af modulation af visuelle stimuli ved en given frekvens ^6. Den indeholder sinusoids på de grundlæggende og harmoniske frekvenser af flimrende stimulus, og tydeligt vises i hele den visuelle cortex i occipital regionen i hovedbunden ^7. Grunden til at vælge de SSVEP signaler er, at SSVEP-baserede BRI systemet giver relativt høj information overførselshastighed og kræver mindre uddannelse ^8. Andre typer af hjernebølger, såsom event-relaterede potentialer (ERP systemer) ⁹ eller motor-billedsprog (MI) potentialer ^10, kan også blive indlejret i denne eksperimentelle procedure.

Vores procedure for hjerne-robot interaktion med menneskelignenderobotter er baseret på Cerebot – et sind-kontrolleret menneskelignende robot platform – som består af en EEG dataopsamlingssystem og en menneskelignende robot ^11. EEG-systemet er i stand til at registrere, præ-proces og vise bio-potentiale signaler erhvervet af forskellige typer af elektroder. Det giver flere analoge I / O'er og digitale I / O'er og er i stand til at optage op til 128 signal kanaler samtidigt med en samplingfrekvens på 30 kHz med 16-bit opløsning. Dens softwareudvikling kits i C ++ og Matlab er nemt for brugerne at designe de eksperimentelle procedurer. Den menneskelignende robot har 25 frihedsgrader og er udstyret med flere sensorer, herunder 2 kameraer, 4 mikrofoner, 2 sonar afstandsmålere, 2 IR emittere og modtagere, 1 inerti bord, 9 taktile sensorer og 8 tryksensorer. Det giver Choregraphe og C ++ SDK til at oprette og redigere bevægelser og interaktive robot adfærd.

Det overordnede mål med denne metode er at etablere en SSVEP-baserede eksperimentelle procedure ved at integrere flere softwareprogrammer, såsom OpenViBE, Choregraph, Central software samt brugernes udviklet programmer skrevet i C ++ og Matlab, for at muliggøre studiet af hjernen-robot interaktion med menneskelignende robotter ^11. Figur 1 viser systemets struktur. Den dedikerede stimulus præsentation computer (SPC) viser brugergrænsefladen til at give emnet med visuelle stimuli, instruktioner og miljømæssige feedbacks. Den dedikerede databehandling computer (DPC) løber Data Recorder og offline data Analyzer i offline uddannelse proces, og kører Online Signal Processor og Robot Controller til online styring af menneskelignende robot. Sammenlignet med andre SSVEP-baserede styresystemer, vores system er mere pålidelige, mere fleksibel, og især mere bekvemt at blive genbrugt og opgraderet, da den er udviklet ved at integrere en række standardiserede softwarepakker såsom OpenViBE, Choregraph, Central software og moduler skrevet i C ++og Matlab.

Følgende procedure blev gennemgået og godkendt af Tianjin medicinske universitet hospital etiske udvalg, og alle fag gav skriftligt samtykke.

Protocol

1. Erhvervelse EEG signaler Forklare den eksperimentelle procedure til emnet og få skriftligt informeret samtykke til at deltage i forsøg. Måle omkredsen af ​​individets hoved ved hjælp af et målebånd og vælg EEG cap størrelse, der er tæt på målingen. Elektroderne arrangement er baseret på "International 10-20 System" 12. Måle afstanden mellem nasion og inion. Brug en hud markør blyant til at markere 10% af afstanden som reference til justering af hæ…

Representative Results

Resultaterne præsenteret her blev opnået fra en mandlig patient, der har korrigeret-til-normale version. Figur 7 viser proceduren for forarbejdning EEG data, herunder udvinding af en multikanaldataforbindelse epoke (figur 7A), rumligt filtrering af data ved hjælp af CCA koefficienter (figur 7B) og beregne den normaliserede PSD (figur 7C). Figur 8 vi…

Discussion

Denne artikel præsenterer en SSVEP-baserede eksperimentelle procedure for at etablere hjernen-robot interaktion systemet med menneskelignende robotter ved at integrere flere softwareprogrammer. Da humant hensigt opfattes ved at fortolke realtid EEG-signaler, er det vigtigt at kontrollere elektrodernes forbindelser og EEG signalkvaliteterne forud for udførelsen af ​​forsøget. Hvis signalerne erhvervet fra alle elektroderne er af dårlige kvaliteter, er det nødvendigt at kontrollere forbindelsen af ​​jorden og…

Materials

Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8