SSVEP-baserade Försöksförfarande för Brain-Robot Interaktion med Humanoid robotar

Summary

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Abstract

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Introduction

Brain-Robot Interaction (BRI), vilket ger en innovativ kommunikationsvägen mellan människa och en robotanordning via hjärnans signaler, är prospektiv för att hjälpa funktionshindrade i deras dagliga liv ^1,2. Ett flertal metoder har möjlighet att förvärva hjärnans signaler antingen invasivt eller icke-invasivt, såsom electrocorticography (ECOG), elektroencefalogram (EEG), funktionell magnetisk resonanstomografi (fMRI), etc. De vanligaste icke-invasiv metod för att bygga BRI-systemet är att förvärva EEG-signaler från elektroder placerade i hårbotten. Denna metod är billig, lätt att använda och ger en acceptabel tidsupplösning ^3. Bland en mängd robotanordningar, humanoida robotar är avancerade som de är skapade för att imitera en del av samma fysiska och mentala uppgifter som människor genomgår dagligen. BRI med en humanoid robot kommer att spela en viktig roll när det gäller att hjälpa de sjuka och äldre, samt utför ohälsosamma eller farliga jobb. Men kontrollav en humanoid robot genom BRI-systemet är en stor utmaning, eftersom humanoida roboten med full kroppsrörelse har utvecklats för att utföra komplexa uppgifter såsom personlig assistans ^{4, 5.}

Steady-State Visual Evoked Potential (SSVEP) är en typ av hjärnsignal framkallad av moduleringen av visuella stimuli vid en given frekvens ^6. Den innehåller sinusvågor på de fundamentala och övertonsfrekvenser av flimrande stimulans, och tydligt visas hela syncentrum i bakhuvudsregionen i hårbotten ^7. Anledningen till att välja SSVEP signalerna är att SSVEP-baserade BRI systemet ger relativt hög dataöverföringshastigheten och kräver mindre utbildning ^8. Andra typer av hjärnvågor, såsom händelserelaterade potentialer (ERP) ⁹ eller motorbildspråk (Ml) potentialer ^10, kan också vara inbäddade i detta experimentella förfarande.

Vårt tillvägagångssätt för hjärn robot interaktion med humanoidrobotar bygger på Cerebot – en tankekontrollerad humanoid robot plattform – som består av en EEG-datainsamlingssystem och en humanoid robot ^11. Anläggning kan spela in, pre-process och visa bio-potential signaler som förvärvats av olika typer av elektroder. Den ger flera analoga I / O och digitala I / O och kan spela in upp till 128 signalkanaler samtidigt vid en samplingshastighet på 30 kHz med 16-bitars upplösning. Dess mjukvaruutveckling kit i C ++ och MATLAB är enkelt för användare att utforma de experimentella förfaranden. Den humanoida roboten har 25 frihetsgrader och är utrustad med flera sensorer, inklusive 2 kameror, 4 mikrofoner, 2 ekolod avståndsmätare, 2 IR sändare och mottagare, en tröghets styrelse, 9 taktila sensorer och 8 tryckgivare. Det ger Choregraphe och C ++ SDK för att skapa och redigera rörelser och interaktiva robot beteenden.

Det övergripande målet med denna metod är att upprätta en SSVEP baserad experimentell förfarande genom att integrera flera program, såsom OpenViBE, Choregraph, Central programvara samt användar utvecklat program skrivna i C ++ och MATLAB, för att möjliggöra studier av hjärn robot interaktion med humanoida robotar ^11. Figur 1 visar systemstrukturen. Den särskilda stimulans presentation dator (SPC) visar användargränssnittet för att ge ämnet med visuella stimuli, instruktioner och miljökopplingar. Den särskilda databehandling dator (DPC) körs Data Recorder och Offline Data Analyzer i offline utbildningsprocessen, och driver Online Signal Processor och Robot Controller för direktstyrning av humanoida roboten. Jämfört med andra SSVEP baserade styrsystem, är mer tillförlitlig, mer flexibel, och framför allt mer praktiskt vårt system för att återanvändas och uppgraderas eftersom det är utvecklat genom att integrera ett antal standardiserade mjukvarupaket, såsom OpenViBE, Choregraph, Central programvara, och moduler skrivna i C ++och MATLAB.

Följande förfarande granskats och godkänts av Tianjin medicinska universitet allmänna sjukhuset etisk kommitté, och alla ämnen gav skriftligt medgivande.

Protocol

1. Förvärva EEG Signaler Förklara den experimentella proceduren till ämnet och få skriftligt informerat samtycke att delta i experiment. Mät omkretsen på patientens huvud med ett måttband och välj EEG cap storlek som är nära mätningen. Elektroderna arrangemanget bygger på "International 10-20 System" 12. Mät avståndet mellan nasion och Inion. Använd en hud markör penna för att markera 10% av avståndet som en referens för att rikta in locket, och mar…

Representative Results

Resultaten som presenteras här erhölls från en manlig patient med korrigerad till normalt utförande. Figur 7 visar förfarandet för bearbetning EEG-data, inklusive extrahering av en flerkanalig uppgifter epok (Figur 7A), spatialt filtrera data med hjälp av CCA koefficienter (Figur 7B) och beräkna den normaliserade PSD (figur 7C). Figur 8</strong…

Discussion

Denna uppsats presenterar en SSVEP baserad experimentell förfarande för att fastställa hjärnan roboten interaktionssystem med humanoida robotar genom att integrera flera program. Eftersom human uppsåt uppfattas genom att tolka realtid EEG-signaler, är det viktigt att kontrollera anslutningar elektrod och EEG signalkvalitéer innan de utför experimentet. Om signaler som förvärvats från alla elektroderna är fattiga egenskaper, är det nödvändigt att kontrollera anslutningen av marken och referenselektroderna …

Materials

Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8