SSVEP-baserade Försöksförfarande för Brain-Robot Interaktion med Humanoid robotar

Introduction

Brain-Robot Interaction (BRI), vilket ger en innovativ kommunikationsvägen mellan människa och en robotanordning via hjärnans signaler, är prospektiv för att hjälpa funktionshindrade i deras dagliga liv ^1,2. Ett flertal metoder har möjlighet att förvärva hjärnans signaler antingen invasivt eller icke-invasivt, såsom electrocorticography (ECOG), elektroencefalogram (EEG), funktionell magnetisk resonanstomografi (fMRI), etc. De vanligaste icke-invasiv metod för att bygga BRI-systemet är att förvärva EEG-signaler från elektroder placerade i hårbotten. Denna metod är billig, lätt att använda och ger en acceptabel tidsupplösning ^3. Bland en mängd robotanordningar, humanoida robotar är avancerade som de är skapade för att imitera en del av samma fysiska och mentala uppgifter som människor genomgår dagligen. BRI med en humanoid robot kommer att spela en viktig roll när det gäller att hjälpa de sjuka och äldre, samt utför ohälsosamma eller farliga jobb. Men kontrollav en humanoid robot genom BRI-systemet är en stor utmaning, eftersom humanoida roboten med full kroppsrörelse har utvecklats för att utföra komplexa uppgifter såsom personlig assistans ^{4, 5.}

Steady-State Visual Evoked Potential (SSVEP) är en typ av hjärnsignal framkallad av moduleringen av visuella stimuli vid en given frekvens ^6. Den innehåller sinusvågor på de fundamentala och övertonsfrekvenser av flimrande stimulans, och tydligt visas hela syncentrum i bakhuvudsregionen i hårbotten ^7. Anledningen till att välja SSVEP signalerna är att SSVEP-baserade BRI systemet ger relativt hög dataöverföringshastigheten och kräver mindre utbildning ^8. Andra typer av hjärnvågor, såsom händelserelaterade potentialer (ERP) ⁹ eller motorbildspråk (Ml) potentialer ^10, kan också vara inbäddade i detta experimentella förfarande.

Vårt tillvägagångssätt för hjärn robot interaktion med humanoidrobotar bygger på Cerebot - en tankekontrollerad humanoid robot plattform - som består av en EEG-datainsamlingssystem och en humanoid robot ^11. Anläggning kan spela in, pre-process och visa bio-potential signaler som förvärvats av olika typer av elektroder. Den ger flera analoga I / O och digitala I / O och kan spela in upp till 128 signalkanaler samtidigt vid en samplingshastighet på 30 kHz med 16-bitars upplösning. Dess mjukvaruutveckling kit i C ++ och MATLAB är enkelt för användare att utforma de experimentella förfaranden. Den humanoida roboten har 25 frihetsgrader och är utrustad med flera sensorer, inklusive 2 kameror, 4 mikrofoner, 2 ekolod avståndsmätare, 2 IR sändare och mottagare, en tröghets styrelse, 9 taktila sensorer och 8 tryckgivare. Det ger Choregraphe och C ++ SDK för att skapa och redigera rörelser och interaktiva robot beteenden.

Det övergripande målet med denna metod är att upprätta en SSVEP baserad experimentell förfarande genom att integrera flera program, såsom OpenViBE, Choregraph, Central programvara samt användar utvecklat program skrivna i C ++ och MATLAB, för att möjliggöra studier av hjärn robot interaktion med humanoida robotar ^11. Figur 1 visar systemstrukturen. Den särskilda stimulans presentation dator (SPC) visar användargränssnittet för att ge ämnet med visuella stimuli, instruktioner och miljökopplingar. Den särskilda databehandling dator (DPC) körs Data Recorder och Offline Data Analyzer i offline utbildningsprocessen, och driver Online Signal Processor och Robot Controller för direktstyrning av humanoida roboten. Jämfört med andra SSVEP baserade styrsystem, är mer tillförlitlig, mer flexibel, och framför allt mer praktiskt vårt system för att återanvändas och uppgraderas eftersom det är utvecklat genom att integrera ett antal standardiserade mjukvarupaket, såsom OpenViBE, Choregraph, Central programvara, och moduler skrivna i C ++och MATLAB.

Följande förfarande granskats och godkänts av Tianjin medicinska universitet allmänna sjukhuset etisk kommitté, och alla ämnen gav skriftligt medgivande.

Protocol

1. Förvärva EEG Signaler

1. Förklara den experimentella proceduren till ämnet och få skriftligt informerat samtycke att delta i experiment.
2. Mät omkretsen på patientens huvud med ett måttband och välj EEG cap storlek som är nära mätningen. Elektroderna arrangemanget bygger på "International 10-20 System" ^12.
3. Mät avståndet mellan nasion och Inion. Använd en hud markör penna för att markera 10% av avståndet som en referens för att rikta in locket, och markera mittpunkten på avstånd som vertex på motivets hårbotten.
4. Placera EEG locket på ämnet genom att rikta 10% -strecket med mittpunkten av FP1 och FP2 elektroder. Position elektrod Cz av locket på vertex.
5. Se till att Fz, Cz, Pz och Oz är på mittlinjen av huvudet, och att varje par av elektroder placerade på vardera sidan om mittlinjen är i en horisontell linje.
6. Smeta REF1 och REF2 elektroder med ledande gel. Placera referenselektroderna på vänster och höger mastoids med kirurgtejp. Dra åt hakrem.
7. Placera en trubbig spets spruta i elektrodhållare och injicera ledande gel i varje elektrod i följande ordning: första, "ground" elektrod på pannan och andra, de fem elektroder som används i experimentet, O2, O1, Oz, Pz och Cz.
8. Seat ämnet i en bekväm stol 60 cm framför en stimulans monitor. Instruera motivet att hålla hans / hennes ögon i samma horisontella nivå med mitten av skärmen.
9. Anslut elektrodtrådarna till EEG datainsamlingssystem. Konfigurera samplingsfrekvensen till ett kHz.
10. Undersök signalkvaliteten EEG om den särskilda DPC. Om det finns ett problem med en särskild elektrod, att åter injicera gelén justera impedansen hos kanalen.
11. Använd den särskilda SPC flimrar fyra robot bilder med frekvenser på 4,615, 12, 15 och 20Hz som visuella stimuli på användargränssnitt som visas i Figur 2.

2. Offline Analysera SSVEP Egenskaper

1. Genomföra 32 försök med offline utbildningsexperiment för varje ämne och spela in sina hjärnans signaler som förvärvats från Anläggning under hela denna process.
   OBS: denna process endast utförs av förstagångsämnen av försöket att etablera sina SSVEP särdragsvektorer och utbilda klassificerare.
2. När en rättegång startar väljer en stimulus som mål slumpmässigt och visa en gul pil ovanför.
3. 1 sek senare, flimmer de fyra visuella stimuli på olika frekvenser på användargränssnittet i 5 sek.
4. Begär motivet att fokusera på utvalda stimulans målet samtidigt som hans / hennes kropp rörelse till ett minimum.
5. Efter varje försök att ge den 3 sek för att slappna av och sedan starta nästa rättegång.
6. När alla försök är klar läsa sparade data. Utdrag en 3-sek uppgifter epok vara tween 2 sek och 5 sekunder efter avtryckaren som väljer en stimulans som mål i varje försök.
7. Beräkna effektspektrumet täthet (PSD) av data epoker med hjälp av Offline Data Analyzer i MATLAB-skript. Använd bearbetning algoritm som beskrivs i detalj nedan:
   1. Beräkna kanonisk korrelationsanalys (CCA) koefficienterna för flerkanaliga EEG-data med referensdata. CCA är en multivariabel statistisk metod som används för två uppsättningar av data för att hitta sin underliggande korrelation ^13. Med tanke på den 3s segmentet av flerkanalig EEG-data X och referensdata Y av samma längd, använda CCA att hitta viktvektorema, W _{x och w y,} för att maximera korrelationskoefficienten ρ mellan x = ^X D _B x och y ⁼ y ^ W _y. Ställ in referensdata vara de periodiska signaler vid vissa stimulans frekvenser.
      /ftp_upload/53558/53558eq1.jpg "/>
      där f _{1, f2, f3,} f ₄ är särdragsfrekvenserna hos de fyra visuella stimuli.
   2. Rumsligt filtrera flerkanaliga EEG uppgifter X med hjälp av de beräknade CCA koefficienter W _x för att få en en-dimension filtrerade data x, som har den mest framträdande korrelation med linjär kombination av referensdata.
   3. Beräkna PSD av rumsligt filtrerade data x användande av Fast Fourier Transform (FFT).
      
      där N _FFT är provstorleken av data x, och FFT (x, N _FFT) returnerar N _FFT -punkt diskret Fouriertransform x.
   4. Normalisera PSD med avseende på dess medelvärde mellan 3 och 30 Hz.
      
      var60; betecknar medelvärdet av effektspektrum mellan 3 och 30 Hz.
8. Kalibrera klassificeringsparametrar för de fyra stimulans frekvenserna. Först observera normaliserade PSD spektrum som motsvarar dess stimulans mål, och konfigurera hur ofta den starkaste PSD amplitud som frekvensfunktionen manuellt. Baserat på frekvensfunktionen, dela normaliserade PSD data i två uppsättningar: en förvärvas när motsvarande stimulans väljs som mål, och andra förvärvas när utanför målgruppen stimuli väljs. Beräkna medelvärdet för varje uppsättning respektive. Bestäm tröskeln av medianen av de två medelvärden att klassificera målet och icke-uppsättningar ^14.

3. Online Processing Brain Signaler

1. Öppna Online Signal Processor som visas i figur 3, som är utvecklad based på OpenViBE miljön och MATLAB-skript på DPC för online bearbetning hjärnans signaler.
2. Dubbelklicka på Acquire och processSignal låda, som är märkt med en röd cykel i figur 3, för att öppna OpenViBE inställningsfönstret. Konfigurera klassificeringsparametrar för ämnet. Ställa samplingsfrekvensen som 1 kHz, ställ in tidslängden för FFT som 3 sekunder, och ange funktionsfrekvenserna enligt resultaten från offline analys, t ex 4,667, 24, 15 och 20 Hz .
3. Klicka på knappen börjar löpa Online Signal Processor, som behandlar data i realtid med hjälp av följande algoritm i tre steg.
4. Först förvärvar algoritmen EEG-data från kanaler Oz, O1, O2, Pz och CPZ i Anläggning var 0,5 s, och extraherar datasegmentet av de sista 3s för online-behandling.
5. För det andra behandlar algoritmen 3-sek datasegment genom att använda algoritmerna som beskrivs i steg 2,7, och beräknar i realtid PSD för Classificaning.
6. För det tredje, klassificerar algoritmen de hjärnvågsmönster enligt PSD amplituder på de fyra har frekvenserna. När amplituden hos en funktion frekvensen är över en viss tröskel, klassificera stimulans flimrar vid motsvarande frekvens som SSVEP mål.

4. Anslutning av Humanoid Robot

1. Tryck på bröst knappen på humanoida roboten och vänta på att starta upp.
   OBS: Denna process tar ungefär en minut och avslutas när roboten säger "OGNAK GNOUK" medan dess Bröst knapp blir vit.
2. Fastställa sin Wireless Fidelity (WiFi) anslutning till DPC ^15.
3. Öppna Robot Controller programmeras i Visual C ++ skript på DPC. Styrenheten mottar klassificeringsresultaten från Online Signal Processor via Virtual Reality Peripheral Network (VRPN) gränssnitt, översätter dem till robotkommandon och styr motsvarande beteenden i humanoid robot via trådlös anslutning.
4. Konfigurera Robot Controller genom att mata in IP-adressen för roboten enligt sin WiFi-anslutning, som definierar tre uppsättningar av robot beteenden som lätt kan kopplas för att utföra de tre olika uppgifter och ställa exekverings parametrar för dessa beteenden (t ex., Gånghastighet eller avstånd) för att passa uppgiften kravet.
   OBS: Mer information om dessa beteenden beskrivs i steg 5.2.1, 5.3.1 och 5.4.1.
5. Klicka på Build knappen för Visual Studio plattform för att köra Robot Controller.
6. Öppna Choregraphe programmet på SPC. Klicka på "Anslut till" knappen för att dyka upp en widget anslutning. Välj roboten som ska kontrolleras i enlighet med dess IP-adress, och dubbelklicka på dess ikon för att ansluta till det.
7. Öppna videomonitor från Visa-menyn i Choregraphe menyraden och flytta skärmen på framsidan av användargränssnittet för att visa video återkoppling direkt från robotens kameran.

<p class = "jove_title"> 5. Genomföra sluten slinga kontrollexperiment

1. Begär motivet att utföra tre specifika slutna slinga kontrolluppgifter inom olika miljöer för att utvärdera hjärnan-roboten samspelsprestanda.
   OBS: Dessa uppgifter, som är viktiga i robotapplikationer eftersom de är till hjälp för att hjälpa handikappade och äldre i deras dagliga liv, måste aktivera olika robot beteenden.
2. Genomföra den första sluten slinga kontrolluppgifter till Telepresence kontrollera humanoida roboten via hjärnans signaler att gå igenom hinder och driva en strömbrytare för att slå på ljuset, som visas i Figur 4.
   1. För att åstadkomma den första uppgiften, kontrollera roboten beteenden som kodas av de fyra SSVEP stimuli som: kliva fram ett fast avstånd på 0,15 m, svänger vänster med en fast radian av 0,3 rad, sväng höger med en fast radian av 0,3 rad, och skjuta strömbrytaren med hjälp av sin högra hand.
      OBS: Configurationsprocess beskrivs i steg 4,4.
   2. Informera föremål för uppgiften mål och fyra beteenden som skall styras.
   3. Kör Robot Controller som i steg 4,5-4,7, och starta försöket. Ge den frihet att uppfatta miljön och fatta beslut baserat på video återkoppling levande, och för att aktivera roboten beteenden genom att stirra på motsvarande stimuli.
      OBS: ingen instruktion eller hjälp bör ges till ämnet inte i nödsituationer, till exempel, är på väg att kollidera med ett hinder roboten..
3. Utför den andra uppgiften att telenärvaro styra humanoida roboten via hjärnans signaler att gå mot trappan efter avfart skylt, såsom visas i fig 5. När konfrontera förbipasserande, be motivet att styra roboten att säga "excuse me" och vänta på förbipasserande att ge vika.
   1. Styr roboten beteenden som kodas av de fyra SSVEP stimuli som: gå framåt continuously med en hastighet på 0,05 m / s, vänstersväng kontinuerligt med en hastighet av 0,1 rad / s, sväng höger kontinuerligt med en hastighet av 0,1 rad / s, och stoppa alla promenader beteenden.
   2. Växla Robot Controller till hållningen beroende styrfunktion ^16.
      OBS: när roboten går, använder denna funktion fjärde stimulans som kommandot att stoppa walking beteenden; när roboten inte går, använder den fjärde stimulans för att styra roboten att säga "ursäkta mig". Funktionen är implementerad i C ++ skript genom att detektera robotens gång status.
   3. Informera föremål för uppgiften målet och de fem beteenden som skall styras.
   4. Kör Robot Controller och starta experimentet som beskrivs i steg 5.2.3.
4. Utför den tredje uppgiften att telenärvaro styra humanoidrobot att gå mot en ballong mål, för att plocka upp den, och för att leverera den till patientens hand, såsom visas i fig 6.
   1. Styr roboten beteenden som kodas av de fyra SSVEP stimuli som: kliva fram ett fast avstånd på 0,15 m, vänstersväng med en fast radian av 0,3 rad, sväng höger med en fast radian av 0,3 rad, och plocka upp föremål.
   2. Aktivera hållning beroende styrfunktion i Robot Controller att återanvända fjärde stimulans som kommandot att sätta ner objektet när det har redan tagits upp.
   3. Informera föremål för uppgiften målet och de fem beteenden som skall styras.
   4. Kör Robot Controller och starta experimentet som beskrivs i steg 5.2.3.

Representative Results

Resultaten som presenteras här erhölls från en manlig patient med korrigerad till normalt utförande. Figur 7 visar förfarandet för bearbetning EEG-data, inklusive extrahering av en flerkanalig uppgifter epok (Figur 7A), spatialt filtrera data med hjälp av CCA koefficienter (Figur 7B) och beräkna den normaliserade PSD (figur 7C).

Figur 8 visar den normaliserade PSD erhållits med hjälp av enkla försök där ämnet stirrade på mål fladdrande vid olika frekvenser. Den framträdande topp uppträder vid den fundamentala eller övertonsfrekvens av flimrande stimulans. BRI-systemet mappar dessa mönster av SSVEP svar till kommandon för kontroll av olika robot beteenden.

Figurerna 4-6 visar tre slutna fortsrol uppgifter för att utvärdera hjärnan-roboten samspelsprestanda. Dessa uppgifter är populära i robot forskning och är till hjälp för att hjälpa handikappade och äldre i deras dagliga liv. Figur 4 visar telepresence kontrollförsök på promenader genom hinder och trycka på en strömbrytare för att slå på ljuset via hjärnvågor. Figur 5 visar telepresence kontroll experiment att gå mot trappan fallet efter avfart skylt. Figur 6 visar telepresence kontrollförsök på att plocka upp en ballong och leverera den till patientens hand.

Figur 1. System Struktur för Brain-Robot Interaction med en Humanoid robot. De hjärnans signaler mäts genom EEG datainsamlingssystem. Användargränssnittet framkallar SSVEP svar och visar live återkopplings video i slutna kontrollexperiment. För första gången ämnen, är Data Recorder och Offline Data Analyzer används i offline utbildningsprocessen för att analysera deras SSVEP har offline och att utbilda klassificerare för varje individ. Då Online Signal Processor och Robot Controller konfigureras för direktstyrning av en humanoid robot. Klicka här för att se en större version av denna siffra.

Figur 2. Användargränssnitt för SSVEP-baserade BRI System. Användargränssnittet visar live återkopplings video i mitten fönstret och flimrar fyra bilder på periferin representerar humanoid robot beteenden vid fyra frekvenser. 3D-representation på den högra panelen visar nuvarande hållning av humanoida roboten. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "target =" _ blank "> Klicka här för att se en större version av denna siffra.

Figur 3. Online Signal Processor implementeras i OpenViBE programmeringsmiljön. Acquire och processignaler rutan med den röda cykeln anropar bearbetningsalgoritm skriven i MATLAB manus. Den Startar knappen på menypanelen startar programmet. Klicka här för att se en större version av denna siffra.

Figur 4. Telepresence kontrollförsök på Walking genom hinder och Pushing en strömbrytare.es / ftp_upload / 53558 / 53558fig4large.jpg "target =" _ blank "> Klicka här för att se en större version av denna siffra.

Figur 5. Telepresence kontrollförsök på gå mot trappuppgången Efter Exit Sign. Klicka här för att se en större version av denna siffra.

Figur 6. Telepresence kontrollexperiment att leverera en ballong till ämnet. Klicka här för att se en större version av denna siffra.

Figur 7. rättegångs Processing Multichannel EEG Data (A) Multi uppgifter epok utvinns ur rättegång där patienten stirrar på stimulans på 4,615 Hz. (B) rumsligt filtrerade data med hjälp av CCA koefficienter; (C) Normaliserad PSD av rumsligt filtrerade data. Klicka här för att se en större version av denna siffra.

Figur 8. Normaliserad PSD Erhållen i Enstaka prövningar där ämnes stirrar på Stimuli Flimmer vid olika frekvenser. Klicka här för att se en större version av denna siffra.

Discussion

Denna uppsats presenterar en SSVEP baserad experimentell förfarande för att fastställa hjärnan roboten interaktionssystem med humanoida robotar genom att integrera flera program. Eftersom human uppsåt uppfattas genom att tolka realtid EEG-signaler, är det viktigt att kontrollera anslutningar elektrod och EEG signalkvalitéer innan de utför experimentet. Om signaler som förvärvats från alla elektroderna är fattiga egenskaper, är det nödvändigt att kontrollera anslutningen av marken och referenselektroderna först. Om det finns problem med delar av elektroderna, åter injicera ledande gel för att justera impedansen hos dessa kanaler.

En annan vanlig fråga när förvärva EEG-signaler är inblandning av artefakter och ljud ^17. Som EEG-signalen har liten signalbrusförhållande (SNR), artefakt och buller kan lätt oklara förändringar i PSD av SSVEP svar. Det är viktigt att hålla signalförstärkaren hos EEG-systemet bort från powER-leveranser och andra bullerkällor. Under experimentet skall ögon blinkar och kroppsrörelser hållas till ett minimum för att minska artefakter. För att ytterligare förbättra robustheten mot sådana störningar, utnyttjar vår metod en CCA-baserad teknik för att tolka flerkanaliga EEG-data. Resultaten visar att denna teknik är effektiv för att extrahera egenskaper från EEG-signaler som innehåller brus och artefakter.

Till att börja en ny uppgift för sluten slinga av humanoida robotar, måste vi manuellt konfigurera definition och parameter för varje robot beteende för att passa den nya uppgiften kravet. Detta beror på det begränsade antalet styrkommandon som finns i det nuvarande BRI systemet, och sålunda kan förbättras genom att framkalla fler typer av hjärnvågsmönster. Al. Hwang et ¹⁸ föreslog en dubbelfrekvensstimuleringsmetod för att producera mer visuella stimuli. Et al. Wang ^19, Allison et al. ^20, Pan et al ^21., Och Li <em> et al. ²² föreslagit flera hybrid metoder för att kombinerar SSVEP baserade modellen med andra hjärnvågsmönster, inklusive ERP-system och MI. Det är också möjligt att anta att byta tekniker baserade på maskininlärning eller hierarkisk arkitektur för att styra hela kroppen rörelse hos humanoida roboten med hjälp av begränsade hjärnvågsmönster ^23.

Med tanke på de tillgängliga blixt frekvenserna för LCD-monitorn ^{24 och} inflytande bland harmoniska komponenter i SSVEPs ^25, skannade vi alla möjliga blinkande frekvenserna från 1 till 60 Hz och hittade med hjälp av de fyra frekvenser, dvs., 4,615, 12, 15 och 20 Hz, är sannolikt det bästa valet eftersom de uppnått den högsta genomsnittliga noggrannhet för våra patienter. Därför använde vi fyra stimuli på gränssnittet för att styra humanoida robot beteenden, bland annat gå framåt, svänger vänster, sväng höger, och stoppa promenader / skjuta strömbrytaren / plocka upp föremål, som är genomförbara svgrundlig att styra en humanoid robot att utföra de uppgifter som presenteras i detta manuskript.

Fördelarna med BRI-systemet är dess pålitlighet och flexibilitet som är utvecklad genom att integrera flera program, såsom OpenViBE, Choregraph, Central programvara och användar utvecklat program i C ++ och MATLAB. Det är en effektiv och tillförlitlig för att utforma olika experimentella procedurer med hjälp av standardiserade program. Vårt system är ett kraftfullt verktyg för att undersöka nya algoritmer och tekniker för hjärnan-robot interaktion med en humanoid robot. Det kan lätt uppgraderas för att utforska BRI program för att hjälpa sjuka och äldre, och utför ohälsosamma eller farliga jobb.

Materials

Name	Company	Catalog Number	Comments
Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8