Introduction
Brain-Robot Interactie (BRI), die een vernieuwende communicatie traject tussen mens en een robot apparaat via de hersenen signalen geeft, is aanstaande in het helpen van mensen met een handicap in hun dagelijks leven 1,2. Verschillende methoden kunnen hersenen signalen ontvangt ofwel invasief of niet-invasief, zoals electrocorticography (ECoG), elektro-encefalogram (EEG), functionele magnetische resonantie (fMRI), etc. De meest gebruikte niet-invasieve werkwijze voor het bouwen van de BRI systeem te EEG signalen ontvangt van elektroden op de hoofdhuid. Deze methode is goedkoop, gemakkelijk te gebruiken, en levert een acceptabele tijdsresolutie 3. Onder diverse robot apparaten, humanoidrobots zijn ontwikkeld als ze zijn gemaakt om een aantal van dezelfde fysieke en mentale taken die de mens dagelijks ondergaan imiteren. BRI met een humanoïde robot zal een belangrijke rol spelen in het bijstaan van zieken en ouderen, evenals het uitvoeren van ongezonde of gevaarlijke banen spelen. Maar controlevan een humanoïde robot door de BRI systeem is zeer uitdagend, omdat de humanoïde robot met volledige beweging van het lichaam is ontwikkeld om complexe taken uit te voeren zoals persoonlijke assistentie 4, 5.
Steady-State Visual opgewekte potentiele (SSVEP) is een soort hersenen signaal opgewekt door de modulatie van visuele stimulus bij een gegeven frequentie 6. Het bevat sinusoiden op de fundamentele en harmonische frequenties van de flikkerende stimulus, en prominent verschijnt gedurende de visuele cortex in de occipitale gebied van de scalp 7. De reden voor de keuze van de SSVEP signalen dat de SSVEP-gebaseerde BRI systeem levert relatief hoog informatie overdrachtssnelheid en vereist minder training 8. Andere soorten hersengolven, zoals event-related potentials (ERP's) 9 of motor-beelden (MI) potentialen 10, kan ook worden ingebed in deze experimentele procedure.
Onze procedure voor de hersenen-robot interactie met humanoidrobots is gebaseerd op CEREBOT - een mind-gecontroleerde humanoïde robot-platform - bestaande uit een EEG data-acquisitie-systeem en een humanoïde robot 11. Het EEG systeem kan opnemen, pre-proces en weergave bio-potentiaal signalen verkregen door verschillende typen elektrodes. Het biedt meerdere analoge I / O en digitale I / O's en is geschikt voor het opnemen tot 128 signaal kanalen tegelijk met een sampling rate van 30 kHz met 16-bit resolutie. De software development kits in C ++ en MATLAB zijn gemakkelijk voor gebruikers om de experimentele procedures te ontwerpen. De humanoïde robot heeft 25 graden van vrijheid en is uitgerust met meerdere sensoren, met inbegrip van 2 camera's, 4 microfoons, 2 sonar afstandmeters, 2 IR-zenders en ontvangers, 1 inertie boord, 9 tactiele sensoren en 8 druksensoren. Het geeft Choregraphe en C ++ SDK voor het maken en bewerken van bewegingen en interactieve robot gedrag.
Het algemene doel van deze methode is om een-SSVEP gebaseerde experimentele proce vastdure door het integreren van meerdere software programma's, zoals OpenViBE, Choregraph, Central software en gebruiker ontwikkelde programma's geschreven in C ++ en MATLAB, de studie van de hersenen-robot interactie met humanoïde robots 11 mogelijk te maken. Figuur 1 toont het systeem structuur. De speciale stimulus presentatie computer (SPC) geeft de gebruikersinterface om het onderwerp met een visuele stimuli, instructies en milieu feedbacks bieden. De speciale verwerking computer (DPC) loopt de Data Recorder en de Offline Data Analyzer in de offline opleidingsproces, en loopt de Online Signal Processor en de Robot Controller voor de online controle van de humanoïde robot. Vergeleken met andere SSVEP gebaseerde systemen, ons systeem is betrouwbaarder, flexibeler en vooral geschikter voor hergebruik en uitgebreid zoals is ontwikkeld door integratie van een aantal gestandaardiseerde softwarepakketten, zoals OpenViBE, Choregraph, Central software en modules geschreven in C ++en MATLAB.
De volgende procedure werd beoordeeld en door Tianjin Medical University algemeen ziekenhuis ethische commissie goedgekeurd en alle patiënten gaven schriftelijk toestemming.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Het verwerven van EEG-signalen
- Leg uit de experimentele procedure om het onderwerp en het verkrijgen van schriftelijke toestemming voor deelname aan experimenten.
- Meet de omtrek van het subject hoofd met een meetlint en selecteer de EEG cap grootte die dicht bij de meting. De elektroden arrangement is gebaseerd op de "International 10-20 System" 12.
- Meet de afstand tussen de nasion en INION. Gebruik een skin marker potlood markeren 10% van de afstand als referentie voor het uitlijnen van de dop, en markeert het middelpunt van de afstand vanaf de top op de hoofdhuid van de proefpersoon.
- Plaats de EEG dop op het onderwerp door het uitlijnen van de 10% overschrijden met het midden van de FP1 en FP2 elektroden. Positie elektrode Cz van de dop op de top.
- Zorg ervoor dat de Fz, Cz, Pz en Oz op de middellijn van het hoofd en dat elk paar elektroden aan weerszijden van de middellijn in een horizontale lijn.
- Smeer de REF1 en REF2 elektroden met geleidende gel. Plaats de referentie-elektroden links en rechts mastoids met tape. Draai de kinband.
- Plaats een stompe getipt spuit in de las- en injecteer geleidende gel in elke elektrode in de volgende volgorde: eerst de "bodem" elektrode op het voorhoofd en de tweede, de vijf elektrodes voor het experiment, O2, O1, Oz, Pz en CZ.
- Seat het onderwerp in een comfortabele stoel 60 cm voor een stimulans monitor. Vraag de onder zijn / haar ogen dezelfde hoogte met het midden van het beeldscherm te houden.
- Sluit de elektrodedraden de EEG data-acquisitiesysteem. Configureren van de sampling rate tot 1 kHz.
- Onderzoekt de EEG-signaal kwaliteit op de speciale DPC. Als er een probleem met een specifieke elektrode, opnieuw injecteren gel aan de impedantie van het kanaal.
- Gebruik de speciale SPC vier robot beelden flikkeren bij een frequentie van 4,615, 12, 15 en 20Hz visuele stimuli op de gebruikersinterface zoals weergegeven in figuur 2.
2. Offline analyseren SSVEP Kenmerken
- Gedrag 32 proeven van offline training experimenten voor elk onderwerp en noteer hun hersenen signalen tijdens dit proces verworven van het EEG-systeem.
OPMERKING: dit proces wordt alleen uitgevoerd door eerst onderwerpen van het experiment om hun SSVEP functie vectoren vast te stellen en de classifier te trainen. - Wanneer een proef gestart, selecteert u een stimulus als het doelwit willekeurig en toont een gele pijl erboven.
- 1 seconde later, flikkeren de vier visuele prikkels op verschillende frequenties op de gebruikersinterface voor 5 sec.
- Vraag het onderwerp te richten op de geselecteerde stimulus doel terwijl zijn / haar lichaam beweging te maken.
- Na elke proef, geef het onderwerp 3 sec om te ontspannen, en start de volgende proef.
- Wanneer alle onderzoeken zijn afgerond, lees de opgeslagen gegevens. Extract een 3-sec data tijdperk zijn tussen 2 seconden en 5 seconden na de trigger die een stimulans als het doel in elke proef kiest.
- Bereken het vermogensspectrum dichtheid (PSD) van de gegevens tijdperken met behulp van de Offline Data Analyzer in MATLAB scripts. Gebruik de verwerking algoritme in detail hieronder beschreven:
- Bereken de canonieke correlatie analyse (CCA) coëfficiënten van de multikanaals EEG data met referentiegegevens. CCA is een multivariabele statistische methode gebruikt voor twee sets van gegevens aan de onderliggende correlatie 13 te vinden. Gezien de 3s segment van multikanaals EEG data X en referentiegegevens Y van dezelfde lengte, gebruikt CCA het gewicht vectoren, W x en w y, voor de correlatiecoëfficiënt ρ tussen x = X T W x en y = Y T maximaliseren W y. Stel de referentiegegevens de periodieke signalen op bepaalde stimulus frequenties.
/ftp_upload/53558/53558eq1.jpg "/>
waarbij f 1, f 2, f 3, f 4 zijn de functie frequenties van de vier visuele stimuli. - Ruimtelijk filter de multikanaals EEG data X met de berekende CCA coëfficiënten W x een één dimensie gefilterde data x, waarvan de meest prominente correlatie met de lineaire combinatie van de referentiegegevens heeft verkregen.
- Bereken de PSD van het ruimtelijk gefilterde gegevens x gebruik van Fast Fourier Transform (FFT).
waarbij N FFT is de steekproefomvang van gegevens x en FFT (x, N FFT) geeft de N FFT -punt discrete Fourier-transformatie van x. - Normaliseren van de PSD met betrekking tot de gemiddelde waarde tussen 3 en 30 Hz.
waar60;
geeft het gemiddelde van het vermogensspectrum tussen 3 en 30 Hz.
- Bereken de canonieke correlatie analyse (CCA) coëfficiënten van de multikanaals EEG data met referentiegegevens. CCA is een multivariabele statistische methode gebruikt voor twee sets van gegevens aan de onderliggende correlatie 13 te vinden. Gezien de 3s segment van multikanaals EEG data X en referentiegegevens Y van dezelfde lengte, gebruikt CCA het gewicht vectoren, W x en w y, voor de correlatiecoëfficiënt ρ tussen x = X T W x en y = Y T maximaliseren W y. Stel de referentiegegevens de periodieke signalen op bepaalde stimulus frequenties.
- Kalibreren van de indeling parameters voor de vier stimulus frequenties. Eerste, acht de genormaliseerde PSD spectrum dat overeenkomt met de stimulus doel, en de frequentie met de sterkste PSD amplitude als de functie frequentie handmatig configureren. Op basis van de functie frequentie verdelen de genormaliseerde PSD gegevens in twee reeksen: één wordt verkregen als de bijbehorende stimulus is geselecteerd als het doel en de andere wordt verkregen wanneer de niet-target prikkels worden geselecteerd. Bereken de gemiddelde waarde van elk respectievelijk. Bepaal de drempel door de mediaan van de twee gemiddelde waarden te classificeren het doel en non-target stelt 14.
geeft het gemiddelde van het vermogensspectrum tussen 3 en 30 Hz. 3. Online Verwerking hersensignalen
- Open de Online signaalprocessor zoals getoond in figuur 3, die is ontwikkeld based op het OpenViBE milieu en de MATLAB scripts, op het DPC voor online verwerking hersensignalen.
- Dubbelklik op het verwerven en verwerken signaal doos, die is gemarkeerd met een rode cyclus in figuur 3, aan de OpenViBE instelling te openen. Configureert de indeling parameters voor het onderwerp:. Stel de bemonsteringsfrequentie als 1 kHz, stelt u de tijdsduur voor FFT als 3 sec, en stel de functie frequenties op basis van de resultaten van de offline analyse, bijvoorbeeld 4,667, 24, 15 en 20 Hz .
- Klik begint het Online Signal Processor, waarbij de real-time data verwerkt met het volgende algoritme in drie stappen uitgevoerd.
- Ten eerste, het algoritme verwerft EEG-gegevens van kanalen Oz, O1, O2, Pz en CPZ van het EEG-systeem elke 0.5s, en haalt de data segment van de laatste 3s voor online verwerking.
- Ten tweede, het algoritme verwerkt de 3-sec datasegment met de in stap 2.7 beschreven algoritmes, en berekent de real-time PSD classifitie.
- Ten derde, het algoritme classificeert de hersengolfpatronen volgens de PSD amplitudes in de vier functie frequenties. Wanneer de amplitude van één kenmerk frequentie boven een bepaalde drempel, classificeren stimulus flikkeren op de overeenkomstige frequentie als SSVEP doelwit.
4. Aansluiten van de Humanoid Robot
- Druk op de knop op de borst van de humanoïde robot en wachten tot het opstarten.
OPMERKING: Dit proces duurt ongeveer 1 minuut en is voltooid wanneer de robot zegt "OGNAK GNOUK" terwijl de Borst knop wordt wit. - Vestigen de Wireless Fidelity (WiFi) verbinding met de DPC 15.
- Open de Robot Controller geprogrammeerd in Visual C ++ scripts op de DPC. De controller ontvangt de classificatie resultaten van de Online Signal Processor via Virtual Reality Peripheral Network interface (VRPN), vertaalt deze naar de robot commando's en stuurt de bijbehorende gedrag van de humanoid robot via een draadloze verbinding.
- Configureer het robotstuurorgaan door het invoeren van het IP-adres van de robot volgens de WiFi verbinding definiëren drie reeksen robot gedragingen die gemakkelijk kan worden overgeschakeld naar de drie verschillende taken en instellen van de uitvoeringsparameters van deze gedragingen (bv., Loopsnelheid of afstand) aan de eis taak past.
OPMERKING: meer details van deze gedragingen worden beschreven in de stappen 5.2.1, 5.3.1 en 5.4.1. - Klik op de Build-knop van de Visual Studio platform om de Robot Controller draaien.
- Open het Choregraphe programma op de SPC. Klik op "Verbinding maken" om een pop-up Connection widget. Selecteer de robot aan te sturen op basis van het IP-adres en dubbelklik op het pictogram om verbinding te maken.
- Open het beeldscherm in het menu Beeld in de menubalk Choregraphe, en verplaats de monitor naar de voorkant van de gebruikersinterface om live video feedback van de camera van de robot weer te geven.
- Verzoeken het onderwerp drie specifieke closed-loop controle taken in verschillende omgevingen uit te voeren om de hersenen-robot interactie prestaties te evalueren.
LET OP: deze taken, die belangrijk zijn in robottoepassingen zijn omdat ze zijn nuttig in het bijstaan van de gehandicapten en ouderen in hun dagelijks leven, moeten verschillende robot gedrag te activeren. - Het gedrag van de eerste closed-loop control taak om telepresence controle van de humanoïde robot via hersensignalen te lopen door obstakels en druk op een lichtschakelaar aan te zetten het licht, zoals weergegeven in figuur 4.
- Om de eerste taak te volbrengen, de controle van de robot gedragingen die worden gecodeerd door de vier SSVEP stimuli zoals: een stap voorwaarts met een vaste afstand van 0,15 m, linksaf met een vaste radiaal van 0,3 rad, rechts afslaan met een vaste radiaal van 0,3 rad, en duwen de schakelaar met behulp van de rechterhand.
NB: de configuratiestie werkwijze beschreven in stap 4.4. - Informeren het onderwerp van de objectieve taak en de vier gedrag te besturen.
- Voer het Robot Controller als in de stappen 4,5-4,7, en beginnen met het experiment. Geef het onderwerp van de vrijheid om de omgeving waar te nemen en beslissingen te nemen op basis van live video feedback, en de robot gedrag activeren door te staren naar de bijbehorende stimuli.
LET OP: geen instructie of hulp moet worden gegeven aan het onderwerp, tenzij in noodsituaties, bijvoorbeeld, de robot is ongeveer te botsen met een obstakel..
- Om de eerste taak te volbrengen, de controle van de robot gedragingen die worden gecodeerd door de vier SSVEP stimuli zoals: een stap voorwaarts met een vaste afstand van 0,15 m, linksaf met een vaste radiaal van 0,3 rad, rechts afslaan met een vaste radiaal van 0,3 rad, en duwen de schakelaar met behulp van de rechterhand.
- Het gedrag van de tweede taak om telepresence controle van de humanoïde robot via hersensignalen te lopen in de richting van de trap na de afrit teken, zoals weergegeven in figuur 5. Bij de confrontatie met voorbijgangers, vraag het onderwerp om de robot te controleren om te zeggen "het spijt me" en wacht tot de voorbijgangers om weg te geven.
- De controle van de robot gedrag gecodeerd door de vier SSVEP stimuli zoals: lopen vooruit continuously een snelheid van 0,05 m / sec, continu draaien uiteindelijk een snelheid van 0,1 rad / sec, rechts continu draaien met een snelheid van 0,1 rad / sec en stoppen van de voet gedrag.
- Schakel de Robot Controller naar de houding-afhankelijke regelfunctie 16.
OPMERKING: wanneer de robot loopt, deze functie maakt gebruik van de vierde stimulans als het bevel van het stoppen van de wandel gedrag; wanneer de robot niet loopt, gebruikt het de vierde stimulans om de robot te zeggen "het spijt me" te controleren. De functie wordt in C ++ scripts uitgevoerd door het detecteren van de robot lopen toestand. - Informeren het onderwerp van de objectieve taak en de vijf gedrag te besturen.
- Voer de robotbesturing en start het experiment, zoals beschreven in stap 5.2.3.
- Het gedrag van de derde taak om telepresence controle van de humanoïde robot te lopen in de richting van een ballon doel, om het op te rapen en te leveren aan de hand van het onderwerp, zoals weergegeven in figuur 6.
- De controle van de robot gedrag gecodeerd door de vier SSVEP stimuli zoals: een stap voorwaarts met een vaste afstand van 0,15 m, linksaf met een vaste radiaal van 0,3 rad, rechts afslaan met een vaste radiaal van 0,3 rad, en het oppakken van voorwerpen.
- Activeer de houding-afhankelijke control functie in de Robot Controller naar de vierde stimulus als het bevel van het neerzetten van het object wanneer deze al is opgepakt hergebruiken.
- Informeren het onderwerp van de objectieve taak en de vijf gedrag te besturen.
- Voer de robotbesturing en start het experiment, zoals beschreven in stap 5.2.3.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
De hier gepresenteerde resultaten werden verkregen uit een mannelijk individu die gecorrigeerd naar normale versie. Figuur 7 toont de werkwijze van verwerking EEG-gegevens, zoals het extraheren van een multikanaals data epoch (figuur 7A), ruimtelijk filteren van de gegevens met behulp CCA coëfficiënten (figuur 7B) en berekenen van de genormaliseerde PSD (figuur 7C).
Figuur 8 toont de genormaliseerde PSD verkregen met enkele proeven waarbij het onderwerp keek naar de doelen flikkeren op verschillende frequenties. De prominente piek verschijnt aan de fundamentele of harmonische frequentie van de flikkerende stimulus. De BRI systeem brengt deze patronen van SSVEP responsen in commando's voor controle van verschillende robot gedrag.
De figuren 4-6 tonen de drie closed-loop control taken uitgevoerd om de hersenen-robot interactie prestaties te evalueren. Deze taken zijn populair in robotica onderzoek en zijn nuttig in het bijstaan van de gehandicapten en ouderen in hun dagelijkse leven. Figuur 4 toont de telepresence controle-experiment van het lopen door obstakels en het duwen van een schakelaar om het licht via hersengolven. Figuur 5 toont de telepresence controle experiment van het lopen in de richting van de trap na de afrit teken. Figuur 6 toont de telepresence controle-experiment van het oppakken van een ballon en het leveren van het aan de hand van het onderwerp.
Figuur 1. System Structuur voor Brain-Robot Interactie met een humanoïde robot. De hersenen signalen worden gemeten door middel van de EEG-data-acquisitie systeem. De gebruikersinterface lokt SSVEP reacties en geeft live video-feedback in de closed-loop controle-experimenten. Voor de eerste keer onderwerpen, de Data Recorder en Offline Data Analyzer worden gebruikt in de offline training proces om te analyseren hun SSVEP beschikt over offline en de classifier te trainen voor elk onderwerp. Dan is de Online Signal Processor en de Robot Controller zijn geconfigureerd voor de online controle van een humanoïde robot. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 2. User Interface voor de SSVEP-gebaseerde BRI System. De gebruikersinterface geeft live video-feedback in de middelste raam en flikkert vier beelden in de periferie die humanoïde robot gedrag op vier frequenties. De 3D-weergave op het rechter paneel geeft de huidige houding van de humanoïde robot. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "target =" _ blank "> Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 3. Online Signal Processor geïmplementeerd in de OpenViBE programmeeromgeving. De doos verwerven en verwerken signalen gemarkeerd met de rode cyclus roept het algoritme geschreven in MATLAB scripts. De knop Start op het menu paneel start het programma. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 4. Telepresence controle-experiment van Walking door obstakels en duwen van een lichtschakelaar.es / ftp_upload / 53.558 / 53558fig4large.jpg "target =" _ blank "> Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 5. Telepresence controle-experiment van lopen naar de Trap Na de Exit Sign. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 6. Telepresence controle-experiment van het leveren van een ballon om het onderwerp. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 7. Procedure van Processing Multichannel EEG Data (A) Multichannel data tijdperk uit het proces waarin het onderwerp staren naar de prikkel bij 4,615 Hz.; (B) Ruimtelijk gefilterde gegevens met behulp van CCA coëfficiënten; (C) genormaliseerde PSD van het ruimtelijk gefilterde gegevens. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 8. De genormaliseerde PSD Verkregen Single Trials in waarop het onderwerp Starend naar Stimuli Flickering op verschillende frequenties. Klik hier om een grotere versie van deze figuur te bekijken.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Deze paper presenteert een-SSVEP gebaseerde experimentele procedure om de hersenen-robot interactie systeem met humanoïde robots te vestigen door het integreren van meerdere softwareprogramma's. Omdat menselijke intentie voelbare interpreteren real-time EEG-signalen, is het essentieel om de elektrodeaansluitingen en EEG signaalkwaliteiten controleren voordat het experiment uitvoert. Als signalen verkregen van de elektroden van slechte kwaliteit, is het noodzakelijk om de verbinding van de grond en referentie-elektroden eerst controleren. Als er problemen zijn met delen van de elektroden opnieuw injecteren geleidende gel aan de impedantie van de kanalen aan te passen.
Een ander veel voorkomend probleem, terwijl het verwerven van EEG-signalen is de inmenging van de artefacten en geluiden 17. Zoals het EEG-signaal heeft kleine signaal-ruisverhouding (SNR), artefacten en lawaai kan gemakkelijk obscure veranderingen in PSD van de SSVEP reacties. Het is belangrijk de signaalversterker van het EEG systeem weg te houden van de POWer voorraden en andere geluidsbronnen. Tijdens het experiment, moeten de ogen knipperen en beweging van het lichaam tot een minimum worden beperkt om artefacten te verminderen. Verdere verbetering van de robuustheid tegen dergelijke storingen, maakt gebruik van onze methode een CCA-gebaseerde techniek om multichannel EEG gegevens te interpreteren. De resultaten tonen aan dat deze techniek effectief is bij het extraheren van kenmerken van EEG-signalen met geluiden en artefacten.
Om een nieuwe taak van de closed-loop controle van humanoïde robots beginnen, moeten we de definitie en de parameter van elke robot gedrag handmatig configureren om de nieuwe eis taak past. Dit is vanwege het beperkte aantal stuurcommando's in het huidige systeem BRI, en dus worden verbeterd door het oproepen meer soorten hersengolfpatronen. Hwang et al. 18 voorgesteld een dubbel-frequentie stimulatie werkwijze voor het produceren van meer visuele stimuli. Wang et al. 19, Allison et al. 20, Pan et al. 21 en Li <em> et al. 22 voorgestelde verschillende hybride methoden om de SSVEP-gebaseerde model te combineren met andere hersengolfpatronen, waaronder ERP en MI. Het is ook mogelijk om vast te stellen inschakelen technieken op basis van machine learning of hiërarchische architectuur tot full body beweging van de humanoïde robot bedienen met beperkte hersengolfpatronen 23.
Gezien de beschikbare knipperende frequenties van de LCD-monitor 24 en de invloed onder harmonische componenten van SSVEPs 25, we gescand alle mogelijke knipperende frequenties van 1 tot 60 Hz en gevonden met behulp van de vier frequenties, dwz., 4,615, 12, 15 en 20 Hz, zijn waarschijnlijk de beste keuze als ze behaalde de hoogste gemiddelde nauwkeurigheid voor onze patiënten. Daarom gebruikten we de vier stimuli op de interface van de humanoïde robot gedrag, waaronder lopen vooruit, linksaf, rechtsaf, en stoppen wandel / indrukken van de switch / oppakken van voorwerpen, die haalbaar en zijn controledoorgedreven tot een humanoïde robot besturen om de in dit manuscript taken te volbrengen.
De voordelen van de BRI systeem zijn betrouwbaarheid en flexibiliteit is ontwikkeld door de integratie van meerdere softwareprogramma's, zoals OpenViBE, Choregraph, Central software en gebruikers ontwikkelde programma in C ++ en MATLAB. Het is efficiënt en betrouwbaar voor het ontwerpen van verschillende experimentele procedures met de standaard software. Ons systeem is een krachtig instrument om nieuwe algoritmes en technieken te onderzoeken voor de hersenen-robot interactie met een humanoïde robot. Het kan gemakkelijk worden opgewaardeerd naar BRI toepassingen verkennen in het bijstaan van de zieken en ouderen, en het uitvoeren van ongezonde of gevaarlijke banen.
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
De auteurs willen graag hun dankbaarheid aan de heer Hong Hu uiten voor zijn hulp bij het uitvoeren van de experimenten beschreven in dit document. Dit werk werd ondersteund in het kader van de National Natural Science Foundation of China (nr 61473207).
Materials
| Name | Company | Catalog Number | Comments |
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
