Name: SSVEP-gebaseerde Experimentele Procedure voor Brain-Robot Interactie met Humanoid Robots (Video) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: Leer een SSVEP-gebaseerde methode voor hersen-robotinteractie met humanoïde robots. Deze procedure integreert meerdere softwareprogramma's om zieke en ouderen te helpen en gevaarlijke taken uit te voeren.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

De auteurs willen graag hun dankbaarheid aan de heer Hong Hu uiten voor zijn hulp bij het uitvoeren van de experimenten beschreven in dit document. Dit werk werd ondersteund in het kader van de National Natural Science Foundation of China (nr 61473207).

1. Het verwerven van EEG-signalen <ol><li> Leg uit de experimentele procedure om het onderwerp en het verkrijgen van schriftelijke toestemming voor deelname aan experimenten. </li><li> Meet de omtrek van het subject hoofd met een meetlint en selecteer de EEG cap grootte die dicht bij de meting. De elektroden arrangement is gebaseerd op de &quot;International 10-20 System&quot; 12. </li><li> Meet de afstand tussen de nasion en INION. Gebruik een skin marker potlood markeren 10% van de afstand als referentie voor het uitlijnen van de dop, en markeert het middelpunt van de afstand vanaf de top op de hoofdhuid van de proefpersoon. </li><li> Plaats de EEG dop op het onderwerp door het uitlijnen van de 10% overschrijden met het midden van de FP1 en FP2 elektroden. Positie elektrode Cz van de dop op de top. </li><li> Zorg ervoor dat de Fz, Cz, Pz en Oz op de middellijn van het hoofd en dat elk paar elektroden aan weerszijden van de middellijn in een horizontale lijn. </li><li>Smeer de REF1 en REF2 elektroden met geleidende gel. Plaats de referentie-elektroden links en rechts mastoids met tape. Draai de kinband. </li><li> Plaats een stompe getipt spuit in de las- en injecteer geleidende gel in elke elektrode in de volgende volgorde: eerst de &quot;bodem&quot; elektrode op het voorhoofd en de tweede, de vijf elektrodes voor het experiment, O2, O1, Oz, Pz en CZ. </li><li> Seat het onderwerp in een comfortabele stoel 60 cm voor een stimulans monitor. Vraag de onder zijn / haar ogen dezelfde hoogte met het midden van het beeldscherm te houden. </li><li> Sluit de elektrodedraden de EEG data-acquisitiesysteem. Configureren van de sampling rate tot 1 kHz. </li><li> Onderzoekt de EEG-signaal kwaliteit op de speciale DPC. Als er een probleem met een specifieke elektrode, opnieuw injecteren gel aan de impedantie van het kanaal. </li><li> Gebruik de speciale SPC vier robot beelden flikkeren bij een frequentie van 4,615, 12, 15 en 20Hz visuele stimuli op de gebruikersinterface zoals weergegeven in figuur 2. </li></ol> 2. Offline analyseren SSVEP Kenmerken <ol><li> Gedrag 32 proeven van offline training experimenten voor elk onderwerp en noteer hun hersenen signalen tijdens dit proces verworven van het EEG-systeem. OPMERKING: dit proces wordt alleen uitgevoerd door eerst onderwerpen van het experiment om hun SSVEP functie vectoren vast te stellen en de classifier te trainen. </li><li> Wanneer een proef gestart, selecteert u een stimulus als het doelwit willekeurig en toont een gele pijl erboven. </li><li> 1 seconde later, flikkeren de vier visuele prikkels op verschillende frequenties op de gebruikersinterface voor 5 sec. </li><li> Vraag het onderwerp te richten op de geselecteerde stimulus doel terwijl zijn / haar lichaam beweging te maken. </li><li> Na elke proef, geef het onderwerp 3 sec om te ontspannen, en start de volgende proef. </li><li> Wanneer alle onderzoeken zijn afgerond, lees de opgeslagen gegevens. Extract een 3-sec data tijdperk zijn<html> tussen 2 seconden en 5 seconden na de trigger die een stimulans als het doel in elke proef kiest. </li><li> Bereken het vermogensspectrum dichtheid (PSD) van de gegevens tijdperken met behulp van de Offline Data Analyzer in MATLAB scripts. Gebruik de verwerking algoritme in detail hieronder beschreven: <ol><li> Bereken de canonieke correlatie analyse (CCA) coëfficiënten van de multikanaals EEG data met referentiegegevens. CCA is een multivariabele statistische methode gebruikt voor twee sets van gegevens aan de onderliggende correlatie 13 te vinden. Gezien de 3s segment van multikanaals EEG data X en referentiegegevens Y van dezelfde lengte, gebruikt CCA het gewicht vectoren, W x en w y, voor de correlatiecoëfficiënt ρ tussen x = X T W x en y = Y T maximaliseren W y. Stel de referentiegegevens de periodieke signalen op bepaalde stimulus frequenties. /ftp_upload/53558/53558eq1.jpg &quot;/&gt; waarbij f 1, f 2, f 3, f 4 zijn de functie frequenties van de vier visuele stimuli. </li><li> Ruimtelijk filter de multikanaals EEG data X met de berekende CCA coëfficiënten W x een één dimensie gefilterde data x, waarvan de meest prominente correlatie met de lineaire combinatie van de referentiegegevens heeft verkregen. </li><li> Bereken de PSD van het ruimtelijk gefilterde gegevens x gebruik van Fast Fourier Transform (FFT). <img alt="Vergelijking 2" src="/files/ftp_upload/53558/53558eq2.jpg" /> waarbij N FFT is de steekproefomvang van gegevens x en FFT (x, N FFT) geeft de N FFT -punt discrete Fourier-transformatie van x. </li><li> Normaliseren van de PSD met betrekking tot de gemiddelde waarde tussen 3 en 30 Hz. <img alt="Vergelijking 3" src="/files/ftp_upload/53558/53558eq3.jpg" /> waar60; <img alt="Vergelijking 3 Noemer" src="/files/ftp_upload/53558/53558eq3denominator.jpg" /> geeft het gemiddelde van het vermogensspectrum tussen 3 en 30 Hz. </li></ol></li><li> Kalibreren van de indeling parameters voor de vier stimulus frequenties. Eerste, acht de genormaliseerde PSD spectrum dat overeenkomt met de stimulus doel, en de frequentie met de sterkste PSD amplitude als de functie frequentie handmatig configureren. Op basis van de functie frequentie verdelen de genormaliseerde PSD gegevens in twee reeksen: één wordt verkregen als de bijbehorende stimulus is geselecteerd als het doel en de andere wordt verkregen wanneer de niet-target prikkels worden geselecteerd. Bereken de gemiddelde waarde van elk respectievelijk. Bepaal de drempel door de mediaan van de twee gemiddelde waarden te classificeren het doel en non-target stelt 14. </li></ol> 3. Online Verwerking hersensignalen <ol><li> Open de Online signaalprocessor zoals getoond in figuur 3, die is ontwikkeld based op het OpenViBE milieu en de MATLAB scripts, op het DPC voor online verwerking hersensignalen. </li><li> Dubbelklik op het verwerven en verwerken signaal doos, die is gemarkeerd met een rode cyclus in figuur 3, aan de OpenViBE instelling te openen. Configureert de indeling parameters voor het onderwerp:. Stel de bemonsteringsfrequentie als 1 kHz, stelt u de tijdsduur voor FFT als 3 sec, en stel de functie frequenties op basis van de resultaten van de offline analyse, bijvoorbeeld 4,667, 24, 15 en 20 Hz . </li><li> Klik begint het Online Signal Processor, waarbij de real-time data verwerkt met het volgende algoritme in drie stappen uitgevoerd. </li><li> Ten eerste, het algoritme verwerft EEG-gegevens van kanalen Oz, O1, O2, Pz en CPZ van het EEG-systeem elke 0.5s, en haalt de data segment van de laatste 3s voor online verwerking. </li><li> Ten tweede, het algoritme verwerkt de 3-sec datasegment met de in stap 2.7 beschreven algoritmes, en berekent de real-time PSD classifitie. </li><li> Ten derde, het algoritme classificeert de hersengolfpatronen volgens de PSD amplitudes in de vier functie frequenties. Wanneer de amplitude van één kenmerk frequentie boven een bepaalde drempel, classificeren stimulus flikkeren op de overeenkomstige frequentie als SSVEP doelwit. </li></ol> 4. Aansluiten van de Humanoid Robot <ol><li> Druk op de knop op de borst van de humanoïde robot en wachten tot het opstarten. OPMERKING: Dit proces duurt ongeveer 1 minuut en is voltooid wanneer de robot zegt &quot;OGNAK GNOUK&quot; terwijl de Borst knop wordt wit. </li><li> Vestigen de Wireless Fidelity (WiFi) verbinding met de DPC 15. </li><li> Open de Robot Controller geprogrammeerd in Visual C ++ scripts op de DPC. De controller ontvangt de classificatie resultaten van de Online Signal Processor via Virtual Reality Peripheral Network interface (VRPN), vertaalt deze naar de robot commando&#39;s en stuurt de bijbehorende gedrag van de humanoid robot via een draadloze verbinding. </li><li> Configureer het robotstuurorgaan door het invoeren van het IP-adres van de robot volgens de WiFi verbinding definiëren drie reeksen robot gedragingen die gemakkelijk kan worden overgeschakeld naar de drie verschillende taken en instellen van de uitvoeringsparameters van deze gedragingen (bv., Loopsnelheid of afstand) aan de eis taak past. OPMERKING: meer details van deze gedragingen worden beschreven in de stappen 5.2.1, 5.3.1 en 5.4.1. </li><li> Klik op de Build-knop van de Visual Studio platform om de Robot Controller draaien. </li><li> Open het Choregraphe programma op de SPC. Klik op &quot;Verbinding maken&quot; om een ​​pop-up Connection widget. Selecteer de robot aan te sturen op basis van het IP-adres en dubbelklik op het pictogram om verbinding te maken. </li><li> Open het beeldscherm in het menu Beeld in de menubalk Choregraphe, en verplaats de monitor naar de voorkant van de gebruikersinterface om live video feedback van de camera van de robot weer te geven. </li></ol> &lt;p class = &quot;jove_title&quot;&gt; 5. Het uitvoeren van gesloten-lus controle-experimenten <ol><li> Verzoeken het onderwerp drie specifieke closed-loop controle taken in verschillende omgevingen uit te voeren om de hersenen-robot interactie prestaties te evalueren. LET OP: deze taken, die belangrijk zijn in robottoepassingen zijn omdat ze zijn nuttig in het bijstaan ​​van de gehandicapten en ouderen in hun dagelijks leven, moeten verschillende robot gedrag te activeren. </li><li> Het gedrag van de eerste closed-loop control taak om telepresence controle van de humanoïde robot via hersensignalen te lopen door obstakels en druk op een lichtschakelaar aan te zetten het licht, zoals weergegeven in figuur 4. <ol><li> Om de eerste taak te volbrengen, de controle van de robot gedragingen die worden gecodeerd door de vier SSVEP stimuli zoals: een stap voorwaarts met een vaste afstand van 0,15 m, linksaf met een vaste radiaal van 0,3 rad, rechts afslaan met een vaste radiaal van 0,3 rad, en duwen de schakelaar met behulp van de rechterhand. NB: de configuratiestie werkwijze beschreven in stap 4.4. </li><li> Informeren het onderwerp van de objectieve taak en de vier gedrag te besturen. </li><li> Voer het Robot Controller als in de stappen 4,5-4,7, en beginnen met het experiment. Geef het onderwerp van de vrijheid om de omgeving waar te nemen en beslissingen te nemen op basis van live video feedback, en de robot gedrag activeren door te staren naar de bijbehorende stimuli. LET OP: geen instructie of hulp moet worden gegeven aan het onderwerp, tenzij in noodsituaties, bijvoorbeeld, de robot is ongeveer te botsen met een obstakel.. </li></ol></li><li> Het gedrag van de tweede taak om telepresence controle van de humanoïde robot via hersensignalen te lopen in de richting van de trap na de afrit teken, zoals weergegeven in figuur 5. Bij de confrontatie met voorbijgangers, vraag het onderwerp om de robot te controleren om te zeggen &quot;het spijt me&quot; en wacht tot de voorbijgangers om weg te geven. <ol><li> De controle van de robot gedrag gecodeerd door de vier SSVEP stimuli zoals: lopen vooruit continuously een snelheid van 0,05 m / sec, continu draaien uiteindelijk een snelheid van 0,1 rad / sec, rechts continu draaien met een snelheid van 0,1 rad / sec en stoppen van de voet gedrag. </li><li> Schakel de Robot Controller naar de houding-afhankelijke regelfunctie 16. OPMERKING: wanneer de robot loopt, deze functie maakt gebruik van de vierde stimulans als het bevel van het stoppen van de wandel gedrag; wanneer de robot niet loopt, gebruikt het de vierde stimulans om de robot te zeggen &quot;het spijt me&quot; te controleren. De functie wordt in C ++ scripts uitgevoerd door het detecteren van de robot lopen toestand. </li><li> Informeren het onderwerp van de objectieve taak en de vijf gedrag te besturen. </li><li> Voer de robotbesturing en start het experiment, zoals beschreven in stap 5.2.3. </li></ol></li><li> Het gedrag van de derde taak om telepresence controle van de humanoïde robot te lopen in de richting van een ballon doel, om het op te rapen en te leveren aan de hand van het onderwerp, zoals weergegeven in figuur 6. <ol><li> De controle van de robot gedrag gecodeerd door de vier SSVEP stimuli zoals: een stap voorwaarts met een vaste afstand van 0,15 m, linksaf met een vaste radiaal van 0,3 rad, rechts afslaan met een vaste radiaal van 0,3 rad, en het oppakken van voorwerpen. </li><li> Activeer de houding-afhankelijke control functie in de Robot Controller naar de vierde stimulus als het bevel van het neerzetten van het object wanneer deze al is opgepakt hergebruiken. </li><li> Informeren het onderwerp van de objectieve taak en de vijf gedrag te besturen. </li><li> Voer de robotbesturing en start het experiment, zoals beschreven in stap 5.2.3. </li></ol></li></ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

De auteurs hebben niets te onthullen.

Deze paper presenteert een-SSVEP gebaseerde experimentele procedure om de hersenen-robot interactie systeem met humanoïde robots te vestigen door het integreren van meerdere softwareprogramma&#39;s. Omdat menselijke intentie voelbare interpreteren real-time EEG-signalen, is het essentieel om de elektrodeaansluitingen en EEG signaalkwaliteiten controleren voordat het experiment uitvoert. Als signalen verkregen van de elektroden van slechte kwaliteit, is het noodzakelijk om de verbinding van de grond en referentie-elektro...

Brain-Robot Interactie (BRI), die een vernieuwende communicatie traject tussen mens en een robot apparaat via de hersenen signalen geeft, is aanstaande in het helpen van mensen met een handicap in hun dagelijks leven 1,2. Verschillende methoden kunnen hersenen signalen ontvangt ofwel invasief of niet-invasief, zoals electrocorticography (ECoG), elektro-encefalogram (EEG), functionele magnetische resonantie (fMRI), etc. De meest gebruikte niet-invasieve werkwijze voor het bouwen van de BRI systeem te EEG signalen ontvangt van elektroden op de hoofdhuid. Deze methode is goedkoop, gemakkelijk te gebruiken, en levert een acceptabele tijdsresolutie 3. Onder diverse robot apparaten, humanoidrobots zijn ontwikkeld als ze zijn gemaakt om een ​​aantal van dezelfde fysieke en mentale taken die de mens dagelijks ondergaan imiteren. BRI met een humanoïde robot zal een belangrijke rol spelen in het bijstaan ​​van zieken en ouderen, evenals het uitvoeren van ongezonde of gevaarlijke banen spelen. Maar controlevan een humanoïde robot door de BRI systeem is zeer uitdagend, omdat de humanoïde robot met volledige beweging van het lichaam is ontwikkeld om complexe taken uit te voeren zoals persoonlijke assistentie 4, 5. Steady-State Visual opgewekte potentiele (SSVEP) is een soort hersenen signaal opgewekt door de modulatie van visuele stimulus bij een gegeven frequentie 6. Het bevat sinusoiden op de fundamentele en harmonische frequenties van de flikkerende stimulus, en prominent verschijnt gedurende de visuele cortex in de occipitale gebied van de scalp 7. De reden voor de keuze van de SSVEP signalen dat de SSVEP-gebaseerde BRI systeem levert relatief hoog informatie overdrachtssnelheid en vereist minder training 8. Andere soorten hersengolven, zoals event-related potentials (ERP&#39;s) 9 of motor-beelden (MI) potentialen 10, kan ook worden ingebed in deze experimentele procedure. Onze procedure voor de hersenen-robot interactie met humanoidrobots is gebaseerd op CEREBOT - een mind-gecontroleerde humanoïde robot-platform - bestaande uit een EEG data-acquisitie-systeem en een humanoïde robot 11. Het EEG systeem kan opnemen, pre-proces en weergave bio-potentiaal signalen verkregen door verschillende typen elektrodes. Het biedt meerdere analoge I / O en digitale I / O&#39;s en is geschikt voor het opnemen tot 128 signaal kanalen tegelijk met een sampling rate van 30 kHz met 16-bit resolutie. De software development kits in C ++ en MATLAB zijn gemakkelijk voor gebruikers om de experimentele procedures te ontwerpen. De humanoïde robot heeft 25 graden van vrijheid en is uitgerust met meerdere sensoren, met inbegrip van 2 camera&#39;s, 4 microfoons, 2 sonar afstandmeters, 2 IR-zenders en ontvangers, 1 inertie boord, 9 tactiele sensoren en 8 druksensoren. Het geeft Choregraphe en C ++ SDK voor het maken en bewerken van bewegingen en interactieve robot gedrag. Het algemene doel van deze methode is om een-SSVEP gebaseerde experimentele proce vastdure door het integreren van meerdere software programma&#39;s, zoals OpenViBE, Choregraph, Central software en gebruiker ontwikkelde programma&#39;s geschreven in C ++ en MATLAB, de studie van de hersenen-robot interactie met humanoïde robots 11 mogelijk te maken. Figuur 1 toont het systeem structuur. De speciale stimulus presentatie computer (SPC) geeft de gebruikersinterface om het onderwerp met een visuele stimuli, instructies en milieu feedbacks bieden. De speciale verwerking computer (DPC) loopt de Data Recorder en de Offline Data Analyzer in de offline opleidingsproces, en loopt de Online Signal Processor en de Robot Controller voor de online controle van de humanoïde robot. Vergeleken met andere SSVEP gebaseerde systemen, ons systeem is betrouwbaarder, flexibeler en vooral geschikter voor hergebruik en uitgebreid zoals is ontwikkeld door integratie van een aantal gestandaardiseerde softwarepakketten, zoals OpenViBE, Choregraph, Central software en modules geschreven in C ++en MATLAB. De volgende procedure werd beoordeeld en door Tianjin Medical University algemeen ziekenhuis ethische commissie goedgekeurd en alle patiënten gaven schriftelijk toestemming.

<table><tbody><tr><td>Cerebus EEG Data Acquisition System</td><td>Blackrock Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>NAO humanoid robot</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>EEG cap</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 Conductive gel</td><td>Weaver and company</td><td>10-20-8</td><td></td></tr></tbody></table>

ssvep-gebaseerde experimentele procedure voor brain-robot interactie met humanoid robots

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

Brain-Robot Interactie (BRI), die een innovatieve communicatieroute biedt tussen mens en een robotapparaat via hersensignalen, is veelbelovend om gehandicapten in hun dagelijks leven te helpen. Het algemene doel van onze methode is om een experimentele procedure op basis van SSVEP te vestigen door meerdere softwareprogramma's te integreren, zoals OpenViBE, Choregraph en Central software, evenals door de gebruiker ontwikkelde programma's geschreven in C++ en MATLAB, om de studie van brain-robot interactie met humanoïde robots mogelijk te maken.
Dit wordt bereikt door eerst EEG-elektroden op een menselijk subject te plaatsen om de hersenreacties te meten via een EEG-data-acquisitiesysteem. Een gebruikersinterface wordt gebruikt om SSVEP-reacties op te roepen en om videofeedback weer te geven in de gesloten-luscontrole-experimenten. De tweede stap is om de EEG-signalen van eerste-keer-subjecten op te nemen, om hun SSVEP-kenmerken offline te analyseren en om de classifier voor elke proefpersoon te trainen. Vervolgens worden de Online Signal Processor en de Robot Controller geconfigureerd voor de online controle van een humanoïde robot. Als laatste stap voltooit het subject drie specifieke gesloten-luscontrole-experimenten binnen verschillende omgevingen om de brain-robot interactie prestaties te evalueren.
Het voordeel van deze aanpak is de betrouwbaarheid en flexibiliteit omdat het is ontwikkeld door meerdere softwareprogramma's te integreren. De resultaten tonen aan dat door gebruik van deze aanpak, het subject in staat is om te communiceren met de humanoïde robot via hersensignalen. Dit stelt de door de geest bestuurde humanoïde robot in staat om typische taken uit te voeren die populair zijn in robotonderzoek en nuttig zijn bij het assisteren van gehandicapten.

De hier gepresenteerde resultaten werden verkregen uit een mannelijk individu die gecorrigeerd naar normale versie. Figuur 7 toont de werkwijze van verwerking EEG-gegevens, zoals het extraheren van een multikanaals data epoch (figuur 7A), ruimtelijk filteren van de gegevens met behulp CCA coëfficiënten (figuur 7B) en berekenen van de genormaliseerde PSD (figuur 7C). <p class="jove_content" fo:keep-together.within-pag...

Het algemene doel van deze methode is om een SSVEP-gebaseerde experimentele procedure te vestigen door meerdere softwareprogramma's te integreren om de studie van hersen-robot interactie met humanoïde robots mogelijk te maken, wat vooruitstrevende mogelijkheden biedt om zieken en ouderen te assisteren en onhygiënische of gevaarlijke taken uit te voeren.

SSVEP-gebaseerde Experimentele Procedure voor Brain-Robot Interactie met Humanoid Robots

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

Het algemene doel van deze methode is om een experimentele procedure op basis van S-S-V-E-P vast te stellen door meerdere softwareprogramma's te integreren, om zo de interactie tussen het brein en robotica met humanoïde robots te kunnen bestuderen. Dit wordt bereikt door eerst EEG-elektroden op een menselijke proefpersoon te plaatsen om de hersenresponsen te meten via een EEG-datasysteem. Een gebruikersinterface wordt gebruikt om S-S-V-E-P-responsen op te wekken en om videofeedback weer te geven in de closed-loop controle-experimenten.De tweede stap is het vastleggen van de EEG-signalen van de proefpersonen voor de eerste keer, om de S-S-V-E-P-kenmerken offline te analyseren en de classifier voor elke proefpersoon te trainen. Vervolgens worden de online signaalprocessor en de robotcontroller geconfigureerd voor de online besturing van een humanoïde robot. Als laatste stap voert de proefpersoon drie specifieke closed-loop besturingsexperimenten uit binnen verschillende omgevingen.Om de interactieprestaties tussen de hersenen en Robert te evalueren, tonen de resultaten de genormaliseerde vermogenspectrale dichtheid van hersensignalen die zijn gegenereerd tijdens het staren naar stimuli die flikkeren op verschillende frequenties. Ons systeem vertaalt deze hersengolfpatronen naar commando's om het gedrag van Robert aan te sturen. Met deze aanpak is het subject in staat om via hersensignalen met de humanoïde Robert Bio te interageren.Hiermee kan de humanoïde Robert typische taken uitvoeren die populair zijn in robotonderzoek en nuttig zijn bij het ondersteunen van mensen met een beperking. Het voordeel van deze aanpak is de betrouwbaarheid en flexibiliteit, aangezien deze is ontwikkeld door het integreren van meerdere softwareprogramma's, zoals Open Wide Graph en centraal software, evenals door de gebruiker ontwikkelde programma's in C++ en MATLAB. Deze methode maakt het mogelijk om de interactie tussen brein en robot in actie te bestuderen met de humanoïde robot.Deze studie is toekomstgericht in het ondersteunen van zieken en ouderen, evenals het uitvoeren van onhygiënische of gevaarlijke taken. Mijn teamgenoten, Lim en Han, zullen nu respectievelijk de plaatsing van de EEG-sensoren demonstreren en de methode laten zien om verbinding te maken met de mens, niet de robot. Leg de experimentele procedure uit aan de proefpersoon.Verkrijg toestemming voor deelname aan de experimenten. Meet de hoofdomtrek van de proefpersoon en selecteer de EEG-kapmaat die het dichtst bij de meting ligt. Meet de afstand vanaf de NAS-markering; gebruik 10% van deze afstand als referentiepunt voor het uitlijnen van de kap.Markeer het middenpunt van de afstand bij de vertex op de positie van het proefsubject. Lijn de cz-elektrode van de EEG-kap op de vertex uit, waarbij de 10%-markering samenvalt met het middenpunt tussen de FP1- en FP2-elektroden. Zorg ervoor dat de fz-, cz-, pz- en oz-elektroden zich op de middellijn van het hoofd bevinden.Smeer de referentie-elektroden in met geleidingsgel. Plaats de referentie-elektroden op de linker- en rechter-OID met behulp van medische tape. Trek de kinband aan.Plaats de stompe spuit in de elektrodehouders en injecteer geleidende gels in elke elektrode in de volgende volgorde. Ten eerste de massa-elektrode en ten tweede de vijf elektroden die worden gebruikt in experiment O 2 0 1 OZ.PZ en cz. Plaats de proefpersoon in een comfortabele stoel, 60 centimeter voor een stimulusmonitor.Sluit de elektrodedraden aan op het EEG-data-acquisitiesysteem. Configureer de bemonsteringssnelheid op één kilohertz. Controleer de kwaliteit van het EEG-signaal op de speciale computer voor gegevensverwerking.Indien er een probleem is met de specifieke elektrode, injecteer dan opnieuw gels om de impedantie van het kanaal aan te passen. Laat afbeeldingen van vier robots met verschillende frequenties als visuele stimuli knipperen op de gebruikersinterface.Voer voor de eerste proefpersoon het offline trainingsexperiment uit om hun S-S-V-E-P-kenmerkvectoren vast te stellen en de classifier te trainen. Voer 32 trials per proefpersoon uit en registreer gedurende dit proces het hersensignaal. Wanneer een trial begint, selecteer dan willekeurig één stimulus als doelwit en toon een gele pijl erboven.Eén seconde. Laat vervolgens de vier visuele stimuli vijf seconden lang met verschillende frequenties knipperen op de gebruikersinterface en verzoek de proefpersoon om zich op het geselecteerde doelstimulus te concentreren terwijl lichaamsbewegingen tot een minimum worden beperkt. Gun de proefpersoon na elke trial drie seconden om te ontspannen en start daarna de volgende trial.Wanneer alle proeven zijn voltooid, leest u de opgeslagen gegevens uit. Verticale oranje balken geven triggers aan om een stimulus als target te selecteren; de stimuli flikkeren gedurende de periode van vijf seconden. Extraheer in elke proef een gegevenssegment van drie seconden tussen twee seconden en vijf seconden na de trigger.Bereken de CCA-coëfficiënt van de multi-channel EEG-data met een referentiesignaal y, dat is ingesteld als het periodieke stimulus-signaal bij bepaalde frequenties. De CCA-methode vindt de lineaire combinatievectoren om de correlatiecoëfficiënt tussen de gecombineerde signalen te maximaliseren. Filter de multi-channel EEG-data ruimtelijk met behulp van de berekende CCA-coëfficiënten.Bereken de spectrale vermogensdichtheid van de filtergegevens met behulp van de fast Fourier-transformatie. Normaliseer de spectrale vermogensdichtheid ten opzichte van de gemiddelde waarde tussen 3 Hz en 40 Hz. Kalibreer vervolgens de classificatieparameters voor elke stimulusfrequentie.Configureer de classificatieparameters voor het subject via een open instellingsvenster. Start de online signaalprocessor op de computer voor gegevensverwerking. Verzamel EEG-gegevens van de kanalen O 2 0 1 OZ PZ en CZ van het EEG-systeem elke 0,5 seconden en extraheer het gegevenssegment van de laatste drie seconden voor online verwerking.Verwerk het datasegment met de algoritmen die in het offline proces worden beschreven. Bereken de real-time vermogenspectrale dichtheid voor classificatie. Wanneer de amplitude van een kenmerkfrequentie boven een bepaalde drempelwaarde ligt, wordt de stimulus die flikkert op de overeenkomstige frequentie geclassificeerd.Start de menselijke Noro-robot op als SSV EEP-doelwit en stel de wifi-verbinding met de computer voor gegevensverwerking in. Configureer en start de robotcontroller, die de classificatieresultaten van de online signaalprocessor ontvangt en de bijbehorende gedragingen van de humanoïde robot via een draadloze verbinding aanstuurt. Voer het choreografieprogramma uit op de speciale computer voor stimuluspresentatie om live videofeedback van de camera van de robot op de gebruikersinterface te tonen.Verzoek de proefpersoon om drie specifieke closed-loop controletests uit te voeren in verschillende omgevingen om de interactieprestaties tussen de hersenen en de robot te evalueren. Deze tests zijn gangbaar in het robotonderzoek en zijn nuttig bij het ondersteunen van mensen met een beperking en ouderen in hun dagelijks leven. Informeer de proefpersoon vóór een nieuwe taak over het doel van de taak en de beschikbare gedragingen voor aansturing.Deze resultaten tonen de procedure voor het verwerken van EEG-gegevens, inclusief het extraheren van de multi-channel data-epochs, het ruimtelijk filteren van de gegevens met behulp van CCA-coëfficiënten en het berekenen van de genormaliseerde spectrale vermogensdichtheid. De genormaliseerde spectrale vermogensdichtheid verkregen uit enkelvoudige trials waarin de proefpersoon naar verschillende flikkerende doelen staart, wordt hier getoond. In de eerste closed-loop controle-experimenten werd de mens Noah Robert via hersensignalen aangestuurd om door obstakels te lopen en een lichtschakelaar op de muur in te drukken.Hersen-signalen werden in realtime verwerkt. Om de beheersingsintentie van de proefpersoon te classificeren, bekeek de proefpersoon de live videofeedback en bestuurde het gedrag van Robert door naar de corresponderende stimuli te staren. Nadat de schakelaar was bereikt, bestuurde de proefpersoon Robert om het licht aan te zetten.In het tweede experiment werd de menselijke robot continu naar de trap genavigeerd door het uitgangsbord te volgen op basis van videofeedback. Wanneer er een voorbijganger werd aangetroffen, bediende de proefpersoon de robot om "pardon" te zeggen en wachtte tot de voorbijganger ruimte maakte. De robot werd vervolgens bestuurd om richting de trap te lopen.In het derde experiment werd de humanoïde Robert via volledige lichaamsbewegingen aangestuurd om het ballondoel te bereiken en op te pakken, en dit aan de hand van de proefpersoon over te dragen op basis van live videofeedback. Omdat de menselijke intentie wordt waargenomen door de interpretatie van LU-tijd EEG-signalen, is het cruciaal om de elektrische verbindingen en de kwaliteit van de EEG-signalen te verifiëren voordat de experimenten worden uitgevoerd. Een ander veelvoorkomend probleem bij het verkrijgen van EEG-signalen is interferentie in de vorm van artefacten en ruis.De ruis, wat voor ons een vorm van interferentie is, wordt verminderd door de lichaamsbeweging van het subject te beperken en een CCA-gebaseerde multikanalentechniek te gebruiken. Onze methode is effectief voor het ontwerpen van diverse experimentele procedures en biedt flexibiliteit bij het onderzoeken van algoritmen en technieken voor hersen-robotinteractie; in het bijzonder kan deze eenvoudig worden gebruikt om nieuwe BRI-toepassingen te verkennen.

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

JoVE Journal

Engineering

Techniek

We maken gebruik van een closed-loop fly-machine-interface aan algemene principes te onderzoeken in neuronale controle.

Een experimenteel platform op de Closed-loop prestaties van Brain-machine-interfaces Study

Onlangs hebben een grote hoeveelheid vooruitzichten beschikbaar komen voor de mens-robot interactieve systemen. In dit artikel schetsen we de integratie van een nieuwe robot toestel met open source software die snel kan maken mogelijk een bibliotheek van interactieve functionaliteit. Vervolgens hebben we schetsen een klinische toepassing voor een neurorevalidatie toepassing.

Haptic / Grafische Revalidatie: Het integreren van een robot in een virtuele omgeving bibliotheek en toe te passen Stroke Therapy

De aanpassing en het gebruik van een haptische robot in een 3T fMRI is beschreven.

Aanpassing van een haptische robot in een 3T fMRI

In dit artikel wordt een experimenteel kader gepresenteerd om gesloten-lusexperimenten uit te voeren, waarin informatieverwerking (d.w.z., codering en decodering) en het leren van neuronale assemblages worden bestudeerd tijdens de continue interactie met een robotachtig lichaam.

Closed-loop Neuro-robot Experimenten om Test computationele eigenschappen van neuronale netwerken

In dit artikel wordt een nieuwe, goedkope mens-machine interface voor een interactief balansrevalidatiesysteem na een beroerte gepresenteerd. Het systeem integreert off-the-shelf goedkope sensoren voor een door de wil gedreven elektrotherapieparadigma. De proof-of-concept software-interface wordt gedemonstreerd aan gezonde vrijwilligers.

Een mens-machine-interface van Integratie Low-cost sensoren met een neuromusculaire elektrische stimulatie systeem voor Post-stroke Balance Rehabilitation

Hier beschrijven we virtuele hand en virtuele-face illusie paradigma's die kunnen worden gebruikt om het lichaam in verband zelfbeeld / -representatie bestuderen. Ze zijn al gebruikt in diverse studies aan te tonen dat, onder bepaalde voorwaarden, kan een virtuele hand of gezicht in iemands lichaam vertegenwoordiging worden opgenomen, wat suggereert dat het lichaam voorstellingen zijn nogal flexibel.

Het creëren van virtuele hand en Virtual-face Illusions aan Self-representatie onderzoeken

We presenteren protocollen en analysemethoden om co-adaptieve interfaces te bouwen die signalen van het menselijk lichaam en hart in close-loop streamen, parametriseren, analyseren en wijzigen. Deze opstelling koppelt signalen afgeleid van het perifere en centrale zenuwstelsel van de persoon met externe sensorische ingangen om biofysische verandering te helpen volgen.

Real-time proxybesturing van opnieuw geparametriseerde randsignalen met behulp van een close-loop-interface

Geschat wordt dat 1 op de 6 mensen wereldwijd tijdens zijn leven een beroerte zal krijgen, met langdurige invaliditeit tot gevolg, waarvan de revalidatiemechanismen nog steeds slecht worden begrepen. Deze studie stelt een protocol voor om hersenactivatie te evalueren door middel van functionele nabij-infraroodspectroscopie (fNIRS) tijdens een robottherapiesessie voor de onderste ledematen.

Een experiment met behulp van functionele nabij-infraroodspectroscopie en robotgeassisteerde multi-joint richtbewegingen van de onderste ledematen

Motorische beelden in een virtual reality-omgeving hebben brede toepassingen in hersen-computerinterfacesystemen. Dit manuscript schetst het gebruik van gepersonaliseerde digitale avatars die lijken op de deelnemers die bewegingen uitvoeren die door de deelnemer zijn bedacht in een virtual reality-omgeving om de onderdompeling en het gevoel van lichaamseigendom te vergroten.

Prestaties op het gebied van motorische beelden door middel van belichaamde digitale tweelingen in een virtual reality-enabled hersen-computerinterface-omgeving

Deze studie introduceert een hersen-computerinterface (BCI) -systeem voor patiënten met een beroerte, dat elektro-encefalografie en elektro-oculografiesignalen combineert om een robothand van de bovenste ledematen te besturen, waardoor de dagelijkse activiteiten worden verbeterd. Bij de evaluatie werd gebruik gemaakt van de Berlin Bimanual Test for Stroke (BeBiTS).

Hersen-computerinterface-gestuurd robotsysteem voor de bovenste ledematen voor het verbeteren van dagelijkse activiteiten bij patiënten met een beroerte

Leer een SSVEP-gebaseerde methode voor hersen-robotinteractie met humanoïde robots. Deze procedure integreert meerdere softwareprogramma's om zieke en ouderen te helpen en gevaarlijke taken uit te voeren.

SSVEP-gebaseerde Experimentele Procedure voor Brain-Robot Interactie met Humanoid Robots

Meer video's verkennen