Name: Eksperymentalna procedura oparta na SSVEP dla interakcji mózg-robot z robotami humanoidalnymi (Wideo) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: Poznaj metodę SSVEP do interakcji mózg-robot z robotami humanoidalnymi wykorzystującą EEG i interfejsy mózg-komputer. Technika ta umożliwia sterowanie robotem za pomocą sygnałów mózgowych w czasie rzeczywistym.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

Autorzy chcieliby wyrazić swoją wdzięczność Panu Hong Hu za pomoc w przeprowadzaniu eksperymentów opisanych w tym artykule. Praca ta była częściowo wspierana przez Narodową Fundację Nauk Przyrodniczych Chin (nr 61473207).

1. Pozyskiwanie sygnałów EEG
<ol>
	<li>Wyjaśnij badanemu procedurę eksperymentalną i uzyskaj pisemną świadomą zgodę na udział w badaniach.</li>
	<li>Zmierz obwód głowy badanego za pomocą centymetra krawieckiego i wybierz rozmiar czepek EEG najbliższy uzyskanemu pomiarowi. Rozmieszczenie elektrod opiera się na „Międzynarodowym systemie 10-20” 12.</li>
	<li>Zmierz odległość między nasion a inion. Za pomocą pisaka dermatologicznego zaznacz 10% tej odległości jako punkt odniesienia do wyrównania czepek oraz zaznacz punkt środkowy tej odległości jako vertex na skórze głowy badanego.</li>
	<li>Załóż czepek EEG na głowę badanego, wyrównując zaznaczenie 10% z punktem środkowym między elektrodami FP1 a FP2. Umieść elektrodę Cz czepek w punkcie vertex.</li>
	<li>Upewnij się, że elektrody Fz, Cz, Pz i Oz znajdują się na linii środkowej głowy, a każda para elektrod znajdujących się po obu stronach linii środkowej leży w jednej linii poziomej.</li>
	<li>Posmaruj elektrody REF1 i REF2 żelem przewodzącym. Umieść elektrody referencyjne na lewym i prawym wyrostku sutkowatym, mocując je za pomocą taśmy medycznej. Zaciśnij pasek podbródkowy.</li>
	<li>Włóż strzykawkę z tępym końcem do uchwytów elektrod i wstrzyknij żel przewodzący do każdej elektrody w następującej kolejności: najpierw do elektrody „masowej” na czole, a następnie do pięciu elektrod wykorzystywanych w eksperymencie: O2, O1, Oz, Pz i Cz.</li>
	<li>Posadź badanego na wygodnym krześle 60 cm przed monitorem bodźców. Poleć badanemu utrzymywanie oczu na tym samym poziomie poziomym co środek monitora.</li>
	<li>Podłącz przewody elektrod do systemu akwizycji danych EEG. Skonfiguruj częstotliwość próbkowania na 1 kHz.</li>
	<li>Sprawdź jakość sygnału EEG na dedykowanym komputerze DPC. W przypadku problemów z konkretną elektrodą wstrzyknij ponownie żel, aby skorygować impedancję kanału.</li>
	<li>Użyj dedykowanego komputera SPC, aby wyświetlać migające obrazy czterech robotów z częstotliwościami 4,615, 12, 15 i 20 Hz jako bodźce wizualne w interfejsie użytkownika, zgodnie z ryciną 2.</li>
</ol>
2. Analiza cech SSVEP w trybie offline
<ol>
	<li>Przeprowadź 32 próby eksperymentów szkoleniowych w trybie offline dla każdego badanego i zapisz sygnały mózgowe rejestrowane przez system EEG w trakcie tego procesu. 
	UWAGA: proces ten jest przeprowadzany wyłącznie u osób biorących udział w eksperymencie po raz pierwszy w celu ustalenia ich wektorów cech SSVEP oraz wytrenowania klasyfikatora.</li>
	<li>W momencie rozpoczęcia próby losowo wybierz jeden bodziec jako cel i wyświetl nad nim żółtą strzałkę.</li>
	<li>Po 1 sec migaj czterema bodźcami wizualnymi z różnymi częstotliwościami na interfejsie użytkownika przez 5 sec.</li>
	<li>Poproś badanego o skupienie uwagi na wybranym celu bodźca przy jednoczesnym ograniczeniu ruchów ciała do minimum.</li>
	<li>Po każdej próbie daj badanemu 3 sec na relaks, a następnie rozpocznij kolejną próbę.</li>
	<li>Po zakończeniu wszystkich prób odczytaj zapisane dane. Wyodrębnij 3-sekundową epokę danych pomiędzy 2 sec a 5 sec po wyzwalaczu, który w każdej próbie wybiera bodziec jako cel.</li>
	<li>Oblicz gęstość widmową mocy (PSD) epok danych za pomocą narzędzia Offline Data Analyzer w skryptach MATLAB. Zastosuj algorytm przetwarzania opisany szczegółowo poniżej:
	<ol>
		<li>Oblicz współczynniki kanonicznej analizy korelacyjnej (CCA) wielokanałowych danych EEG względem danych referencyjnych. CCA jest wielowymiarową metodą statystyczną stosowaną dla dwóch zestawów danych w celu znalezienia ich podstawowej korelacji 13. Przyjmując 3-sekundowy segment wielokanałowych danych EEG X oraz dane referencyjne Y o tej samej długości, użyj CCA do znalezienia wektorów wag, Wx i Wy, aby zmaksymalizować współczynnik korelacji ρ pomiędzy x = XTWx a y = YTWy. Ustaw dane referencyjne jako sygnały okresowe o określonych częstotliwościach bodźców. 
		<img alt="Matematyka: Równanie macierzowe funkcji sinusoidalnych, schemat składowych cosinusa i sinusa." src="/files/ftp_upload/53558/53558eq1.jpg" data-altupdatedat="1787630408000" data-alt="Równanie 1"> 
		gdzie f1, f2, f3, f4 to częstotliwości cech czterech bodźców wizualnych.</li>
		<li>Przefiltruj przestrzennie wielokanałowe dane EEG X za pomocą obliczonych współczynników CCA Wx, aby uzyskać jednowymiarowe dane przefiltrowane x, które wykazują najsilniejszą korelację z kombinacją liniową danych referencyjnych.</li>
		<li>Oblicz PSD przestrzennie przefiltrowanych danych x za pomocą szybkiej transformaty Fouriera (FFT). 
		<img alt="Równanie widma mocy, P(f)=|FFT(x,N_FFT)|²/N_FFT, wzór na analizę częstotliwości." src="/files/ftp_upload/53558/53558eq2.jpg" data-altupdatedat="1787630408000" data-alt="Równanie 2"> 
		gdzie NFFT to wielkość próbki danych x, a FFT(x, NFFT) zwraca dyskretną transformatę Fouriera x o długości NFFT.</li>
		<li>Znormalizuj PSD względem jej wartości średniej w zakresie od 3 do 30 Hz. 
		<img alt="Schemat wzoru normalizacji częstotliwości, \(P_N(f)=\frac{P(f)}{\text{mean}_{3 \text{Hz} \leq f \leq 30 \text{Hz}}(P(f))}\)." src="/files/ftp_upload/53558/53558eq3.jpg" data-altupdatedat="1787630408000" data-alt="Równanie 3"> 
		gdzie <img alt="Równanie analizy częstotliwości, średnia gęstość widmowa mocy, 3Hz≤f≤30Hz, schemat wzoru." src="/files/ftp_upload/53558/53558eq3denominator.jpg" data-altupdatedat="1787630408000" data-alt="Mianownik Równania 3"> oznacza średnią widma mocy pomiędzy 3 a 30 Hz.</li>
	</ol>
	</li>
	<li>Skalibruj parametry klasyfikacji dla czterech częstotliwości bodźców. Najpierw zaobserwuj znormalizowane widmo PSD odpowiadające danemu celowi bodźca i ręcznie ustaw częstotliwość o najsilniejszej amplitudzie PSD jako częstotliwość cechy. Na podstawie częstotliwości cechy podziel znormalizowane dane PSD na dwa zestawy: jeden pozyskany, gdy odpowiedni bodziec został wybrany jako cel, a drugi pozyskany, gdy wybrano bodźce niebędące celem. Oblicz odpowiednio wartość średnią dla każdego zestawu. Wyznacz próg jako medianę tych dwóch wartości średnich, aby sklasyfikować zestawy celowe i niecelowe 14.</li>
</ol>
3. Przetwarzanie sygnałów mózgowych w czasie rzeczywistym
<ol>
	<li>Otwórz On-line Signal Processor, przedstawiony na Rysunku 3, opracowany w środowisku OpenViBE oraz z wykorzystaniem skryptów MATLAB, na komputerze DPC w celu przetwarzania sygnałów mózgowych w trybie online.</li>
	<li>Kliknij dwukrotnie pole Acquire and Process Signal, zaznaczone czerwonym okręgiem na Rysunku 3, aby otworzyć okno ustawień OpenViBE. Skonfiguruj parametry klasyfikacji dla badanego: ustaw częstotliwość próbkowania na 1 kHz, długość czasu dla FFT na 3 s oraz częstotliwości cech zgodnie z wynikami analizy offline, np. 4,667, 24, 15 i 20 Hz.</li>
	<li>Kliknij przycisk Starts, aby uruchomić On-line Signal Processor, który przetwarza dane w czasie rzeczywistym przy użyciu następującego algorytmu w trzech krokach.</li>
	<li>Po pierwsze, algorytm pobiera dane EEG z kanałów Oz, O1, O2, Pz i CPz systemu EEG co 0,5 s i wyodrębnia segment danych z ostatnich 3 s do przetwarzania online.</li>
	<li>Po drugie, algorytm przetwarza 3-sekundowy segment danych przy użyciu algorytmów opisanych w kroku 2.7 i oblicza PSD w czasie rzeczywistym w celu klasyfikacji.</li>
	<li>Po trzecie, algorytm klasyfikuje wzorce fal mózgowych na podstawie amplitud PSD dla czterech częstotliwości cech. Gdy amplituda jednej częstotliwości cechy przekroczy określony próg, mruganie bodźca o odpowiadającej jej częstotliwości zostaje sklasyfikowane jako cel SSVEP.</li>
</ol>
4. Podłączanie robota humanoidalnego
<ol>
	<li>Naciśnij przycisk na klatce piersiowej robota humanoidalnego i poczekaj na jego uruchomienie. 
	UWAGA: proces ten trwa około 1 min i kończy się, gdy robot wypowie frazę „OGNAK GNOUK”, a przycisk na klatce piersiowej zmieni kolor na biały.</li>
	<li>Ustanów połączenie Wireless Fidelity (WiFi) robota z DPC 15.</li>
	<li>Otwórz sterownik robota (Robot Controller) zaprogramowany w skryptach Visual C++ na DPC. Sterownik odbiera wyniki klasyfikacji z procesora sygnałów online (Online Signal Processor) poprzez interfejs Virtual-Reality Peripheral Network (VRPN), tłumaczy je na polecenia dla robota i steruje odpowiednimi zachowaniami robota humanoidalnego za pomocą połączenia bezprzewodowego.</li>
	<li>Skonfiguruj sterownik robota, wprowadzając adres IP robota zgodnie z jego połączeniem WiFi, definiując trzy zestawy zachowań robota, które można łatwo przełączać w celu wykonania trzech różnych zadań, oraz ustawiając parametry wykonawcze tych zachowań (np. prędkość chodu lub dystans), aby dostosować je do wymagań zadania. 
	UWAGA: więcej szczegółów na temat tych zachowań opisano w krokach 5.2.1, 5.3.1 i 5.4.1.</li>
	<li>Kliknij przycisk Build w platformie Visual Studio, aby uruchomić sterownik robota.</li>
	<li>Otwórz program Choregraphe na SPC. Kliknij przycisk „Connect to”, aby wyświetlić okno połączenia (Connection widget). Wybierz robota do sterowania na podstawie jego adresu IP i kliknij dwukrotnie jego ikonę, aby się z nim połączyć.</li>
	<li>Otwórz monitor wideo z menu widoku (view menu) w pasku menu Choregraphe i przesuń monitor na przedni plan interfejsu użytkownika, aby wyświetlić podgląd wideo na żywo z kamery robota.</li>
</ol>
5. Przeprowadzanie eksperymentów sterowania w pętli zamkniętej
<ol>
	<li>Poproś badanego o wykonanie trzech konkretnych zadań sterowania w pętli zamkniętej w różnych środowiskach, aby ocenić wydajność interakcji mózg-robot. 
	UWAGA: zadania te, które są istotne w aplikacjach robotycznych, ponieważ pomagają osobom niepełnosprawnym i starszym w ich codziennym życiu, wymagają aktywacji różnych zachowań robota.</li>
	<li>Przeprowadź pierwsze zadanie sterowania w pętli zamkniętej, polegające na zdalnym sterowaniu robotem humanoidalnym za pomocą sygnałów mózgowych w celu przejścia przez przeszkody i naciśnięcia przełącznika światła, jak pokazano na Ryc. 4.
	<ol>
		<li>Aby zrealizować pierwsze zadanie, steruj zachowaniami robota zakodowanymi przez cztery bodźce SSVEP jako: krok do przodu o stałej odległości 0,15 m, obrót w lewo o stały kąt 0,3 rad, obrót w prawo o stały kąt 0,3 rad oraz naciśnięcie przełącznika prawą ręką. 
		UWAGA: proces konfiguracji opisano w kroku 4.4.</li>
		<li>Poinformuj badanego o celu zadania i czterech zachowaniach, którymi ma sterować.</li>
		<li>Uruchom Robot Controller zgodnie z krokami 4.5-4.7 i rozpocznij eksperyment. Pozwól badanemu na swobodną percepcję otoczenia i podejmowanie decyzji na podstawie podglądu wideo na żywo oraz na aktywowanie zachowań robota poprzez wpatrywanie się w odpowiednie bodźce. 
		UWAGA: badanemu nie należy udzielać żadnych instrukcji ani pomocy, chyba że w sytuacjach awaryjnych, np. gdy robot ma zamiar zderzyć się z przeszkodą.</li>
	</ol>
	</li>
	<li>Przeprowadź drugie zadanie, polegające na zdalnym sterowaniu robotem humanoidalnym za pomocą sygnałów mózgowych w celu dojścia do schodów, kierując się znakiem wyjścia, jak pokazano na Ryc. 5. W przypadku napotkania przechodniów poproś badanego o sterowanie robotem tak, aby powiedział „przepraszam” i poczekał, aż przechodnie ustąpią miejsca.
	<ol>
		<li>Steruj zachowaniami robota zakodowanymi przez cztery bodźce SSVEP jako: ciągłe chodzenie do przodu z prędkością 0,05 m/sec, ciągły obrót w lewo z prędkością 0,1 rad/sec, ciągły obrót w prawo z prędkością 0,1 rad/sec oraz zatrzymanie wszystkich zachowań związanych z chodzeniem.</li>
		<li>Przełącz Robot Controller na funkcję sterowania zależną od postawy 16. 
		UWAGA: gdy robot idzie, funkcja ta wykorzystuje czwarty bodziec jako polecenie zatrzymania chodzenia; gdy robot nie idzie, wykorzystuje czwarty bodziec do sterowania robotem, aby powiedział „przepraszam”. Funkcja ta jest zaimplementowana w skryptach C++ poprzez wykrywanie stanu chodzenia robota.</li>
		<li>Poinformuj badanego o celu zadania i pięciu zachowaniach, którymi ma sterować.</li>
		<li>Uruchom Robot Controller i rozpocznij eksperyment, jak opisano w kroku 5.2.3.</li>
	</ol>
	</li>
	<li>Przeprowadź trzecie zadanie, polegające na zdalnym sterowaniu robotem humanoidalnym w celu dojścia do celu w postaci balonu, podniesienia go i dostarczenia go do ręki badanego, jak pokazano na Ryc. 6.
	<ol>
		<li>Steruj zachowaniami robota zakodowanymi przez cztery bodźce SSVEP jako: krok do przodu o stałej odległości 0,15 m, obrót w lewo o stały kąt 0,3 rad, obrót w prawo o stały kąt 0,3 rad oraz podnoszenie przedmiotów.</li>
		<li>Aktywuj funkcję sterowania zależną od postawy w Robot Controller, aby ponownie wykorzystać czwarty bodziec jako polecenie odłożenia przedmiotu po jego uprzednim podniesieniu.</li>
		<li>Poinformuj badanego o celu zadania i pięciu zachowaniach, którymi ma sterować.</li>
		<li>Uruchom Robot Controller i rozpocznij eksperyment, jak opisano w kroku 5.2.3.</li>
	</ol>
	</li>
</ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

W artykule przedstawiono eksperymentalną procedurę opartą na SSVEP w celu ustanowienia systemu interakcji mózg-robot z robotami humanoidalnymi poprzez integrację wielu programów. Ponieważ ludzka intencja jest postrzegana poprzez interpretację sygnałów EEG w czasie rzeczywistym, bardzo ważne jest, aby przed przeprowadzeniem eksperymentu zweryfikować połączenia elektrod i jakość sygnału EEG. Jeśli sygnały odbierane ze wszystkich elektrod są złej jakości, należy najpierw sprawdzić połączenie elektrod masowych i referencyjny...

Interakcja mózg-robot (BRI), która zapewnia innowacyjną ścieżkę komunikacji między człowiekiem a urządzeniem robotycznym za pomocą sygnałów mózgowych, jest perspektywiczna w pomaganiu osobom niepełnosprawnym w ich codziennym życiu 1,2. Różne metody są w stanie pozyskiwać sygnały mózgowe zarówno inwazyjnie, jak i nieinwazyjnie, takie jak elektrokortykografia (ECoG), elektroencefalograf (EEG), funkcjonalny rezonans magnetyczny (fMRI) itp. Najczęściej stosowaną nieinwazyjną metodą budowy systemu BRI jest pozyskiwanie sygnałów EEG z elektrod umieszczonych na skórze głowy. Ta metoda jest niedroga, łatwa w użyciu i zapewnia akceptowalną rozdzielczość czasową 3. Wśród różnych urządzeń robotycznych, roboty humanoidalne są zaawansowane, ponieważ są tworzone tak, aby naśladować niektóre z tych samych zadań fizycznych i umysłowych, które ludzie wykonują codziennie. BRI z robotem humanoidalnym będzie odgrywał ważną rolę w pomocy osobom chorym i starszym, a także w wykonywaniu niehigienicznych lub niebezpiecznych prac. Jednak sterowanie robotem humanoidalnym za pomocą systemu BRI jest bardzo trudne, ponieważ robot humanoidalny z ruchem całego ciała został opracowany do wykonywania złożonych zadań, takich jak asysta osobista 4, 5.
Wizualny potencjał wywołany w stanie ustalonym (SSVEP) to rodzaj sygnału mózgowego wywoływanego przez modulację bodźca wzrokowego o danej częstotliwości 6. Zawiera sinusoidy o podstawowych i harmonicznych częstotliwościach bodźca migotania i wyraźnie pojawia się w całej korze wzrokowej w okolicy potylicznej skóry głowy 7. Powodem wyboru sygnałów SSVEP jest fakt, że system BRI oparty na SSVEP zapewnia stosunkowo wysoką szybkość przesyłania informacji i wymaga mniej szkoleń 8. Inne rodzaje fal mózgowych, takie jak potencjały związane ze zdarzeniami (ERP) 9 lub potencjały obrazowania motorycznego (MI) 10, mogą być również wbudowane w tę procedurę eksperymentalną.
Nasza procedura interakcji mózg-robot z humanoidalnymi robotami opiera się na Cerebot - sterowanej umysłem platformie robotów humanoidalnych - składającej się z systemu akwizycji danych EEG i humanoidalnego robota 11. System EEG jest w stanie rejestrować, wstępnie przetwarzać i wyświetlać sygnały biopotencjału pozyskane przez różne typy elektrod. Zapewnia wiele analogowych i cyfrowych wejść/wyjść i jest w stanie nagrywać do 128 kanałów sygnałowych jednocześnie z częstotliwością próbkowania 30 kHz z rozdzielczością 16-bitową. Zestawy programistyczne w C++ i MATLAB są łatwe do zaprojektowania przez użytkowników procedur eksperymentalnych. Humanoidalny robot ma 25 stopni swobody i jest wyposażony w wiele czujników, w tym 2 kamery, 4 mikrofony, 2 dalmierze sonarowe, 2 nadajniki i odbiorniki podczerwieni, 1 płytkę inercyjną, 9 czujników dotykowych i 8 czujników ciśnienia. Udostępnia Choregraphe i C++ SDK do tworzenia i edytowania ruchów oraz interaktywnych zachowań robotów.
Ogólnym celem tej metody jest ustanowienie eksperymentalnej procedury opartej na SSVEP poprzez integrację wielu programów, takich jak OpenViBE, Choregraph, oprogramowanie Central, a także programy opracowane przez użytkowników napisane w C++ i MATLAB, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi 11. Rysunek 1 przedstawia strukturę systemu. Dedykowany komputer do prezentacji bodźców (SPC) wyświetla interfejs użytkownika, aby dostarczyć badanemu bodźce wizualne, instrukcje i informacje zwrotne od otoczenia. Dedykowany komputer przetwarzający dane (DPC) uruchamia rejestrator danych i analizator danych offline w procesie szkolenia offline, a także uruchamia procesor sygnału online i kontroler robota do sterowania robotem humanoidalnym online. W porównaniu z innymi systemami sterowania opartymi na SSVEP, nasz system jest bardziej niezawodny, bardziej elastyczny, a przede wszystkim wygodniejszy do ponownego użycia i aktualizacji, ponieważ jest rozwijany poprzez integrację szeregu standardowych pakietów oprogramowania, takich jak OpenViBE, Choregraph, oprogramowanie Central oraz moduły napisane w C++ i MATLAB.
Poniższa procedura została sprawdzona i zatwierdzona przez komisję etyki szpitala medycznego Uniwersytetu Medycznego w Tianjin, a wszyscy badani wyrazili pisemną zgodę.

<table><tbody><tr><td>System akwizycji danych EEG Cerebus Blackrock</td><td>Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>Robot humanoidalny NAO</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>Czapka EEG</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 Żel przewodzący</td><td>Weaver i spółka</td><td>10-20-8</td><td></td></tr></tbody></table>

eksperymentalna procedura oparta na ssvep dla interakcji mózg-robot z robotami humanoidalnymi

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

Interakcja mózg-robot (BRI), która zapewnia innowacyjną ścieżkę komunikacji między człowiekiem a urządzeniem robotycznym za pomocą sygnałów mózgowych, jest perspektywiczna w pomaganiu niepełnosprawnym w ich codziennym życiu. Ogólnym celem naszej metody jest ustanowienie procedury eksperymentalnej opartej na SSVEP poprzez integrację wielu programów, takich jak OpenViBE, Choregraph i oprogramowanie centralne, a także programów opracowanych przez użytkownika napisanych w C++ i MATLAB, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi.
Osiąga się to poprzez pierwsze umieszczenie elektrod EEG na człowieku, aby zmierzyć reakcje mózgu za pomocą systemu akwizycji danych EEG. Interfejs użytkownika służy do wywoływania odpowiedzi SSVEP i wyświetlania informacji zwrotnych wideo w eksperymentach kontrolnych w pętli zamkniętej. Drugim krokiem jest zarejestrowanie sygnałów EEG osób po raz pierwszy, przeanalizowanie ich cech SSVEP w trybie offline i wytrenowanie klasyfikatora dla każdego pacjenta. Następnie procesor sygnałowy online i kontroler robota są konfigurowane do sterowania online robotem humanoidalnym. Ostatnim krokiem jest przeprowadzenie trzech konkretnych eksperymentów kontrolnych w pętli zamkniętej w różnych środowiskach, aby ocenić wydajność interakcji mózg-robot.
Zaletą tego podejścia jest jego niezawodność i elastyczność, ponieważ jest ono rozwijane przez integrację wielu programów. Wyniki pokazują, że przy użyciu tego podejścia badany jest w stanie wchodzić w interakcje z humanoidalnym robotem za pomocą sygnałów mózgowych. Dzięki temu sterowany umysłem robot humanoidalny może wykonywać typowe zadania, które są popularne w badaniach robotycznych i są pomocne w pomocy osobom niepełnosprawnym.

Przedstawione tutaj wyniki uzyskano od mężczyzny z korygowaną do normy ostrością widzenia. Rysunek 7 przedstawia procedurę przetwarzania danych EEG, obejmującą wyodrębnianie wielokanałowej epoki danych (Rysunek 7A), filtrowanie przestrzenne danych przy użyciu współczynników CCA (Rysunek 7B) oraz obliczanie znormalizowanej PSD (Rysunek 7C).
Rycina 8</stro...

Ogólnym celem tej metody jest ustanowienie eksperymentalnej procedury opartej na SSVEP poprzez integrację wielu programów komputerowych, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi, co jest perspektywiczne w pomaganiu chorym i starszym, a także wykonywaniu niehigienicznych lub niebezpiecznych prac.

Eksperymentalna procedura oparta na SSVEP dla interakcji mózg-robot z robotami humanoidalnymi

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

Ogólnym celem tej metody jest ustanowienie procedury eksperymentalnej opartej na S-S-V-E-P poprzez integrację wielu programów komputerowych, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi. Osiąga się to poprzez najpierw umieszczenie elektrod EEG na badanym człowieku w celu pomiaru odpowiedzi mózgu za pomocą systemu akwizycji danych EEG. Interfejs użytkownika służy do wywoływania odpowiedzi S-S-V-E-P oraz do wyświetlania sprzężenia zwrotnego w formie wideo w eksperymentach z kontrolą w pętli zamkniętej.Drugim krokiem jest rejestracja sygnałów EEG od osób badanych po raz pierwszy, aby przeanalizować cechy S-S-V-E-P w trybie offline oraz wytrenować klasyfikator dla każdego uczestnika. Następnie konfigurowany jest procesor sygnałów online oraz kontroler robota w celu sterowania humanoidem Robert w czasie rzeczywistym. W ostatnim kroku badany wykonuje trzy specyficzne eksperymenty sterowania w pętli zamkniętej w różnych środowiskach.W celu oceny wydajności interakcji mózg-Robert, wyniki przedstawiają znormalizowaną gęstość widmową mocy sygnałów mózgowych generowanych podczas wpatrywania się w bodźce migoczące z różnymi częstotliwościami. Nasz system przekłada te w

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

JoVE Journal

Engineering

Inżynieria

Wykorzystujemy interfejs maszyna-mucha w pętli zamkniętej do badania ogólnych zasad kontroli neuronalnej.

Platforma eksperymentalna do badania wydajności interfejsów mózg-maszyna w pętli zamkniętej

W ostatnim czasie pojawiło się wiele perspektyw dla interaktywnych systemów człowiek-robot. W niniejszym artykule opisujemy integrację nowego urządzenia robotycznego z oprogramowaniem open source, które pozwala na szybkie stworzenie biblioteki funkcji interaktywnych. Następnie przedstawiamy zastosowanie kliniczne w ramach neurorehabilitacji.

Rehabilitacja haptyczno-graficzna: integracja robota z biblioteką środowisk wirtualnych i zastosowanie w terapii udarów mózgu

Opisano adaptację i zastosowanie robota haptycznego w systemie fMRI 3T.

Adaptacja robota haptycznego do obrazowania fMRI 3T

W tym artykule przedstawiono eksperymentalny framework do przeprowadzania eksperymentów w pętli zamkniętej, w którym przetwarzanie informacji (tj. kodowanie i dekodowanie) oraz uczenie się zespołów neuronalnych są badane podczas ciągłej interakcji z ciałem robota.

Eksperymenty neurorobotyczne w pętli zamkniętej w celu przetestowania właściwości obliczeniowych sieci neuronowych

W tym artykule przedstawiono nowatorski, tani interfejs człowiek-maszyna do interaktywnego systemu rehabilitacji równowagi po udarze. System integruje gotowe, niedrogie czujniki w kierunku wolicjonalnie sterowanego paradygmatu elektroterapii. Interfejs oprogramowania typu proof-of-concept jest demonstrowany na zdrowych ochotnikach.

Interfejs człowiek-maszyna integrujący niedrogie czujniki z systemem stymulacji elektrycznej nerwowo-mięśniowej do rehabilitacji równowagi po udarze

Tutaj opisujemy paradygmaty iluzji wirtualnej ręki i wirtualnej twarzy, które mogą być wykorzystane do badania samopercepcji/reprezentacji związanej z ciałem. Zostały one już wykorzystane w różnych badaniach, aby wykazać, że w określonych warunkach wirtualna ręka lub twarz mogą zostać włączone do reprezentacji ciała, co sugeruje, że reprezentacje ciała są raczej elastyczne.

Tworzenie iluzji wirtualnej ręki i wirtualnej twarzy w celu zbadania autoprezentacji

Prezentujemy protokoły i metody analiz do budowy współadaptacyjnych interfejsów, które strumieniują, parametryzują, analizują i modyfikują sygnały ludzkiego ciała i serca w zamkniętej pętli. Ta konfiguracja łączy sygnały pochodzące z obwodowego i ośrodkowego układu nerwowego osoby z zewnętrznymi bodźcami sensorycznymi, aby pomóc w śledzeniu zmian biofizycznych.

Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

Szacuje się, że 1 na 6 osób na całym świecie dozna udaru mózgu w swoim życiu, powodując długotrwałą niepełnosprawność, której mechanizmy rehabilitacji są nadal słabo poznane. W badaniu tym zaproponowano protokół oceny aktywacji mózgu za pomocą funkcjonalnej spektroskopii bliskiej podczerwieni (fNIRS) podczas sesji terapii robotycznej kończyn dolnych.

Eksperyment z wykorzystaniem funkcjonalnej spektroskopii w bliskiej podczerwieni i wspomaganych przez robota wielostawowych ruchów wskazujących kończyny dolnej

Obrazy motoryczne w środowisku wirtualnej rzeczywistości mają szerokie zastosowanie w systemach interfejsu mózg-komputer. Manuskrypt ten przedstawia wykorzystanie spersonalizowanych cyfrowych awatarów, które przypominają uczestników wykonujących ruchy wyobrażone przez uczestnika w środowisku rzeczywistości wirtualnej, aby zwiększyć immersję i poczucie posiadania ciała.

Wydajność obrazowania motorycznego dzięki ucieleśnionym cyfrowym bliźniakom w środowisku interfejsu mózg-komputer z obsługą rzeczywistości wirtualnej

To badanie wprowadza system interfejsu mózg-komputer (BCI) dla pacjentów po udarze, który łączy sygnały elektroencefalografii i elektrookulografii w celu kontrolowania ręki robota kończyny górnej, usprawniając codzienne czynności. W ocenie wykorzystano Berliński Dwuręczny Test na Udar Mózgu (BeBiTS).

Sterowany interfejsem mózg-komputer system robotyczny kończyny górnej do usprawniania codziennych czynności u pacjentów po udarze mózgu

Poznaj metodę SSVEP do interakcji mózg-robot z robotami humanoidalnymi wykorzystującą EEG i interfejsy mózg-komputer. Technika ta umożliwia sterowanie robotem za pomocą sygnałów mózgowych w czasie rzeczywistym.

Eksperymentalna procedura oparta na SSVEP dla interakcji mózg-robot z robotami humanoidalnymi

Przeglądaj więcej filmów