Name: Eksperymentalna procedura oparta na SSVEP dla interakcji mózg-robot z robotami humanoidalnymi (Wideo) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: Poznaj metodę SSVEP do interakcji mózg-robot z robotami humanoidalnymi wykorzystującą EEG i interfejsy mózg-komputer. Technika ta umożliwia sterowanie robotem za pomocą sygnałów mózgowych w czasie rzeczywistym.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Autorzy chcieliby wyrazić swoją wdzięczność Panu Hong Hu za pomoc w przeprowadzaniu eksperymentów opisanych w tym artykule. Praca ta była częściowo wspierana przez Narodową Fundację Nauk Przyrodniczych Chin (nr 61473207).

1. Pozyskiwanie sygnałów EEG
<ol>
	<li>Wyjaśnij badanemu procedurę eksperymentalną i uzyskaj pisemną świadomą zgodę na udział w badaniach.</li>
	<li>Zmierz obwód głowy badanego za pomocą centymetra krawieckiego i wybierz rozmiar czepek EEG najbliższy uzyskanemu pomiarowi. Rozmieszczenie elektrod opiera się na „Międzynarodowym systemie 10-20” 12.</li>
	<li>Zmierz odległość między nasion a inion. Za pomocą pisaka dermatologicznego zaznacz 10% tej odległości jako punkt odniesienia do wyrównania czepek oraz zaznacz punkt środkowy tej odległości jako vertex na skórze głowy badanego.</li>
	<li>Załóż czepek EEG na głowę badanego, wyrównując zaznaczenie 10% z punktem środkowym między elektrodami FP1 a FP2. Umieść elektrodę Cz czepek w punkcie vertex.</li>
	<li>Upewnij się, że elektrody Fz, Cz, Pz i Oz znajdują się na linii środkowej głowy, a każda para elektrod znajdujących się po obu stronach linii środkowej leży w jednej linii poziomej.</li>
	<li>Posmaruj elektrody REF1 i REF2 żelem przewodzącym. Umieść elektrody referencyjne na lewym i prawym wyrostku sutkowatym, mocując je za pomocą taśmy medycznej. Zaciśnij pasek podbródkowy.</li>
	<li>Włóż strzykawkę z tępym końcem do uchwytów elektrod i wstrzyknij żel przewodzący do każdej elektrody w następującej kolejności: najpierw do elektrody „masowej” na czole, a następnie do pięciu elektrod wykorzystywanych w eksperymencie: O2, O1, Oz, Pz i Cz.</li>
	<li>Posadź badanego na wygodnym krześle 60 cm przed monitorem bodźców. Poleć badanemu utrzymywanie oczu na tym samym poziomie poziomym co środek monitora.</li>
	<li>Podłącz przewody elektrod do systemu akwizycji danych EEG. Skonfiguruj częstotliwość próbkowania na 1 kHz.</li>
	<li>Sprawdź jakość sygnału EEG na dedykowanym komputerze DPC. W przypadku problemów z konkretną elektrodą wstrzyknij ponownie żel, aby skorygować impedancję kanału.</li>
	<li>Użyj dedykowanego komputera SPC, aby wyświetlać migające obrazy czterech robotów z częstotliwościami 4,615, 12, 15 i 20 Hz jako bodźce wizualne w interfejsie użytkownika, zgodnie z ryciną 2.</li>
</ol>
2. Analiza cech SSVEP w trybie offline
<ol>
	<li>Przeprowadź 32 próby eksperymentów szkoleniowych w trybie offline dla każdego badanego i zapisz sygnały mózgowe rejestrowane przez system EEG w trakcie tego procesu. 
	UWAGA: proces ten jest przeprowadzany wyłącznie u osób biorących udział w eksperymencie po raz pierwszy w celu ustalenia ich wektorów cech SSVEP oraz wytrenowania klasyfikatora.</li>
	<li>W momencie rozpoczęcia próby losowo wybierz jeden bodziec jako cel i wyświetl nad nim żółtą strzałkę.</li>
	<li>Po 1 sec migaj czterema bodźcami wizualnymi z różnymi częstotliwościami na interfejsie użytkownika przez 5 sec.</li>
	<li>Poproś badanego o skupienie uwagi na wybranym celu bodźca przy jednoczesnym ograniczeniu ruchów ciała do minimum.</li>
	<li>Po każdej próbie daj badanemu 3 sec na relaks, a następnie rozpocznij kolejną próbę.</li>
	<li>Po zakończeniu wszystkich prób odczytaj zapisane dane. Wyodrębnij 3-sekundową epokę danych pomiędzy 2 sec a 5 sec po wyzwalaczu, który w każdej próbie wybiera bodziec jako cel.</li>
	<li>Oblicz gęstość widmową mocy (PSD) epok danych za pomocą narzędzia Offline Data Analyzer w skryptach MATLAB. Zastosuj algorytm przetwarzania opisany szczegółowo poniżej:
	<ol>
		<li>Oblicz współczynniki kanonicznej analizy korelacyjnej (CCA) wielokanałowych danych EEG względem danych referencyjnych. CCA jest wielowymiarową metodą statystyczną stosowaną dla dwóch zestawów danych w celu znalezienia ich podstawowej korelacji 13. Przyjmując 3-sekundowy segment wielokanałowych danych EEG X oraz dane referencyjne Y o tej samej długości, użyj CCA do znalezienia wektorów wag, Wx i Wy, aby zmaksymalizować współczynnik korelacji ρ pomiędzy x = XTWx a y = YTWy. Ustaw dane referencyjne jako sygnały okresowe o określonych częstotliwościach bodźców. 
		<img alt="Matematyka: Równanie macierzowe funkcji sinusoidalnych, schemat składowych cosinusa i sinusa." src="/files/ftp_upload/53558/53558eq1.jpg" data-altupdatedat="1787630408000" data-alt="Równanie 1"> 
		gdzie f1, f2, f3, f4 to częstotliwości cech czterech bodźców wizualnych.</li>
		<li>Przefiltruj przestrzennie wielokanałowe dane EEG X za pomocą obliczonych współczynników CCA Wx, aby uzyskać jednowymiarowe dane przefiltrowane x, które wykazują najsilniejszą korelację z kombinacją liniową danych referencyjnych.</li>
		<li>Oblicz PSD przestrzennie przefiltrowanych danych x za pomocą szybkiej transformaty Fouriera (FFT). 
		<img alt="Równanie widma mocy, P(f)=|FFT(x,N_FFT)|²/N_FFT, wzór na analizę częstotliwości." src="/files/ftp_upload/53558/53558eq2.jpg" data-altupdatedat="1787630408000" data-alt="Równanie 2"> 
		gdzie NFFT to wielkość próbki danych x, a FFT(x, NFFT) zwraca dyskretną transformatę Fouriera x o długości NFFT.</li>
		<li>Znormalizuj PSD względem jej wartości średniej w zakresie od 3 do 30 Hz. 
		<img alt="Schemat wzoru normalizacji częstotliwości, \(P_N(f)=\frac{P(f)}{\text{mean}_{3 \text{Hz} \leq f \leq 30 \text{Hz}}(P(f))}\)." src="/files/ftp_upload/53558/53558eq3.jpg" data-altupdatedat="1787630408000" data-alt="Równanie 3"> 
		gdzie <img alt="Równanie analizy częstotliwości, średnia gęstość widmowa mocy, 3Hz≤f≤30Hz, schemat wzoru." src="/files/ftp_upload/53558/53558eq3denominator.jpg" data-altupdatedat="1787630408000" data-alt="Mianownik Równania 3"> oznacza średnią widma mocy pomiędzy 3 a 30 Hz.</li>
	</ol>
	</li>
	<li>Skalibruj parametry klasyfikacji dla czterech częstotliwości bodźców. Najpierw zaobserwuj znormalizowane widmo PSD odpowiadające danemu celowi bodźca i ręcznie ustaw częstotliwość o najsilniejszej amplitudzie PSD jako częstotliwość cechy. Na podstawie częstotliwości cechy podziel znormalizowane dane PSD na dwa zestawy: jeden pozyskany, gdy odpowiedni bodziec został wybrany jako cel, a drugi pozyskany, gdy wybrano bodźce niebędące celem. Oblicz odpowiednio wartość średnią dla każdego zestawu. Wyznacz próg jako medianę tych dwóch wartości średnich, aby sklasyfikować zestawy celowe i niecelowe 14.</li>
</ol>
3. Przetwarzanie sygnałów mózgowych w czasie rzeczywistym
<ol>
	<li>Otwórz On-line Signal Processor, przedstawiony na Rysunku 3, opracowany w środowisku OpenViBE oraz z wykorzystaniem skryptów MATLAB, na komputerze DPC w celu przetwarzania sygnałów mózgowych w trybie online.</li>
	<li>Kliknij dwukrotnie pole Acquire and Process Signal, zaznaczone czerwonym okręgiem na Rysunku 3, aby otworzyć okno ustawień OpenViBE. Skonfiguruj parametry klasyfikacji dla badanego: ustaw częstotliwość próbkowania na 1 kHz, długość czasu dla FFT na 3 s oraz częstotliwości cech zgodnie z wynikami analizy offline, np. 4,667, 24, 15 i 20 Hz.</li>
	<li>Kliknij przycisk Starts, aby uruchomić On-line Signal Processor, który przetwarza dane w czasie rzeczywistym przy użyciu następującego algorytmu w trzech krokach.</li>
	<li>Po pierwsze, algorytm pobiera dane EEG z kanałów Oz, O1, O2, Pz i CPz systemu EEG co 0,5 s i wyodrębnia segment danych z ostatnich 3 s do przetwarzania online.</li>
	<li>Po drugie, algorytm przetwarza 3-sekundowy segment danych przy użyciu algorytmów opisanych w kroku 2.7 i oblicza PSD w czasie rzeczywistym w celu klasyfikacji.</li>
	<li>Po trzecie, algorytm klasyfikuje wzorce fal mózgowych na podstawie amplitud PSD dla czterech częstotliwości cech. Gdy amplituda jednej częstotliwości cechy przekroczy określony próg, mruganie bodźca o odpowiadającej jej częstotliwości zostaje sklasyfikowane jako cel SSVEP.</li>
</ol>
4. Podłączanie robota humanoidalnego
<ol>
	<li>Naciśnij przycisk na klatce piersiowej robota humanoidalnego i poczekaj na jego uruchomienie. 
	UWAGA: proces ten trwa około 1 min i kończy się, gdy robot wypowie frazę „OGNAK GNOUK”, a przycisk na klatce piersiowej zmieni kolor na biały.</li>
	<li>Ustanów połączenie Wireless Fidelity (WiFi) robota z DPC 15.</li>
	<li>Otwórz sterownik robota (Robot Controller) zaprogramowany w skryptach Visual C++ na DPC. Sterownik odbiera wyniki klasyfikacji z procesora sygnałów online (Online Signal Processor) poprzez interfejs Virtual-Reality Peripheral Network (VRPN), tłumaczy je na polecenia dla robota i steruje odpowiednimi zachowaniami robota humanoidalnego za pomocą połączenia bezprzewodowego.</li>
	<li>Skonfiguruj sterownik robota, wprowadzając adres IP robota zgodnie z jego połączeniem WiFi, definiując trzy zestawy zachowań robota, które można łatwo przełączać w celu wykonania trzech różnych zadań, oraz ustawiając parametry wykonawcze tych zachowań (np. prędkość chodu lub dystans), aby dostosować je do wymagań zadania. 
	UWAGA: więcej szczegółów na temat tych zachowań opisano w krokach 5.2.1, 5.3.1 i 5.4.1.</li>
	<li>Kliknij przycisk Build w platformie Visual Studio, aby uruchomić sterownik robota.</li>
	<li>Otwórz program Choregraphe na SPC. Kliknij przycisk „Connect to”, aby wyświetlić okno połączenia (Connection widget). Wybierz robota do sterowania na podstawie jego adresu IP i kliknij dwukrotnie jego ikonę, aby się z nim połączyć.</li>
	<li>Otwórz monitor wideo z menu widoku (view menu) w pasku menu Choregraphe i przesuń monitor na przedni plan interfejsu użytkownika, aby wyświetlić podgląd wideo na żywo z kamery robota.</li>
</ol>
5. Przeprowadzanie eksperymentów sterowania w pętli zamkniętej
<ol>
	<li>Poproś badanego o wykonanie trzech konkretnych zadań sterowania w pętli zamkniętej w różnych środowiskach, aby ocenić wydajność interakcji mózg-robot. 
	UWAGA: zadania te, które są istotne w aplikacjach robotycznych, ponieważ pomagają osobom niepełnosprawnym i starszym w ich codziennym życiu, wymagają aktywacji różnych zachowań robota.</li>
	<li>Przeprowadź pierwsze zadanie sterowania w pętli zamkniętej, polegające na zdalnym sterowaniu robotem humanoidalnym za pomocą sygnałów mózgowych w celu przejścia przez przeszkody i naciśnięcia przełącznika światła, jak pokazano na Ryc. 4.
	<ol>
		<li>Aby zrealizować pierwsze zadanie, steruj zachowaniami robota zakodowanymi przez cztery bodźce SSVEP jako: krok do przodu o stałej odległości 0,15 m, obrót w lewo o stały kąt 0,3 rad, obrót w prawo o stały kąt 0,3 rad oraz naciśnięcie przełącznika prawą ręką. 
		UWAGA: proces konfiguracji opisano w kroku 4.4.</li>
		<li>Poinformuj badanego o celu zadania i czterech zachowaniach, którymi ma sterować.</li>
		<li>Uruchom Robot Controller zgodnie z krokami 4.5-4.7 i rozpocznij eksperyment. Pozwól badanemu na swobodną percepcję otoczenia i podejmowanie decyzji na podstawie podglądu wideo na żywo oraz na aktywowanie zachowań robota poprzez wpatrywanie się w odpowiednie bodźce. 
		UWAGA: badanemu nie należy udzielać żadnych instrukcji ani pomocy, chyba że w sytuacjach awaryjnych, np. gdy robot ma zamiar zderzyć się z przeszkodą.</li>
	</ol>
	</li>
	<li>Przeprowadź drugie zadanie, polegające na zdalnym sterowaniu robotem humanoidalnym za pomocą sygnałów mózgowych w celu dojścia do schodów, kierując się znakiem wyjścia, jak pokazano na Ryc. 5. W przypadku napotkania przechodniów poproś badanego o sterowanie robotem tak, aby powiedział „przepraszam” i poczekał, aż przechodnie ustąpią miejsca.
	<ol>
		<li>Steruj zachowaniami robota zakodowanymi przez cztery bodźce SSVEP jako: ciągłe chodzenie do przodu z prędkością 0,05 m/sec, ciągły obrót w lewo z prędkością 0,1 rad/sec, ciągły obrót w prawo z prędkością 0,1 rad/sec oraz zatrzymanie wszystkich zachowań związanych z chodzeniem.</li>
		<li>Przełącz Robot Controller na funkcję sterowania zależną od postawy 16. 
		UWAGA: gdy robot idzie, funkcja ta wykorzystuje czwarty bodziec jako polecenie zatrzymania chodzenia; gdy robot nie idzie, wykorzystuje czwarty bodziec do sterowania robotem, aby powiedział „przepraszam”. Funkcja ta jest zaimplementowana w skryptach C++ poprzez wykrywanie stanu chodzenia robota.</li>
		<li>Poinformuj badanego o celu zadania i pięciu zachowaniach, którymi ma sterować.</li>
		<li>Uruchom Robot Controller i rozpocznij eksperyment, jak opisano w kroku 5.2.3.</li>
	</ol>
	</li>
	<li>Przeprowadź trzecie zadanie, polegające na zdalnym sterowaniu robotem humanoidalnym w celu dojścia do celu w postaci balonu, podniesienia go i dostarczenia go do ręki badanego, jak pokazano na Ryc. 6.
	<ol>
		<li>Steruj zachowaniami robota zakodowanymi przez cztery bodźce SSVEP jako: krok do przodu o stałej odległości 0,15 m, obrót w lewo o stały kąt 0,3 rad, obrót w prawo o stały kąt 0,3 rad oraz podnoszenie przedmiotów.</li>
		<li>Aktywuj funkcję sterowania zależną od postawy w Robot Controller, aby ponownie wykorzystać czwarty bodziec jako polecenie odłożenia przedmiotu po jego uprzednim podniesieniu.</li>
		<li>Poinformuj badanego o celu zadania i pięciu zachowaniach, którymi ma sterować.</li>
		<li>Uruchom Robot Controller i rozpocznij eksperyment, jak opisano w kroku 5.2.3.</li>
	</ol>
	</li>
</ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

W artykule przedstawiono eksperymentalną procedurę opartą na SSVEP w celu ustanowienia systemu interakcji mózg-robot z robotami humanoidalnymi poprzez integrację wielu programów. Ponieważ ludzka intencja jest postrzegana poprzez interpretację sygnałów EEG w czasie rzeczywistym, bardzo ważne jest, aby przed przeprowadzeniem eksperymentu zweryfikować połączenia elektrod i jakość sygnału EEG. Jeśli sygnały odbierane ze wszystkich elektrod są złej jakości, należy najpierw sprawdzić połączenie elektrod masowych i referencyjny...

Interakcja mózg-robot (BRI), która zapewnia innowacyjną ścieżkę komunikacji między człowiekiem a urządzeniem robotycznym za pomocą sygnałów mózgowych, jest perspektywiczna w pomaganiu osobom niepełnosprawnym w ich codziennym życiu 1,2. Różne metody są w stanie pozyskiwać sygnały mózgowe zarówno inwazyjnie, jak i nieinwazyjnie, takie jak elektrokortykografia (ECoG), elektroencefalograf (EEG), funkcjonalny rezonans magnetyczny (fMRI) itp. Najczęściej stosowaną nieinwazyjną metodą budowy systemu BRI jest pozyskiwanie sygnałów EEG z elektrod umieszczonych na skórze głowy. Ta metoda jest niedroga, łatwa w użyciu i zapewnia akceptowalną rozdzielczość czasową 3. Wśród różnych urządzeń robotycznych, roboty humanoidalne są zaawansowane, ponieważ są tworzone tak, aby naśladować niektóre z tych samych zadań fizycznych i umysłowych, które ludzie wykonują codziennie. BRI z robotem humanoidalnym będzie odgrywał ważną rolę w pomocy osobom chorym i starszym, a także w wykonywaniu niehigienicznych lub niebezpiecznych prac. Jednak sterowanie robotem humanoidalnym za pomocą systemu BRI jest bardzo trudne, ponieważ robot humanoidalny z ruchem całego ciała został opracowany do wykonywania złożonych zadań, takich jak asysta osobista 4, 5.
Wizualny potencjał wywołany w stanie ustalonym (SSVEP) to rodzaj sygnału mózgowego wywoływanego przez modulację bodźca wzrokowego o danej częstotliwości 6. Zawiera sinusoidy o podstawowych i harmonicznych częstotliwościach bodźca migotania i wyraźnie pojawia się w całej korze wzrokowej w okolicy potylicznej skóry głowy 7. Powodem wyboru sygnałów SSVEP jest fakt, że system BRI oparty na SSVEP zapewnia stosunkowo wysoką szybkość przesyłania informacji i wymaga mniej szkoleń 8. Inne rodzaje fal mózgowych, takie jak potencjały związane ze zdarzeniami (ERP) 9 lub potencjały obrazowania motorycznego (MI) 10, mogą być również wbudowane w tę procedurę eksperymentalną.
Nasza procedura interakcji mózg-robot z humanoidalnymi robotami opiera się na Cerebot - sterowanej umysłem platformie robotów humanoidalnych - składającej się z systemu akwizycji danych EEG i humanoidalnego robota 11. System EEG jest w stanie rejestrować, wstępnie przetwarzać i wyświetlać sygnały biopotencjału pozyskane przez różne typy elektrod. Zapewnia wiele analogowych i cyfrowych wejść/wyjść i jest w stanie nagrywać do 128 kanałów sygnałowych jednocześnie z częstotliwością próbkowania 30 kHz z rozdzielczością 16-bitową. Zestawy programistyczne w C++ i MATLAB są łatwe do zaprojektowania przez użytkowników procedur eksperymentalnych. Humanoidalny robot ma 25 stopni swobody i jest wyposażony w wiele czujników, w tym 2 kamery, 4 mikrofony, 2 dalmierze sonarowe, 2 nadajniki i odbiorniki podczerwieni, 1 płytkę inercyjną, 9 czujników dotykowych i 8 czujników ciśnienia. Udostępnia Choregraphe i C++ SDK do tworzenia i edytowania ruchów oraz interaktywnych zachowań robotów.
Ogólnym celem tej metody jest ustanowienie eksperymentalnej procedury opartej na SSVEP poprzez integrację wielu programów, takich jak OpenViBE, Choregraph, oprogramowanie Central, a także programy opracowane przez użytkowników napisane w C++ i MATLAB, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi 11. Rysunek 1 przedstawia strukturę systemu. Dedykowany komputer do prezentacji bodźców (SPC) wyświetla interfejs użytkownika, aby dostarczyć badanemu bodźce wizualne, instrukcje i informacje zwrotne od otoczenia. Dedykowany komputer przetwarzający dane (DPC) uruchamia rejestrator danych i analizator danych offline w procesie szkolenia offline, a także uruchamia procesor sygnału online i kontroler robota do sterowania robotem humanoidalnym online. W porównaniu z innymi systemami sterowania opartymi na SSVEP, nasz system jest bardziej niezawodny, bardziej elastyczny, a przede wszystkim wygodniejszy do ponownego użycia i aktualizacji, ponieważ jest rozwijany poprzez integrację szeregu standardowych pakietów oprogramowania, takich jak OpenViBE, Choregraph, oprogramowanie Central oraz moduły napisane w C++ i MATLAB.
Poniższa procedura została sprawdzona i zatwierdzona przez komisję etyki szpitala medycznego Uniwersytetu Medycznego w Tianjin, a wszyscy badani wyrazili pisemną zgodę.

<table><tbody><tr><td>System akwizycji danych EEG Cerebus Blackrock</td><td>Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>Robot humanoidalny NAO</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>Czapka EEG</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 Żel przewodzący</td><td>Weaver i spółka</td><td>10-20-8</td><td></td></tr></tbody></table>

eksperymentalna procedura oparta na ssvep dla interakcji mózg-robot z robotami humanoidalnymi

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

Interakcja mózg-robot (BRI), która zapewnia innowacyjną ścieżkę komunikacji między człowiekiem a urządzeniem robotycznym za pomocą sygnałów mózgowych, jest perspektywiczna w pomaganiu niepełnosprawnym w ich codziennym życiu. Ogólnym celem naszej metody jest ustanowienie procedury eksperymentalnej opartej na SSVEP poprzez integrację wielu programów, takich jak OpenViBE, Choregraph i oprogramowanie centralne, a także programów opracowanych przez użytkownika napisanych w C++ i MATLAB, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi.
Osiąga się to poprzez pierwsze umieszczenie elektrod EEG na człowieku, aby zmierzyć reakcje mózgu za pomocą systemu akwizycji danych EEG. Interfejs użytkownika służy do wywoływania odpowiedzi SSVEP i wyświetlania informacji zwrotnych wideo w eksperymentach kontrolnych w pętli zamkniętej. Drugim krokiem jest zarejestrowanie sygnałów EEG osób po raz pierwszy, przeanalizowanie ich cech SSVEP w trybie offline i wytrenowanie klasyfikatora dla każdego pacjenta. Następnie procesor sygnałowy online i kontroler robota są konfigurowane do sterowania online robotem humanoidalnym. Ostatnim krokiem jest przeprowadzenie trzech konkretnych eksperymentów kontrolnych w pętli zamkniętej w różnych środowiskach, aby ocenić wydajność interakcji mózg-robot.
Zaletą tego podejścia jest jego niezawodność i elastyczność, ponieważ jest ono rozwijane przez integrację wielu programów. Wyniki pokazują, że przy użyciu tego podejścia badany jest w stanie wchodzić w interakcje z humanoidalnym robotem za pomocą sygnałów mózgowych. Dzięki temu sterowany umysłem robot humanoidalny może wykonywać typowe zadania, które są popularne w badaniach robotycznych i są pomocne w pomocy osobom niepełnosprawnym.

Przedstawione tutaj wyniki uzyskano od mężczyzny z korygowaną do normy ostrością widzenia. Rysunek 7 przedstawia procedurę przetwarzania danych EEG, obejmującą wyodrębnianie wielokanałowej epoki danych (Rysunek 7A), filtrowanie przestrzenne danych przy użyciu współczynników CCA (Rysunek 7B) oraz obliczanie znormalizowanej PSD (Rysunek 7C).
Rycina 8</stro...

Ogólnym celem tej metody jest ustanowienie eksperymentalnej procedury opartej na SSVEP poprzez integrację wielu programów komputerowych, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi, co jest perspektywiczne w pomaganiu chorym i starszym, a także wykonywaniu niehigienicznych lub niebezpiecznych prac.

Eksperymentalna procedura oparta na SSVEP dla interakcji mózg-robot z robotami humanoidalnymi

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

Ogólnym celem tej metody jest ustanowienie procedury eksperymentalnej opartej na S-S-V-E-P poprzez integrację wielu programów komputerowych, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi. Osiąga się to poprzez najpierw umieszczenie elektrod EEG na badanym człowieku w celu pomiaru odpowiedzi mózgu za pomocą systemu akwizycji danych EEG. Interfejs użytkownika służy do wywoływania odpowiedzi S-S-V-E-P oraz do wyświetlania sprzężenia zwrotnego w formie wideo w eksperymentach z kontrolą w pętli zamkniętej.Drugim krokiem jest rejestracja sygnałów EEG od osób badanych po raz pierwszy, aby przeanalizować cechy S-S-V-E-P w trybie offline oraz wytrenować klasyfikator dla każdego uczestnika. Następnie konfigurowany jest procesor sygnałów online oraz kontroler robota w celu sterowania humanoidem Robert w czasie rzeczywistym. W ostatnim kroku badany wykonuje trzy specyficzne eksperymenty sterowania w pętli zamkniętej w różnych środowiskach.W celu oceny wydajności interakcji mózg-Robert, wyniki przedstawiają znormalizowaną gęstość widmową mocy sygnałów mózgowych generowanych podczas wpatrywania się w bodźce migoczące z różnymi częstotliwościami. Nasz system przekłada te wzorce fal mózgowych na polecenia sterujące zachowaniami Roberta. Stosując to podejście, badany jest w stanie wchodzić w interakcję z humanoidem Robert za pomocą sygnałów mózgowych.Pozwala to humanoidowi Robertowi na wykonywanie typowych zadań, które są popularne w badaniach nad robotyką i pomagają w asystowaniu osobom z niepełnosprawnościami. Zaletą tego podejścia jest jego niezawodność i elastyczność, ponieważ zostało ono opracowane poprzez integrację wielu programów komputerowych, takich jak Open Wide Graph i oprogramowanie centralne, a także programów opracowanych przez użytkownika w językach C++ i MATLAB. Metoda ta umożliwia badanie interakcji mózg-robot w działaniu z wykorzystaniem robota humanoidalnego.Niniejsze badanie ma na celu pomoc osobom chorym i starszym, a także wykonywanie prac niehigienicznych lub niebezpiecznych. Moi współpracownicy, Lim i Han, zademonstrują teraz kolejno rozmieszczenie czujników EEG oraz metodę połączenia z człowiekiem i robotem. Wyjaśnij badanemu przebieg eksperymentu.Uzyskaj zgodę na udział w eksperymentach. Zmierz obwód głowy badanego i wybierz rozmiar czepka EEG, który jest najbliższy temu pomiarowi. Zmierz odległość od punktu NAS, przyjmując 10% tego dystansu jako punkt odniesienia do dopasowania czepka.Zaznacz punkt środkowy odległości wyznaczonej w okolicy wierzchołka czaszki w pozycji badanego. Dopasuj elektrodę cz czepek EEG na wierzchołku tak, aby oznaczenie 10% pokrywało się z punktem środkowym między elektrodami FP1 i FP2. Upewnij się, że elektrody fz, cz, PZ i OZ znajdują się na linii środkowej głowy.Nanieść żel przewodzący na elektrody referencyjne. Umieścić elektrody referencyjne na lewym i prawym OID, mocując je za pomocą taśmy medycznej. Zaciągnąć pasek stabilizujący.Umieść strzykawkę z tępym końcem w uchwytach elektrod i wstrzyknij żele przewodzące do każdej elektrody w następującej kolejności: najpierw do elektrody masy, a następnie do pięciu elektrod wykorzystywanych w eksperymencie O 2 0 1 OZ.PZ i cz. Posadź badanego na wygodnym krześle, 60 centimeter przed monitorem bodźców.Podłącz przewody elektrod do systemu akwizycji danych EEG. Skonfiguruj częstotliwość próbkowania na 1 kHz. Sprawdź jakość sygnału EEG na dedykowanym komputerze do przetwarzania danych.W przypadku problemów z konkretną elektrodą należy ponownie wstrzyknąć żele, aby dostosować impedancję kanału. Wyświetlaj na interfejsie użytkownika migające obrazy czterech robotów o różnych częstotliwościach jako bodźce wzrokowe.W przypadku pierwszej osoby badanej przeprowadź eksperyment treningowy w trybie offline, aby wyznaczyć jej wektory cech S-S-V-E-P oraz wytrenować klasyfikator. Przeprowadź 32 próby dla każdego badanego i rejestruj sygnały mózgowe w trakcie całego tego procesu. Na początku każdej próby losowo wybierz jeden bodziec jako cel i wyświetl nad nim żółtą strzałkę.Jedna sekunda. Następnie przez pięć sekund wyświetlaj migające cztery bodźce wizualne o różnych częstotliwościach na interfejsie użytkownika, prosząc badanego o skupienie uwagi na wybranym celu bodźca przy jednoczesnym ograniczeniu ruchów ciała do minimum. Po każdej próbie daj badanemu trzy sekundy na odpoczynek, a następnie rozpocznij kolejną próbę.Po zakończeniu wszystkich prób odczytaj zapisane dane. Pionowe pomarańczowe paski wskazują wyzwalacze wyboru bodźca jako cel; bodźce migoczą podczas pięciosekundowego okresu. W każdej próbie wyodrębnij trzysekundowy fragment danych pomiędzy drugą a piątą sekundą po wyzwalaczu.Oblicz współczynnik CCA dla wielokanałowych danych EEG z sygnałem referencyjnym y, który jest określony jako okresowy sygnał bodźca o określonych częstotliwościach. Metoda CCA wyznacza wektory kombinacji liniowych w celu maksymalizacji współczynnika korelacji między połączonymi sygnałami. Przeprowadź filtrację przestrzenną wielokanałowych danych EEG, wykorzystując obliczone współczynniki CCA.Oblicz gęstość widmową mocy danych z filtra za pomocą szybkiej transformaty Fouriera. Znormalizuj gęstość widmową mocy względem jej wartości średniej w zakresie od 3 Hz do 40 Hz. Następnie skalibruj parametry klasyfikacji dla każdej częstotliwości bodźca.Skonfiguruj parametry klasyfikacji dla badanego za pomocą otwartego okna ustawień wycierania. Uruchom procesor sygnałów online na komputerze do przetwarzania danych. Pozyskuj dane EEG z kanałów O 2 0 1 OZ PZ i CZ systemu EEG co 0,5 sekundy i wyodrębniaj segment danych z ostatnich trzech sekund do przetwarzania w trybie online.Przetwórz segment danych, korzystając z algorytmów opisanych w procesie offline. Oblicz gęstość widmową mocy w czasie rzeczywistym w celu klasyfikacji. Gdy amplituda jednej z częstotliwości cech przekroczy określony próg, stymulację migoczącą z odpowiadającą jej częstotliwością uznaje się za sklasyfikowaną. Jako cel SSV EEP, uruchom ludzkiego robota Noro i nawiąż połączenie wifi z komputerem do przetwarzania danych. Skonfiguruj i uruchom sterownik robota, który otrzymuje wyniki klasyfikacji z procesora sygnałowego online i steruje odpowiednimi zachowaniami humanoidalnego Roberta poprzez połączenie bezprzewodowe. Uruchom program choreografii na dedykowanym komputerze do prezentacji bodźców, aby wyświetlić na interfejsie użytkownika podgląd wideo na żywo z kamery Roberta.Poproś badanego o przeprowadzenie trzech specyficznych testów sterowania w pętli zamkniętej w różnych środowiskach, aby ocenić wydajność interakcji mózg-robot. Testy te są popularne w badaniach nad robotyką i pomagają w codziennym funkcjonowaniu osób niepełnosprawnych oraz starszych. Przed każdym nowym zadaniem poinformuj badanego o celu zadania oraz o dostępnych zachowaniach służących do sterowania.Wyniki te przedstawiają procedurę przetwarzania danych EEG, obejmującą ekstrakcję epok danych wielokanałowych, filtrowanie przestrzenne danych z wykorzystaniem współczynników CCA oraz obliczanie znormalizowanej gęstości widmowej mocy. Przedstawiono tutaj znormalizowaną gęstość widmową mocy uzyskaną w pojedynczych próbach, podczas których badany wpatrywał się w różne migoczące cele. W pierwszych eksperymentach z kontrolą w zamkniętej pętli sygnały mózgowe człowieka, Noah Roberta, zostały wykorzystane do sterowania przejściem przez przeszkody i wciśnięcia przełącznika światła na ścianie.Sygnały mózgowe były przetwarzane w czasie rzeczywistym. Aby sklasyfikować intencję sterowania badanego, osoba ta obserwowała podgląd wideo na żywo i kontrolowała zachowanie Roberta, wpatrując się w odpowiednie bodźce. Po dotarciu do przełącznika, badany sterował Robertem tak, aby zapalić światło.W drugim eksperymencie robot sterowany przez człowieka poruszał się w sposób ciągły w kierunku schodów, podążając za znakiem wyjścia na podstawie sprzężenia zwrotnego z obrazu wideo. W przypadku napotkania przechodnia, osoba sterująca robotem sprawiła, że robot powiedział „przepraszam” i poczekał, aż przechodzień ustąpi miejsca. Następnie robot został sterowany tak, aby kontynuować marsz w stronę schodów.W trzecim eksperymencie humanoidalny robot Robert był sterowany za pomocą pełnego ruchu ciała, aby sięgnąć po balon-cel, podnieść go i dostarczyć do dłoni badanego na podstawie obrazu wideo w czasie rzeczywistym. Ponieważ intencja człowieka jest postrzegana poprzez interpretację sygnałów EEG w czasie LU, krytyczne jest zweryfikowanie połączeń elektrycznych oraz jakości sygnałów EEG przed przeprowadzeniem eksperymentów. Innym powszechnym problemem podczas pozyskiwania sygnałów EEG są interferencje, artefakty oraz szumy.Wpływ takich zakłóceń jest ograniczany poprzez redukcję ruchów ciała badanego oraz wykorzystanie wielokanałowej techniki opartej na CCA. Nasza metoda jest skuteczna w projektowaniu różnorodnych procedur eksperymentalnych i elastyczna w badaniu algorytmów oraz technik interakcji mózg-robot (BRI), a w szczególności może być łatwo wykorzystana do eksploracji nowych zastosowań BRI.

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

JoVE Journal

Engineering

Inżynieria

Wykorzystujemy interfejs maszyna-mucha w pętli zamkniętej do badania ogólnych zasad kontroli neuronalnej.

Platforma eksperymentalna do badania wydajności interfejsów mózg-maszyna w pętli zamkniętej

W ostatnim czasie pojawiło się wiele perspektyw dla interaktywnych systemów człowiek-robot. W niniejszym artykule opisujemy integrację nowego urządzenia robotycznego z oprogramowaniem open source, które pozwala na szybkie stworzenie biblioteki funkcji interaktywnych. Następnie przedstawiamy zastosowanie kliniczne w ramach neurorehabilitacji.

Rehabilitacja haptyczno-graficzna: integracja robota z biblioteką środowisk wirtualnych i zastosowanie w terapii udarów mózgu

Opisano adaptację i zastosowanie robota haptycznego w systemie fMRI 3T.

Adaptacja robota haptycznego do obrazowania fMRI 3T

W tym artykule przedstawiono eksperymentalny framework do przeprowadzania eksperymentów w pętli zamkniętej, w którym przetwarzanie informacji (tj. kodowanie i dekodowanie) oraz uczenie się zespołów neuronalnych są badane podczas ciągłej interakcji z ciałem robota.

Eksperymenty neurorobotyczne w pętli zamkniętej w celu przetestowania właściwości obliczeniowych sieci neuronowych

W tym artykule przedstawiono nowatorski, tani interfejs człowiek-maszyna do interaktywnego systemu rehabilitacji równowagi po udarze. System integruje gotowe, niedrogie czujniki w kierunku wolicjonalnie sterowanego paradygmatu elektroterapii. Interfejs oprogramowania typu proof-of-concept jest demonstrowany na zdrowych ochotnikach.

Interfejs człowiek-maszyna integrujący niedrogie czujniki z systemem stymulacji elektrycznej nerwowo-mięśniowej do rehabilitacji równowagi po udarze

Tutaj opisujemy paradygmaty iluzji wirtualnej ręki i wirtualnej twarzy, które mogą być wykorzystane do badania samopercepcji/reprezentacji związanej z ciałem. Zostały one już wykorzystane w różnych badaniach, aby wykazać, że w określonych warunkach wirtualna ręka lub twarz mogą zostać włączone do reprezentacji ciała, co sugeruje, że reprezentacje ciała są raczej elastyczne.

Tworzenie iluzji wirtualnej ręki i wirtualnej twarzy w celu zbadania autoprezentacji

Prezentujemy protokoły i metody analiz do budowy współadaptacyjnych interfejsów, które strumieniują, parametryzują, analizują i modyfikują sygnały ludzkiego ciała i serca w zamkniętej pętli. Ta konfiguracja łączy sygnały pochodzące z obwodowego i ośrodkowego układu nerwowego osoby z zewnętrznymi bodźcami sensorycznymi, aby pomóc w śledzeniu zmian biofizycznych.

Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

Szacuje się, że 1 na 6 osób na całym świecie dozna udaru mózgu w swoim życiu, powodując długotrwałą niepełnosprawność, której mechanizmy rehabilitacji są nadal słabo poznane. W badaniu tym zaproponowano protokół oceny aktywacji mózgu za pomocą funkcjonalnej spektroskopii bliskiej podczerwieni (fNIRS) podczas sesji terapii robotycznej kończyn dolnych.

Eksperyment z wykorzystaniem funkcjonalnej spektroskopii w bliskiej podczerwieni i wspomaganych przez robota wielostawowych ruchów wskazujących kończyny dolnej

Obrazy motoryczne w środowisku wirtualnej rzeczywistości mają szerokie zastosowanie w systemach interfejsu mózg-komputer. Manuskrypt ten przedstawia wykorzystanie spersonalizowanych cyfrowych awatarów, które przypominają uczestników wykonujących ruchy wyobrażone przez uczestnika w środowisku rzeczywistości wirtualnej, aby zwiększyć immersję i poczucie posiadania ciała.

Wydajność obrazowania motorycznego dzięki ucieleśnionym cyfrowym bliźniakom w środowisku interfejsu mózg-komputer z obsługą rzeczywistości wirtualnej

To badanie wprowadza system interfejsu mózg-komputer (BCI) dla pacjentów po udarze, który łączy sygnały elektroencefalografii i elektrookulografii w celu kontrolowania ręki robota kończyny górnej, usprawniając codzienne czynności. W ocenie wykorzystano Berliński Dwuręczny Test na Udar Mózgu (BeBiTS).

Sterowany interfejsem mózg-komputer system robotyczny kończyny górnej do usprawniania codziennych czynności u pacjentów po udarze mózgu

Poznaj metodę SSVEP do interakcji mózg-robot z robotami humanoidalnymi wykorzystującą EEG i interfejsy mózg-komputer. Technika ta umożliwia sterowanie robotem za pomocą sygnałów mózgowych w czasie rzeczywistym.

Eksperymentalna procedura oparta na SSVEP dla interakcji mózg-robot z robotami humanoidalnymi

Przeglądaj więcej filmów