Eksperymentalna procedura oparta na SSVEP dla interakcji mózg-robot z robotami humanoidalnymi

Ogólnym celem tej metody jest ustanowienie procedury eksperymentalnej opartej na S-S-V-E-P poprzez integrację wielu programów komputerowych, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi. Osiąga się to poprzez najpierw umieszczenie elektrod EEG na badanym człowieku w celu pomiaru odpowiedzi mózgu za pomocą systemu akwizycji danych EEG. Interfejs użytkownika służy do wywoływania odpowiedzi S-S-V-E-P oraz do wyświetlania sprzężenia zwrotnego w formie wideo w eksperymentach z kontrolą w pętli zamkniętej.

Drugim krokiem jest rejestracja sygnałów EEG od osób badanych po raz pierwszy, aby przeanalizować cechy S-S-V-E-P w trybie offline oraz wytrenować klasyfikator dla każdego uczestnika. Następnie konfigurowany jest procesor sygnałów online oraz kontroler robota w celu sterowania humanoidem Robert w czasie rzeczywistym. W ostatnim kroku badany wykonuje trzy specyficzne eksperymenty sterowania w pętli zamkniętej w różnych środowiskach.

W celu oceny wydajności interakcji mózg-Robert, wyniki przedstawiają znormalizowaną gęstość widmową mocy sygnałów mózgowych generowanych podczas wpatrywania się w bodźce migoczące z różnymi częstotliwościami. Nasz system przekłada te wzorce fal mózgowych na polecenia sterujące zachowaniami Roberta. Stosując to podejście, badany jest w stanie wchodzić w interakcję z humanoidem Robert za pomocą sygnałów mózgowych.

Pozwala to humanoidowi Robertowi na wykonywanie typowych zadań, które są popularne w badaniach nad robotyką i pomagają w asystowaniu osobom z niepełnosprawnościami. Zaletą tego podejścia jest jego niezawodność i elastyczność, ponieważ zostało ono opracowane poprzez integrację wielu programów komputerowych, takich jak Open Wide Graph i oprogramowanie centralne, a także programów opracowanych przez użytkownika w językach C++ i MATLAB. Metoda ta umożliwia badanie interakcji mózg-robot w działaniu z wykorzystaniem robota humanoidalnego.

Niniejsze badanie ma na celu pomoc osobom chorym i starszym, a także wykonywanie prac niehigienicznych lub niebezpiecznych. Moi współpracownicy, Lim i Han, zademonstrują teraz kolejno rozmieszczenie czujników EEG oraz metodę połączenia z człowiekiem i robotem. Wyjaśnij badanemu przebieg eksperymentu.

Uzyskaj zgodę na udział w eksperymentach. Zmierz obwód głowy badanego i wybierz rozmiar czepka EEG, który jest najbliższy temu pomiarowi. Zmierz odległość od punktu NAS, przyjmując 10% tego dystansu jako punkt odniesienia do dopasowania czepka.

Zaznacz punkt środkowy odległości wyznaczonej w okolicy wierzchołka czaszki w pozycji badanego. Dopasuj elektrodę cz czepek EEG na wierzchołku tak, aby oznaczenie 10% pokrywało się z punktem środkowym między elektrodami FP1 i FP2. Upewnij się, że elektrody fz, cz, PZ i OZ znajdują się na linii środkowej głowy.

Nanieść żel przewodzący na elektrody referencyjne. Umieścić elektrody referencyjne na lewym i prawym OID, mocując je za pomocą taśmy medycznej. Zaciągnąć pasek stabilizujący.

Umieść strzykawkę z tępym końcem w uchwytach elektrod i wstrzyknij żele przewodzące do każdej elektrody w następującej kolejności: najpierw do elektrody masy, a następnie do pięciu elektrod wykorzystywanych w eksperymencie O 2 0 1 OZ.PZ i cz. Posadź badanego na wygodnym krześle, 60 centimeter przed monitorem bodźców.

Podłącz przewody elektrod do systemu akwizycji danych EEG. Skonfiguruj częstotliwość próbkowania na 1 kHz. Sprawdź jakość sygnału EEG na dedykowanym komputerze do przetwarzania danych.

W przypadku problemów z konkretną elektrodą należy ponownie wstrzyknąć żele, aby dostosować impedancję kanału. Wyświetlaj na interfejsie użytkownika migające obrazy czterech robotów o różnych częstotliwościach jako bodźce wzrokowe.

W przypadku pierwszej osoby badanej przeprowadź eksperyment treningowy w trybie offline, aby wyznaczyć jej wektory cech S-S-V-E-P oraz wytrenować klasyfikator. Przeprowadź 32 próby dla każdego badanego i rejestruj sygnały mózgowe w trakcie całego tego procesu. Na początku każdej próby losowo wybierz jeden bodziec jako cel i wyświetl nad nim żółtą strzałkę.

Jedna sekunda. Następnie przez pięć sekund wyświetlaj migające cztery bodźce wizualne o różnych częstotliwościach na interfejsie użytkownika, prosząc badanego o skupienie uwagi na wybranym celu bodźca przy jednoczesnym ograniczeniu ruchów ciała do minimum. Po każdej próbie daj badanemu trzy sekundy na odpoczynek, a następnie rozpocznij kolejną próbę.

Po zakończeniu wszystkich prób odczytaj zapisane dane. Pionowe pomarańczowe paski wskazują wyzwalacze wyboru bodźca jako cel; bodźce migoczą podczas pięciosekundowego okresu. W każdej próbie wyodrębnij trzysekundowy fragment danych pomiędzy drugą a piątą sekundą po wyzwalaczu.

Oblicz współczynnik CCA dla wielokanałowych danych EEG z sygnałem referencyjnym y, który jest określony jako okresowy sygnał bodźca o określonych częstotliwościach. Metoda CCA wyznacza wektory kombinacji liniowych w celu maksymalizacji współczynnika korelacji między połączonymi sygnałami. Przeprowadź filtrację przestrzenną wielokanałowych danych EEG, wykorzystując obliczone współczynniki CCA.

Oblicz gęstość widmową mocy danych z filtra za pomocą szybkiej transformaty Fouriera. Znormalizuj gęstość widmową mocy względem jej wartości średniej w zakresie od 3 Hz do 40 Hz. Następnie skalibruj parametry klasyfikacji dla każdej częstotliwości bodźca.

Skonfiguruj parametry klasyfikacji dla badanego za pomocą otwartego okna ustawień wycierania. Uruchom procesor sygnałów online na komputerze do przetwarzania danych. Pozyskuj dane EEG z kanałów O 2 0 1 OZ PZ i CZ systemu EEG co 0,5 sekundy i wyodrębniaj segment danych z ostatnich trzech sekund do przetwarzania w trybie online.

Przetwórz segment danych, korzystając z algorytmów opisanych w procesie offline. Oblicz gęstość widmową mocy w czasie rzeczywistym w celu klasyfikacji. Gdy amplituda jednej z częstotliwości cech przekroczy określony próg, stymulację migoczącą z odpowiadającą jej częstotliwością uznaje się za sklasyfikowaną.

Jako cel SSV EEP, uruchom ludzkiego robota Noro i nawiąż połączenie wifi z komputerem do przetwarzania danych. Skonfiguruj i uruchom sterownik robota, który otrzymuje wyniki klasyfikacji z procesora sygnałowego online i steruje odpowiednimi zachowaniami humanoidalnego Roberta poprzez połączenie bezprzewodowe. Uruchom program choreografii na dedykowanym komputerze do prezentacji bodźców, aby wyświetlić na interfejsie użytkownika podgląd wideo na żywo z kamery Roberta.

Poproś badanego o przeprowadzenie trzech specyficznych testów sterowania w pętli zamkniętej w różnych środowiskach, aby ocenić wydajność interakcji mózg-robot. Testy te są popularne w badaniach nad robotyką i pomagają w codziennym funkcjonowaniu osób niepełnosprawnych oraz starszych. Przed każdym nowym zadaniem poinformuj badanego o celu zadania oraz o dostępnych zachowaniach służących do sterowania.

Wyniki te przedstawiają procedurę przetwarzania danych EEG, obejmującą ekstrakcję epok danych wielokanałowych, filtrowanie przestrzenne danych z wykorzystaniem współczynników CCA oraz obliczanie znormalizowanej gęstości widmowej mocy. Przedstawiono tutaj znormalizowaną gęstość widmową mocy uzyskaną w pojedynczych próbach, podczas których badany wpatrywał się w różne migoczące cele. W pierwszych eksperymentach z kontrolą w zamkniętej pętli sygnały mózgowe człowieka, Noah Roberta, zostały wykorzystane do sterowania przejściem przez przeszkody i wciśnięcia przełącznika światła na ścianie.

Sygnały mózgowe były przetwarzane w czasie rzeczywistym. Aby sklasyfikować intencję sterowania badanego, osoba ta obserwowała podgląd wideo na żywo i kontrolowała zachowanie Roberta, wpatrując się w odpowiednie bodźce. Po dotarciu do przełącznika, badany sterował Robertem tak, aby zapalić światło.

W drugim eksperymencie robot sterowany przez człowieka poruszał się w sposób ciągły w kierunku schodów, podążając za znakiem wyjścia na podstawie sprzężenia zwrotnego z obrazu wideo. W przypadku napotkania przechodnia, osoba sterująca robotem sprawiła, że robot powiedział „przepraszam” i poczekał, aż przechodzień ustąpi miejsca. Następnie robot został sterowany tak, aby kontynuować marsz w stronę schodów.

W trzecim eksperymencie humanoidalny robot Robert był sterowany za pomocą pełnego ruchu ciała, aby sięgnąć po balon-cel, podnieść go i dostarczyć do dłoni badanego na podstawie obrazu wideo w czasie rzeczywistym. Ponieważ intencja człowieka jest postrzegana poprzez interpretację sygnałów EEG w czasie LU, krytyczne jest zweryfikowanie połączeń elektrycznych oraz jakości sygnałów EEG przed przeprowadzeniem eksperymentów. Innym powszechnym problemem podczas pozyskiwania sygnałów EEG są interferencje, artefakty oraz szumy.

Wpływ takich zakłóceń jest ograniczany poprzez redukcję ruchów ciała badanego oraz wykorzystanie wielokanałowej techniki opartej na CCA. Nasza metoda jest skuteczna w projektowaniu różnorodnych procedur eksperymentalnych i elastyczna w badaniu algorytmów oraz technik interakcji mózg-robot (BRI), a w szczególności może być łatwo wykorzystana do eksploracji nowych zastosowań BRI.