Artykuł metodologiczny

Wydajność obrazowania motorycznego dzięki ucieleśnionym cyfrowym bliźniakom w środowisku interfejsu mózg-komputer z obsługą rzeczywistości wirtualnej

2.6K wyświetleń

⸱

DOI:

10.3791/66859

⸱

10 maja 2024

 ,  ,  ,  ,  ,  ,  , 
1Department of Sensors and Biomedical Tech, School of Electronics Engineering, Vellore Institute of Technology, 2Department of Orthopaedic Surgery, University of Arizona, 3Jindal Institute of Behavioural Sciences, O. P. Jindal Global University, 4Soft Tissue Biomechanics Laboratory, Med-X Research Institute, School of Biomedical Engineering, Shanghai Jiao Tong University, 5Department of Occupational Science & Technology, University of Wisconsin-Milwaukee, 6Electrical Engineering, Collège Ahuntsic, 7Department of Mechanical Engineering, BioRobotics Lab, University of Wisconsin-Milwaukee

W tym artykule

Podsumowanie

Obrazy motoryczne w środowisku wirtualnej rzeczywistości mają szerokie zastosowanie w systemach interfejsu mózg-komputer. Manuskrypt ten przedstawia wykorzystanie spersonalizowanych cyfrowych awatarów, które przypominają uczestników wykonujących ruchy wyobrażone przez uczestnika w środowisku rzeczywistości wirtualnej, aby zwiększyć immersję i poczucie posiadania ciała.

Streszczenie

To badanie wprowadza innowacyjne ramy dla rehabilitacji neurologicznej poprzez integrację interfejsów mózg-komputer (BCI) i technologii wirtualnej rzeczywistości (VR) z dostosowaniem trójwymiarowych (3D) awatarów. Tradycyjne podejścia do rehabilitacji często nie angażują w pełni pacjentów, przede wszystkim ze względu na niezdolność do zapewnienia głęboko wciągającego i interaktywnego doświadczenia. Niniejsze badanie ma na celu wypełnienie tej luki poprzez wykorzystanie technik obrazowania motorycznego (MI), w których uczestnicy wizualizują ruchy fizyczne bez faktycznego wykonywania. Metoda ta wykorzystuje mechanizmy neuronalne mózgu, aktywując obszary zaangażowane w wykonywanie ruchów podczas wyobrażania sobie ruchów, ułatwiając w ten sposób proces regeneracji. Integracja immersyjnych możliwości VR z precyzją elektroencefalografii (EEG) w celu uchwycenia i interpretacji aktywności mózgu związanej z wyobrażonymi ruchami stanowi rdzeń tego systemu. Cyfrowe bliźniaki w postaci spersonalizowanych awatarów 3D są wykorzystywane w celu znacznego zwiększenia poczucia zanurzenia w wirtualnym środowisku. To wzmożone poczucie ucieleśnienia ma kluczowe znaczenie dla skutecznej rehabilitacji, mającej na celu wzmocnienie więzi między pacjentem a jego wirtualnym odpowiednikiem. W ten sposób system ma na celu nie tylko poprawę wydajności obrazowania motorycznego, ale także stara się zapewnić bardziej angażujące i skuteczne doświadczenie rehabilitacji. Dzięki zastosowaniu BCI w czasie rzeczywistym, system pozwala na bezpośrednie przełożenie wyobrażonych ruchów na wirtualne działania wykonywane przez awatara 3D, oferując natychmiastową informację zwrotną dla użytkownika. Ta pętla sprzężenia zwrotnego jest niezbędna do wzmocnienia ścieżek neuronowych zaangażowanych w kontrolę motoryczną i regenerację. Ostatecznym celem opracowanego systemu jest znaczne zwiększenie efektywności ćwiczeń obrazowania motorycznego poprzez uczynienie ich bardziej interaktywnymi i reagującymi na procesy poznawcze użytkownika, a tym samym utorowanie nowej ścieżki w dziedzinie rehabilitacji neurologicznej.

Wprowadzenie

Paradygmaty rehabilitacji dla pacjentów z zaburzeniami neurologicznymi przechodzą transformacyjną zmianę dzięki integracji zaawansowanych technologii, takich jak interfejsy mózg-komputer (BCI) i immersyjna rzeczywistość wirtualna (VR), oferując bardziej zniuansowaną i skuteczną metodę wspierania powrotu do zdrowia. Obrazowanie motoryczne (MI), technika leżąca u podstaw rehabilitacji opartej na BCI, polega na mentalnym ćwiczeniu ruchów fizycznych bez faktycznego wykonywania ćwiczeń motorycznych1. MI wykorzystuje mechanizm neuronalny, w którym wyobrażenie sobie ruchu wyzwala wzorzec aktywności mózgu, który ściśle odzwierciedla to, jak podczas wykonywania samej czynności fizycznej2,3,4. W szczególności angażowanie się w MI prowadzi do zjawiska znanego jako desynchronizacja związana ze zdarzeniami (ERD) w pasmach częstotliwości alfa (8-13 Hz) i beta (13-25 Hz) aktywności elektrycznej mózgu5,6,7. ERD wskazuje na tłumienie podstawowych rytmów mózgu, wzorzec obserwowany również podczas rzeczywistego ruchu, zapewniając w ten sposób neuronalny substrat do stosowania MI w ramach rehabilitacji wspomaganej BCI7. Takie podobieństwo w aktywacji kory mózgowej między MI a ruchem fizycznym sugeruje, że MI może skutecznie stymulować sieci neuronowe zaangażowane w kontrolę motoryczną, co czyni go cennym narzędziem dla pacjentów z deficytami motorycznymi8. Co więcej, praktyka MI została rozszerzona poza zwykłą próbę mentalną i obejmuje strategie obserwacji działania9. Obserwacja ruchu części ciała lub działań związanych z zadaniem u innych osób może aktywować sieć neuronów lustrzanych (MNN), grupę neuronów, które reagują zarówno na obserwację działania, jak i na jego wykonanie9. Wykazano, że aktywacja MNN poprzez obserwację indukuje plastyczność kory mózgowej, o czym świadczą różne metody neuroobrazowania, w tym funkcjonalny MRI10, pozytonowa tomografia emisyjna11 i przezczaszkowa stymulacja magnetyczna12. Dowody potwierdzają pogląd, że trening zawału mięśnia sercowego, wzmocniony obserwacją działania, może prowadzić do znacznej adaptacji neuronalnej i powrotu do zdrowia u osób dotkniętych chorobą.

Technologia wirtualnej rzeczywistości zrewolucjonizowała sferę rehabilitacji opartej na MI, oferując wciągające środowisko, które zwiększa poczucie posiadania ciała i zaciera różnice między światem rzeczywistym a wirtualnym13,14,15. Immersyjna jakość VR sprawia, że jest to skuteczne narzędzie do obserwacji działań i ćwiczenia obrazów motorycznych, ponieważ pozwala uczestnikom postrzegać wirtualne środowisko jako rzeczywiste15. Badania wykazały, że urządzenia VR mają wyraźniejszy wpływ na trening MI w porównaniu z tradycyjnymi wyświetlaczami monitorów 2D15,16. Takie odkrycia są potwierdzone zwiększoną aktywnością neuronalną, taką jak zwiększone współczynniki amplitudy ERD w korze sensomotorycznej, podkreślając korzyści płynące z wyższego poziomu zanurzenia w stymulowaniu aktywności mózgu podczas wizualnie kierowanych ćwiczeń MI16. System pomaga w poprawie wydajności MI w zadaniach obejmujących ruchy ramion lub kończyn, dostarczając bezpośrednich informacji zwrotnych, usprawniając w ten sposób proces rehabilitacji16,17. Synergia między MI i VR kładzie nacisk na integrację działań sensorycznych, percepcyjnych, poznawczych i motorycznych18,19. Połączenie to było szczególnie korzystne dla osób, które przeżyły udar mózgu20,21 i weteranów wojennych22, ponieważ badania wykazały, że integracja VR z protokołami rehabilitacji opartymi na zawale mięśnia sercowego może znacznie skrócić czas rehabilitacji i poprawić wyniki rekonwalescencji. Unikalną cechą VR w rehabilitacji jest jej zdolność do tworzenia poczucia obecności w specjalnie zaprojektowanym środowisku wirtualnym, co zwiększa doświadczenie rehabilitacji, które jest dodatkowo wzmocnione przez włączenie wirtualnych awatarów reprezentujących ciało użytkownika, co jest coraz częściej wykorzystywane w badaniach rehabilitacji ruchowej23. Te awatary oferują realistyczne trójwymiarowe odwzorowanie ruchów kończyn, pomagając w zawale mięśnia sercowego i znacząco wpływając na aktywację kory ruchowej. Umożliwiając uczestnikom wizualizację ich wirtualnych jaźni wykonujących określone zadania, VR nie tylko wzbogaca doświadczenie MI, ale także sprzyja szybszej i skuteczniejszej reorganizacji neuronów i procesowi regeneracji24. Implementacja wirtualnych awatarów i symulowanych środowisk w treningu MI kładzie nacisk na naturalne i zintegrowane wykorzystanie wirtualnych ciał w immersyjnych wirtualnych światach.

Pomimo niezwykłych zalet opartej na BCI kontroli awatarów 3D w MI do rehabilitacji, pozostaje znaczące ograniczenie w dominującym stosowaniu metodologii offline. Obecnie większość aplikacji BCI obejmuje przechwytywanie wcześniej zarejestrowanych danych elektroencefalograficznych (EEG), które są następnie wykorzystywane do manipulowania awatarem24,25. Nawet w scenariuszach, w których uzyskuje się kontrolę awatarów w czasie rzeczywistym, te awatary są często ogólne i nie przypominają uczestników, których reprezentują23. To ogólne podejście nie wykorzystuje krytycznej okazji do pogłębienia immersji i poczucia posiadania ciała, co jest kluczowe dla skutecznej rehabilitacji24. Stworzenie awatara 3D, który dokładnie odzwierciedla podobieństwo do obiektu, może znacznie zwiększyć immersyjne wrażenia z tego doświadczenia16. Wizualizując siebie w wirtualnym świecie, uczestnicy mogą stworzyć silniejsze połączenie między swoimi wyobrażonymi i rzeczywistymi ruchami, potencjalnie prowadząc do bardziej wyraźnych wzorców ERD, a tym samym do skuteczniejszej adaptacji neuronalnej i regeneracji16. Postępując w kierunku kontroli spersonalizowanych awatarów 3D w czasie rzeczywistym, dziedzina BCI i VR może znacznie poprawić paradygmaty rehabilitacji, oferując bardziej zniuansowaną, angażującą i skuteczną metodę powrotu do zdrowia pacjenta.

Obecny manuskrypt przedstawia tworzenie, projektowanie i technologiczne aspekty zarówno sprzętu, jak i oprogramowania opartego na VR sterowania BCI w czasie rzeczywistym awatarów 3D, podkreślając jego innowacyjne wyniki, które wspierają jego integrację z ustawieniami rehabilitacji ruchowej. Proponowany system będzie wykorzystywał elektroencefalografię (EEG) do przechwytywania sygnałów obrazowania motorycznego generowanych przez badanego, które następnie będą wykorzystywane do kontrolowania ruchów i działań awatara w czasie rzeczywistym. Obecne podejście połączy zaawansowane możliwości technologii VR z precyzją EEG w rozpoznawaniu i interpretowaniu aktywności mózgu związanej z wyobrażonymi ruchami, mając na celu stworzenie bardziej angażującego i skutecznego interfejsu dla użytkowników do interakcji ze środowiskami cyfrowymi za pomocą siły ich myśli.

Protokół

Niniejsze badanie ma na celu sprawdzenie możliwości sterowania awatarem 3D w czasie rzeczywistym w środowisku VR przy użyciu sygnałów MI rejestrowanych za pomocą EEG. Badanie koncentruje się na zwiększeniu imersji oraz poczucia własności ciała poprzez personalizację awatara w taki sposób, aby ściśle przypominał on badaną osobę. Protokół otrzymał zatwierdzenie Komisji Rewizyjnej Vellore Institute of Technology. Uczestnicy wyrazili pisemną świadomą zgodę po zapoznaniu się z celem badania, procedurami i potencjalnymi ryzykami.

1. Układ eksperymentalny

UWAGA: Należy upewnić się, że system zawiera wszystkie komponenty przedstawione na schemacie układu eksperymentalnego na Rysunku 1 (wykorzystany sprzęt znajduje się w Tabeli materiałów).

  1. Tworzenie awatara 3D
    1. Modelowanie awatara
      1. Dzień przed zbieraniem danych należy wykonać kilka fotografii twarzy pod różnymi kątami oraz pobrać precyzyjne pomiary ciała od każdego uczestnika.
      2. Kliknij Modeling Software, aby uruchomić program. Natychmiast po otwarciu znajdź suwak płci (Gender). Dostosuj ten suwak do płci modelu, którego chcesz stworzyć.
      3. Przejdź do karty modelowania (Modelling Tab) na górze ekranu i kliknij ją, aby uzyskać dostęp do opcji dostosowywania ciała.
      4. Użyj suwaków w poszczególnych sekcjach, takich jak tułów (Torso), ramiona (Arms), nogi (Legs) itp., aby wymodelować ciało. Skup się na następujących podstawowych pomiarach: wzrost (Height), klatka piersiowa/biust (Chest/Bust), talia (Waist), biodra (Hips), długość nóg (Leg Length) oraz długość ramion (Arm Length).
      5. Kliknij kartę Pose/Animate i wybierz domyślny szkielet dla podstawowych animacji. Przejdź do menu Plik (Files) na górze, wybierz Export, a następnie wybierz format .mhx2 w celu zapewnienia kompatybilności z oprogramowaniem do animacji. Upewnij się, że wybrałeś opcję Export with Rig, aby dołączyć szkielet. Wybierz folder docelowy, nazwij plik i kliknij Eksportuj (Export).
      6. Otwórz oprogramowanie do animacji. Przejdź do File > Import i wybierz .mhx2 lub oczekiwany format. Przejdź do zapisanego pliku, zaznacz go i zaimportuj do programu.
      7. Przejdź do menu Edycja (Edit), wybierz Preferences > Add-ons i upewnij się, że odpowiednia wtyczka do budowania twarzy jest włączona.
      8. W widoku 3D przełącz się na predefiniowany układ udostępniony przez wtyczkę lub przejdź do panelu wtyczki, zazwyczaj znajdującego się na półce narzędzi po lewej stronie.
      9. Kliknij Create a New Head w panelu wtyczki, aby rozpocząć tworzenie modelu głowy. Użyj przycisku Add photo, aby zaimportować zdjęcia uczestnika. Do precyzyjnego modelowania wykorzystaj profile przedni i boczny.
      10. Postępuj zgodnie z instrukcjami, aby dopasować punkty na zdjęciach do odpowiadających im punktów na modelu 3D. Wtyczka dostosuje następnie model głowy do rysów twarzy uczestnika. Po uzyskaniu satysfakcjonującego podobieństwa sfinalizuj model głowy.
      11. Ręcznie ustaw model głowy tak, aby odpowiadał szyi modelu ciała. Dostosuj skalę i rotację głowy, aby uzyskać płynne dopasowanie.
      12. Użyj narzędzia Snap (Shift+Tab), aby precyzyjnie wyrównać wierzchołki szyi na głowie z wierzchołkami na ciele.
      13. Po wyrównaniu połącz głowę i ciało, zaznaczając obie siatki i naciskając Ctrl+J, aby połączyć je w jeden obiekt.
      14. Zaimportuj lub wymodeluj parę bongo i ustaw je przed modelem na odpowiedniej wysokości.
    2. Animowanie awatara
      1. Przełącz się w tryb pozy (Pose Mode) dla modelu z rigiem. W klatce 1 zaznacz wszystkie kości i wstaw klatkę kluczową (używając klawisza I) dla LocRotScale, aby zapisać ich pozycje początkowe.
      2. Przesuń oś czasu do klatki 30, aby ustawić lewą rękę do uderzenia w bongo.
      3. Przesuń i obróć armaturę lewej ręki, aby zasymulować uderzenie w bongo. Wstaw klatkę kluczową dla tych kości. Powtórz ten proces, aby przywrócić rękę do pozycji wyjściowej w klatce 60, wstawiając kolejną klatkę kluczową w celu zakończenia akcji.
      4. Przesuń oś czasu do klatki 90, w której zaczyna się ruch prawej ręki. Podobnie jak w przypadku lewej ręki, dostosuj pozycję i rotację prawej ręki, aby zasymulować uderzenie w drugie bongo, i wstaw klatkę kluczową.
      5. Przywróć rękę do pozycji wyjściowej i wstaw klatkę kluczową, aby zakończyć ruch w klatce 150.
      6. Przesuń suwak osi czasu, aby przejrzeć animację. Dostosuj ją w razie potrzeby, aby uzyskać płynniejszy ruch lub lepszy timing między uderzeniami w bongo. Zapisz plik.
  2. Konfiguracja sprzętu
    1. Zmontuj 16-kanałowy system akwizycji danych EEG, mocując moduł Daisy z 8 kanałami EEG na górze płyty z 8 kanałami EEG.
    2. Podłącz elektrodę referencyjną za pomocą kabla rozdzielacza Y do dolnego pinu referencyjnego na płycie Daisy oraz do dolnego pinu referencyjnego na płycie na dole, z których oba są oznaczone jako SRB.
    3. Podłącz elektrodę uziemiającą do pinu BIAS na dolnej płycie.
    4. Podłącz 16 elektrod EEG do pinów dolnej płyty oznaczonych jako N1P-N8P oraz do dolnych pinów modułu Daisy oznaczonych jako N1P-N8P.
    5. Włóż elektrody do czepka bezżelowego w oznaczonych lokalizacjach, zgodnie z międzynarodowym systemem 10-20 rozmieszczenia elektrod, z elektrodami oznaczonymi jako FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 i T4.
    6. Namocz 18 gąbek przeznaczonych dla elektrod EEG w roztworze soli fizjologicznej (5 g chlorku sodu zmieszanego z 200 mL wody z kranu) przez 15 min.
    7. Włóż namoczone gąbki pod każdą elektrodę, aby zapewnić kontakt między skórą głowy a elektrodą.
    8. Poproś uczestników o wygodne usiądzenie w cichym pomieszczeniu. Załóż bezżelowy czepek EEG na skórę głowy uczestnika, upewniając się, że czepek jest poprawnie wyrównany i pasuje do uszu uczestnika.
    9. Podłącz dongle USB do laptopa. Otwórz GUI EEG, kliknij EEG system, a w opcji źródła danych (Data Source) wybierz Serial (from Dongle), 16 channels, and AUTO-CONNECT.
    10. W ekranie akwizycji danych (Data Acquisition) wybierz widżet sygnału, aby sprawdzić jakość sygnału podłączonych elektrod, weryfikując optymalny poziom impedancji <10 kΩ w każdym punkcie przylegania elektrody26.
    11. Jeśli impedancja jest wyższa niż 10 kΩ, dodaj kilka kropli roztworu soli fizjologicznej do gąbki pod elektrodą. Po sprawdzeniu impedancji zamknij GUI.
    12. Otwórz oprogramowanie Acquisition Server, wybierz odpowiednią płytę EEG w sekcji Driver i kliknij Connect > Play, aby nawiązać połączenie z systemem EEG.
    13. Przygotuj gogle VR, dezynfekując je chusteczkami i zakładając je uczestnikowi na głowę ponad czepek EEG, aby umożliwić imersyjną interakcję podczas rejestracji danych EEG.
  3. Konfiguracja gry
    UWAGA: Poniższe instrukcje opisują konfigurację dwóch scenariuszy w silniku gier z wykorzystaniem Open Sound Control (OSC): jeden do treningu wyobrażeniowego ruchu (sprzężenie w przód / feedforward) i drugi do testowania wyobrażeniowego ruchu (sprzężenie zwrotne / feedback). Scenariusz feedforward trenuje użytkowników w wyobrażeniowym ruchu poprzez obserwację animacji wyzwalanych komunikatami OSC. Scenariusz feedback testuje skuteczność wyobrażeniowego ruchu poprzez animowanie wyobrażonych ruchów użytkownika na podstawie danych wejściowych OSC.
    1. Otwórz oprogramowanie silnika gier i wybierz Motor Imagery Training Project. Włącz obsługę VR: Przejdź do Edit > Project Settings > Player > XR Settings, zaznacz Virtual Reality Supported i upewnij się, że gogle VR są wymienione w SDK wirtualnej rzeczywistości.
    2. Usuń domyślną kamerę i przeciągnij kamerę VR z pakietu integracji VR do sceny.
    3. Umieść zaimportowany plik animacji w scenie. Dostosuj skalę i orientację w razie potrzeby. Upewnij się, że obiekt GameObject OSCListener z predefiniowanymi skryptami jest ustawiony tak, aby wyzwalać animacje modelu dla ruchów lewej i prawej ręki na podstawie komunikatów OSC, symulując uderzanie w bongo w ramach treningu wyobrażeniowego ruchu.
    4. Otwórz File > Build Settings w oprogramowaniu silnika gier. Wybierz PC, Mac & Linux Standalone, target Windows, a następnie kliknij Build and Run.
    5. W przypadku projektu testowania wyobrażeniowego ruchu wykonaj kroki podobne do tych z projektu treningu. Użyj obiektu GameObject OSCListener skonfigurowanego ze skryptami zaprojektowanymi do odbierania sygnałów OSC wskazujących na wyobrażone ruchy rąk uczestnika, wyzwalając odpowiednie animacje dla projektu testowego.

Schemat eksperymentu EEG w rzeczywistości wirtualnej; gogle VR, czepek EEG, analiza danych na laptopie; badanie fal mózgowych.
Rycina 1: Układ VR-BCI. Cały układ VR-BCI przedstawia uczestnika w goglach VR i czepku EEG. Uczestnicy oglądali spersonalizowany awatar 3D w środowisku wirtualnym i kontrolowali jego działania za pomocą sygnałów mózgowych przesyłanych bezprzewodowo do komputera. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

2. Projekt eksperymentalny

  1. Etap weryfikacji sygnału
    1. Otwórz narzędzie programistyczne do projektowania i uruchamiania scenariuszy wyobrażeń ruchowych, przejdź do sekcji Plik i załaduj sześć scenariuszy Motor-Imagery-BCI zatytułowanych: Weryfikacja sygnału (Signal Verification), Akwizycja (Acquisition), Trenowanie CSP (CSP Training), Trenowanie klasyfikatora (Classifier Training), Testowanie (Testing) oraz Macierz pomyłek (Confusion Matrix).
    2. Przejdź do scenariusza weryfikacji sygnału. Zastosuj filtr pasmowo-przepustowy w zakresie od 1 do 40 Hz o rzędzie filtra 4 do surowych sygnałów, korzystając z modułów projektowych (designer boxes) w celu zoptymalizowanego przetwarzania sygnału.
  2. Etap szkolenia
    1. Poprowadź i poinstruuj uczestników w wykonaniu zadań z zakresu wyobrażeni treningu motorycznego, polegających na wyobrażaniu sobie ruchów dłoni w odpowiedzi na sygnały wizualne.
    2. Otwórz plik do treningu wyobrażeń ruchowych i wyświetl za pomocą gogli VR przygotowany awatar 3D stojący nad zestawem bongosów.
    3. Przejdź do scenariusza Akwizycji (Acquisition) i dwukrotnie kliknij Stymulator wyobrażeń ruchowych według metody Graz aby skonfigurować urządzenie.
    4. Skonfiguruj 50 prób trwających po 5 s (sygnał – 1,25 s i MI – 3,75 s) dla ruchów zarówno lewej, jak i prawej ręki, uwzględniając 20-sekundowy okres bazowy, a następnie 10-sekundowe przerwy po każdych 10 próbach w celu uniknięcia zmęczenia psychicznego.
    5. Skonfiguruj próby dla lewej i prawej ręki tak, aby były one randomizowane i poprzedzone sygnałem wskazującym rękę, której ruch ma zostać wyobrażony.
    6. Podłącz kontroler OSC, podając adres IP oraz port, aby przesłać sygnał wyzwalający wyobrażony ruch ręki do programu silnika gry służącego do treningu wyobrażeń ruchowych.
    7. Poproś uczestników o wyobrażenie sobie wykonywania ruchu ręką zgodnie z ruchem awatara 3D, zachowując to samo tempo, w którym awatar uderza w bongo odpowiednią ręką, kierując się wskazówką tekstową informującą, którą rękę należy sobie wyobrazić.
  3. Trening CSP i LDA
    1. Po zakończeniu akwizycji należy uruchomić scenariusz CSP Training, aby przeanalizować dane EEG z etapu akwizycji i obliczyć wspólne wzorce przestrzenne (CSP), tworząc filtry pozwalające odróżnić wyobrażanie sobie ruchu lewej od prawej ręki.
    2. Po treningu CSP przejdź do scenariusza treningu klasyfikatora i uruchom go, aby wykorzystać analizę dyskryminacyjną (LDA) z zastosowaniem filtrów CSP w celu efektywnej klasyfikacji zadań, przygotowując system do sterowania awatarem w czasie rzeczywistym.
  4. Etap testowania
    1. Przejdź do scenariusza testowego, w którym uczestnicy sterują swoimi awatarami 3D w czasie rzeczywistym przy użyciu technologii interfejsu mózg-komputer (BCI).
    2. Wczytaj do odpowiednich pól klasyfikatory wytrenowane podczas poprzedniego scenariusza na danych EEG zarejestrowanych w czasie, gdy uczestnicy wyobrażali sobie ruchy dłoni, aby interpretować te wyobrażone działania w czasie rzeczywistym.
    3. Należy upewnić się, że system EEG oraz konfiguracja VR są sprawne i prawidłowo skonfigurowane zgodnie z ustawieniami dla etapu szkolenia.
    4. Przeszkol uczestników w zakresie procedury testowej, podkreślając konieczność wyraźnego wyobrażania sobie ruchów dłoni (uderzania w bongo lewą lub prawą ręką) zgodnie z treścią wskazówek tekstowych.
    5. Podobnie jak na etapie treningu, przeprowadź 20 prób dla każdego uczestnika, podzielonych po równo pomiędzy wyobrażanie sobie ruchów lewej i prawej ręki i przedstawionych w kolejności randomizowanej.
    6. Podłącz i skonfiguruj kontroler OSC, aby przesyłać informacje o sygnałach (cues), które zostaną wyświetlone w programie silnika gry w formie tekstu wskazującego, która dłoń ma zostać odwzorowana.
    7. Połącz się z innym urządzeniem OSC, aby przesłać przewidzianą wartość dla ruchów lewej i prawej ręki do programu silnika gry, aby odtworzyć odpowiadającą animację na podstawie ręki wyobrażonej przez uczestnika.
    8. Uruchom scenariusz testowy. Uruchom program silnika gry do testowania wyobrażeń ruchowych (Motor Imagery Testing).

3. Gromadzenie i analiza danych

  1. W sposób ciągły rejestruj dane EEG oraz wyniki klasyfikatora podczas etapów akwizycji i testowania w eksperymencie, z częstotliwością próbkowania danych wynoszącą 125 Hz.
  2. Przejdź do scenariusza macierzy pomyłek i załaduj pozyskany plik EEG w polu opisanym jako Generic stream reader dla każdego uczestnika, zarówno dla etapu akwizycji, jak i etapu treningu.
  3. Uruchom scenariusz, aby uzyskać macierz pomyłek w celu oceny dokładności interpretacji sygnałów wyobrażeń ruchowych przez system BCI.
  4. Zbierz opinie od uczestników dotyczące ich doświadczeń w zakresie łatwości obsługi awatara, możliwości sterowania, poziomu imersji oraz komfortu podczas noszenia czepka EEG i gogli VR.

Wyniki

Przedstawione wyniki pochodzą od 5 osób, które stosowały opisany powyżej protokół. W badaniu wzięło udział łącznie 5 zdrowych dorosłych (3 kobiety) w wieku od 21 do 38 lat.

Indywidualna wydajność klasyfikacji dla każdego uczestnika w warunkach zarówno treningu, jak i testowania wyobrażeń ruchowych przedstawiono na Rysunku 2. Aby ocenić dokładność klasyfikatora w rozróżnianiu sygnałów MI lewej i prawej strony podczas sesji treningowych i testowych, obliczono średnią macierz pomyłek dla wszystkich badanych (patrz Rysunek 3).

Wagi CSP obliczone dla wyobrażeń ruchowych lewej i prawej ręki podczas sesji treningowej zostały przedstawione jako wzorzec topograficzny dla reprezentatywnego uczestnika na Rysunku 4A. Ponadto, dla tego samego uczestnika przeprowadzono analizę czasowo-częstotliwościową danych EEG zebranych z elektrody C4, umieszczonej nad contralateralnym prawym obszarem sensorimotorycznym odpowiadającym lewej ręce, oraz elektrody C3, znajdującej się nad lewym obszarem sensorimotorycznym dla prawej ręki. Wykresy czasowo-częstotliwościowe służące do identyfikacji perturbacji widmowych związanych z zdarzeniami (ERSP), które ukazują, jak amplituda częstotliwości z zakresu od 8 do 30 Hz zmienia się dynamicznie w czasie podczas epoki, przedstawiono na Rysunku 4B w ramach sesji treningu wyobrażeń ruchowych. Koncentrując się na pasmach alfa (8-12 Hz) i beta (13-30 Hz), wartości ERSP dla każdej epoki zostały znormalizowane poprzez podzielenie ich przez widma bazowe, a następnie z tych znormalizowanych wartości obliczono średnią ERSP.

Ponadto opinie uczestników dotyczące komfortu i łatwości użytkowania czepka EEG oraz gogli VR były w przeważającej mierze pozytywne. Uczestnicy wyrazili szczególny entuzjazm w związku z kontrolą swoich awatarów 3D w czasie rzeczywistym. Zauważyli oni jednak, że akcji uderzania w bongo mógłby towarzyszyć sygnał dźwiękowy w celu zwiększenia imersji.

Wykres radarowy wyobrażeń ruchowych porównujący wyniki treningu i testowania; metryki dokładności LDA, TP, FP, TN, FN.
Rysunek 2: Procentowa dokładność dla każdego uczestnika podczas sesji treningowych i testowych wyobrażeń ruchowych. Wskaźnik prawdziwie dodatnich (TP) pokazuje proporcję sygnałów wyobrażeń ruchowych (MI), które model klasyfikatora poprawnie zidentyfikował jako sygnały MI. Wskaźnik fałszywie dodatnich (FP) wskazuje, jak często sygnały lewego MI były błędnie klasyfikowane jako sygnały prawego MI. Wskaźnik fałszywie ujemnych (FN) ujawnia proporcję rzeczywistych sygnałów lewego MI, których model nie zdołał wykryć. Na koniec, wskaźnik prawdziwie ujemnych (TN) wskazuje proporcję sygnałów prawego MI, które model poprawnie rozpoznał. S1, S2, S3, S4 i S5 oznaczają pięciu uczestników. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Ocena wyobraźni ruchowej; macierze pomyłek; trening vs. testowanie; analiza precyzji, pełności i dokładności.
Rycina 3: Średnie macierze pomyłek dla wydajności klasyfikacji podczas sesji treningowych i testowych wyobraźni ruchowej (MI). Ogólna średnia dokładność odzwierciedla zdolność modelu do poprawnej klasyfikacji sygnałów MI zarówno dla strony lewej, jak i prawej. Prosimy kliknąć tutaj, aby wyświetlić większą wersję tej ryciny.

Analiza EEG z filtrem CSP, spektrogram czasowo-częstotliwościowy; wzorce fal mózgowych, badanie ERP, dane neuronalne.
Rycina 4: Filtr CSP, wzorzec oraz wykresy czasowo-częstotliwościowe dla obu rąk podczas sesji treningu wyobrażeń ruchowych u reprezentatywnego uczestnika. (A) Rycina przedstawia filtry CSP dla S1, które maksymalnie różnicują dwie klasy (lewą i prawą) na podstawie wariancji. (B) Wykres czasowo-częstotliwościowy dla S1. Niebieskie obszary wskazują desynchronizację związaną z zdarzeniem. W czasie 0 ms wyświetlono sygnał do wyobrażenia sobie lewej lub prawej ręki przez czas 1250 ms. Po sygnale uczestnik wyobrażał sobie ruch uderzania w bongo odpowiednią ręką. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Dyskusja

Zastosowanie zawału mięśnia sercowego w połączeniu z technologią VR oferuje obiecującą drogę rehabilitacji poprzez wykorzystanie naturalnych mechanizmów mózgu do planowania i realizacji działań motorycznych. Zdolność MI do indukowania desynchronizacji związanej ze zdarzeniami w określonych pasmach częstotliwości mózgu, odzwierciedlająca aktywność neuronalną ruchu fizycznego 2,3,4, zapewnia solidne ramy do angażowania i wzmacniania sieci neuronowych zaangażowanych w kontrolę motoryczną8. Proces ten jest dodatkowo wzmocniony przez immersyjną jakość VR, która nie tylko wzmacnia poczucie obecności i posiadania ciała, ale także ułatwia wizualizację ruchów, wzbogacając w ten sposób doświadczenie MI16.

Opracowanie spersonalizowanych awatarów 3D, które bardzo przypominają tematy, które reprezentują, stanowi godną uwagi innowację w tej dziedzinie 13,14,15. Podejście to jest koncepcyjnie zgodne z pracami Skola i wsp.27 nad współadaptacyjnym treningiem MI-BCI z wykorzystaniem zadań grywalizacyjnych w środowisku VR. Jednak protokół ten wprowadza znaczne zróżnicowanie poprzez zastosowanie pełnego awatara 3D, ściśle odzwierciedlającego wygląd uczestnika, w przeciwieństwie do perspektywy punktu widzenia skoncentrowanej na dłoniach stosowanych przez Skolę i wsp. Zapewniając wizualną reprezentację wyobrażonych ruchów użytkownika w czasie rzeczywistym, awatary te pogłębiają immersję i wzmacniają połączenie między wyobrażonymi a rzeczywistymi ruchami18. Oczekuje się, że podejście opisane w tym manuskrypcie będzie sprzyjać bardziej wyraźnym wzorcom ERD, prowadząc do skuteczniejszej adaptacji neuronalnej i regeneracji.

Jednak przejście z metodologii BCI offline na kontrolę awatarów w czasie rzeczywistym stanowi wyzwanie, szczególnie w zakresie zapewnienia dokładności i responsywności systemu na wyobrażone ruchy użytkownika. System zapewnia obliczenia w czasie rzeczywistym poprzez konfigurację obejmującą system akwizycji danych EEG podłączony do laptopa, który następnie łączy się z goglami VR Oculus Rift-S. Taka konfiguracja pozwala na bezproblemową integrację przechwytywania danych EEG z zanurzeniem w VR, co jest ułatwione przez serwer akwizycji i silnik gry w celu uzyskania wizualnej informacji zwrotnej i interakcji za pośrednictwem specjalnie opracowanego awatara 3D.

Ogólne opóźnienia systemu można skutecznie zminimalizować w scenariuszu integracji BCI-VR, wykorzystując laptopa do gier wyposażonego w wysokiej klasy kartę graficzną i wykorzystując lekkie komunikaty przez OSC do wskazówek i wartości przewidywania rąk. Zastosowanie laptopa do gier zapewnia szybkie przetwarzanie danych EEG pozyskanych za pomocą płytki EEG, przy początkowym opóźnieniu digitalizacji i transmisji utrzymywanym znacznie poniżej 5 ms. Można się spodziewać, że późniejsze przetwarzanie i klasyfikacja sygnału przyczyni się do dodatkowego opóźnienia wynoszącego około 20-40 ms, biorąc pod uwagę zarówno filtrowanie sygnału, jak i wykonywanie algorytmów, takich jak CSP, w celu wyodrębnienia cech. Komunikacja między projektantem scenariusza a silnikiem gry, ułatwiona przez OSC, który przesyła proste wskazówki numeryczne dla ruchów lewej i prawej ręki, została zaprojektowana z myślą o minimalnym obciążeniu, prawdopodobnie dodając nie więcej niż 5-10 ms opóźnienia. Przetwarzanie tych poleceń przez silnik gry, dzięki wydajności obliczeniowej karty graficznej, byłoby szybkie, przyczyniając się do kolejnego opóźnienia poniżej 10 ms przed renderowaniem wizualnego sprzężenia zwrotnego w środowisku VR zapewnianym przez gogle VR, co ma na celu utrzymanie opóźnienia poniżej 20 ms. Łącznie komponenty te współdziałają w celu utrzymania całkowitego opóźnienia systemu w pożądanym zakresie 45-75 ms, zapewniając responsywność w czasie rzeczywistym, która ma kluczowe znaczenie dla wciągających doświadczeń VR i skutecznych aplikacji BCI.

Ponadto uczestnicy otrzymali wystarczającą liczbę prób praktycznych jako formę modułu samouczka, aby zapoznać się z konfiguracją VR i tempem awatara na etapie treningu i wykorzystać swoje myśli do kontrolowania awatara 3D na etapie testów. Nacisk na weryfikację jakości sygnału, wykorzystanie CSP i LDA do klasyfikacji zadań oraz szczegółowa faza testowania mają kluczowe znaczenie dla powodzenia kontroli awatarów w czasie rzeczywistym.

Oczekuje się, że wyniki tego badania przyczynią się do rozwoju tej dziedziny, wykazując wykonalność i skuteczność wykorzystania w czasie rzeczywistym kontroli BCI spersonalizowanych awatarów 3D do rehabilitacji. Porównując dokładność wykrywania intencji motorycznych między fazą treningu obrazowania motorycznego a testami w czasie rzeczywistym, badanie dostarczy cennych informacji na temat potencjału tej technologii w zakresie poprawy wyników rehabilitacji. Co więcej, informacje zwrotne od uczestników na temat łatwości sterowania i poziomu doświadczanego zanurzenia będą stanowić podstawę do przyszłego rozwoju technologii BCI i VR, mając na celu stworzenie bardziej angażujących i skutecznych interfejsów rehabilitacyjnych.

Postęp w technologiach BCI i VR otwiera nowe możliwości dla protokołów rehabilitacyjnych, które są bardziej spersonalizowane, angażujące i skuteczne. Przyszłe badania powinny koncentrować się na udoskonaleniu technologii kontroli awatarów w czasie rzeczywistym, zbadaniu wykorzystania bardziej wyrafinowanych algorytmów uczenia maszynowego do klasyfikacji sygnałów oraz rozszerzeniu zastosowania tego podejścia na szerszy zakres schorzeń neurologicznych. Ponadto potrzebne są badania podłużne, aby ocenić długoterminowy wpływ tej metody rehabilitacji na powrót do sprawności funkcjonalnej i jakość życia osób z zaburzeniami neurologicznymi.

Chociaż integracja MI z technologią VR w rehabilitacji jest bardzo obiecująca, kilka ograniczeń zasługuje na uwagę. Istnieje znaczny zakres zdolności poszczególnych osób do generowania wyraźnych sygnałów MI i ich reakcji neuronalnych na interwencje MI i VR. Ta zmienność sprawia, że skuteczność procesu rehabilitacji może być bardzo różna u poszczególnych pacjentów, co sprawia, że personalizacja terapii pod indywidualne różnice jest sporym wyzwaniem. Co więcej, osiągnięcie wysokiej dokładności i responsywności w sterowaniu awatarami w czasie rzeczywistym jest złożonym przedsięwzięciem. Opóźnienia lub błędy w interpretacji sygnałów zawału mięśnia sercowego mogą zakłócić immersyjne doświadczenie, potencjalnie zmniejszając skuteczność procesu rehabilitacji. Chociaż technologia VR może zwiększyć immersję i zaangażowanie, może również prowadzić do dyskomfortu lub choroby lokomocyjnej u niektórych użytkowników, wpływając na ich zdolność do angażowania się w długie sesje, a w konsekwencji na ogólny sukces terapii.

Podsumowując, integracja BCI i VR, której przykładem jest kontrola w czasie rzeczywistym spersonalizowanych awatarów 3D za pomocą sygnałów MI, stanowi najnowocześniejsze podejście do rehabilitacji neurologicznej. Obecny protokół nie tylko podkreśla techniczną wykonalność takiej integracji, ale także przygotowuje grunt pod nową erę rehabilitacji, w której technologia i neuronauka zbiegają się, aby uwolnić pełny potencjał zdolności ludzkiego mózgu do regeneracji i adaptacji.

Oświadczenia

Autorzy nie mają do ujawnienia żadnego konfliktu interesów.

Podziękowania

Autorzy pragną podziękować wszystkim uczestnikom za poświęcony czas i zaangażowanie.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Alienware LaptopDellWysokiej klasy laptop do gier z kartą graficzną GTX1070
Gogle VR Oculus Rift-S GogleVR
OpenBCI Cyton DaisyOpenBCISystem EEG
OpenBCI Bezżelowa nasadka OpenBCI Bezżelowa nasadkaOpenBCIdo umieszczania elektrod EEG na skórze głowy uczestnika
Meta

Bibliografia

  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

Przedruki i uprawnienia

Tagi

Akwizycja EEGawatary 3Drehabilitacja sprawno ci motorycznejtrening CSPsterowanie awatarem w czasie rzeczywistymzdarzeniowe perturbacje widmowe
Wydajność obrazowania motorycznego dzięki ucieleśnionym cyfrowym bliźniakom w środowisku interfejsu mózg-komputer z obsługą rzeczywistości wirtualnej
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki Korzystania

Zasady

Copyright © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.