Wydajność obrazowania motorycznego dzięki ucieleśnionym cyfrowym bliźniakom w środowisku interfejsu mózg-komputer z obsługą rzeczywistości wirtualnej

Summary

Obrazy motoryczne w środowisku wirtualnej rzeczywistości mają szerokie zastosowanie w systemach interfejsu mózg-komputer. Manuskrypt ten przedstawia wykorzystanie spersonalizowanych cyfrowych awatarów, które przypominają uczestników wykonujących ruchy wyobrażone przez uczestnika w środowisku rzeczywistości wirtualnej, aby zwiększyć immersję i poczucie posiadania ciała.

Abstract

To badanie wprowadza innowacyjne ramy dla rehabilitacji neurologicznej poprzez integrację interfejsów mózg-komputer (BCI) i technologii wirtualnej rzeczywistości (VR) z dostosowaniem trójwymiarowych (3D) awatarów. Tradycyjne podejścia do rehabilitacji często nie angażują w pełni pacjentów, przede wszystkim ze względu na niezdolność do zapewnienia głęboko wciągającego i interaktywnego doświadczenia. Niniejsze badanie ma na celu wypełnienie tej luki poprzez wykorzystanie technik obrazowania motorycznego (MI), w których uczestnicy wizualizują ruchy fizyczne bez faktycznego wykonywania. Metoda ta wykorzystuje mechanizmy neuronalne mózgu, aktywując obszary zaangażowane w wykonywanie ruchów podczas wyobrażania sobie ruchów, ułatwiając w ten sposób proces regeneracji. Integracja immersyjnych możliwości VR z precyzją elektroencefalografii (EEG) w celu uchwycenia i interpretacji aktywności mózgu związanej z wyobrażonymi ruchami stanowi rdzeń tego systemu. Cyfrowe bliźniaki w postaci spersonalizowanych awatarów 3D są wykorzystywane w celu znacznego zwiększenia poczucia zanurzenia w wirtualnym środowisku. To wzmożone poczucie ucieleśnienia ma kluczowe znaczenie dla skutecznej rehabilitacji, mającej na celu wzmocnienie więzi między pacjentem a jego wirtualnym odpowiednikiem. W ten sposób system ma na celu nie tylko poprawę wydajności obrazowania motorycznego, ale także stara się zapewnić bardziej angażujące i skuteczne doświadczenie rehabilitacji. Dzięki zastosowaniu BCI w czasie rzeczywistym, system pozwala na bezpośrednie przełożenie wyobrażonych ruchów na wirtualne działania wykonywane przez awatara 3D, oferując natychmiastową informację zwrotną dla użytkownika. Ta pętla sprzężenia zwrotnego jest niezbędna do wzmocnienia ścieżek neuronowych zaangażowanych w kontrolę motoryczną i regenerację. Ostatecznym celem opracowanego systemu jest znaczne zwiększenie efektywności ćwiczeń obrazowania motorycznego poprzez uczynienie ich bardziej interaktywnymi i reagującymi na procesy poznawcze użytkownika, a tym samym utorowanie nowej ścieżki w dziedzinie rehabilitacji neurologicznej.

Introduction

Paradygmaty rehabilitacji dla pacjentów z zaburzeniami neurologicznymi przechodzą transformacyjną zmianę dzięki integracji zaawansowanych technologii, takich jak interfejsy mózg-komputer (BCI) i immersyjna rzeczywistość wirtualna (VR), oferując bardziej zniuansowaną i skuteczną metodę wspierania powrotu do zdrowia. Obrazowanie motoryczne (MI), technika leżąca u podstaw rehabilitacji opartej na BCI, polega na mentalnym ćwiczeniu ruchów fizycznych bez faktycznego wykonywania ćwiczeń motorycznych¹. MI wykorzystuje mechanizm neuronalny, w którym wyobrażenie sobie ruchu wyzwala wzorzec aktywności mózgu, który ściśle odzwierciedla to, jak podczas wykonywania samej czynności fizycznej^2,3,4. W szczególności angażowanie się w MI prowadzi do zjawiska znanego jako desynchronizacja związana ze zdarzeniami (ERD) w pasmach częstotliwości alfa (8-13 Hz) i beta (13-25 Hz) aktywności elektrycznej mózgu5^,6,7. ERD wskazuje na tłumienie podstawowych rytmów mózgu, wzorzec obserwowany również podczas rzeczywistego ruchu, zapewniając w ten sposób neuronalny substrat do stosowania MI w ramach rehabilitacji wspomaganej BCI⁷. Takie podobieństwo w aktywacji kory mózgowej między MI a ruchem fizycznym sugeruje, że MI może skutecznie stymulować sieci neuronowe zaangażowane w kontrolę motoryczną, co czyni go cennym narzędziem dla pacjentów z deficytami motorycznymi⁸. Co więcej, praktyka MI została rozszerzona poza zwykłą próbę mentalną i obejmuje strategie obserwacji działania⁹. Obserwacja ruchu części ciała lub działań związanych z zadaniem u innych osób może aktywować sieć neuronów lustrzanych (MNN), grupę neuronów, które reagują zarówno na obserwację działania, jak i na jego wykonanie⁹. Wykazano, że aktywacja MNN poprzez obserwację indukuje plastyczność kory mózgowej, o czym świadczą różne metody neuroobrazowania, w tym funkcjonalny MRI¹⁰, pozytonowa tomografia emisyjna¹¹ i przezczaszkowa stymulacja magnetyczna¹². Dowody potwierdzają pogląd, że trening zawału mięśnia sercowego, wzmocniony obserwacją działania, może prowadzić do znacznej adaptacji neuronalnej i powrotu do zdrowia u osób dotkniętych chorobą.

Technologia wirtualnej rzeczywistości zrewolucjonizowała sferę rehabilitacji opartej na MI, oferując wciągające środowisko, które zwiększa poczucie posiadania ciała i zaciera różnice między światem rzeczywistym a wirtualnym^13,14,15. Immersyjna jakość VR sprawia, że jest to skuteczne narzędzie do obserwacji działań i ćwiczenia obrazów motorycznych, ponieważ pozwala uczestnikom postrzegać wirtualne środowisko jako rzeczywiste¹⁵. Badania wykazały, że urządzenia VR mają wyraźniejszy wpływ na trening MI w porównaniu z tradycyjnymi wyświetlaczami monitorów 2D^15,16. Takie odkrycia są potwierdzone zwiększoną aktywnością neuronalną, taką jak zwiększone współczynniki amplitudy ERD w korze sensomotorycznej, podkreślając korzyści płynące z wyższego poziomu zanurzenia w stymulowaniu aktywności mózgu podczas wizualnie kierowanych ćwiczeń MI¹⁶. System pomaga w poprawie wydajności MI w zadaniach obejmujących ruchy ramion lub kończyn, dostarczając bezpośrednich informacji zwrotnych, usprawniając w ten sposób proces rehabilitacji^16,17. Synergia między MI i VR kładzie nacisk na integrację działań sensorycznych, percepcyjnych, poznawczych i motorycznych^18,19. Połączenie to było szczególnie korzystne dla osób, które przeżyły udar mózgu^20,21 i weteranów wojennych²², ponieważ badania wykazały, że integracja VR z protokołami rehabilitacji opartymi na zawale mięśnia sercowego może znacznie skrócić czas rehabilitacji i poprawić wyniki rekonwalescencji. Unikalną cechą VR w rehabilitacji jest jej zdolność do tworzenia poczucia obecności w specjalnie zaprojektowanym środowisku wirtualnym, co zwiększa doświadczenie rehabilitacji, które jest dodatkowo wzmocnione przez włączenie wirtualnych awatarów reprezentujących ciało użytkownika, co jest coraz częściej wykorzystywane w badaniach rehabilitacji ruchowej²³. Te awatary oferują realistyczne trójwymiarowe odwzorowanie ruchów kończyn, pomagając w zawale mięśnia sercowego i znacząco wpływając na aktywację kory ruchowej. Umożliwiając uczestnikom wizualizację ich wirtualnych jaźni wykonujących określone zadania, VR nie tylko wzbogaca doświadczenie MI, ale także sprzyja szybszej i skuteczniejszej reorganizacji neuronów i procesowi regeneracji²⁴. Implementacja wirtualnych awatarów i symulowanych środowisk w treningu MI kładzie nacisk na naturalne i zintegrowane wykorzystanie wirtualnych ciał w immersyjnych wirtualnych światach.

Pomimo niezwykłych zalet opartej na BCI kontroli awatarów 3D w MI do rehabilitacji, pozostaje znaczące ograniczenie w dominującym stosowaniu metodologii offline. Obecnie większość aplikacji BCI obejmuje przechwytywanie wcześniej zarejestrowanych danych elektroencefalograficznych (EEG), które są następnie wykorzystywane do manipulowania awatarem^24,25. Nawet w scenariuszach, w których uzyskuje się kontrolę awatarów w czasie rzeczywistym, te awatary są często ogólne i nie przypominają uczestników, których reprezentują²³. To ogólne podejście nie wykorzystuje krytycznej okazji do pogłębienia immersji i poczucia posiadania ciała, co jest kluczowe dla skutecznej rehabilitacji²⁴. Stworzenie awatara 3D, który dokładnie odzwierciedla podobieństwo do obiektu, może znacznie zwiększyć immersyjne wrażenia z tego doświadczenia¹⁶. Wizualizując siebie w wirtualnym świecie, uczestnicy mogą stworzyć silniejsze połączenie między swoimi wyobrażonymi i rzeczywistymi ruchami, potencjalnie prowadząc do bardziej wyraźnych wzorców ERD, a tym samym do skuteczniejszej adaptacji neuronalnej i regeneracji¹⁶. Postępując w kierunku kontroli spersonalizowanych awatarów 3D w czasie rzeczywistym, dziedzina BCI i VR może znacznie poprawić paradygmaty rehabilitacji, oferując bardziej zniuansowaną, angażującą i skuteczną metodę powrotu do zdrowia pacjenta.

Obecny manuskrypt przedstawia tworzenie, projektowanie i technologiczne aspekty zarówno sprzętu, jak i oprogramowania opartego na VR sterowania BCI w czasie rzeczywistym awatarów 3D, podkreślając jego innowacyjne wyniki, które wspierają jego integrację z ustawieniami rehabilitacji ruchowej. Proponowany system będzie wykorzystywał elektroencefalografię (EEG) do przechwytywania sygnałów obrazowania motorycznego generowanych przez badanego, które następnie będą wykorzystywane do kontrolowania ruchów i działań awatara w czasie rzeczywistym. Obecne podejście połączy zaawansowane możliwości technologii VR z precyzją EEG w rozpoznawaniu i interpretowaniu aktywności mózgu związanej z wyobrażonymi ruchami, mając na celu stworzenie bardziej angażującego i skutecznego interfejsu dla użytkowników do interakcji ze środowiskami cyfrowymi za pomocą siły ich myśli.

Protocol

Obecne badanie ma na celu zbadanie możliwości kontrolowania awatara 3D w czasie rzeczywistym w środowisku VR za pomocą sygnałów MI zarejestrowanych przez EEG. Badanie koncentruje się na zwiększeniu immersji i poczucia posiadania ciała poprzez personalizację awatara tak, aby jak najbardziej przypominał obiekt. Protokół został zatwierdzony przez Vellore Institute of Technology Review Board. Uczestnicy wyrazili pisemną świadomą zgodę po zapoznaniu się z celem badania, procedurami i potencjalnym ryzykiem.

1. Konfiguracja eksperymentalna

UWAGA: Upewnij się, że system zawiera wszystkie komponenty, jak pokazano na schemacie konfiguracji eksperymentalnej w Rysunek 1 (zobacz Tabelę materiałów dla używanego sprzętu).

1. Tworzenie awatarów 3D
   1. Modelowanie awatara
      1. Dzień przed zebraniem danych zbierz wiele zdjęć twarzy pod różnymi kątami i dokładne wymiary ciała od każdego uczestnika.
      2. Kliknij Oprogramowanie do modelowania, aby je otworzyć. Natychmiast po otwarciu znajdź suwak Płeć. Dostosuj ten suwak, aby dopasować go do płci modelki, która chce utworzyć.
      3. Przejdź do zakładki Modelowanie u góry ekranu i kliknij zakładkę, aby uzyskać dostęp do opcji dostosowywania nadwozia.
      4. Użyj suwaków pod różnymi sekcjami, takimi jak tułów, ręce, nogi itp., aby modelować ciało. Skoncentruj się na następujących podstawowych pomiarach: wzrost, klatka piersiowa/biust, talia, biodra, długość nogawek i długość ramienia.
      5. Kliknij kartę Pose/Animate i wybierz domyślny szkielet dla podstawowych animacji. Przejdź do menu Pliki u góry, wybierz pozycję Eksportuj, a następnie wybierz. Format MHX2 zapewniający kompatybilność z oprogramowaniem do animacji. Upewnij się, że wybrałeś opcję Eksportuj z platformą, aby dołączyć szkielet. Wybierz folder docelowy, nazwij plik i kliknij przycisk Eksportuj.
      6. Otwórz oprogramowanie do animacji. Przejdź do pozycji File > Import (Plik importu) i wybierz .mhx2 lub format, którego chcesz oczekiwać. Przejdź do zapisanego pliku, wybierz go i zaimportuj do oprogramowania.
      7. Przejdź do menu Edycja, wybierz Preferencje > Dodatki i upewnij się, że jest włączona odpowiednia wtyczka do budowania twarzy.
      8. W rzutni 3D przełącz się na ustawienie układu dostarczone przez wtyczkę lub przejdź do panelu wtyczek, zwykle znajdującego się na półce z narzędziami po lewej stronie.
      9. Kliknij Utwórz nową głowicę w panelu wtyczki, aby uruchomić model głowy. Użyj przycisku Dodaj zdjęcie, aby zaimportować zdjęcia uczestnika. Użyj profili przednich i bocznych, aby uzyskać dokładne modelowanie.
      10. Postępuj zgodnie z instrukcjami, aby wyrównać punkty na zdjęciach z odpowiadającymi im punktami na modelu 3D. Wtyczka dostosuje następnie model głowy do cech uczestnika. Gdy będziesz zadowolony z podobizny, sfinalizuj model głowy.
      11. Ręcznie ustaw model głowy tak, aby wyrównał się z szyją modelu ciała. Dostosuj skalę i obrót głowicy, aby uzyskać bezproblemowe dopasowanie.
      12. Użyj narzędzia Przyciąganie (Shift+Tab), aby precyzyjnie wyrównać wierzchołki szyi na głowie z wierzchołkami tułowia.
      13. Po wyrównaniu połącz głowę i treść, zaznaczając obie siatki, naciskając Ctrl+J, aby połączyć je w jeden obiekt.
      14. Zaimportuj lub wymodeluj parę bongosów i ustaw je przed modelem na odpowiedniej wysokości.
   2. Animowanie awatara
      1. Przełącz na tryb pozowania dla uzbrajonego modelu. W klatce 1 zaznacz wszystkie kości i wstaw klatkę kluczową (użyj I), aby LocRotScale zarejestrował ich początkowe położenie.
      2. Przesuń oś czasu do przodu do klatki 30, aby umieścić lewą rękę, aby uderzyć w bongo.
      3. Poruszaj i obracaj armaturę lewej ręki, aby symulować uderzanie w bongo. Wstaw klatkę kluczową dla tych kości. Powtórz ten proces, aby przywrócić rękę do pozycji początkowej w klatce 60, wstawiając kolejną klatkę kluczową, aby zakończyć akcję.
      4. Przesuń oś czasu do klatki 90, gdzie prawa ręka rozpoczyna swoją akcję. Podobnie jak w przypadku lewej ręki, dostosuj pozycję i obrót prawej ręki, aby symulować uderzanie w drugie bongo i wstaw klatkę kluczową.
      5. Przywróć wskazówkę do pozycji początkowej i wstaw klatkę kluczową, aby zakończyć ruch na klatce 150.
      6. Przewijaj oś czasu, aby przejrzeć animację. Dostosuj w razie potrzeby, aby uzyskać płynniejszy ruch lub lepszy czas między uderzeniami bongo. Zapisz plik.
2. Konfiguracja sprzętu
   1. Zmontuj 16-kanałowy system akwizycji danych EEG, podłączając moduł Daisy z 8 kanałami EEG na górze płytki z 8 kanałami EEG.
   2. Podłącz elektrodę odniesienia za pomocą Y-Splitter do dolnego pinu odniesienia na płytce Daisy Board i dolnego pinu odniesienia płytki na dole, które są oznaczone jako SRB.
   3. Podłącz elektrodę uziemiającą do pinu BIAS na dolnej płycie.
   4. Podłącz 16 elektrod EEG do dolnych pinów płytki oznaczonych N1P-N8P i dolnych pinów stokrotkowych oznaczonych N1P-N8P.
   5. Umieść elektrody na nasadce bezżelowej w oznaczonych miejscach przylegających do międzynarodowego systemu 10-20 do umieszczania elektrod z elektrodami oznaczonymi jako FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 i T4.
   6. Namocz 18 gąbek przeznaczonych do elektrod EEG w roztworze soli fizjologicznej z 5 g chlorku sodu zmieszanego z 200 ml wody z kranu przez 15 minut.
   7. Włóż nasączone gąbki na spodzie każdej elektrody, aby nawiązać kontakt między skórą głowy a elektrodą.
   8. Spraw, aby uczestnicy usiedli wygodnie w cichym pomieszczeniu. Umieść bezżelową czepek EEG na skórze głowy uczestnika, upewniając się, że czepek jest prawidłowo wyrównany, aby pasował do uszu uczestnika.
   9. Podłącz klucz USB do laptopa. Otwórz GUI EEG, kliknij system EEG, w opcji Źródło danych wybierz Serial (z Dongle), 16 kanałów i AUTO-CONNECT.
   10. Na ekranie Data Acquisition (Akwizycja danych) wybierz widżet sygnału, aby sprawdzić jakość sygnału podłączonych elektrod, sprawdzając optymalny poziom impedancji <10 kΩ w każdym miejscu elektrody²⁶.
   11. Jeśli impedancja jest wyższa niż 10 kΩ, dodaj kilka kropli roztworu soli do gąbki pod elektrodą. Po sprawdzeniu impedancji zamknij GUI.
   12. Otwórz oprogramowanie Acquisition Server, wybierz odpowiednią tablicę EEG w obszarze Driver (Sterownik) i kliknij Connect > Play (Połącz Play), aby nawiązać połączenie z systemem EEG.
   13. Przygotuj gogle VR, dezynfekując je chusteczkami i umieszczając na głowie uczestnika nad czepkiem EEG, aby ułatwić wciągającą interakcję podczas przechwytywania danych EEG.
3. Konfiguracja gry
   UWAGA: Poniższe instrukcje opisują konfigurację dwóch scenariuszy silnika gry przy użyciu Open Sound Control (OSC): jeden do treningu obrazowania motorycznego (sprzężenie zwrotne), a drugi do testowania obrazowania motorycznego (sprzężenie zwrotne). Scenariusz sprzężenia zwrotnego szkoli użytkowników w zakresie obrazowania silnika za pomocą obserwowanych animacji wyzwalanych przez komunikaty OSC. Scenariusz sprzężenia zwrotnego testuje skuteczność obrazowania motorycznego poprzez animowanie ruchów wyobrażonych przez użytkownika na podstawie danych wejściowych OSC.
   1. Otwórz oprogramowanie silnika gry i wybierz Motor Imagery Training Project. Włącz obsługę VR: Przejdź do pozycji Edytuj ustawienia projektu > > Player > ustawień XR, sprawdź opcję Obsługiwana rzeczywistość wirtualna i upewnij się, że gogle VR są wymienione w zestawach SDK rzeczywistości wirtualnej.
   2. Usuń domyślną kamerę i przeciągnij kamerę VR do sceny z pakietu integracyjnego VR.
   3. Umieść zaimportowany plik animacji w scenie. W razie potrzeby dostosuj skalę i orientację. Upewnij się, że obiekt OSCListener GameObject z wstępnie napisanymi skryptami jest ustawiony tak, aby wyzwalać animacje modelu dla ruchów lewej i prawej ręki na podstawie komunikatów OSC, symulując akcję uderzania w bongo na potrzeby treningu obrazów motorycznych.
   4. Otwórz Ustawienia pliku > kompilacji w oprogramowaniu silnika gry. Wybierz opcję PC, Mac & Linux Standalone, docelową wersję Windows, a następnie kliknij przycisk Build and Run (Kompiluj i uruchom).
   5. W przypadku projektu testowania obrazów motorycznych wykonaj podobne kroki, jak w przypadku projektu szkolenia obrazowania motorycznego. Użyj OSCListener GameObject skonfigurowanego ze skryptami zaprojektowanymi do odbierania sygnałów OSC wskazujących na wyobrażone ruchy dłoni uczestnika, uruchamiając odpowiednie animacje dla projektu testowego.

Rysunek 1: Konfiguracja VR-BCI. Cała konfiguracja VR-BCI pokazuje uczestnika noszącego gogle VR i czepek EEG. Uczestnicy oglądali spersonalizowanego awatara 3D w środowisku wirtualnym i kontrolowali jego działanie za pomocą sygnałów mózgowych przesyłanych bezprzewodowo do komputera. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

2. Projekt eksperymentalny

1. Etap weryfikacji sygnału
   1. Otwórz narzędzie programowe, aby zaprojektować i uruchomić scenariusze zobrazowań silnika, przejdź do Plik i załaduj sześć scenariuszy Motor-Imagery-BCI oznaczonych jako Weryfikacja sygnału, Akwizycja, Szkolenie CSP, Szkolenie klasyfikatora, Testowanie i Macierz pomyłek.
   2. Przejdź do scenariusza weryfikacji sygnału. Zastosuj filtr pasmowo-przepustowy w zakresie od 1 do 40 Hz z kolejnością filtrów 4 do surowych sygnałów, korzystając z designerskich pudełek do zoptymalizowanego przetwarzania sygnału.
2. Etap szkolenia
   1. Prowadź i instruuj uczestników, aby wykonywali zadania związane z obrazowaniem motorycznym, wyobrażając sobie ruchy rąk w odpowiedzi na sygnały wizualne.
   2. Otwórz plik do treningu obrazowania motorycznego i wyświetl przygotowany awatar 3D stojący nad zestawem bongosów przez gogle VR.
   3. Przejdź do scenariusza Akwizycji i kliknij dwukrotnie Stymulator Obrazów Motorycznych Graz, aby skonfigurować pole.
   4. Skonfiguruj próby 50, 5 s (cue-1,25 s i MI-3,75 s) zarówno dla ruchów lewej, jak i prawej ręki, włączając 20-sekundowy okres bazowy, po którym następują 10-sekundowe przerwy na odpoczynek po każdych 10 próbach, aby uniknąć zmęczenia psychicznego.
   5. Skonfiguruj próby lewej i prawej ręki tak, aby były randomizowane i miej wskazówkę przed próbą wskazującą rękę, którą należy sobie wyobrazić.
   6. Podłącz skrzynkę OSC z adresem IP i portem, aby przesłać wskazówkę dla wyobrażonej ręki do programu silnika gry treningowej z obrazami motorycznymi.
   7. Poproś uczestników, aby wyobrazili sobie, że wykonują ruch swojej ręki wraz z awatarem 3D w tym samym tempie, co awatar, gdy uderza w bongo odpowiednią ręką, podążając za wskazówką tekstową pokazującą, którą rękę należy sobie wyobrazić.
3. Szkolenia CSP i LDA
   1. Po akwizycji uruchom scenariusz szkolenia CSP, aby przeanalizować dane EEG z etapu akwizycji i obliczyć typowe wzorce przestrzenne (CSP), tworząc filtry w celu rozróżnienia obrazów po lewej i prawej stronie.
   2. Po szkoleniu CSP przejdź do scenariusza trenowania klasyfikatora i uruchom go, aby wykorzystać liniową analizę dyskryminacyjną (LDA) przy użyciu filtrów CSP w celu wydajnej klasyfikacji zadań, przygotowując system do kontroli awatarów w czasie rzeczywistym.
4. Etap testowania
   1. Przejdź do scenariusza testowego, aby uczestnicy mogli sterować swoimi awatarami 3D w czasie rzeczywistym za pomocą technologii interfejsu mózg-komputer (BCI).
   2. Załaduj do odpowiednich pól klasyfikatorzy, których klasyfikatorzy trenowali podczas poprzedniego scenariusza, na danych EEG przechwyconych, podczas gdy uczestnicy wyobrażali sobie ruchy rąk, aby interpretować te wyobrażone działania w czasie rzeczywistym.
   3. Upewnij się, że system EEG i konfiguracja VR są sprawne i poprawnie skonfigurowane zgodnie z ustawieniami etapu treningu.
   4. Poinformuj uczestników o procedurze testowej, podkreślając potrzebę jasnego wyobrażenia sobie ruchów ręki (uderzanie w bongo lewą lub prawą ręką) jako podpowiadanych przez wskazówki tekstowe.
   5. Podobnie jak w przypadku etapu treningowego, przeprowadź 20 prób dla każdego uczestnika, podzielonych równo na wyobrażanie sobie ruchów lewej i prawej ręki oraz randomizowanych.
   6. Podłącz i skonfiguruj skrzynkę OSC, aby przesyłać informacje o cue, które mają być wyświetlane jako tekst wskazujący, która ręka ma być zobrazowana w programie silnika gry.
   7. Połącz się z innym modułem OSC, aby przesłać przewidywaną wartość ruchów lewej i prawej ręki, aby program silnika gry odtworzył odpowiednią animację na podstawie ręki wyobrażonej przez uczestnika.
   8. Uruchom scenariusz testowy. Uruchom program silnika gry Motor Imagery Testing.

3. Gromadzenie i analiza danych

1. Ciągłe rejestrowanie danych EEG i wyników klasyfikatora podczas etapów akwizycji i testowania eksperymentu, z próbkowaniem danych przy 125 Hz.
2. Przejdź do scenariusza Matrycy Dezorientacji i załaduj uzyskany plik EEG w polu oznaczonym Ogólny czytnik strumienia dla każdego uczestnika i zarówno dla etapu akwizycji, jak i szkolenia.
3. Uruchom scenariusz, aby uzyskać macierz pomyłek, aby ocenić, jak dokładnie system BCI interpretuje sygnały obrazów motorycznych.
4. Zbierz informacje zwrotne od uczestników na temat ich doświadczeń z łatwością obsługi awatara, możliwościami sterowania, poziomem zanurzenia i komfortem podczas noszenia czepka EEG i gogli VR.

Results

Pokazane wyniki pochodzą od 5 osób, które postępowały zgodnie z opisanym powyżej protokołem. W badaniu wzięło udział łącznie 5 zdrowych osób dorosłych (3 kobiety) w wieku od 21 do 38 lat.

Indywidualne wyniki klasyfikacji dla każdego uczestnika, zarówno w warunkach treningu obrazowania motorycznego, jak i testowania, są pokazane w Rysunek 2. Średnia macierz zamieszania dla wszystkich badanych została obliczona w celu oceny dokładności klasyfikatora w rozróżnianiu lewych i prawych sygnałów MI zarówno podczas sesji treningowych, jak i testowych (patrz Rysunek 3).

Wagi CSP obliczone dla obrazów motorycznych lewej i prawej strony podczas sesji treningowej zostały wyświetlone jako wzór topograficzny dla reprezentatywnego uczestnika w Rysunek 4A. Ponadto przeprowadzono analizę czasowo-częstotliwościową dla tego samego uczestnika na podstawie danych EEG zebranych z elektrody C4, która została umieszczona nad przeciwległym prawym obszarem sensomotorycznym odpowiadającym lewej ręce, oraz elektrody C3, umieszczonej nad lewym obszarem sensomotorycznym prawej ręki. Wykresy czasowo-częstotliwościowe służące do identyfikacji perturbacji spektralnych związanych ze zdarzeniami (ERSP), ujawniające, w jaki sposób amplituda częstotliwości w zakresie od 8 do 30 Hz zmienia się dynamicznie w czasie w danej epoce, są pokazane w Rysunek 4B pod sesją treningu obrazowania motorycznego. Koncentrując się na pasmach alfa (8-12 Hz) i beta (13-30 Hz), ERSP dla każdej epoki znormalizowano poprzez podzielenie ich przez ich widma bazowe, a na podstawie tych znormalizowanych wartości obliczono średnią ERSP.

Ponadto, opinie uczestników były w dużej mierze pozytywne na temat komfortu i łatwości korzystania z czepka EEG i gogli VR. Uczestnicy byli szczególnie entuzjastycznie nastawieni do kontroli swoich awatarów 3D w czasie rzeczywistym. Jednak uczestnicy uważali, że uderzaniu w bongo może towarzyszyć sprzężenie zwrotne dźwięku, aby uzyskać lepsze zanurzenie.

Rysunek 2: Procenty dokładności dla każdego uczestnika podczas treningu obrazowania motorycznego i sesji testowych. Współczynnik prawdziwie dodatni (TP) pokazuje proporcję sygnałów obrazów motorycznych (MI), które model klasyfikatora prawidłowo zidentyfikował jako sygnały MI. Odsetek wyników fałszywie dodatnich (FP) wskazuje, jak często lewe sygnały MI były błędnie klasyfikowane jako prawe sygnały MI. Odsetek wyników fałszywie ujemnych (FN) ujawnia proporcję rzeczywistych sygnałów lewego MI, których model nie wykrył. Wreszcie, wskaźnik prawdziwie ujemny (TN) wskazuje proporcję prawych sygnałów MI, które model dokładnie rozpoznał jako takie. S1, S2, S3, S4 i S5 oznaczają pięciu uczestników. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3: Średnie macierze zamieszania w wydajności klasyfikacji podczas treningu i testów obrazowania motorycznego. Ogólna średnia dokładność odzwierciedla zdolność modelu do prawidłowej klasyfikacji zarówno lewych, jak i prawych sygnałów MI. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4: Filtr CSP, wzór i wykresy czasowo-częstotliwościowe dla obu rąk podczas sesji treningu obrazowania motorycznego dla reprezentatywnego uczestnika. (A) Rysunek przedstawia filtry CSP dla S1, które maksymalnie różnicują dwie klasy (lewą i prawą) na podstawie wariancji. (B) Wykres czasowo-częstotliwościowy dla S1. Niebieskie regiony pokazują desynchronizację związaną ze zdarzeniem. Przy 0 ms wskazówka do wyobrażenia sobie lewej lub prawej ręki była wyświetlana przez czas trwania 1250 ms. Podążając za wskazówką, uczestnik wyobraził sobie, że bongo uderza w ruch odpowiednią ręką. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Discussion

Zastosowanie zawału mięśnia sercowego w połączeniu z technologią VR oferuje obiecującą drogę rehabilitacji poprzez wykorzystanie naturalnych mechanizmów mózgu do planowania i realizacji działań motorycznych. Zdolność MI do indukowania desynchronizacji związanej ze zdarzeniami w określonych pasmach częstotliwości mózgu, odzwierciedlająca aktywność neuronalną ruchu fizycznego ^2,3,4, zapewnia solidne ramy do angażowania i wzmacniania sieci neuronowych zaangażowanych w kontrolę motoryczną⁸. Proces ten jest dodatkowo wzmocniony przez immersyjną jakość VR, która nie tylko wzmacnia poczucie obecności i posiadania ciała, ale także ułatwia wizualizację ruchów, wzbogacając w ten sposób doświadczenie MI¹⁶.

Opracowanie spersonalizowanych awatarów 3D, które bardzo przypominają tematy, które reprezentują, stanowi godną uwagi innowację w tej dziedzinie 13,14,15. Podejście to jest koncepcyjnie zgodne z pracami Skola i ^wsp.27 nad współadaptacyjnym treningiem MI-BCI z wykorzystaniem zadań grywalizacyjnych w środowisku VR. Jednak protokół ten wprowadza znaczne zróżnicowanie poprzez zastosowanie pełnego awatara 3D, ściśle odzwierciedlającego wygląd uczestnika, w przeciwieństwie do perspektywy punktu widzenia skoncentrowanej na dłoniach stosowanych przez Skolę i wsp. Zapewniając wizualną reprezentację wyobrażonych ruchów użytkownika w czasie rzeczywistym, awatary te pogłębiają immersję i wzmacniają połączenie między wyobrażonymi a rzeczywistymi ruchami¹⁸. Oczekuje się, że podejście opisane w tym manuskrypcie będzie sprzyjać bardziej wyraźnym wzorcom ERD, prowadząc do skuteczniejszej adaptacji neuronalnej i regeneracji.

Jednak przejście z metodologii BCI offline na kontrolę awatarów w czasie rzeczywistym stanowi wyzwanie, szczególnie w zakresie zapewnienia dokładności i responsywności systemu na wyobrażone ruchy użytkownika. System zapewnia obliczenia w czasie rzeczywistym poprzez konfigurację obejmującą system akwizycji danych EEG podłączony do laptopa, który następnie łączy się z goglami VR Oculus Rift-S. Taka konfiguracja pozwala na bezproblemową integrację przechwytywania danych EEG z zanurzeniem w VR, co jest ułatwione przez serwer akwizycji i silnik gry w celu uzyskania wizualnej informacji zwrotnej i interakcji za pośrednictwem specjalnie opracowanego awatara 3D.

Ogólne opóźnienia systemu można skutecznie zminimalizować w scenariuszu integracji BCI-VR, wykorzystując laptopa do gier wyposażonego w wysokiej klasy kartę graficzną i wykorzystując lekkie komunikaty przez OSC do wskazówek i wartości przewidywania rąk. Zastosowanie laptopa do gier zapewnia szybkie przetwarzanie danych EEG pozyskanych za pomocą płytki EEG, przy początkowym opóźnieniu digitalizacji i transmisji utrzymywanym znacznie poniżej 5 ms. Można się spodziewać, że późniejsze przetwarzanie i klasyfikacja sygnału przyczyni się do dodatkowego opóźnienia wynoszącego około 20-40 ms, biorąc pod uwagę zarówno filtrowanie sygnału, jak i wykonywanie algorytmów, takich jak CSP, w celu wyodrębnienia cech. Komunikacja między projektantem scenariusza a silnikiem gry, ułatwiona przez OSC, który przesyła proste wskazówki numeryczne dla ruchów lewej i prawej ręki, została zaprojektowana z myślą o minimalnym obciążeniu, prawdopodobnie dodając nie więcej niż 5-10 ms opóźnienia. Przetwarzanie tych poleceń przez silnik gry, dzięki wydajności obliczeniowej karty graficznej, byłoby szybkie, przyczyniając się do kolejnego opóźnienia poniżej 10 ms przed renderowaniem wizualnego sprzężenia zwrotnego w środowisku VR zapewnianym przez gogle VR, co ma na celu utrzymanie opóźnienia poniżej 20 ms. Łącznie komponenty te współdziałają w celu utrzymania całkowitego opóźnienia systemu w pożądanym zakresie 45-75 ms, zapewniając responsywność w czasie rzeczywistym, która ma kluczowe znaczenie dla wciągających doświadczeń VR i skutecznych aplikacji BCI.

Ponadto uczestnicy otrzymali wystarczającą liczbę prób praktycznych jako formę modułu samouczka, aby zapoznać się z konfiguracją VR i tempem awatara na etapie treningu i wykorzystać swoje myśli do kontrolowania awatara 3D na etapie testów. Nacisk na weryfikację jakości sygnału, wykorzystanie CSP i LDA do klasyfikacji zadań oraz szczegółowa faza testowania mają kluczowe znaczenie dla powodzenia kontroli awatarów w czasie rzeczywistym.

Oczekuje się, że wyniki tego badania przyczynią się do rozwoju tej dziedziny, wykazując wykonalność i skuteczność wykorzystania w czasie rzeczywistym kontroli BCI spersonalizowanych awatarów 3D do rehabilitacji. Porównując dokładność wykrywania intencji motorycznych między fazą treningu obrazowania motorycznego a testami w czasie rzeczywistym, badanie dostarczy cennych informacji na temat potencjału tej technologii w zakresie poprawy wyników rehabilitacji. Co więcej, informacje zwrotne od uczestników na temat łatwości sterowania i poziomu doświadczanego zanurzenia będą stanowić podstawę do przyszłego rozwoju technologii BCI i VR, mając na celu stworzenie bardziej angażujących i skutecznych interfejsów rehabilitacyjnych.

Postęp w technologiach BCI i VR otwiera nowe możliwości dla protokołów rehabilitacyjnych, które są bardziej spersonalizowane, angażujące i skuteczne. Przyszłe badania powinny koncentrować się na udoskonaleniu technologii kontroli awatarów w czasie rzeczywistym, zbadaniu wykorzystania bardziej wyrafinowanych algorytmów uczenia maszynowego do klasyfikacji sygnałów oraz rozszerzeniu zastosowania tego podejścia na szerszy zakres schorzeń neurologicznych. Ponadto potrzebne są badania podłużne, aby ocenić długoterminowy wpływ tej metody rehabilitacji na powrót do sprawności funkcjonalnej i jakość życia osób z zaburzeniami neurologicznymi.

Chociaż integracja MI z technologią VR w rehabilitacji jest bardzo obiecująca, kilka ograniczeń zasługuje na uwagę. Istnieje znaczny zakres zdolności poszczególnych osób do generowania wyraźnych sygnałów MI i ich reakcji neuronalnych na interwencje MI i VR. Ta zmienność sprawia, że skuteczność procesu rehabilitacji może być bardzo różna u poszczególnych pacjentów, co sprawia, że personalizacja terapii pod indywidualne różnice jest sporym wyzwaniem. Co więcej, osiągnięcie wysokiej dokładności i responsywności w sterowaniu awatarami w czasie rzeczywistym jest złożonym przedsięwzięciem. Opóźnienia lub błędy w interpretacji sygnałów zawału mięśnia sercowego mogą zakłócić immersyjne doświadczenie, potencjalnie zmniejszając skuteczność procesu rehabilitacji. Chociaż technologia VR może zwiększyć immersję i zaangażowanie, może również prowadzić do dyskomfortu lub choroby lokomocyjnej u niektórych użytkowników, wpływając na ich zdolność do angażowania się w długie sesje, a w konsekwencji na ogólny sukces terapii.

Podsumowując, integracja BCI i VR, której przykładem jest kontrola w czasie rzeczywistym spersonalizowanych awatarów 3D za pomocą sygnałów MI, stanowi najnowocześniejsze podejście do rehabilitacji neurologicznej. Obecny protokół nie tylko podkreśla techniczną wykonalność takiej integracji, ale także przygotowuje grunt pod nową erę rehabilitacji, w której technologia i neuronauka zbiegają się, aby uwolnić pełny potencjał zdolności ludzkiego mózgu do regeneracji i adaptacji.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Alienware Laptop	Dell		Wysokiej klasy laptop do gier z kartą graficzną GTX1070
Gogle VR Oculus Rift-S Gogle			VR
OpenBCI Cyton Daisy	OpenBCI		System EEG
OpenBCI Bezżelowa nasadka OpenBCI Bezżelowa nasadka	OpenBCI		do umieszczania elektrod EEG na skórze głowy uczestnika