Wykorzystanie interfejsu mózg-komputer opartego na EEG do wirtualnego poruszania kursorem przy użyciu BCI2000

Podsumowanie

W tym filmie prezentujemy kroki niezbędne do przeprowadzenia eksperymentu z wykorzystaniem interfejsu mózg-komputer, w tym zakładanie czepka EEG, kalibrację systemu oraz trening użytkownika w zakresie poruszania kursorem w dwóch wymiarach za pomocą ruchów wyobrażeniowych.

Streszczenie

Interfejs mózg-komputer (BCI) funkcjonuje poprzez tłumaczenie sygnału neuronalnego, takiego jak elektroencefalogram (EEG), na sygnał, który może być wykorzystany do sterowania komputerem lub innym urządzeniem. Amplituda sygnałów EEG w wybranych przedziałach częstotliwości jest mierzona i przekształcana w komendę sterującą urządzeniem, w tym przypadku w poziomą i pionową prędkość kursora komputerowego. W pierwszej kolejności elektrody EEG są mocowane do skóry głowy użytkownika za pomocą czepek w celu rejestracji aktywności mózgu. Następnie przeprowadza się procedurę kalibracji, aby zidentyfikować elektrody EEG oraz cechy, które użytkownik nauczy się dobrowolnie modulować w celu obsługi BCI. U ludzi moc w pasmach częstotliwości mu (8–12 Hz) i beta (18–28 Hz) ulega zmniejszeniu podczas rzeczywistego lub wyobrażonego ruchu. Zmiany te mogą być wykrywane w EEG w czasie rzeczywistym i wykorzystywane do sterowania BCI ([1],[2]). W związku z tym, podczas testu przesiewowego, użytkownik jest proszony o wykonanie kilku różnych wyobrażonych ruchów dłońmi i stopami, aby określić unikalne cechy EEG, które zmieniają się podczas tych ruchów. Wyniki tej kalibracji wskażą najlepsze kanały do wykorzystania, które zostaną skonfigurowane tak, aby zmiany amplitudy w pasmach częstotliwości mu i beta przesuwały kursor poziomo lub pionowo. W tym eksperymencie do sterowania akwizycją sygnału, przetwarzaniem sygnałów oraz sprzężeniem zwrotnym dla użytkownika wykorzystano ogólny system BCI BCI2000 [3].

Protokół

Procedura eksperymentalna

1. Podłączanie elektrod EEG
   1. Elektrody zostaną przymocowane do skóry głowy za pomocą czepka EEG; ułatwia to zapewnienie prawidłowego rozmieszczenia elektrod na skórze głowy zgodnie z międzynarodowym systemem 10-20.
   2. Aby założyć czepek, należy zaznaczyć wierzchołek (vertex) na skórze głowy badanego za pomocą pisaka lub innej podobnej metody. W tym celu należy najpierw zlokalizować nasion oraz inion u badanego. Za pomocą miary należy wyznaczyć odległość między tymi dwoma punktami. Punkt znajdujący się w połowie tej odległości (50%) jest wierzchołkiem. Należy w tym miejscu postawić znak do późniejszego wykorzystania. Inne punkty systemu 10-20 można zlokalizować w podobny sposób.
   3. Należy odnaleźć elektrodę Cz na czepku i umieścić ją na wierzchołku. Trzymając Cz w stałej pozycji, należy nasunąć czepek na głowę. Należy upewnić się, że elektrody Fz, Cz i Pz znajdują się na linii środkowej skóry głowy, elektrody O1-O2 są poziomo i w jednej linii z Oz, a Fp1-Fp2 są w jednej linii z Fpz.
   4. Następnie należy podłączyć elektrodę referencyjną, która zazwyczaj jest mocowana do płatka ucha.
   5. W dalszej kolejności elektrody wypełnia się żelem przewodzącym, aby zapewnić niski kontakt impedancyjny ze skórą głowy. W tym celu żel nabiera się do małej strzykawki z tępą igłą. Pomocne może być również obserwowanie przebiegów EEG na ekranie komputera podczas nakładania żelu, aby sprawdzić jakość połączenia.
   6. Należy wprowadzić igłę do elektrody i delikatnie zetrzeć naskórek z powierzchni skóry głowy igłą, aby usunąć martwe komórki. Elektrodę należy wypełnić niewielką ilością żelu, uważając, aby jej nie przepełnić. Należy zacząć od referencyjnej elektrody ucha, a następnie powtórzyć czynność dla wszystkich elektrod, w tym elektrody uziemiającej.
   7. Należy sprawdzić impedancje dla wszystkich kanałów; każda z nich powinna być mniejsza niż 5 kΩ. Metoda ta różni się w zależności od stosowanego systemu wzmacniacza, ale sprawdzenie impedancji powinno być możliwe albo sprzętowo, albo poprzez BCI2000.
   8. Jeśli impedancja elektrody przekracza 5 kΩ, należy ponownie wprowadzić igłę i jeszcze raz zetrzeć naskórek. Dodatkowe wstrzykiwanie żelu nie powinno być konieczne, chyba że impedancja nie maleje.
2. Pozyskiwanie cech kalibracyjnych EEG
   1. Na początku sesji, szczególnie podczas pierwszego testu badanego, warto określić cechy EEG, które mogą być wykorzystane do sterowania BCI. Dzieje się tak dlatego, że choć podstawowe właściwości rytmów EEG Mu i Beta są takie same u wszystkich ludzi, cechy te różnią się od osoby do osoby i dlatego muszą zostać skalibrowane przed rozpoczęciem jakichkolwiek innych eksperymentów.
   2. Podczas sesji kalibracyjnej badany otrzymuje instrukcję, aby wyobrażać sobie różne ruchy dłoni lub stóp w odpowiedzi na sygnały wizualne prezentowane na monitorze. Przed rozpoczęciem system komputerowy powinien zostać skonfigurowany w trybie dwóch monitorów, tak aby ekran badacza zawierał oprogramowanie sterujące, a drugi monitor wyświetlał obraz eksperymentalny.
   3. Uruchom BCI2000 z poziomu BCI2000Launcher, wybierając moduł źródła wzmacniacza, moduł ARSignalProcessing oraz moduł StimulusPresentation. W tym przykładzie używamy modułu gUSBampSource, który steruje wzmacniaczem g.USBamp.
   4. Dodaj pliki parametrów dla badanego, wzmacniacza oraz zadań przesiewowych motoryki. Powinny one zostać skonfigurowane wcześniej, aby można było je po prostu załadować i rozpocząć eksperyment.
   5. Po dodaniu plików parametrów do listy plików w BCI2000Launcher należy nacisnąć przycisk Launch. Jeśli wszystko przebiegło prawidłowo, BCI2000 powinno wystartować, powinien pojawić się przebieg danych EEG, a monitor badanego powinien pozostać pusty przed rozpoczęciem eksperymentu.
   6. Podczas sesji ekran będzie albo pusty, albo wyświetli instrukcję, taką jak „Prawa ręka”, „Lewa ręka”, „Obie ręce” lub „Obie stopy”. Instrukcja będzie wyświetlana przez 3 s; w tym czasie badany powinien nieprzerwanie wyobrażać sobie ruch. Ruchy dłoni powinny polegać na otwieraniu i zamykaniu dłoni (np. jakby ściskało się piłkę tenisową), a ruch stóp na przemieszczaniu ich w przód i w tył (np. jakby naciskano oboma stopami pedał gazu). Gdy ekran jest pusty, ciało powinno być całkowicie rozluźnione.
   7. W trakcie jednego przebiegu każda część ciała jest powtarzana 20 razy. Idealnie powinno być 100 punktów danych, co oznacza łącznie 5 przebiegów. Przy wielu sesjach konieczna jest mniejsza liczba przebiegów, ponieważ badany staje się sprawniejszy w wykonywaniu wyobrażonego zadania.
3. Analiza cech EEG
   1. Aby określić, które cechy EEG badany jest w stanie świadomie modulować w celu sterowania BCI, dane kalibracyjne analizuje się offline za pomocą narzędzia BCI2000 Offline Analysis, dołączonego do BCI2000. Narzędzie to konwertuje zebrane dane na cechy w dziedzinie częstotliwości, co pozwala wskazać częstotliwości i lokalizacje, które zmieniały się podczas różnych ruchów i są maksymalnie skorelowane z zadaniami. Cechy te mogą następnie zostać wykorzystane w eksperymencie BCI.
   2. Aby określić, których cech należy użyć, uruchom narzędzie BCI2000 Offline Analysis. BCI2000 zawiera obszerny samouczek dotyczący korzystania z narzędzia analizy, z którym należy się zapoznać w celu uzyskania szerszych informacji.
   3. Określ, które cechy EEG są silnie skorelowane z każdym ruchem, szukając wysokich wartości r-kwadrat na wykresach generowanych przez narzędzie analizy. Kanały i przedziały częstotliwości o największych wartościach r-kwadrat (np. większych niż 0,2) mogą zostać wybrane jako komponenty sygnału sterującego dla danego kierunku. Na przykład cechy, które zmieniają się dla warunku „Prawa ręka”, powinny zostać ustawione tak, aby przesuwać kursor na prawą stronę ekranu.
   4. Należy również pamiętać, że amplituda rytmów Mu/Beta maleje podczas powiązanego z nimi ruchu. Zatem, aby przesunąć kursor w prawo, czyli w dodatnim kierunku osi x, cecha ta powinna mieć przypisaną wagę ujemną.
   5. Wybrane kanały i częstotliwości powinny być zgodne ze znanymi właściwościami korowych rytmów sensoryczno-motorycznych. Oznacza to, że istotne zmiany odpowiadające wyobrażonemu ruchowi prawej ręki powinny być widoczne nad contralateralną (lewą) korą motorową, w pobliżu C3 i CP3, i być scentrowane wokół 8-12 Hz i/lub 18-28 Hz. Podobnie, ruchy lewej ręki powinny skutkować zmianami nad prawą korą motorową na elektrodach C4 i CP4, a ruchy stóp powinny pojawić się nad Cz i CPz. Jeśli lokalizacje i wartości te są inne, prawdopodobnie zmierzono jakiś inny szum lub efekt losowy i nie powinny one być konfigurowane jako cecha sterująca.
   6. Dla każdego warunku należy wybrać cztery największe wartości r-kwadrat pod kątem numeru kanału i numeru przedziału. Częstotliwości są ułożone w przedziałach 2 Hz, więc cecha z wysokim r-kwadrat w zakresie 10-12 Hz pojawi się w przedziale 6. Mając te wartości, można skonfigurować system do zadania sterowania kursorem.
4. Konfiguracja sesji sprzężenia zwrotnego online
   1. Skonfiguruj sesję ruchu kursora w BCI2000 Launcher.
   2. Przed rozpoczęciem eksperymentu należy skonfigurować kilka parametrów. Po pierwsze, filtr przestrzenny powinien zostać skonfigurowany z referencją średniej wspólnej (common-average reference). Aby to zrobić, naciśnij Config w operatorze BCI2000, aby wyświetlić listę ustawień, a następnie przejdź do karty Filtering.
   3. Przejdź do SpatialFiltering i zmień rozwijaną listę SpatialFilterType na „Common-Average Reference (CAR)”.
   4. W polu SpatialFilter CAR Output wymień nazwy lub numery kanałów wybranych podczas sesji kalibracyjnej. Możesz na przykład wpisać „C3 CP3 C4 CP4 Cz CPz” (bez cudzysłowu), a BCI2000 rozpozna, których kanałów użyć (pod warunkiem, że etykiety kanałów są wymienione w polu „Channel Names” w karcie Source).
   5. Następnie należy skonfigurować macierz klasyfikacji, aby korzystała z wybranych cech. W karcie Filtering przejdź do parametru Classifier i naciśnij Edit Matrix.
   6. Liczba kolumn powinna być ustawiona na 4, a liczba wierszy powinna być równa całkowitej liczbie wybranych cech. Każdy wiersz macierzy odpowiada pojedynczej cechy.
   7. Pierwsza kolumna powinna zawierać wszystkie używane nazwy kanałów, np. C3, C4 itd. Druga kolumna zawiera przedziały wybrane do sterowania. Można wprowadzić numer przedziału lub konkretną częstotliwość; wpisanie „6” lub „11Hz” wybierze ten sam przedział, pod warunkiem, że parametr BinWidth w karcie Source wynosi „2 Hz”. Trzecia kolumna to kanał wyjściowy; wartość „1” odpowiada ruchowi poziomemu, a „2” ruchowi pionowemu. Kanały C3, CP3, C4 i CP4 powinny być ustawione na 1 dla zadania poziomego sterowania kursorem; C3, CP3, C4, CP4, Cz i CPz powinny być ustawione na 2 dla zadania pionowego sterowania kursorem. Wreszcie czwarta kolumna zawiera wagę cechy i powinna odpowiadać kierunkowi przeciwnemu do zamierzonego, np. C3 i CP3 powinny mieć wagę -1, aby przesuwać kursor w prawo, a C4 i CP4 wagę 1, aby przesuwać go w lewo. Aby przesunąć kursor w dół, Cz i CPz powinny mieć wagę 1, a aby przesunąć go w górę, C3 i C4 powinny mieć wagę -1.
5. Zadanie ruchu kursora
   1. Po skonfigurowaniu systemu z odpowiednimi ustawieniami można rozpocząć zadanie eksperymentalne.
   2. System jest skonfigurowany tak, aby podczas próby pojawił się jeden z czterech celów. Zadaniem badanego jest przesunięcie kursora do właściwego celu za pomocą wyobrażonych ruchów odpowiadających pożądanemu kierunkowi ruchu (np. prawa ręka, aby przesunąć w prawo, stopy, aby przesunąć w dół itd.).
   3. W pierwszych próbach kursor jest ograniczony do osi celu. Oznacza to, że jeśli cel znajduje się na górze lub na dole, możliwe jest tylko przesuwanie kursora w górę lub w dół, a jeśli znajduje się po lewej lub prawej stronie ekranu, kursor można przesuwać tylko w lewo lub w prawo.
   4. Po rozpoczęciu przebiegu na ekranie przez 2 sekundy pojawia się litera „T”. Następnie przez 1 sekundę pojawia się jeden z celów.
   5. Po tym 1-sekundowym okresie kursor pojawia się na środku ekranu. Badany wykorzystuje odpowiednie wyobrażone ruchy, aby skierować kursor do celu. Jeśli badany trafi w cel, ten zmienia kolor. W przeciwnym razie badany ma 5 sekund na trafienie w cel, zanim sesja wygaśnie i zostanie uznana za nieudaną.
   6. Po próbie następuje 2-sekundowy odstęp między próbami, podczas którego badany może się rozluźnić, mrugnąć, przełknąć ślinę lub w inny sposób skorygować pozycję. Podczas prób ruchy powinny być ograniczone do absolutnego minimum, aby zredukować artefakty ruchowe lub mięśniowe. Korzystne jest również siedzenie w słabo oświetlonym pomieszczeniu w wygodnym krześle.
   7. Po 20 próbach BCI2000 przechodzi w stan zawieszenia. W tym czasie może być konieczna korekta niektórych ustawień, jeśli badany nie jest w stanie przesuwać kursora.
   8. Jeśli po 4 przebiegach badany nadal nie potrafi świadomie przesuwać kursora, może być konieczne ponowne przeanalizowanie zebranych danych w narzędziu BCI2000 Offline Analysis. Należy wybrać nowe kanały i częstotliwości na podstawie nowych wykresów cech. Może być wymaganych kilka przebiegów lub nawet kilka sesji, zanim badany opanuje zadanie.

Część 6: Reprezentatywne wyniki:

1. Ryciny 1 i 2 przedstawiają wartości r-kwadrat oraz topografię skóry głowy dla procedury kalibracji, wskazując, które kanały i przedziały częstotliwości należy wybrać do sterowania kursorem.
2. Przeszkolony badany powinien być w stanie szybko przenieść kursor do wskazanego celu w ciągu 1 lub 2 sekund.

Rycina 1 A) i B) Topografia zmian widmowych w pasmie 10-12 Hz podczas rzeczywistych i wyobrażonych ruchów prawą ręką. C) Widmo mocy w kanale C3 podczas spoczynku (linia przerywana) i ruchu (linia ciągła). D) Współczynnik r-kwadrat mocy podczas ruchu w porównaniu do spoczynku.

Rycina 2 Współczynnik r-kwadrat dla wszystkich kanałów w przypadku wyobrażonego ruchu prawej ręki. Oś X przedstawia częstotliwość w przedziałach 2 Hz od 0 do 70 Hz. Oś Y przedstawia numer kanału. Najwyższe wartości r-kwadrat odnotowano w kanałach 9, 10, 17, 18 i 19, które obejmują obszar kory motorycznej przeciwległy do obsługiwanej ręki.

Dyskusja

1. Kluczowe jest, aby impedancja elektrod była niska, jednak nie należy używać nadmiernej ilości żelu w celu jej obniżenia. Pojedynczy kanał o złej jakości może wpłynąć na wszystkie pozostałe poprzez wspólną referencję uśrednioną (common-average reference). Jeśli po kilku próbach impedancja nie ulegnie zmniejszeniu, zaleca się zastosowanie elektrody szybkiego wkładu, którą można po prostu wsunąć w miejsce wadliwej elektrody przez otwór służący do wstrzykiwania żelu, a następnie przymocować taśmą.
2. Podczas pierwszej sesji badany mo...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
System wzmacniacza kompatybilny z BCI2000	g.USBamp		http://www.gtect.at
System wzmacniacza kompatybilny z BCI2000	Tucker-Davis Technologies	Rx5 lub Rx7	http://www.tdt.com
czepka EEG	Electro-cap International		http://www.electro-cap.com Czapka powinna posiadać co najmniej elektrody rozmieszczone nad obszarami odpowiedzialnymi za ruchy rąk i stóp (C3, C4 oraz Cz). Do kontroli (CP3, CP4, CPz) oraz do filtrowania przestrzennego, co poprawi jakość sygnału, można wykorzystać dodatkowe kanały.
Żel przewodzący	Electro-cap International		http://www.electro-cap.com
komputer osobisty			System operacyjny Windows XP lub Vista (minimum Pentium 4, 2 GHz, 1 GB RAM)
Dwa monitory			Każdy o rozmiarze co najmniej 19 cali (jeden dla badanego i jeden dla badacza)