Ten artykuł przedstawia metodę szacowania dokładności interfejsu mózg-komputer (BCI) dla pisowni P300 tego samego dnia przy użyciu małego zestawu danych testowych.
Artykuł metodologiczny
Ten artykuł przedstawia metodę szacowania dokładności interfejsu mózg-komputer (BCI) dla pisowni P300 tego samego dnia przy użyciu małego zestawu danych testowych.
Szacowanie wydajności jest niezbędnym krokiem w rozwoju i walidacji systemów interfejsu mózg-komputer (BCI). Niestety, nawet nowoczesne systemy BCI działają powoli, co sprawia, że gromadzenie wystarczającej ilości danych do walidacji jest czasochłonnym zadaniem zarówno dla użytkowników końcowych, jak i eksperymentatorów. Jednak bez wystarczających danych losowa zmienność wydajności może prowadzić do fałszywych wniosków na temat tego, jak dobrze BCI działa dla konkretnego użytkownika. Na przykład pisownia P300 zwykle operuje około 1-5 znaków na minutę. Oszacowanie dokładności z rozdzielczością 5% wymaga 20 znaków (4-20 min). Pomimo tej inwestycji czasu, granice ufności dla dokładności od 20 znaków mogą wynosić nawet ±23% w zależności od obserwowanej dokładności. Wykazano, że wcześniej opublikowana metoda, Classifier-Based Latency Estimation (CBLE), jest silnie skorelowana z dokładnością BCI. W tej pracy przedstawiono protokół wykorzystania CBLE do przewidywania dokładności pisowni P300 użytkownika na podstawie stosunkowo niewielu znaków (~3-8) danych pisania. Wynikające z tego granice ufności są węższe niż te uzyskiwane tradycyjnymi metodami. Metoda ta może być zatem wykorzystana do szybszego i/lub dokładniejszego oszacowania wydajności BCI.
Interfejsy mózg-komputer (BCI) to nieinwazyjna technologia, która pozwala jednostkom komunikować się bezpośrednio przez maszyny, bez względu na fizyczne ograniczenia narzucone przez ciało. BCI może być używany jako urządzenie wspomagające obsługiwane bezpośrednio przez mózg. BCI wykorzystuje aktywność mózgu użytkownika do określenia, czy użytkownik zamierza wybrać określony (literę, cyfrę lub symbol) wyświetlany na ekranie1. W typowym systemie komputerowym użytkownik fizycznie naciska odpowiedni na klawiaturze. Jednak w systemie BCI z wyświetlaczem wizualnym użytkownik musi skupić się na żądanym. Następnie BCI wybierze zamierzony, analizując zmierzone sygnały mózgowe1. Aktywność mózgu można mierzyć za pomocą różnych technik. Chociaż istnieją konkurencyjne technologie BCI, elektroencefalogram (EEG) jest uważany za wiodącą technikę ze względu na jej nieinwazyjny charakter, wysoką rozdzielczość czasową, niezawodność i stosunkowo niski koszt2.
Zastosowania BCI obejmują komunikację, kontrolę urządzeń, a także rozrywkę3,4,5,6. Jednym z najbardziej aktywnych obszarów zastosowań BCI jest moduł sprawdzania pisowni P300, który został wprowadzony przez Farwella i Donchina7. P300 to potencjał związany ze zdarzeniem (ERP) wytwarzany w odpowiedzi na rozpoznanie rzadkiego, ale istotnego bodźca8. Kiedy osoba rozpoznaje swój bodziec docelowy, automatycznie wytwarza P300. P300 jest skutecznym sygnałem dla BCI, ponieważ przekazuje uczestnikowi rozpoznanie zdarzenia docelowego bez konieczności zewnętrznej reakcji9.
P300 BCI przyciągnęło badaczy z dziedziny informatyki, elektrotechniki, psychologii, czynnika ludzkiego i różnych innych dyscyplin. Poczyniono postępy w przetwarzaniu sygnałów, algorytmach klasyfikacji, interfejsach użytkownika, schematach stymulacji i wielu innych obszarach10,11,12,13,14,15. Niezależnie jednak od obszaru badawczego, wspólnym mianownikiem wszystkich tych badań jest konieczność mierzenia wydajności systemu BCI. To zadanie zazwyczaj wymaga wygenerowania zestawu danych testowych. Ta konieczność nie ogranicza się do badań; Ewentualne zastosowanie kliniczne jako technologia wspomagająca będzie prawdopodobnie wymagało indywidualnych zestawów walidacyjnych dla każdego użytkownika końcowego, aby zapewnić, że system może generować niezawodną komunikację.
Pomimo wielu badań przeprowadzonych nad P300 BCI, systemy są nadal dość powolne. Podczas gdy większość ludzi jest w stanie używać klasy P300 BCI16, większość pisowni P300 tworzy tekst rzędu 1-5 znaków na minutę. Niestety, ta niska prędkość oznacza, że generowanie zestawów danych testowych wymaga znacznego czasu i wysiłku od uczestników, eksperymentatorów i ewentualnych użytkowników końcowych. Pomiar dokładności systemu BCI jest problemem szacowania parametrów dwumianowych, a do dobrego oszacowania potrzebnych jest wiele znaków danych.
Aby oszacować obecność lub brak ERP P300, większość klasyfikatorów używa binarnego modelu klasyfikacji, który polega na przypisaniu binarnej etykiety (np. "obecność" lub "brak") do każdej próby lub epoki danych EEG. Ogólne równanie używane przez większość klasyfikatorów można wyrazić jako:

gdzie
nazywa się wynikiem klasyfikatora, który reprezentuje prawdopodobieństwo wystąpienia odpowiedzi P300, x to wektor cech wyodrębniony z sygnału EEG, a b to termin tendencyjności17. Funkcja f jest funkcją decyzyjną, która mapuje dane wejściowe na etykietę wyjściową i jest uczona na podstawie zestawu oznaczonych danych treningowych przy użyciu algorytmu uczenia nadzorowanego17. Podczas trenowania klasyfikator jest trenowany na oznaczonym zestawie danych sygnałów EEG, gdzie każdy sygnał jest oznaczony jako mający odpowiedź P300 lub nie. Wektor wagi i składnik odchylenia są zoptymalizowane w celu zminimalizowania błędu między przewidywanym wyjściem klasyfikatora a prawdziwą etykietą sygnału EEG. Po wytrenowaniu klasyfikatora można go wykorzystać do przewidywania obecności odpowiedzi P300 w nowych sygnałach EEG.
Różne klasyfikatory mogą używać różnych funkcji decyzyjnych, takich jak liniowa analiza dyskryminacyjna (LDA), krokowa liniowa analiza dyskryminacyjna (SWLDA), najmniejsze kwadraty (LS), regresja logistyczna, maszyny wektorów nośnych (SVM) lub sieci neuronowe (NN). Klasyfikator najmniejszych kwadratów to klasyfikator liniowy, który minimalizuje sumę błędów kwadratowych między przewidywanymi etykietami klas a prawdziwymi etykietami klas. Ten klasyfikator przewiduje etykietę klasy nowej próbki testowej przy użyciu następującego równania:
(1)
gdzie funkcja znaku zwraca +1, jeśli produkt jest dodatni i -1, jeśli jest ujemny, a wektor wagi
jest uzyskiwany z zestawu cech danych treningowych, (x) i etykiet klas (y) przy użyciu poniższego równania:
(2)
We wcześniejszych badaniach argumentowaliśmy, że szacowanie opóźnień oparte na klasyfikatorze (CBLE) może być użyte do oszacowania dokładności BCI17,18,19. CBLE to strategia oceny zmienności opóźnienia poprzez wykorzystanie czasowej czułości klasyfikatora18. Podczas gdy konwencjonalne podejście do klasyfikacji P300 polega na użyciu pojedynczego okna czasowego, które jest zsynchronizowane z każdą prezentacją bodźca, metoda CBLE polega na tworzeniu wielu przesuniętych w czasie kopii epok po bodźcu. Następnie wykrywa przesunięcie w czasie, które skutkuje maksymalnym wynikiem, w celu oszacowania opóźnienia odpowiedzi P30017,18. W tym miejscu przedstawiono protokół, który szacuje wydajność BCI na podstawie małego zestawu danych przy użyciu CBLE. W ramach analizy reprezentatywnej liczba znaków jest różnicowana, aby umożliwić przewidywanie ogólnej wydajności danej osoby. Dla obu przykładowych zestawów danych obliczono błąd średniokwadratowy (RMSE) dla vCBLE i rzeczywistą dokładność BCI. Wyniki wskazują, że RMSE z przewidywań vCBLE, przy użyciu dopasowanych danych, był konsekwentnie niższy niż dokładność uzyskana z 1 do 7 badanych znaków.
Opracowaliśmy graficzny interfejs użytkownika (GUI) o nazwie "Szacowanie wydajności CBLE" w celu wdrożenia proponowanej metodologii. Dostępny jest również przykładowy kod (Supplementary Coding File 1), który działa na platformie MATLAB. Przykładowy kod wykonuje wszystkie kroki zastosowane w graficznym interfejsie użytkownika, ale kroki są udostępniane, aby pomóc czytelnikowi w dostosowaniu się do nowego zestawu danych. Ten kod wykorzystuje publicznie dostępny zestaw danych "Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)" do oceny proponowanej metody20. Uczestnicy rozegrali do trzech sesji gry Brain Invaders, z których każda składała się z 9 poziomów gry. Zbieranie danych trwało do momentu zakończenia wszystkich poziomów lub utraty przez uczestnika całkowitej kontroli nad systemem BCI. Interfejs Brain Invaders zawierał 36 symboli, które w 12 grupach po sześciu kosmitów. Zgodnie z paradygmatem Brain Invaders P300, powtórka została stworzona przez 12 błysków, po jednym dla każdej grupy. Z tych 12 błysków, dwa błyski zawierały symbol celu (znane jako błyski celu), podczas gdy pozostałe 10 błysków nie zawierało symbolu celu (znane jako błyski inne niż cel). Więcej informacji na temat tego paradygmatu można znaleźć w oryginalnym odnośniku20.
Podejście CBLE zostało również wdrożone na zbiorze danych z Michigan, który zawierał dane od 40 uczestników18,19. W tym przypadku dane ośmiu uczestników musiały zostać odrzucone, ponieważ ich zadania były niekompletne. Całe badanie wymagało trzech wizyt każdego uczestnika. Pierwszego dnia każdy uczestnik wpisał 19-znakowe zdanie treningowe, a następnie trzy 23-znakowe zdania testowe w dniach 1, 2 i 3. W tym przykładzie klawiatura zawierała 36 znaków, które zostały pogrupowane w sześć wierszy i sześć kolumn. Każdy wiersz lub kolumna była migana przez 31,25 milisekundy z przerwą 125 milisekund między błyskami. Pomiędzy znakami przewidziano 3,5 s przerwy.
Rysunek 1 pokazuje schemat blokowy proponowanej metody. Szczegółowa procedura została opisana w rozdziale dotyczącym protokołu.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Graficzny interfejs użytkownika "Oszacowanie wydajności CBLE" został zastosowany do dwóch zestawów danych: zestawu danych "BrainInvaders" i zestawu danych Michigan. W przypadku zestawu danych "BrainInvaders" zbieranie danych zostało zatwierdzone przez Komisję Etyczną Uniwersytetu Grenoble Alpes20. Dane z Michigan zostały zebrane za zgodą University of Michigan Institutional Review Board19. Dane zostały przeanalizowane zgodnie z protokołem 7516 zwolnionym z obowiązku Kalifornijskiego Uniwersytetu Stanowego Kansas. W przypadku zbierania nowych danych należy postępować zgodnie z zatwierdzonym przez IRB procesem zbierania świadomej zgody. W tym przypadku proponowany protokół jest oceniany przy użyciu analizy offline wcześniej zarejestrowanych, zanonimizowanych danych, a zatem nie wymagał dodatkowej świadomej zgody.
Graficzny interfejs użytkownika (GUI) zawarty w tym artykule jest biegły w zarządzaniu dwoma różnymi formatami zestawów danych. Pierwszy format jest powiązany z oprogramowaniem BCI2000, podczas gdy drugi format jest określany jako zestaw danych "BrainInvaders". Aby korzystać z formatu "Brain Invaders", dane muszą zostać wstępnie przetworzone zgodnie z opisem w kroku 1 sekcji protokołu. Jednak w przypadku formatu zbioru danych "BCI2000" krok 1 można pominąć.
1. Przygotowanie danych
2. Pobieranie i instalowanie pakietu GUI
3. Przechowywanie zestawu danych w podfolderze lokalizacji GUI
4. Otwieranie zainstalowanego graficznego interfejsu użytkownika
5. Wybór formatu zestawu danych
6. Wczytywanie pliku z danymi EEG
7. Ustawianie parametrów
8. Tylko BrainInvaders: Podział zbioru danych na zestaw treningowy i testowy
9. Trenowanie modelu za pomocą zestawu danych treningowych
UWAGA: Krok 9.1 dotyczy formatu "Brain Invaders", a krok 9.2 dotyczy formatu "BCI2000".
10. Przewidywanie dokładności zestawu testowego
11. Uzyskiwanie dokładności X-target
12. Obliczanie vCBLE
13. Obliczanie błędu średniokwadratowego (RMSE) dokładności BCI i vCBLE
14. Wizualizacja wyników analizy
15. Przewidywanie wyników poszczególnych uczestników
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Proponowany protokół został przetestowany na dwóch różnych zestawach danych: "BrainInvaders" i zbiorze danych z Michigan. Te zestawy danych zostały już pokrótce wprowadzone w sekcji Wprowadzenie. Parametry stosowane dla tych dwóch zbiorów danych wymieniono w tabeli 1. Rysunki 2-4 przedstawiają wyniki uzyskane przy użyciu zestawu danych "BrainInvaders", podczas gdy Rysunki 5-7 po...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
W tym artykule przedstawiono metodę szacowania dokładności BCI przy użyciu małego zestawu danych P300. W tym przypadku obecny protokół został opracowany w oparciu o zestaw danych "bi2014a", chociaż skuteczność protokołu została potwierdzona na dwóch różnych zestawach danych. Aby pomyślnie zaimplementować tę technikę, konieczne jest ustalenie pewnych zmiennych, takich jak okno epoki dla oryginalnych danych, okno przesunięcia w czasie, współczynnik próbkowania w dół oraz rozmiar zestawów danych zarówno treningowych, jak i ...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Wszyscy autorzy deklarują, że nie mają żadnych konfliktów interesów.
Dane użyte do reprezentatywnych wyników zostały zebrane z pracy wspieranej przez National Institute of Child Health and Human Development (NICHD), National Institutes of Health (NIH) w ramach Grant R21HD054697, oraz National Institute on Disability and Rehabilitation Research (NIDRR) w Departamencie Edukacji w ramach Grantu H133G090005 i Nagrody Numer H133P090008. Reszta prac została częściowo sfinansowana przez National Science Foundation (NSF) w ramach nagrody #1910526. Ustalenia i opinie zawarte w tej pracy niekoniecznie odzwierciedlają stanowisko NICHD, NIH, NIDRR lub NSF.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| MATLAB 2021 | Matlab | N/A | Można użyć dowolnej najnowszej wersji MATLAB. |
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE
Poproś o pozwolenie