SET Net Hybrydowy framework deep learning dla klasyfikacji relaksacji uwagi opartej na EEG w aplikacjach interfejsu mózg-komputer

Summary

W niniejszym artykule przedstawiono sieć transformatorów squeeze-and-excitation (SET-Net), która jest hybrydową siecią CNN-Transformer, rozpoznającą stany uwagi i relaksacji za pomocą cech spektrogramu do identyfikacji stanów uwagi i relaksacji opartej na EEG z dokładnością 93,7% i wysoką uogólnieniem do zastosowań interfejsu mózg-komputer (BCI).

Abstract

Technologia interfejsu mózg-komputer (BCI) jest wykorzystywana jako narzędzie do zapewnienia bezpośredniego kanału komunikacji między ludzkim mózgiem a środowiskiem zewnętrznym. Ma zastosowanie w systemach wspomagających i interaktywnych. Nieinwazyjne pozyskiwanie aktywności nerwowej za pomocą elektroencefalografii (EEG) jest standardem w systemach BCI. Jednak trudno jest skutecznie sklasyfikować stany poznawcze, w tym uwagę i relaksację, ponieważ sygnał EEG jest niestacjonarny i głośny. Aby przezwyciężyć te niedociągnięcia, badanie proponuje nową hybrydową architekturę głębokiego uczenia, mianowicie sieć transformatorową squeeze-and-excitation (SE) (SET-Net). W tej metodzie sygnały EEG są wstępnie przetwarzane i dzielone na okna czasowe w celu analizy istotnych reprezentacji spektrogramów. Proponowany model osiąga dokładność klasyfikacji na poziomie 93,7%, z wynikiem F1 0,93 i ROC-AUC 0,98. To pokazuje skuteczność hybrydowego modelu głębokiego uczenia w rozszerzonej dyskryminacji stanu uwagi i relaksacji opartej na EEG. Oferuje to skalowalny system dla aplikacji BCI w czasie rzeczywistym jako technologię wspomagającą interakcję człowiek-komputer.

Introduction

Interfejsy mózg–komputer (BCI) stały się przełomową technologią, która pozwala ludzkiemu mózgowi i zewnętrznym urządzeniom komunikować się bezpośrednio bez użycia tradycyjnych połączeń nerwowo-mięśniowych. Elektroencefalografia (EEG) jest najczęściej spotykaną i powszechnie stosowaną techniką ze względu na nieinwazyjny charakter, przenośność oraz opłacalność¹. BCI oparte na EEG były wykorzystywane zarówno w opiece zdrowotnej, jak również w neurorehabilitacji, graniu gier i technologiach wspomagających dla osób z niepełnosprawnościami neurologicznymi, poprzez badanie aktywności mózgu². Jednym z najważniejszych zastosowań jest identyfikacja stanów poznawczych, w tym uwagi i relaksacji, które mogą być wykorzystywane do tworzenia adaptacyjnych interfejsów człowiek-komputer oraz dostępności cyfrowej³. Niski stosunek sygnału do szumu, duża zmienność między podmiotami oraz skomplikowana dynamika czasowa między stanami uwagi a relaksacji, interpretowana za pomocą EEG; dlatego klasyfikacja stanów uwagi i relaksacji za pomocą EEG jest trudna⁴. Klasyczne modele uczenia maszynowego, w tym maszyny wektorowe wspierające (SVM) i las losowy, wykazały umiarkowaną wydajność; jednak zazwyczaj opierają się na inżynierii cech, ponieważ nie wykorzystują w pełni złożoności przestrzenno-spektralno-czasowej EEG⁵. Najnowsze osiągnięcia w głębokim uczeniu, szczególnie w sieci konwolucyjnej (CNN) i transformatorze, otworzyły nowe możliwości automatycznego wyodrębniania cech i silnej klasyfikacji sygnałów EEG⁶.

Systemy BCI oparte na EEG są szeroko badane od dawna jako narzędzie monitorowania stanu poznawczego, neurorehabilitacji oraz systemów interaktywnych. Definicja stanu psychicznego jest jednym z najważniejszych wyzwań, na przykład w stanach relaksacji i uwagi. W odpowiedzi na to naukowcy zaprezentowali różnorodne rozwiązania, takie jak inżynieria standardowych cech oraz zaawansowane modele głębokiego uczenia. Klasyczne podejścia uczenia maszynowego opierają się głównie na ręcznie projektowanych cechach w przestrzeni czasowej, częstotliwościowej lub czasowo-częstotliwościowej. Badania nad hybrydowymi algorytmami głębokiego uczenia w ramach systemu SET-Net opartego na EEG klasyfikacji uwagi i relaksacji okazały się ważnym kierunkiem naukowym, ponieważ mogą potencjalnie ulepszyć systemy BCI, które mogą być wykorzystywane w rzeczywistych warunkach ^7,8. Modele głębokiego uczenia, w tym sieci konwolucyjne (CNN), sieci rekurencyjne (RNN) oraz transformatory, osiągnęły znaczący postęp w dekodowaniu sygnałów EEG w ciągu ostatniej dekady ¹⁹⁹¹⁰. Te osiągnięcia doprowadziły do lepszego i bardziej efektywnego dekodowania stanów poznawczych, które są pożądane dla stanów poznawczych w neurorehabilitacji i technologiach wspomagających^11,12. Rosnąca popularność systemów BCI podkreśla praktyczne znaczenie poprawy dokładności klasyfikacji, a najnowsze wyniki wykazały, że klasyfikacja ta może przekraczać 85% w obrazowaniu motorycznym i aktywnościach uwagowych^13,14. Niemniej jednak, wyzwania w osiąganiu silnych klasyfikacji w czasie rzeczywistym w różnorodnych i hałaśliwych środowiskach nadal istnieją, mimo takich wydarzeń^15,16. Kluczowym problemem poruszanym w tym badaniu jest precyzja i zewnętrzna wiarygodność modeli klasyfikacji uwagi–relaksacji opartych na EEG, szczególnie modeli składających się z hybrydowego głębokiego uczenia w architekturze SET-Net^17,18, które są ograniczone. Istniejące metody zwykle wiążą się z problemami zmienności między podmiotami, niskim szumem sygnału oraz słabym wykorzystaniem właściwości przestrzenno-czasowych 19,20,21. Istnieją metody nastawione na ekstrakcję cech splotowych, a inne na architekturę uwagi lub transformatorów, co prowadzi do różnych opinii na temat najlepszego projektu modelu 22,23,24. Ponadto modele EEG nie są łatwe do trenowania i uzasadniania ze względu na brak dostępności dużych, adnotowanych zbiorów danych^25,26. Ten brak wiedzy ogranicza stosowanie BCI w warunkach rzeczywistych, co jest najważniejsze, aby być elastycznym i precyzyjnym ^27,28. Teoretycznie opiera się to na mieszance ekstrakcji cech przestrzennych, czasowych i opartych na uwagi, wykorzystując hybrydowe modele głębokiego uczenia 29,30,31. To połączenie widoczne jest w ramach SET-Net, które uzyskuje się poprzez warstwy splotowe do wyodrębniania lokalnych cech oraz mechanizmów samouwagi, aby nauczyć się globalnych zależności³². Ta synergia wzmacnia reprezentację sygnałów EEG i może być zastosowana do lepszej klasyfikacji stanów relaksacji i uwagi. Teoria opiera się na faktach, że zmienność sygnałów EEG i szumu można wyeliminować dzięki wzmocnieniu wieloskalowych charakterystyk przestrzenno-czasowych oraz technikom adaptacji domenowej³³. Systematyczny przegląd koncentruje się na krytycznym przeglądzie postępów teoretycznych w zakresie dokładności i praktycznego zastosowania hybrydowych metod głębokiego uczenia architektury SET-Net klasyfikacji uwagi i relaksacji opartej na EEG³⁴. Przegląd ten będzie wykorzystywany do kierowania stworzeniem lepszego, bardziej interpretacyjnego i uogólnialnego systemu BCI w przyszłych eksperymentach poprzez syntezę najnowszych osiągnięć oraz identyfikację mocnych i ograniczonych stron metod. Takie luki pomogą w przyszłym rozwoju rzeczywistych zastosowań BCI, które zwiększą użytkowników i niezawodność systemu. Przegląd zastosował szerokie podejście przeglądu literatury, gdzie recenzowane artykuły były wykorzystywane w oparciu o hybrydowe modele głębokiego uczenia w klasyfikacji EEG uwagi–relaksacji³⁴. Kryteria włączenia koncentrują się na najnowszych trendach w architekturach konwolucyjnym, rekurencyjnym i opartym na uwadze w ramach systemów SET-Net lub podobnych³⁵. Modele analityczne oceniają projekty modeli, algorytmy wyboru cech, dokładność klasyfikacji oraz możliwość wykonania w rzeczywistym środowisku. Wyniki są uporządkowane tak, aby wyjaśnić budowanie teorii, praktykę oraz przyszłe możliwości badawcze.

Pomimo ostatnich postępów, istniejące metody nie potrafią jednocześnie uchwycić zależności czasowych przestrzennych, spektralnych i dalekosiężnych w jednokanałowych sygnałach EEG, co skutkuje nieoptymalną wydajnością klasyfikacji uwagi–relaksacji. Ponadto istniejące metody opierają się na ręcznie dodawanych cechach lub uwzględniają tylko kilka cech sygnałów EEG; dlatego nie można ich uogólnić na uczestników i warunki w czasie rzeczywistym. Dlatego potrzebne jest stworzenie jednolitych ram, które będą mogły odpowiednio modelować wielowymiarowe cechy EEG oraz były silne i możliwe do badań w czasie rzeczywistym.

Aby przezwyciężyć te wady, badanie proponuje pracę badawczą w ramach hybrydowego modelu głębokiego uczenia, oznaczonego jako sieć transformatorów ściskania i wzbudzania (SET-Net). W szczególności moduł CNN uczy się lokalnych wzorców przestrzenno-spektralnych za pomocą spektrogramów EEG i pokonuje ograniczenia ręcznie wytwarzanej ekstrakcji cech. Blok SE poprawia reprezentację cech poprzez dostosowywanie znaczenia kanałowego oraz zwiększanie odporności szumów i zmienności. Enkoder transformatora modeluje długoterminowe zależności czasowe, które nie ograniczają się do modeli wyłącznie CNN. Ponadto analiza czasowo-częstotliwościowa może być skutecznie przeprowadzana za pomocą reprezentacji opartej na spektrogramie, co ułatwia uczenie się cech dyskryminujących. Aby zagwarantować stabilne wyniki, zastosowano zrównoważone szkolenie i walidację bez wycieków, co poprawiło uogólnienie wyników między uczestnikami.

Ponadto sugerowana struktura jest potwierdzona w aplikacji czasu rzeczywistego, w której kategoryzowane stany poznawcze są przekształcane w kierunku instrukcji sterowania systemami interaktywnymi. Pokazuje to, że model jest praktycznie stosowany w technologiach wspomagających i dostępności cyfrowej, a potencjalnie może być wykorzystany w praktycznej implementacji BCI.

Głównym osiągnięciem tego badania jest zaprojektowanie nowej hybrydowej architektury SET-Net, która wykorzystuje konwolucyjne sieci neuronowe, uwagę typu squeeze-and-excitation oraz enkodery transformatorowe, aby lepiej modelować sygnały EEG. Ponadto do skutecznego oddania właściwości czasowo-częstotliwościowych sygnałów EEG użyto reprezentacji opartej na spektrogramie. Sugerowane ramy pozwalają na silną klasyfikację stanów poznawczych uwagi i relaksacji. Co więcej, model wykazano praktyczne zastosowanie w aplikacji interfejsu mózg-komputer w czasie rzeczywistym.

Artykuł ten jest zorganizowany na sekcje, w których przegląd badań kategoryzujących klasy uwagi i relaksacji aktywności mózgu stosowane w systemach BCI. Artykuł ten został sformułowany tak, aby najpierw przedstawić luki i wyzwania badawcze związane z rozwojem systemów BCI, a następnie przedstawić proces pozyskiwania danych oraz metodologię rejestracji sygnałów EEG, preprocessing oraz reprezentacja cech. Omawia znaczenie aktywności koncentracji i relaksacji, a także proces wyciągania istotnych cech z danych EEG. Wyniki są następnie prezentowane i oceniane za pomocą analiz ilościowych i porównawczych, a także rzeczywistej wydajności aplikacji. Ostatnia część omawia wyniki, ograniczenia badania oraz przyszłe kierunki pracy.

Protocol

Badanie przeprowadzono zgodnie z Deklaracją Helsińską i zatwierdzono przez Komitet Etyki Instytucjonalnej Uniwersytetu SR w Warangal, Telangana, Indie (Zatwierdzenie nr 007/2026). Przed zebraniem danych uzyskano świadomą zgodę na piśmie od wszystkich uczestników.

Selekcja uczestników

Dane EEG zostały zebrane od 11 zdrowych uczestników (wiek: 25–45 lat; średni wiek: 28 lat) bez historii zaburzeń neurologicznych lub psychiatrycznych. W tym badaniu rozważano łącznie 1175 segmentów EEG, z czego 527 należy do klasy relaksacyjnej, a 648 do klasy uwagi. Uczestnicy, których nagrania EEG wykazywały nadmierne artefakty ruchu lub słabą jakość sygnału, zostali wykluczeni.

Konfiguracja do pozyskiwania EEG

Ogólny układ proponowanego systemu interfejsu mózg-komputer oparty na EEG przedstawiono na Rysunku 1, który pokazuje cały proces pozyskiwania, klasyfikacji i użytkowania sygnałów w czasie rzeczywistym. Dane EEG zostały zarejestrowane za pomocą małego modułu akwizycji biopotencjału połączonego z systemem opartym na mikrokontrolerze. Elektrody żelowe umieszczono na podstawie systemu International 10–20, czyli punkty przedczołowe Fp1 i Fp2, z elektrodami odniesienia i uziemienia umieszczonymi na płatkach usznych, jak pokazano na Rysunku 2. Sygnały były cyfrowe z częstotliwością 128 Hz i przesyłane do komputera za pomocą samodzielnie napisanego skryptu akwizycyjnego w Pythonie. Zastosowano odpowiednie przygotowanie skóry oraz przewodzący żel w celu zmniejszenia impedancji elektrod i poprawy jakości sygnału.

Procedura eksperymentalna

Nagrania EEG wykonywano w dwóch warunkach poznawczych: relaksacji i uwagi, według standardowego protokołu. W warunkach relaksacyjnych uczestnik był siadać w wygodnym, cichym środowisku i instruowany, by pozostawać nieruchomo z minimalnym ruchem. Uspokajający dźwięk instrumentalny odtwarzano przez słuchawki, a akwizycja EEG była inicjowana za pomocą polecenia python collect.py. Sygnały EEG były nagrywane przez 5 minut na sesję i powtarzane przez cztery sesje. W warunkach uwagi uczestnik był instruowany do wykonywania zadań wymagających uwagi, takich jak gry interaktywne, zachowując ten sam układ akwizycji co w warunkach relaksacyjnych. Sygnały EEG były nagrywane przez 5 minut na sesję i powtarzane przez cztery sesje. Każdy uczestnik uczestniczył łącznie przez 40 minut, w tym 20 minut relaksu i 20 minut zadań skupiających uwagę, co umożliwiło wiarygodne porównanie stanów poznawczych.

Przetworzony zbiór danych został zorganizowany w oznaczone segmenty w następujący sposób: Relaksacja (0); Uwaga (1). Każdy segment miał czas trwania 4 s z 50% nakładaniem się i był reprezentowany jako spektrogram za pomocą krótkoczasowej transformaty Fouriera.

Przetwarzanie sygnałów, reprezentacja cech i implementacja modeli

Uzyskane sygnały EEG były wstępnie przetwarzane, aby wyeliminować szum i artefakty. Do eliminacji zakłóceń w sieci energetycznej użyto filtra z nacięciem 50 Hz, a do wyboru odpowiednich pasm częstotliwości EEG użyto filtra pasmowego Butterwortha czwartego rzędu w sygnale od 0,5 do 30 Hz. Do identyfikacji segmentów skażonych artefaktami wykorzystano progi amplitudy oraz inspekcję wizualną, a około 8–12% danych zostało usuniętych. Dodawanie szumu gaussa, maskowanie czasu oraz maskowanie częstotliwości to metody augmentacji danych stosowane w celu poprawy odporności modelu. Sygnały EEG były filtrowane, a następnie dzielone na 4-sekundowe okna oddzielone o 50 procent.

Poszczególne segmenty EEG zostały przekształcone w reprezentację czasowo-częstotliwościową (krótko-czasową transformatę Fouriera), jak pokazano w równaniu (1), aby umożliwić wyodrębnienie charakterystyk czasowych i spektralnych.

    (1)

Powstałe spektrogramy zostały znormalizowane i pomalowane do stałych wymiarów, aby służyć jako dane wejściowe do modelu klasyfikacji. Aby zapobiec wyciekom danych wywołanym nakładaniem się, zbiór danych podzielono na podzbiory treningowe (70%), walidację (10%) oraz testowe (20%) przed segmentacją, jak pokazano na Rysunku 3. Dodatkowo przeprowadzono walidację krzyżową typu leave-one-subject-out (LOSO) w celu oceny uogólnienia międzyobiektowego, gdzie dane z jednego uczestnika wykorzystano do testowania, a pozostałe dane do treningu.

Proponowana architektura SET-Net, jak pokazano na Rysunku 4, została zaprojektowana tak, aby rejestrować wielowymiarowe cechy EEG. Model integruje szkielet sieci neuronowej splotowej (CNN) do wyodrębnienia reprezentacji przestrzenno-spektralnych, a następnie blok squeeze-and-excitation (SE), który adaptacyjnie rekalibruje znaczenie cechy kanałowej, jak opisano w równaniu (2). Szkielet CNN składa się z dwóch warstw splotowych o rozmiarze jądra 3 × 3, po których następuje normalizacja wsadowa i aktywacja jednostki liniowej wykładniczej (ELU)

    (2)

Wewnętrzna struktura bloku SE przedstawiona jest na rysunku 5. Aby uchwycić długoterminowe zależności czasowe, zastosowano enkoder transformatorowy, którego mechanizm uwagi został zdefiniowany w równaniu (3) i zilustrowany na rysunku 6.

    (3)

Stosowano adaptacyjną warstwę uśredniania do zredukowania map cech do stałego rozmiaru 16 × 16. Współczynnik redukcji bloku SE wynosi 8, co służy do kalibracji odpowiedzi cech kanałowych. Enkoder transformatora składał się z czterech warstw z czterema głowicami do skupienia, wymiaru feed-forward 256 oraz rozmiaru osadzenia modelu 128.

Ostateczna klasyfikacja została przeprowadzona przy użyciu w pełni połączonych warstw z regularizacją dropout oraz funkcją aktywacji softmax, aby rozróżnić stany uwagi od relaksacji. Szczegółowa warstwowa architektura proponowanego modelu przedstawiona jest w Tabeli 1.

Model został wytrenowany za pomocą optymalizatora AdamW z początkową częstotliwością uczenia 0,001 i spadkiem wagi 1×10⁻⁴. Do zwiększenia zbieżności użyto planera wyżarzania kosinusowego, a 50 epok wytrenowano na partii 32. Nierównowagę klasową pokonano za pomocą ważonej funkcji strat entropii krzyżowej, opisanej w równaniu (4).

     (4)

Tabela 2 podsumowuje konfigurację treningową, a Tabela 3 przedstawia wyszukiwanie hiperparametrów proponowanego SET-Net, które zostało użyte w klasyfikacji uwagi i relaksacji opartej na EEG. Wybrane parametry zapewniają stabilność treningu, zwiększoną uogólnienie oraz tolerancję na zmiany sygnałów EEG. Wybrane parametry zapewniają stabilność procesu treningu, wzmacniają uogólnienia i zapobiegają zmianom sygnału EEG. Do pomiaru wydajności modelu wykorzystano dokładność, precyzję, przywołanie, wynik F1 oraz ROC-AUC. Wszystkie potoki obejmujące wstępne przetwarzanie, trenowanie modeli i ewaluację zostały napisane w Pythonie przy użyciu frameworka PyTorch, aby zapewnić powtarzalność. Tabela 4 zawiera szczegółowy opis rozwiązywania problemów, które pomagają i rozwiązują problemy związane z akwizycją EEG, wstępnym przetwarzaniem, trenowaniem modeli oraz użycie w czasie rzeczywistym. Tabela 5 przedstawia przegląd materiałów urządzenia EEG, umożliwiając łatwe ramy do prowadzenia eksperymentów i przygotowania eksperymentalnego. Do implementacji proponowanego frameworka SET-Net użyto Pythona 3.8 z ramem PyTorch deep learning. Standardowe biblioteki obliczeniowe naukowe były używane do wstępnego przetwarzania sygnału i ekstrakcji cech przy użyciu NumPy, SciPy i Matplotlib. Każda procedura eksperymentalna była wykonywana na systemie z procesorem Intel i7 i 16 GB RAM, aby przyspieszyć trenowanie modeli.

DOSTĘPNOŚĆ DANYCH:

Zanonimizowany zbiór danych EEG wygenerowany i przeanalizowany podczas tego badania jest publicznie dostępny w repozytorium Zenodo pod następującym linkiem akcesywnym: https://zenodo.org/records/19627795.

Wszystkie dane zostały odprofilowane w celu zapewnienia poufności uczestników zgodnie z wytycznymi etycznymi instytucji zatwierdzonymi przez Komitet Etyki Instytucjonalnej SR University (nr Zatwierdzenia 007/2026).

Przetworzone informacje, ustawienia modelu oraz szczegóły implementacyjne potrzebne do odtworzenia wyników są przedstawione w manuskrypcie, a kod źródłowy jest publicznie dostępny pod adresem: https://github.com/Ravichanderj/SET-Net-EEG-BCI.

Results

Reprezentacja cech oparta na spektrogramie

Głównym celem tego badania było prawidłowe sklasyfikowanie stanów uwagi i relaksacji przy pomocy sygnałów EEG. Konwersja surowych sygnałów EEG w spektrogramy umożliwiła skuteczne wyodrębnianie cech dyskryminujących. Spektrogramy wskazują na wzrost aktywności w paśmie alfa (8–13 Hz) podczas relaksacji oraz wzrost aktywności beta (14–25 Hz) podczas uwagi. Ten wyraźny podział właściwości w dziedzinie częstotliwości wyraźnie uzasadnia cel...

Discussion

Obecne badania sugerują hybrydowy model głębokiego uczenia, SET-Net, do klasyfikacji uwagi i relaksacji opartej na EEG. Aby poznać cechy przestrzenne, spektralne i czasowe sygnałów EEG, architektura łączy sieci neuronowe splotowe, uwagę typu squeeze-and-excitation oraz enkodery transformatorowe, jak pokazano na Rysunku 5. Wyniki wskazują, że proponowana metoda może spełnić cel badania. Dokładność, F1-score oraz ROC-AUC (Tabela 6) są wysokie, co dowodzi, że model jest wiarygo...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Komputer / Laptop	Ogólne	Dowolny system standardowy	≥ Zalecane 8 GB RAM
Skrypt akwizycji danych	Zwyczaj	collect.py	Skrypt akwizycyjne oparty na Pythonie
Jednorazowe elektrody żelowe	Ogólne	Elektrody Ag/AgCl z pre-żelem	Jednorazowe, klejne
Moduł akwizycji EEG	Laboratoria do góry nogami	BioAmp EXG Pill	Analogowy front-end dla sygnałów biopotencjalnych
Żel elektrod (jeśli użyto elektrod wielokrotnego użytku)	Ogólne	Żel przewodzący	Poprawia przewodność sygnału
Interaktywna aplikacja (gra)	Ogólne	Każda prosta gra (np. wyścigi)	Interfejs sterowany klawiaturą
Przewody rozłączające	Ogólne	Male– Złącza żeńskie	Standardowe przewody do płyt stykowych
Matplotlib / Seaborn	Open-source	Najnowsze wersje	Biblioteki wizualizacyjne
Płytka mikrokontrolera	Arduino	Uno / Maker Uno	10-bitowy ADC, interfejs USB
Środowisko programistyczne Python	Python Software Foundation	Python ≥ 3.8	Język programowania open-source
Biblioteka PyTorch	Meta AI	Wersja ≥ 1.12	Ramy uczenia głębokiego
Scikit-learn	Open-source	Najnowsza wersja stabilna	Narzędzia ML
Biblioteki przetwarzania sygnałów	SciPy	Najnowsza wersja	Filtrowanie, STFT
Kabel USB	Ogólne	USB Type-A do B	Kabel transferowy danych