Artykuł metodologiczny

Połączone podejście do korelacji cech ważonych dla ulepszonego rozpoznawania emocji opartego na EEG w różnorodnych zbiorach danych

DOI:

10.3791/69073

⸱

17 kwietnia 2026

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Artykuł koncentruje się na rozpoznawaniu emocji opartym na EEG, które jest nową dziedziną w neurobiologii i obliczeniach emocjonalnych. Tradycyjne metody liniowe są niewystarczające, ponieważ niemożliwe jest oddanie skomplikowanej struktury emocjonalnej w wideo. Aby temu zaradzić, autorzy proponują nowy model, Combined Weighted Feature Correlation (CWFC), który obejmuje relacje emocjonalne. Po filtrowaniu pasmowym model stosuje niezależną analizę składową (ICA), dyskretną transformację falkową (DWT) oraz szybką transformatę Fouriera (FFT) do wyodrębniania nieliniowych cech z EEG. W takim przypadku najlepsza cecha jest wybierana przez LSTM, a cechy te są oceniane przez Random Forest Classifier. Wstęp Augmentacja danych oparta na generatywnej sieci adwersarycznej (GAN) zapewnia dokładność 88% (dla walencji) i 86% (dla oceny wyników testów: proponowane pobudzenie oparte na GAN) dokładność na zbiorze danych DEAP, która jest bardzo wysoka w zakresie augmentacji danych, która poprawiła wydajność, gdy wydajność jest w stanie poprawić. Model potwierdza, że CWFC jest korzystne we wszystkich zbiorach danych, zapewniając łączną dokładność klasyfikacji na poziomie 89% dla stanów emocjonalnych na zbiorze SEED.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Rozpoznawanie emocji za pomocą sygnałów EEG to aktywny obszar badań w dziedzinie obliczeń afektywnych i neurobiologii, wspierający naukowców w ich poszukiwaniu zrozumienia procesów mózgowych zaangażowanych w emocje. W przeciwieństwie do istniejących prac koncentrujących się na liniowych cechach EEG, niniejsza praca koncentruje się na cechach nieliniowych, aby lepiej scharakteryzować subtelniejsze zmiany reakcji emocjonalnej. Zainspirowany tym, w obecnym artykule proponowana metoda nosi nazwę Combined Weighted Feature Correlation (CWFC), aby zbadać wpływ nieliniowych składowych na skuteczność wykrywania emocji. Pierwszym krokiem dane EEG są zbierane i wstępnie przetwarzane za pomocą filtrów pasmowych do rozdzielenia pasm częstotliwości takich jak beta, alfa, gamma, delta i theta. Aby wykryć złożone wzorce emocjonalne, ekstrakcja cech jest wykonywana za pomocą niezależnej analizy składowej (ICA), DWT (dyskretnej transformacji falkowej) oraz FFT (szybkiej transformaty Fouriera). Te cechy można zintegrować jako cechy w modelu CWFCC, aby poprawić jego moc oraz ogólną dokładność predykcyjną. Następnie zastosuj klasyfikator Losowego Lasu, aby sprawdzić, jak istotne są te połączone cechy. Proponowane prace integrują augmentację danych GAN po optymalnym wyborze cech (ze szczególnym uwzględnieniem LSTM). Na zbiorze danych DEAP ta poprawa daje zdumiewające 88% dokładności walencji i 86% dokładności pobudzenia, co znacząco poprawia dokładność rozpoznawania emocji. Proponowany model osiągnął dokładność walencji i pobudzenia odpowiednio 62% i 65% na wczesnym DEAP bez augmentacji danych GAN. Co więcej, model ten potrafi rozróżnić zbiór danych SEED podczas neutralnych stanów emocjonalnych, negatywnych i pozytywnych ze średnią dokładnością 89%. Proponowany artykuł głosi wyższą wydajność modelu CWFC z augmentacją danych opartą na GAN na EEG w zakresie rozpoznawania emocji w różnych zbiorach danych poprzez dogłębną analizę i badania porównawcze.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Rozpoznawanie emocji jest ważne w interakcjach międzyludzkich i komunikacji. Aby nawiązać skuteczne relacje interpersonalne, trzeba umieć postrzegać i rozumieć emocje, co ma dalekosiężne konsekwencje w tak różnorodnych dziedzinach jak psychologia, neurologia czy interakcja człowiek-komputer1. W ostatnich latach elektroencefalogram (EEG) oparty na BCI (Brain Computer Interface) stał się narzędziem zasług, na którym naukowcy skupili się do wykrywania emocji. Chociaż oparte na EEG BCI dostarcza bezpośredniego wglądu w aktywność elektryczną ludzkiego mózgu oraz stanowi odpowiednie narzędzie badawcze do badania stanów emocjonalnych. Automatyczna i dokładna klasyfikacja stanów emocjonalnych zasadniczo przeszła transformację w dziedzinie rozpoznawania emocji dzięki technikom uczenia maszynowego oraz BCI2 opartemu na EEG.

W poprzednich pracach wprowadzono rozpoznawanie emocji oraz jego znaczenie w różnych dziedzinach, w tym w opiece zdrowotnej, interakcji człowiek-komputer oraz neurobiologii3. Pomimo znacznych postępów, w obecnych badaniach EEG nad rozpoznawaniem emocji wciąż istnieje wyraźna luka naukowa. Po pierwsze, podejścia wprowadzone w literaturze wykorzystują ekstrakcję cech jednodomenowych (np. cechy spektralne lub częstotliwości czasowej) lub dostępne i izolowalne nieliniowe deskryptory, które nie oferują wystarczającej możliwości modelowania poprzez pracę jedynie z częściową reprezentacją wrodzonych złożonych i niestacjonarnych sygnałów EEG. Po drugie, choć wiele cech nieliniowych wykazuje przewagę dyskryminacyjną, zwykle stosuje się je osobno i izoluje zależności między tymi cechami w różnych dziedzinach. To ograniczenie sprawia, że są mniej zdolne do modelowania wieloskalowej i źródłowej dynamiki związanej z aktywacją mózgu emocjonalnego. Po trzecie, większość metod głębokiego uczenia jest zaprojektowana tak, aby optymalizować wydajność klasyfikacji, ale nie uwzględniać interpretowalności cech, redukcji redundancji i odporności w obecności nierównowagi klasowej. W konsekwencji uogólnienie między zbiorami danych pozostaje otwartym problemem pomiędzy badaniami z różnymi zestawami elektrud, częstotliwością próbkowania (128–256 Hz) i czasem nagrywania (30–60 s). Główne wymiary inteligencji emocjonalnej przedstawiono na Rysunku 1.

Aby przezwyciężyć takie wady, w tym artykule wprowadzamy framework Combined Weighted Feature Concatenation (CWFC), który agreguje wielodomenowe cechy nieliniowe w jednej architekturze. Zamiast traktować ICA, DWT i FFT jako niezależne metody ekstrakcji, jak konwencjonalne podejścia, modelujemy dekompozycję na poziomie źródła (ICA), wielorozdzielczą dynamikę czasową (DWT) oraz reprezentacje mocy widmowej (FFT) poprzez korelację ważoną. Ta struktura może pomóc modelowi wykorzystać komplementarne informacje neuronalne i zmniejszyć redundancję, aby zwiększyć zdolność dyskryminacji. Ponadto stosuje się zarówno ranking ważności cech, jak i augmentację opartą na GAN, aby osiągnąć odporność przy jak najmniejszej liczbie niezrównoważonych próbek EEG. Integrując wielomodalne zależności cech i zależności czasowe poprzez klasyfikację LSTM, model połączony poprawia uogólnienie w różnych warunkach pozyskiwania EEG. Głównym wkładem tej pracy jest zatem przezwyciężenie braku integracji między nieliniowymi reprezentacjami EEG oraz niewystarczającej uogólnialności w istniejących metodach oraz wprowadzenie systematycznych, powtarzalnych i stabilnych ram rozpoznawania emocji w rzeczywistych aplikacjach BCI.

figure-introduction-1
Rysunek 1: Fazy inteligencji emocjonalnej. Fazy inteligencji emocjonalnej pokazują, jak można wyodrębnić rozpoznawanie emocji z sygnałów EEG, a następnie jest wykorzystywane w diagnozowaniu i monitorowaniu problemów emocjonalnych w ocenach zdrowia psychicznego. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Nieliniowe cechy EEG w badaniach nad rozpoznawaniem emocji pozwalają na głębsze zrozumienie procesów nerwowych zaangażowanych w przetwarzanie afektywne. Jako nieinwazyjna technika o wysokiej rozdzielczości czasowej, wrażliwa na szybkie dynamiki nerwowe, EEG jest szeroko wykorzystywana do badania aktywności mózgu związanej ze stanami emocjonalnymi. Metody nieliniowe są szczególnie odpowiednie do badania sygnałów EEG ze względu na ich niestacjonarny i złożony charakter, co stanowi lepszy model zarówno wywołanej, jak i wywołanej aktywności w procesach emocjonalnych. W dowolnej liczbie modeli obliczeniowych emocje są reprezentowane w odniesieniu do istniejących modeli teoretycznych, takich jak Basic Emotion Model4 (BEM) oraz Circumplex Model 5,6. Dwa strukturalnie i funkcjonalnie odrębne pojęcia emocji to Model Podstawowej Emocji, który zakłada istnienie zbioru biologicznie opartych fundamentalnych emocjirdzeniowych 7,8 (szczególnie miłość), oraz Model Okołodłakowania, który organizuje emocje według dwóch podstawowych wymiarów: walencji9 (dodatnia–ujemna) i pobudzenia10,11 (niska–wysoka). Ramy walencja–pobudzenie pokazane na Rysunku 2 są powszechne w badaniach rozpoznawania emocji opartych na EEG, głównie ze względu na zgodność ze standardowymi zbiorami danych oraz zastosowanie w modelowaniu ciągłych stanów emocjonalnych. Ta reprezentacja oparta na wymiarach oferuje systematyczny i mierzalny sposób mapowania aktywności nerwowej na kategorie emocjonalne, co może ułatwić klasyfikację opartą na uczeniu maszynowym.

figure-introduction-2
Rysunek 2: Reprezentacja emocji walencyjnej i pobudzenia. Diagram dwuosiowy pokazujący stany emocjonalne, gdzie walencja wskazuje na pozytywne lub negatywne uczucia, a pobudzenie odzwierciedla niską do wysokiej intensywności emocjonalnej. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Podniecenie to intensywność emocjonalna, niezależnie od tego, czy pozytywna czy negatywna. Analiza emocji ostatnio koncentruje się na EEG w celu badania neuronalnych korelatów emocji. Ekstrakcja cech jest bardzo ważna, ponieważ odwzorowuje EEG na wielkości w czasie, częstotliwości oraz dziedzinie czas-częstotliwość. Do najczęściej spotykanych cech nieliniowych należą entropia falowa12, wymiar korelacji13, a proponowane badanie wykorzystuje połączone podejście ważone, będące fuzją DWT i ICA oraz FFT13. Standardowe zbiory danych DEAP14 i SEED15 są dostępne do powtarzalnej ewaluacji. Tradycyjne cechy liniowe często nie są już wystarczające, co wymaga projektowania podejść nieliniowych16. Wzorce emocjonalne oparte na pasmach częstotliwości pokazano na Rysunku 2, a wagi wkładu pasm EEG w Tabeli 1.

Różne pasma częstotliwościoweZakres pasma częstotliwości w HzFunkcje pasma częstotliwości w rozpoznawaniu emocji
GammaPowyżej 30 HzIntegracja danych emocjonalnych i synchronizacja kilku obszarów mózgu podczas przetwarzania emocjonalnego może być odzwierciedlona w aktywności gamma.
BetaW zakresie między 13 a 30 HzZmiany w mocy beta mogą być oznaką pobudzenia emocjonalnego oraz reakcji motorycznych związanych z przejawami emocjonalnymi.
AlphaW zakresie między 8 a 13 HzStany emocjonalne i wariacje w mocy alfa, szczególnie asymetria alfa, są powiązane. Gdy jestem podniecony emocjonalnie i zwracam większą uwagę na bodźce, często widać zmniejszoną moc alfa.
ThetaW zakresie między 4 a 8 HzDoświadczenia emocjonalne mogą być powiązane ze zwiększoną mocą theta, co może wspomagać kodowanie i przywoływanie wspomnień emocjonalnych.
Delta0,5-4 HzWzrost aktywności delta w kontekście wykrywania emocji może wskazywać na stan zrelaksowany lub spoczynkowy.

Tabela 1: Funkcje pasma częstotliwości EEG w rozpoznawaniu emocji wraz z różnymi zakresami. Ta tabela przedstawia powszechnie rozpoznawane pasma częstotliwości EEG, określa ich odpowiednie zakresy częstotliwości oraz opisuje ich funkcjonalne znaczenie w badaniach nad rozpoznawaniem emocji. Podkreśla, jak każdy pasmo wiąże się z różnymi procesami poznawczymi i afektywnymi, zapewniając podstawę do interpretacji sygnałów EEG w klasyfikacji stanów emocjonalnych.

Niedawny rozwój rozpoznawania emocji oparty na EEG jest stymulowany przełomami w głębokim uczeniu i nieliniowym przetwarzaniu sygnałów. Modele oparte na CNN osiągały wysoką wydajność dzięki doborowi elektrod i strojeniu hiperparametrów17, podczas gdy niezależny od podmiotu model CNN z dynamiczną entropią różnicową poprawił noszenie i zmniejszył złożoność18. Jednak modeli dla tego zagadnienia zazwyczaj nie można uogólnić na różne tematy. Aby modelować zależności sekwencji, zaproponowano architektury LSTM oparte na uwadze z mechanizmami adaptacji domeny19,20, które wymagają dużych obliczeń i brakuje ich interpretowalności. Poza obszarem głębokich sieci, metody nieliniowe i topologiczne również wzbudziły duże zainteresowanie. Stosując trwałą analizę przestrzeni fazowej opartą na homologach, uzyskano zwiększoną dyskryminację dla subtelnych stanów emocjonalnych21,22. Metody zespołowe, łączące wyniki entropii i fraktalu z różnymi wyborami cech, były znane jako ulepszone predyktory. Hybrydowe modele CNN–LSTM23 przewyższyły bezpośrednią klasyfikację walencję–pobudzenie na DEAP24, a wielokolumnowe CNN skutecznie wykorzystały przestrzenny rozkład elektrod25. Reprezentacje cech oparte na mapach topograficznych26,27 (TOPO-FM) oraz holograficznych mapach cech (HOLO-FM) zostały ocenione na licznych publicznie dostępnych zbiorach danych28, 29, 30. Pomimo że takie wyniki wykazały znaczne postępy w dokładności klasyfikacji, wciąż pozostają wyzwania dotyczące uogólnienia i interpretowalności modelu na różne tematy oraz odporności na heterogeniczność warunków pobierania EEG. Autor31 przedstawia obszerny przegląd głównych wyzwań, podejść i dalszych kierunków w tym obszarze, koncentrując się na jakości sygnału, ekstrakcji cech i skalowalności w Applied Soft Computing. W powiązanym badaniu32, zaawansowany pomiar łączności funkcjonalnej skorygował korelację amplitudowej i obwiedni w różnych pasmach częstotliwości EEG w identyfikacji niekorzystnych warunków jazdy, podkreślając siłę łączności wielopasmowej do monitorowania zachowań na bieżąco.

W szerszej relacji neuroobrazowania 33,36, szczegółowy przegląd metod uczenia multimodalnego łączących różne sygnały, takie jak EEG i mimika twarzy, lub dane fizjologiczne dla bardziej wiarygodnego wykrywania emocji, w odniesieniu do wykazania potencjału integracji modalności, które znacząco podnosi wydajność systemów AI. Oprócz DEAP i SEED, zbiór danych DREAMER jest również niedawnym dodatkiem do reprezentatywnych benchmarków w badaniach rozpoznawania emocji opartych na EEG. DREAMER został zaproponowany przez Katsigiannisa i Ramzana37 i zawiera sygnały EEG i EKG uzyskane od osób obserwujących audiowizualne bodźce emocjonalne za pomocą taniego urządzenia bezprzewodowego. Treść zbioru danych jest stosowalna do modelowania wymiarowego emocji z hierarchią walencji, pobudzenia i dominacji, zgodnie z modelem afektu z okręgiem (circumplex). Dzięki dobrze przemyślanemu paradygmatowi eksperymentalnemu, zbiory danych DREAMER były szeroko wykorzystywane do oceny głębokiego uczenia oraz modeli rozpoznawania emocji niezależnych od podmiotu. Jego zastosowania mogą być porównywane z innymi bazami danych reprezentacji emocji wymiarowych, a także wykazały, że jest cenną alternatywą uzupełniającą zestaw danych CIRRUS Dance, DEAP i SEED. Zbiory tych danych są szeroko wykorzystywane w badaniach nad obliczeniami afektywnymi i obejmują nagrania EEG uzyskane w kontrolowanych warunkach eksperymentalnych ze standaryzowanymi bodźcami emocjonalnymi. Ten zbiór danych składa się z 32-kanałowych sygnałów EEG od 32 osób, które otrzymały emocjonalne klipy wideo. Dane są opatrzone adnotacjami dotyczącymi walencji i pobudzenia. SEED: wielosesyjne nagrania EEG uczestników podczas eksperymentów z wywoływaniem emocji opartych na filmie z kategorycznymi etykietami emocji. DREAMER to zbiór danych EEG i EKG rejestrowany podczas indukcji emocji za pomocą prezentacji bodźców audiowizualnych. Wszystkie zbiory danych były pierwotnie zbierane przy użyciu ustandaryzowanych protokołów, konfiguracji sprzętowych oraz walidacji procedur etykietowania, zgodnie z ich pierwotnymi publikacjami. W tym badaniu analizowano sygnały EEG wyłącznie z tych zbiorów danych.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badania nie obejmowały bezpośredniego kontaktu z ludźmi. Wszystkie zbiory danych wykorzystane w tym badaniu pochodzą z publicznie dostępnych platform i są wykorzystywane zgodnie z ich deklarowanymi politykami użytkowania. W związku z tym formalna aprobata etyczna nie była konieczna.

1. Przygotowanie środowiska obliczeniowego

  1. Przygotuj środowisko Pythona (wersja 3.8 lub wyższa) na standardowej stacji roboczej.
  2. Zainstaluj TensorFlow (v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE i PyWavelets używając pip.
  3. Popraw losowe ziarno (seed = 42) w NumPy i TensorFlow, aby zapewnić spójne wyniki eksperymentalne.

2. Pozyskiwanie i strukturyzacja zbiorów danych (DEAP, SEED i DREAMER)

  1. Pobierz zbiory danych EEG z publicznych repozytoriów DEAP, SEED i DREAMER. Surowe zbiory danych EEG użyte w tym badaniu są dostępne w rejestrach publicznych. Zestaw danych DEAP (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), SEED (repozytorium BCMI Laboratory: http://bcmi.sjtu.edu.cn/~seed/seed.html) oraz DREAMER są dostępne przez IEEE Data Port (https://ieee-dataport.org/documents/dreamer-dataset).
  2. Wyodrębniaj surowe nagrania EEG (.dat) dla wszystkich uczestników i badań.
  3. Przekonwertuj nagrania na format tablicy NumPy i uporządkuj je według tematów i prób do przetwarzania.
  4. Przeczytaj zestaw danych DEAP i wyodrębnij nagrania EEG dla wszystkich uczestników. Zachowaj łącznie 32 kanały EEG (od Fp1 do O2) i usuń sygnały fizjologiczne niezwiązane z EEG.
  5. Pobierz zbiór danych SEED i wyodrębnij wszystkie nagrania EEG z każdego eksperymentu. W razie potrzeby zredukuj próbkę do 200 Hz. Zastosuj filtr pasmowy 0–75Hz i podziel sygnały na matryce epochalne (eeg_1 do eeg_15).
  6. Oznacz każdą klatkę emocją (−1: ujemny, 0: neutralny, +1: dodatni) i przeorganizuj dane w czasie kanału ×.
  7. Pobierz zestaw danych DREAMER i pobierz wszystkie nagrania EEG z badanych i badań. Wybierz dostępne kanały EEG oraz etykiety emocjonalne.
  8. Kategoryzuj każdy eksperyment w krótkich oknach o określonym czasie trwania i przekształcaj dane w matryce strukturyzowane według poszczególnych badaczy z zakodowanymi zmiennymi kategorycznymi dla wartości walencji, pobudzenia i dominacji.
    UWAGA: Szczegółowe specyfikacje wstępnie przetworzonego zbioru danych DEAP użytego do analizy są podsumowane w Tabeli 2, natomiast Rysunek 3 ilustruje rozkład wyników walencji i pobudzenia.
Sygnał rejestrowany na różnych etapachEEG (elektroencefalogram) według zbioru danych DEAP
Pobrane dane24 przedmioty (s02, s04, s05, s06, s07, s08, s09, s10, s11, s12, s13, s14, s15, s16, s17, s18, s19, s20, s21, s22, s23, s24, s25, s26)
Indeksy kanałów"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "Oz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
Rozmiar okna256
Brak wideo/procesu40
Wielkość kroku16 (każda aktualizacja po 0,125 sekundy po jednej zmianie)
Częstotliwość próbkowania128 Hz
Lista przedmiotów32
EmocjePodniecenie, Valencja

Tabela 2: WYJAŚNIENIE WSTĘPNEGO PRZETWARZANIA ZBIORU DANYCH. Podsumowanie kroków wstępnego przetwarzania zbioru danych EEG, w tym filtrowania, usuwania artefaktów, segmentacji i normalizacji, wykonanych przed ekstrakcją cech i trenowaniem modelu.

figure-protocol-1
Rysunek 3: Reprezentacja danych w zbiorze danych Walencja - Pobudzenie dla pierwszych 40 danych. Mapowanie walencji i pobudzenia w początkowych 40 badaniach EEG z zestawu danych DEAP, ilustrujące rozkład i zmienność stanu emocjonalnego w obu wymiarach. Ta reprezentacja dostarcza wglądu w rozprzestrzenianie się reakcji emocjonalnych i wspiera proces ekstrakcji cech do klasyfikacji emocji. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

UWAGA: Lokalizacje elektrod EEG w różnych obszarach mózgu pokazano na Rysunku 4. Konfiguracja kanału odpowiada standardowemu rozmieszczeniu elektrod EEG na skalpie, stosowanym do zbierania danych w zbiorach DEAP, SEED i DREAMER. Elektrody są rozmieszczone w regionach czołowych, skroniowych, ciemieniowych i potylicznych, co pozwala na pokrycie zarówno lokalnej, jak i rozproszonej aktywności nerwowej związanej z przetwarzaniem emocji.

figure-protocol-2
Rysunek 4: Reprezentacja elektrody sygnałowej EEG. Umieszczanie elektrod w międzynarodowym systemie EEG 10–20 do pozyskiwania sygnału na skalpie. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

3. Resamplowanie sygnału i segmentacja okien

  1. Zmniejszaj próbkę nagrań SEED EEG z 512 Hz do 200 Hz za pomocą scipy.signal.resample(), aby zmniejszyć złożoność obliczeniową. Następnie podziel każdą próbę na okna o stałej długości po 256 próbek i krok 16.
  2. Zachowanie oryginalnych częstotliwości próbkowania dla DEAP i DREAMER (zbiory danych 128 Hz). Rozmiar kroku 16 próbek (nakłada się 0,125 s przy 128 Hz).
  3. Podziel każdą próbę EEG na okna po 256 próbek i krok 16, aby uzyskać nakładające się segmenty.

4. Filtrowanie pasmowe i rozkład częstotliwościowy

  1. Zdefiniuj częstotliwość próbkowania (fs) i ustaw kolejność filtrów na 2. Oblicz częstotliwość Nyquista (0,5 × fs) i znormalizuj częstotliwości odcięcia.
  2. Zaprojektuj filtr przepustowy Butterwortha za pomocą scipy.signal.butter().
  3. Zastosuj filtrowanie zerowe za pomocą scipy.signal.filtfilt(), aby uniknąć zniekształceń fazowych.
  4. Wyodrębniaj pięć kanonicznych pasm częstotliwości EEG: delta (0,5–4 Hz), theta (4–8 Hz), alfa (8–13 Hz), beta (13–30 Hz) oraz gamma (30–45 Hz).

5. Usuwanie artefaktów z wykorzystaniem niezależnej analizy komponentowej

  1. Zastosuj FastICA od Scikit-learn z liczbą komponentów równą liczbie kanałów EEG.
  2. Zidentyfikuj elementy artefaktowe za pomocą wskaźników statystycznych, takich jak wariancja i kurtoza.
  3. Usuń zidentyfikowane komponenty i odtworz oczyszczone sygnały EEG do dalszej analizy.

6. Ekstrakcja cech różniczkowej entropii oparta na CWFC

  1. Oblicz wariancję każdego filtrowanego segmentu EEG wzdłuż osi kanału.
  2. Oblicz entropię różniczkową, używając:
  3. Wyodrębnij wartości entropii dla wszystkich pasm częstotliwości i kanałów EEG.
  4. Przechowuj powstałe cechy entropii w ustrukturyzowanej macierzy cech.

7. Ekstrakcja cech dyskretnej transformacji falkowej (DWT)

  1. Wykonaj wielopoziomową dekompozycję falkową za pomocą macierzystej falki "db4".
  2. Rozkładaj każdy segment EEG do poziomu 4.
  3. Wyodrębnij deskryptory statystyczne (średnią, wariancję, energię, entropię) z każdego poziomu rozkładu.
  4. Dodaj cechy pochodzące z DWT do istniejącej macierzy cech.

8. Ekstrakcja cech spektralnych z wykorzystaniem FFT

  1. Zastosuj szybką transformatę Fouriera używając numpy.fft.fft() na każdym segmencie EEG.
  2. Oblicz gęstość mocy widmowej w określonych pasmach częstotliwości.
  3. Wyodrębnij wartości mocy pasma dla wszystkich kanałów.
  4. Łącz funkcje oparte na FFT z wcześniej wyodrębnionymi cechami.

9. Wybór cech za pomocą losowego lasu

  1. Wytrenuj klasyfikator Losowego Lasu z 300 drzewami, korzystając z kryterium zanieczyszczeń Gini.
  2. Ustaw maksymalną głębokość drzewa na 20 i włącz próbkowanie bootstrap z estymacją poza workiem.
  3. Funkcje rangi oparte na wynikach ważności.
  4. Usuń cechy poniżej określonego progu ważności, aby zmniejszyć redundancję.

10. Podział danych

  1. Próba warstwowa polega na przetasowaniu zbioru danych w taki sposób, aby zachować równowagę klasową między kategoriami emocjonalnymi.
  2. Podziel zbiór danych na 10 równych składów. W każdej iteracji używaj 9 składów do treningu i 1 do testowania, zawsze dbając o to, aby każdy skład był testowany raz.
  3. Stosuj to podejście dla każdego składania i obliczaj średnie metryki wydajności (dokładność, precyzja, przypomnienie, wynik F1) oraz odchylenie standardowe, aby sprawdzić stabilność modelu.
    UWAGA: Wszystkie podziały wykonuj próbkę po próbce, dbając o to, aby próbki nie były udostępniane między zestawami treningowymi i testowymi w każdym składaniu.

11. Augmentacja danych za pomocą generatywnej sieci adwersarnej

  1. Skonstruuj GAN na poziomie funkcji, korzystając z Keras Sequential API. Zdefiniuj w pełni połączone warstwy zarówno dla sieci generatora, jak i dyskryminatora.
  2. Trenuj GAN dla 200 epok, używając wektorów cech klasy mniejszościowej. Generuj syntetyczne próbki cech z wytrenowanego generatora.
  3. Zachowuj jedynie syntetyczne próbki o wysokiej pewności oceny, ocenione przez dyskryminatora. Połącz wybrane próbki syntetyczne z oryginalnym zestawem treningowym.

12. Architektura modelu LSTM

  1. Skonstruuj sekwencyjny model LSTM z użyciem Keras. Dodaj pierwszą warstwę LSTM z 128 ukrytymi jednostkami i ustaw return_sequences=prawda.
  2. Dodaj drugą warstwę LSTM z 128 ukrytymi jednostkami. Nakładaj dropout (tempo = 0,3) po każdej warstwie LSTM, aby zapobiec nadmiernemu dopasowaniu.
  3. Dodaj warstwę wyjściową Dense z aktywacją SoftMax dla klasyfikacji wieloklasowej.

13. Kompilacja i trening modeli

  1. Skompiluj model za pomocą optymalizatora Adama z częstotliwością uczenia 0,001.
  2. Użyj kategorycznych strat entropii krzyżowej. Wytrenuj model z rozmiarem partii = 64 dla 80 epok.
  3. Aplikuj wcześniejsze zatrzymanie z cierpliwością = 10 w zależności od dokładności walidacji.

14. Ocena wyników

  1. Oceń wytrenowany model na podstawie niezależnego zbioru danych testowych. Oblicz metryki wydajności, takie jak dokładność, precyzja, przywołanie i F1-score.
  2. Zachowaj wytrenowane wagi modeli i wyniki ewaluacji dla powtarzalności. Taki dobrze zorganizowany pipeline gwarantuje, że proponowane ramy można łatwo odtworzyć.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zbieranie dwóch różnych zbiorów danych EEG; DEAP i SEED stanowiły pierwszy etap analizy. Rysunek 5 przedstawia wykres walencji-pobudzenia LAHV, HALV, LALV i HAHV to krótka forma niskiego pobudzenia wysokiej walencji, wysokiej pobudzenia niskiej walencji, niskiej podniecenia niskiej walencji oraz wysokiej pobudzenia wysokiej walencji odpowiednio. Zgłoszono cztery kategorie odpowiedzi psychologicznej: HAHV, LAHV, HALV oraz LALV. Z każdym stanem wiążą się dwie podstawowe cechy emocjonalne, walencja i pobudzenie, które mierz...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W niniejszym artykule badania przeprowadzono gruntowne badania rozpoznawania emocji opartego na EEG na dwóch zestawach danych benchmarkowych (tj. DEAP i SEED) i wykazały, że proponowany model CWFC może skutecznie rejestrować dyskryminujące informacje związane z emocjami. W przeciwieństwie do wcześniejszych prac opartych głównie na liniowych opisach lub typach cech, proponowana metodologia jednoczy różne nieliniowe ekstrakcje cech, które są ze sobą powiązane, i wykorzystuje je za pomocą modelu korelacji ważonych do wniosk...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Chcielibyśmy również podziękować instytucjom i badaczom z baz danych EEG DEAP i SEED za ich znaczący wkład w tę pracę. Na koniec dziękujemy także naszym uniwersytetom za wsparcie poprzez zasoby i zachętę w przeprowadzeniu tego śledztwa.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Zbiór danych DEAPUniwersytet Queen Mary w Londyniev1.0Zbiór danych emocji EEG
Zbiór danych DREAMERIEEE DataPortPubliczna publikacjaZbiór danych emocji EEG
KerasGoogle LLC2.x (backend TensorFlow)Modelowanie sieci neuronowych
Stacja roboczaLenovoIntel Core i7, 16 GB RAM, 8 GB NVIDIA GPUTrenowanie i obliczenia modeli
MNE-PythonDeweloperzy MNE1.xWstępne przetwarzanie EEG
NumPyDeweloperzy NumPy1.xObliczenia numeryczne
System operacyjnyMicrosoft CorporationWindows 11 (64-bitowy)Platforma obliczeniowa
PythonPython Software Foundation3.8+Środowisko programistyczne
PyWaveletsTwórcy PyWavelets1.xRozkład falkowy
Scikit-learnDeweloperzy scikit-learn1.xNarzędzia uczenia maszynowego
SciPySpołeczność SciPy1.xPrzetwarzanie sygnału i ponowne próbkowanie
Zbiór danych SEEDLaboratorium BCMI, Uniwersytet Jiao Tong w SzanghajuPubliczna publikacjaZbiór danych emocji EEG
TensorFlowGoogle LLC2.xRamy uczenia głębokiego

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Rozpoznawanie emocji za pomoc EEGnieliniowe cechy EEGklasyfikator Random Forestaugmentacja danych GANselekcja cech LSTManaliza sk adowych niezale nychdyskretna transformata falkowaszybka transformata Fourierazbi r danych DEAP

Powiązane artykuły