Kombinierter Ansatz der gewichteten Merkmalskorrelation für eine verbesserte EEG-basierte Emotionserkennung über verschiedene Datensätze hinweg

Zusammenfassung

Die Arbeit konzentriert sich auf EEG-basierte Emotionserkennung, die ein aufstrebendes Feld der Neurowissenschaften und des emotionalen Rechnens ist. Die traditionellen linearen Methoden sind unzureichend, da es unmöglich ist, eine komplizierte emotionale Struktur im Video darzustellen. Um dem entgegenzuwirken, schlagen die Autoren ein neues Modell vor, Combined Weighted Feature Correlation (CWFC), das die emotionalen Beziehungen erfasst. Nach der Bandpassfilterung verwendet das Modell Independent Component Analysis (ICA), Discrete Wavelet Transform (DWT) und Fast Fourier Transform (FFT), um nichtlineare Merkmale aus EEG zu extrahieren. In diesem Fall wird das beste Merkmal vom LSTM ausgewählt und diese Merkmale werden vom Random Forest Classifier ausgewertet. Einführung Die auf dem Generative Adversarial Network (GAN) basierende Datenaugmentation liefert 88 % (für Valenz) und 86 % (für die Bewertung der Testergebnisse die vorgeschlagene GAN-basierte Erregung) Genauigkeit im DEAP-Datensatz, der sehr hoch in der Datenerweiterung ist, und konnte die Leistung verbessern, wenn die Leistung erfolgte. Das Modell bestätigt, dass CWFC über Datensätze hinweg vorteilhaft ist, da es eine Gesamtklassifikationsgenauigkeit von 89 % für emotionale Zustände im SEED-Datensatz liefert.

Zusammenfassung

Die Emotionserkennung mittels EEG-Signale ist ein aktives Forschungsgebiet im Bereich der affektiven Computertechnik und Neurowissenschaften und unterstützt Wissenschaftler dabei, die Gehirnprozesse zu verstehen, die für Emotionen beteiligt sind. Im Gegensatz zu den bestehenden Arbeiten, die sich auf lineare EEG-Merkmale konzentrierten, konzentriert sich die vorliegende Arbeit auf nichtlineare Merkmale, um die feinen Veränderungen emotionaler Reaktionen besser zu charakterisieren. Inspiriert davon wird in der aktuellen Studie vorgeschlagene Methode als Combined Weighted Feature Correlation (CWFC) bezeichnet, um den Einfluss nichtlinearer Komponenten auf die Leistung der Emotionserkennung zu untersuchen. Als erster Schritt werden die EEG-Daten gesammelt und mit Bandpassfiltern vorverarbeitet, um die Frequenzbänder wie Beta, Alpha, Gamma, Delta und Theta zu trennen. Um komplexe emotionale Muster zu erkennen, wird die Feature-Extraktion durch Independent Component Analysis (ICA), DWT (Discrete Wavelet Transform) und FFT (Fast Fourier Transform) durchgeführt. Diese Merkmale können als kombinierte Funktionen in das CWFCC-Modell integriert werden, um dessen Leistung sowie die allgemeine Vorhersagegenauigkeit zu verbessern. Dann wenden Sie einen Random Forest-Klassifikator an, um zu sehen, wie bedeutend diese kombinierten Merkmale sind. Die vorgeschlagene Arbeit integriert die GAN-Datenerweiterung nach optimaler Merkmalsauswahl (mit Schwerpunkt auf LSTM). Im DEAP-Datensatz führt diese Erweiterung zu erstaunlichen 88 % Valenzgenauigkeit und 86 % Erregungsgenauigkeit, was die Erkennungsgenauigkeit von Emotionen bemerkenswert verbessert. Das vorgeschlagene Modell erreichte eine Valenz- und Erregungsgenauigkeit von 62 % bzw. 65 % im frühen DEAP ohne GAN-Datenaugmentation. Darüber hinaus kann dieses Modell zwischen SEED-Datensätzen während neutraler emotionaler Zustände, negativ und positiv unterscheiden, mit einer durchschnittlichen Genauigkeit von 89 %. Das vorgeschlagene Papier behauptet die überlegene Leistung des CWFC-Modells mit GAN-basierter Datenerweiterung auf EEG für Emotionserkennung über verschiedene Datensätze durch tiefgehende Analyse und vergleichende Studien.

Einleitung

Emotionserkennung ist wichtig in menschlicher Interaktion und menschlicher Kommunikation. Um erfolgreiche zwischenmenschliche Verbindungen herzustellen, muss man in der Lage sein, Emotionen wahrzunehmen und zu verstehen, was weitreichende Auswirkungen in so unterschiedlichen Bereichen wie Psychologie, Neurologie und Mensch-Computer-Interaktion^{haben 1}. In den letzten Jahren war das auf Elektroenzephalogramm (EEG) basierende BCI (Brain Computer Interface) ein Leistungswerkzeug, auf das sich Forscher zur Erkennung von Emotionen konzentriert haben. Obwohl EEG-basierte BCI einen direkten Einblick in die elektrische Aktivität des menschlichen Gehirns bietet und ein geeignetes Forschungsinstrument zur Erforschung emotionaler Zustände bietet. Die automatische und genaue Klassifikation emotionaler Zustände hat das Gebiet der Emotionserkennung durch maschinelles Lernen und EEG-basierte BCI² grundlegend verändert.

In der vorherigen Arbeit wurde die Emotionserkennung eingeführt und ihre Bedeutung in verschiedenen Bereichen eingeführt, darunter Gesundheitswesen, Mensch-Computer-Interaktion und Neurowissenschaften³. Trotz erheblicher Fortschritte bleibt in aktuellen EEG-basierten Studien zur Emotionserkennung eine deutliche Forschungslücke bestehen. Erstens verwenden in der Literatur eingeführte Ansätze eine Einzeldomänen-Merkmalsextraktion (z. B. Spektral- oder Zeitfrequenzmerkmale) oder singuläre nichtlineare Deskriptoren, die verfügbar und isolierbar sind, die nicht ausreichen, um nur mit einer teilweisen Darstellung von inhärent komplexen und nichtstationären EEG-Signalen zu arbeiten. Zweitens, obwohl eine Vielzahl nichtlinearer Merkmale eine überlegene Unterscheidungskraft besitzt, werden sie meist separat verwendet und isolieren die Beziehungen zwischen diesen Merkmalen über verschiedene Domänen hinweg. Diese Einschränkung macht sie weniger fähig, die multiskalierten und quellenbezogenen Dynamiken der emotionalen Gehirnaktivierung zu modellieren. Drittens sind die meisten Deep-Learning-Methoden darauf ausgelegt, die Klassifikationsleistung zu optimieren, ohne dabei Merkmale zu interpretieren, Redundanzreduzierung und Robustheit bei Klassenungleichgewichten zu berücksichtigen. Folglich ist die Verallgemeinerung von Datensätzen zwischen Untersuchungen mit unterschiedlichen Elektrodenaufbauten, Abtastrate (128–256 Hz) und Aufzeichnungsdauer (30–60 s) weiterhin ein offenes Problem. Die Hauptdimensionen der emotionalen Intelligenz werden in Abbildung 1 dargestellt.

Um solche Nachteile zu überwinden, stellen wir in diesem Artikel ein Combined Weighted Feature Concatenation (CWFC)-Framework vor, das multidomänenübergreifende nichtlineare Features in einer Architektur zusammenfasst. Anstatt ICA, DWT und FFT wie herkömmliche Ansätze als unabhängige Extraktionsmethoden zu behandeln, modellieren wir Quellebene-Dekomposition (ICA), Multi-Resolution-Zeitdynamik (DWT) und spektrale Leistungsrepräsentationen (FFT) anhand einer gewichteten Korrelation. Diese Struktur kann dem Modell helfen, komplementäre neuronale Informationen zu nutzen und Redundanz zu reduzieren, um die Diskriminierungsfähigkeit zu erhöhen. Außerdem werden sowohl Merkmals-Wichtigkeits-Ranking als auch GAN-basierte Augmentation eingesetzt, um die Robustheit bei möglichst wenigen unausgewogenen EEG-Proben zu erreichen. Durch die Integration multimodaler Merkmalsbeziehungen und zeitlicher Abhängigkeiten durch LSTM-Klassifikation verbessert das kombinierte Modell die Generalisierung über verschiedene EEG-Aufnahmebedingungen. Der Hauptbeitrag dieser Arbeit besteht daher darin, den Mangel an Integration zwischen nichtlinearen EEG-Darstellungen und die unzureichende Generalisierbarkeit bestehender Methoden zu überwinden und ein systematisches, reproduzierbares und stabiles Emotionserkennungsrahmen in realen BCI-Anwendungen einzuführen.

Abbildung 1: Phasen emotionaler Intelligenz. Phasen der emotionalen Intelligenz stellen dar, wie die Emotionserkennung aus EEG-Signalen extrahiert werden kann, und deren Anwendung bei der Diagnose und Überwachung emotionaler Probleme bei psychischen Gesundheitsuntersuchungen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Nichtlineare EEG-Merkmale für die Emotionserkennungsforschung bieten ein tieferes Verständnis der neuronalen Prozesse, die an der affektiven Verarbeitung beteiligt sind. Als nicht-invasive, hochzeitliche Auflösungstechnik, die empfindlich auf schnelle neuronale Dynamiken reagiert, wurde EEG häufig zur Untersuchung der Gehirnaktivität im Zusammenhang mit emotionalen Zuständen eingesetzt. Nichtlineare Methoden sind besonders geeignet für die Untersuchung von EEG-Signalen, da sie nicht stationär und komplex sind, was ein besseres Modell sowohl der hervorgerufenen als auch der induzierten Aktivität in emotionalen Prozessen darstellt. In beliebig vielen rechnergestützten Modellen wird die Emotion mit Bezug auf bestehende theoretische Modelle wie das Basic Emotion Model⁴ (BEM) und das Circumplex Model ^5,6 dargestellt. Zwei strukturell und funktional unterschiedliche Vorstellungen von Emotion sind das Basic Emotion-Modell, das davon ausgeht, dass es eine Reihe biologisch grundlegender Kernemotionen ^7,8 (insbesondere Liebe) gibt, und das Circumplex-Modell, das Emotionen nach zwei zugrundeliegenden Dimensionen organisiert: Valenz⁹ (positiv–negativ) und Erregung^10,11 (niedrig–hoch). Der in Abbildung 2 gezeigte Valenz-Erregungsrahmen ist in EEG-basierten Emotionserkennungsstudien weit verbreitet, hauptsächlich wegen seiner Übereinstimmung mit den Standarddatensätzen und seiner Anwendbarkeit zur Modellierung kontinuierlicher emotionaler Zustände. Diese dimensionsbasierte Darstellung bietet eine systematische und quantifizierbare Möglichkeit, neuronale Aktivitäten in emotionale Kategorien einzuordnen und so maschinell-lernbasierte Klassifikationen zu erleichtern.

Abbildung 2: Darstellung von Valenz-Erregungsemotionen. Zwei-Achsen-Diagramm zeigt emotionale Zustände, wobei Valenz positive oder negative Gefühle anzeigt und Erregung eine niedrige bis hohe emotionale Intensität widerspiegelt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Erregung ist emotionale Intensität, Valenz, positiv oder negativ. Die Emotionsanalyse konzentriert sich kürzlich auf EEG zur Untersuchung neuronaler Korrelate von Emotionen. Die Merkmalsextraktion ist sehr wichtig, da sie das EEG in Größen in Zeit, Frequenz und Zeit-Frequenz-Bereich abbildet. Einige der häufigsten nichtlinearen Eigenschaften sind Wavelet-Entropie¹², Korrelationsdimension¹³, und diese vorgeschlagene Studie verwendet einen kombinierten gewichteten Ansatz, der eine Fusion von DWT, ICA und FFT¹³ ist. Standard-DEAP-14- und ^{SEED-15-Datensätze} stehen für reproduzierbare Auswertungen zur Verfügung. Traditionelle lineare Merkmale sind oft nicht mehr ausreichend, was den Entwurf nichtlinearer Ansätze¹⁶ erfordert. Frequenzbandbasierte emotionale Muster sind in Abbildung 2 dargestellt, und die Gewichtungen der EEG-Bänder sind in Tabelle 1 aufgeführt.

Unterschiedliches Frequenzband	Frequenzbandbereich in Hz	Funktionen des Frequenzbandes in der Emotionserkennung
Gamma	Größer als 30 Hz	Die Integration emotionaler Daten und die Synchronisation mehrerer Hirnregionen während der emotionalen Verarbeitung könnten sich in der Gammaaktivität widerspiegeln.
Beta	Zwischen 13 und 30 Hz	Schwankungen in der Beta-Kraft könnten ein Zeichen für emotionale Erregung und die motorischen Reaktionen sein, die mit emotionalen Ausbrüchen verbunden sind.
Alpha	Zwischen 8 und 13 Hz	Emotionale Zustände und Variationen der Alpha-Kraft, insbesondere Alpha-Asymmetrie, hängen zusammen. Wenn man emotional erregt ist und mehr auf emotionale Eingaben achtet, ist häufig eine verminderte Alpha-Kraft zu beobachten.
Theta	Zwischen 4 und 8 Hz	Emotionale Erfahrungen können mit erhöhter Theta-Kraft verbunden sein, was bei der Codierung und Abrufung emotionaler Erinnerungen helfen kann.
Delta	0,5–4 Hz	Eine Zunahme der Delta-Aktivität im Kontext der Emotionserkennung könnte auf einen entspannten oder ruhenden emotionalen Zustand hinweisen.

Tabelle 1: Funktionen des EEG-Frequenzbandes in der Emotionserkennung zusammen mit unterschiedlichem Bereich. Diese Tabelle listet die allgemein anerkannten EEG-Frequenzbänder auf, legt ihre jeweiligen Frequenzbereiche fest und beschreibt ihre funktionale Bedeutung in der Emotionserkennungsforschung. Sie hebt hervor, wie jedes Band mit unterschiedlichen kognitiven und affektiven Prozessen assoziiert ist und bildet eine Grundlage für die Interpretation von EEG-Signalen in der Klassifikation emotionaler Zustände.

Die jüngste Entwicklung der EEG-basierten Emotionserkennung wird durch Durchbrüche im Bereich Deep Learning und nichtlinearer Signalverarbeitung angeregt. CNN-basierte Modelle erzielten hohe Leistung durch Elektrodenauswahl und Hyperparameter-Tuning¹⁷, während das subjektunabhängige CNN-Modell mit dynamischer differentieller Entropie die Tragbarkeit verbesserte und die^{Komplexität 18} verringerte. Aber Modelle für dieses Problem lassen sich in der Regel nicht auf verschiedene Themen verallgemeinern. Um Sequenzabhängigkeiten zu modellieren, wurden aufmerksamkeitsbasierte LSTM-Architekturen mit Domänenanpassungsmechanismen^{vorgeschlagen, 19,20}, die große Berechnungen erfordern und keine Interpretierbarkeit haben. Über den Bereich der tiefen Netzwerke hinaus haben auch nichtlineare und topologische Methoden großes Interesse gefunden. Durch die Verwendung persistenter homologiebasierter Phasenraumanalyse wurde eine verbesserte Diskriminierung für subtile emotionale Zustände^{erreicht 21,22}. Ensemble-Methoden, die Entropie- und Fraktalausgaben mit verschiedenen Merkmalsauswahlen kombinierten, galten als verbesserte Prädiktoren. Hybride CNN–LSTM-Modelle²³ übertroffen die direkte Valenz–Erregungsklassifikation auf DEAP²⁴, und mehrsäulige CNNs nutzten die räumliche Verteilung der Elektroden^{effektiv aus 25}. Topografische Feature Maps^26,27 (TOPO-FM) und Holographic Feature Maps (HOLO-FM) basierte Feature-Darstellungen wurden auf einer Reihe öffentlich verfügbarer Datensätze 28,29,30 ausgewertet. Trotz solcher Ergebnisse, die erhebliche Fortschritte in der Klassifikationsgenauigkeit zeigen, bestehen weiterhin Herausforderungen hinsichtlich der interaktionellen Generalisierung und Interpretierbarkeit des Modells sowie der Robustheit gegenüber der Heterogenität der EEG-Aufnahmebedingungen. Autor³¹ bietet eine umfassende Übersicht über die Hauptherausforderungen, Ansätze und weitere Ansätze in diesem Bereich, mit Fokus auf Signalqualität, Feature-Extraktion und Skalierbarkeit im Applied Soft Computing. In einer verwandten Arbeit,³², maß fortgeschrittene funktionale Konnektivität die korrigierte Amplituden-Hüllkurvenkorrelation über verschiedene EEG-Frequenzbänder bei der Identifizierung ungünstiger Fahrbedingungen und unterstrich die Stärke der Multiband-Konnektivität für die Verhaltensüberwachung im Flug.

In einer breiteren neuroimaging-Beziehung^33,36 gibt es einen ausführlichen Überblick über multimodale Lernmethoden, die verschiedene Signale wie EEG und Gesichtsausdrücke oder physiologische Daten kombinieren, um eine zuverlässigere Emotionserkennung zu gewährleisten, mit dem Ziel, das Potenzial der Integration von Modalitäten zu demonstrieren, die die Leistung in KI-Systemen erheblich steigert. Neben DEAP und SEED ist der DREAMER-Datensatz auch eine aktuelle Ergänzung zu repräsentativen Benchmarks in EEG-basierten Emotionserkennungsstudien. DREAMER wurde von Katsigiannis und Ramzan³⁷ vorgeschlagen und enthält EEG- und EKG-Signale, die von Probanden aufgenommen wurden, die audiovisuelle emotionale Reize mit kostengünstigen drahtlosen Geräten beobachten. Der Inhalt des Datensatzes ist anwendbar für dimensionale Modellierung von Emotionen mit Valenz-, Erregungs- und Dominanzhierarchien im Einklang mit dem Circumplex-Modell der Affekt. Dank seines gut durchdachten experimentellen Paradigmas wurden DREAMER-Datensätze umfangreich zur Bewertung von Deep-Learning- und subjektunabhängigen Emotionserkennungsmodellen verwendet. Seine Anwendungen können mit anderen Datenbanken zur dimensionalen Emotionsdarstellung verglichen werden, und zeigten außerdem, dass es eine wertvolle Alternative als Ergänzung zum Cirrus Dance-, DEAP- und SEED-Datensatz darstellt. Diese Datensätze werden umfangreich in affektiven Computing-Studien verwendet und umfassen EEG-Aufzeichnungen, die unter kontrollierten experimentellen Bedingungen mit standardisierten emotionalen Reizen aufgenommen wurden. Dieser Datensatz besteht aus 32-Kanal-EEG-Signalen von 32 Probanden, denen emotionale Videoclips erhalten wurden. Die Daten sind hinsichtlich Valenz und Erregung annotiert. SEED: Mehrfach-Sitzungs-EEG-Aufnahmen von Probanden während filmbasierter Emotionsausruf-Experimente mit kategorialen Emotionsetiketten. DREAMER ist ein EEG- und EKG-Datensatz, der während der Emotionsinduktion mittels audiovisueller Stimuluspräsentation aufgezeichnet wird. Alle Datensätze wurden ursprünglich mit standardisierten Protokollen, Hardwarekonfigurationen und der Validierung der Kennzeichnungsverfahren erhoben, wie sie in ihren ursprünglichen Veröffentlichungen angegeben sind, erhoben. Hier wurden in dieser Studie EEG-Signale nur aus diesen Datensätzen analysiert.

Protokoll

Die Forschung beinhaltete keine direkte Auseinandersetzung mit menschlichen Probanden. Alle in dieser Studie verwendeten Datensätze stammen von öffentlich zugänglichen Plattformen und wurden gemäß den angegebenen Nutzungsrichtlinien verwendet. Daher war eine formelle ethische Genehmigung nicht erforderlich.

1. Vorbereitung der rechnergestützten Umgebung

1. Bereite eine Python-Umgebung (Version 3.8 oder höher) auf einer Standard-Workstation vor.
2. Installiere TensorFlow (v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE und PyWavelets mit pip.
3. Fixieren Sie den zufälligen Seed (Seed = 42) in NumPy und TensorFlow, um konsistente experimentelle Ergebnisse zu gewährleisten.

2. Datensatzerfassung und -strukturierung (DEAP, SEED und DREAMER)

1. Beziehen Sie die EEG-Datensätze aus den öffentlichen Repositories von DEAP, SEED und DREAMER. Die in dieser Studie verwendeten Roh-EEG-Datensätze sind in öffentlichen Aufzeichnungen verfügbar. Der DEAP-Datensatz (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), der SEED-Datensatz (BCMI Laboratory Repository: http://bcmi.sjtu.edu.cn/~seed/seed.html) und der DREAMER-Datensatz können über den IEEE Data Port (https://ieee-dataport.org/documents/dreamer-dataset) abgerufen werden.
2. Extrahiere rohe EEG-Aufzeichnungen (.dat) für alle Probanden und Studien.
3. Konvertiere die Aufnahmen in das NumPy-Array-Format und ordne sie thema- und testweise für die Verarbeitung an.
4. Lesen Sie im DEAP-Datensatz und extrahieren Sie EEG-Aufnahmen für alle Probanden aus. Behalten Sie insgesamt 32 EEG-Kanäle (von Fp1 bis O2) und entfernen Sie physiologische Signale ohne EEG.
5. Laden Sie den SEED-Datensatz herunter und extrahieren Sie alle EEG-Aufnahmen aus jedem Experiment. Downsampling auf 200 Hz bei Bedarf. Wenden Sie einen 0–75-Hz-Bandpassfilter an und segmentieren Sie die Signale in epochenweise (eeg_1 bis eeg_15) Arrays.
6. Kennzeichnen Sie jeden Frame mit Emotionen (−1: negativ, 0: neutral, +1: positiv) und ordnen Sie die Daten im Kanal × Zeit neu an.
7. Holen Sie sich den DREAMER-Datensatz und holen Sie alle EEG-Aufzeichnungen der Probanden / Studien ab. Wählen Sie die verfügbaren EEG-Kanäle sowie die emotionalen Labels.
8. Jedes Experiment in kleine Fenster mit festgelegter Dauer einzuordnen und die Daten als subjektweise strukturierte Matrizen mit kodierten kategorialen Variablen für Valenz-, Erregungs- und Dominanzwerte neu zu gestalten.
   HINWEIS: Die detaillierten Spezifikationen des vorverarbeiteten DEAP-Datensatzes, der für die Analyse verwendet wird, sind in Tabelle 2 zusammengefasst, während Abbildung 3 die Verteilung der Valenz- und Erregungswerte darstellt.

Signal auf verschiedenen Stufen aufgezeichnet	EEG (Elektroenzephalogramm) Gerät nach DEAP-Datensatz
Ernimmt Daten	24 Fächer (S02, S04, S05, S06, S07, S08, S09, S10, S11, S12, S13, S14, S15, S16, S17, S18, S19, S20, S21, S22, S23, S24, S25, S26)
Kanalindizes	"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "Oz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
Fenstergröße	256
Kein Video/Prozess	40
Schrittweite	16 (jeweils 0,125 Sekunden einmal aktualisiert)
Abtastrate	128 Hz
Fächerliste	32
Emotionen	Erregung, Valenz

Tabelle 2: ERKLÄRUNG ZUR VORVERARBEITUNG DES DATENSATZES. Zusammenfassung der Vorverarbeitungsschritte des EEG-Datensatzes, einschließlich Filterung, Artefaktentfernung, Segmentierung und Normalisierung, durchgeführt vor der Merkmalsextraktion und dem Modelltraining.

Abbildung 3: DEAP-Datensatz Valenz – Erregungsrepräsentation der ersten 40 Daten. Valenz–Erregungskartierung der ersten 40 EEG-Studien aus dem DEAP-Datensatz zeigt die emotionale Verteilung und Variabilität über die beiden Dimensionen hinweg. Diese Darstellung liefert Einblicke in die Verbreitung emotionaler Reaktionen und unterstützt den Prozess der Merkmalsextraktion zur Emotionsklassifikation. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

HINWEIS: EEG-Elektrodenpositionen in verschiedenen Hirnregionen sind in Abbildung 4 dargestellt. Die Kanalkonfiguration folgt den standardmäßigen EEG-Elektrodenplatzierungen auf der Kopfhaut, die für die Datenerfassung in den DEAP-, SEED- und DREAMER-Datensätzen verwendet werden. Die Elektroden sind über frontale, temporale, parietale und okzipitale Regionen verteilt und ermöglichen eine Abdeckung sowohl lokaler als auch verteilter neuronaler Aktivitäten im Zusammenhang mit emotionaler Verarbeitung.

Abbildung 4: Darstellung der EEG-Signalelektroden. Elektrodenplatzierung im internationalen EEG 10–20-System zur Erfassung von Kopfhautsignalen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

3. Signal-Resampling und Fenstersegmentierung

1. Reduzieren Sie SEED-EEG-Aufnahmen von 512 Hz bis 200 Hz mit scipy.signal.resample(), um die Rechenkomplexität zu reduzieren. Dann segmentieren Sie jede Studie in feste Fenster von 256 Proben mit einer Schrittgröße von 16 Proben.
2. Die ursprünglichen Abtastraten für DEAP und DREAMER (128-Hz-Datensätze) beibehalten. Stufengröße 16 Samples (0,125 s Überlappung bei 128 Hz).
3. Segmentieren Sie jede EEG-Studie in Fenster von 256 Proben mit einer Schrittlänge von 16 Proben, um überlappende Segmente zu erzeugen.

4. Bandpassfilterung und Frequenzzerlegung

1. Definiere die Abtastfrequenz (fs) und setze die Filterreihenfolge auf 2. Berechnen Sie die Nyquist-Frequenz (0,5 × fs) und normalisieren Sie die Cutoff-Frequenzen.
2. Entwickle einen Butterworth-Bandpassfilter mit scipy.signal.butter().
3. Wenden Sie Nullphasenfilterung mit scipy.signal.filtfilt() an, um Phasenverzerrungen zu vermeiden.
4. Extrahieren Sie fünf kanonische EEG-Frequenzbänder: Delta (0,5–4 Hz), Theta (4–8 Hz), Alpha (8–13 Hz), Beta (13–30 Hz) und Gamma (30–45 Hz).

5. Artefaktentfernung mittels unabhängiger Komponentenanalyse

1. Wenden Sie FastICA von Scikit-learn mit der Anzahl der Komponenten an, die der Anzahl der EEG-Kanäle entspricht.
2. Identifizieren Sie Artefaktkomponenten anhand statistischer Indikatoren wie Varianz und Kurtosis.
3. Entfernen Sie die identifizierten Komponenten und rekonstruieren Sie die gereinigten EEG-Signale zur weiteren Analyse.

6. CWFC-basierte Extraktion von differentiellen Entropiemerkmalen

1. Berechnen Sie die Varianz jedes gefilterten EEG-Segments entlang der Kanalachse.
2. Berechnen Sie die differentielle Entropie mit:
3. Entropiewerte für alle Frequenzbänder und EEG-Kanäle extrahieren.
4. Speichere die resultierenden Entropiemerkmale in einer strukturierten Merkmalsmatrix.

7. Diskrete Wavelet-Transformation (DWT) Merkmalsextraktion

1. Führen Sie eine mehrstufige Wavelet-Zerlegung mit der "db4"-Mutter-Wavelet durch.
2. Zerlegen Sie jedes EEG-Segment bis Stufe 4.
3. Extrahieren Sie statistische Deskriptoren (Mittelwert, Varianz, Energie, Entropie) aus jeder Zersetzungsebene.
4. Fügen Sie DWT-abgeleitete Features an die bestehende Merkmalsmatrix an.

8. Spektrale Merkmalsextraktion mit FFT

1. Wenden Sie die schnelle Fourier-Transformation mit numpy.fft.fft() auf jedes EEG-Segment an.
2. Berechnen Sie die spektrale Leistungsdichte über die definierten Frequenzbänder.
3. Entspanne Bandleistungswerte für alle Kanäle.
4. Verkette FFT-basierte Features mit zuvor extrahierten Features.

9. Merkmalsauswahl über Zufallswald

1. Trainiere einen Random Forest-Klassifikator mit 300 Bäumen anhand des Gini-Verunreinigungskriteriums.
2. Setze die maximale Baumtiefe auf 20 und aktiviere Bootstrap-Sampling mit Out-of-Bag-Schätzung.
3. Bewertungsmerkmale basierend auf Wichtigkeitswerten.
4. Entfernen Sie Merkmale unterhalb einer vordefinierten Wichtigkeitsschwelle, um Redundanz zu reduzieren.

10. Datenpartitionierung

1. Geschichtete Stichprobe, um den Datensatz so zu mischen, dass das Klassengleichgewicht über emotionale Kategorien hinweg erhalten bleibt.
2. Teile den Datensatz in 10 gleichmäßige Falten auf. Verwenden Sie bei jeder Iteration 9 Folds zum Training und 1 Fold zum Testen, wobei immer darauf achte, dass jeder Fold einmal getestet wird.
3. Verwenden Sie diesen Ansatz für jede Faltung und berechnen Sie durchschnittliche Leistungskennzahlen (Genauigkeit, Präzision, Rückruf, F1-Score) plus Standardabweichungen, um die Modellstabilität zu überprüfen.
   HINWEIS: Führen Sie alle Splits stichprobe für Stichprobe durch, wobei sichergestellt wird, dass keine Proben zwischen den Trainings- und Testsätzen innerhalb jeder Falte geteilt werden.

11. Datenaugmentation mit generativem adversarialem Netzwerk

1. Erstellen Sie ein Feature-Level-GAN mit der Keras Sequential API. Definieren Sie vollständig verbundene Schichten sowohl für Generator- als auch für Diskriminatornetzwerke.
2. Trainiere das GAN für 200 Epochen mit Merkmalen der Minderheitenklasse. Generiere synthetische Merkmalsproben aus dem trainierten Generator.
3. Behalten Sie nur hochkonfidenziell synthetische Proben, wie sie vom Diskriminator bewertet werden. Kombinieren Sie die ausgewählten synthetischen Proben mit dem ursprünglichen Trainingsset.

12. LSTM-Modellarchitektur

1. Konstruiere ein sequentielles LSTM-Modell mit Keras. Füge die erste LSTM-Schicht mit 128 versteckten Einheiten hinzu und setze return_sequences=true.
2. Füge eine zweite LSTM-Schicht mit 128 versteckten Einheiten hinzu. Tragen Sie nach jeder LSTM-Schicht Dropout (Rate = 0,3) auf, um Überanpassungen zu vermeiden.
3. Fügen Sie eine Dichte-Ausgabeschicht mit SoftMax-Aktivierung für Multiklassenklassifikation hinzu.

13. Modellzusammenstellung und Schulung

1. Kompiliere das Modell mit dem Adam-Optimierer mit einer Lernrate von 0,001.
2. Verwenden Sie kategorischen Kreuzentropieverlust. Trainiere das Modell mit Chargengröße = 64 für 80 Epochen.
3. Wenden Sie frühzeitiges Stoppen mit Geduld = 10 basierend auf der Validierungsgenauigkeit an.

14. Leistungsbewertung

1. Bewerten Sie das trainierte Modell anhand des unabhängigen Testdatensatzes. Berechnen Sie Leistungskennzahlen wie Genauigkeit, Präzision, Abruf und F1-Score.
2. Speichern Sie die trainierten Modellgewichte und Bewertungsergebnisse zur Reproduzierbarkeit. Eine so gut organisierte Pipeline garantiert, dass das vorgeschlagene Framework leicht reproduziert werden kann.

Ergebnisse

Die Sammlung von zwei verschiedenen EEG-Datensätzen; DEAP und SEED bildeten die erste Phase der Analyse. Abbildung 5 zeigt die Grafik der Valenz-Erregung von LAHV, HALB, LALV und HAHV als Kurzform von niedriger Erregung, hoher Erregungs-niedriger Valenz, niedriger Erregungs-niedriger Valenz bzw. hoher Erregungs-hohen Valenz. Vier Kategorien psychologischer Reaktionen wurden berichtet: HAHV, LAHV, HALV und LALV. Zwei grundlegende emotionale Merkmale, Valenz und Erregung, sind mit jedem Zu...

Diskussion

In diesem Artikel führte Forschung eine gründliche Untersuchung der EEG-basierten Emotionserkennung auf zwei Benchmark-Datensätzen (d. h. DEAP und SEED) durch und zeigte, dass das vorgeschlagene CWFC-Modell emotionsbezogene diskriminierende Informationen effektiv erfassen kann. Im Gegensatz zu früheren Arbeiten, die im Wesentlichen auf linearen Beschreibungen oder Merkmalstypen basieren, vereinigt die vorgeschlagene Methodik verschiedene nichtlineare Merkmalsextraktionen, die miteinander...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
DEAP-Datensatz	Queen Mary Universität London	v1.0	EEG-Emotionsdatensatz
DREAMER-Datensatz	IEEE DataPort	Öffentliche Veröffentlichung	EEG-Emotionsdatensatz
Keras	Google LLC	2.x (TensorFlow-Backend)	Neuronale Netzmodellierung
Arbeitsstation	Lenovo	Intel Core i7, 16 GB RAM, 8 GB NVIDIA GPU	Modelltraining und Berechnung
MNE-Python	MNE-Entwickler	1.x	EEG-Vorverarbeitung
NumPy	NumPy-Entwickler	1.x	Numerische Berechnung
Betriebssystem	Microsoft Corporation	Windows 11 (64-Bit)	Rechenplattform
Python	Python Software Foundation	3.8+	Programmierumgebung
PyWavelets	PyWavelets-Entwickler	1.x	Wavelet-Zerlegung
Scikit-learn	scikit-learn Entwickler	1.x	Maschinelle Lernprogramme
SciPy	SciPy-Gemeinschaft	1.x	Signalverarbeitung und Resampling
SEED-Datensatz	BCMI-Labor, Shanghai Jiao Tong Universität	Öffentliche Veröffentlichung	EEG-Emotionsdatensatz
TensorFlow	Google LLC	2.x	Deep-Learning-Framework