Methodenartikel

Gecombineerde gewogen featurecorrelatiebenadering voor verbeterde EEG-gebaseerde emotieherkenning over diverse datasets heen

DOI:

10.3791/69073

⸱

17 april 2026

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het artikel richt zich op EEG-gebaseerde emotieherkenning, een opkomend domein binnen de neurowetenschap en emotionele computing. De traditionele lineaire methoden zijn onvoldoende omdat het onmogelijk is om een ingewikkelde emotionele structuur in video weer te geven. Om dit aan te pakken, stellen de auteurs een nieuw model voor, Combined Weighted Feature Correlation (CWFC), dat de emotionele relaties vastlegt. Na bandpassfiltering worden Independent Component Analysis (ICA), Discrete Wavelet Transform (DWT) en Fast Fourier Transform (FFT) door het model gebruikt om niet-lineaire kenmerken uit EEG te halen. In dit geval wordt de beste feature geselecteerd door LSTM en deze features worden geëvalueerd door Random Forest Classifier. Inleiding: Generative Adversarial Network (GAN) gebaseerde data-augmentatie levert 88% (voor valentie) en 86% (voor evaluatie van testresultaten). De voorgestelde GAN-gebaseerde opwinding) nauwkeurigheid op de DEAP-dataset, die zeer hoog is in data-augmentatie, heeft de prestaties verbeterd wanneer prestaties. Het model valideert dat CWFC voordelig is over datasets heen, omdat het een algehele classificatienauwkeurigheid van 89% levert voor emotionele toestanden op de SEED-dataset.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Emotieherkenning met EEG-signalen is een actief onderzoeksgebied binnen affectieve computing en neurowetenschap, en helpt wetenschappers bij hun zoektocht naar het begrijpen van de hersenprocessen die betrokken zijn bij emoties. In tegenstelling tot de bestaande werken die zich richtten op lineaire EEG-kenmerken, richt het huidige werk zich op niet-lineaire kenmerken om de fijnere veranderingen van emotionele reacties beter te karakteriseren. Geïnspireerd hierop heet de voorgestelde methode in een recent artikel Combined Weighted Feature Correlation (CWFC) om het effect van niet-lineaire componenten op de prestaties van emotiedetectie te onderzoeken. Als eerste stap worden de EEG-gegevens verzameld en voorverwerkt met behulp van banddoorlaatfilters om de frequentiebanden zoals bèta, alfa, gamma, delta en theta te scheiden. Om ingewikkelde emotionele patronen te detecteren, wordt feature-extractie uitgevoerd met Independent Component Analysis (ICA), DWT (Discrete Wavelet Transform) en FFT (Fast Fourier Transform). Deze kenmerken kunnen als gecombineerde functies worden ingebouwd in het CWFCC-model om zowel het vermogen als de algehele voorspellende nauwkeurigheid te verbeteren. Pas vervolgens een Random Forest-classifier toe om te zien hoe belangrijk deze gecombineerde kenmerken zijn. Voorgesteld werk integreert GAN-data-augmentatie na optimale feature-selectie (met nadruk op LSTM). Op de DEAP-dataset resulteert deze augmentatie in verbluffende valentienauwkeurigheid van 88% en 86% opwindingsnauwkeurigheid, wat de herkenningsnauwkeurigheid van emoties aanzienlijk verbetert. Het voorgestelde model behaalde valentie- en opwindingsnauwkeurigheid van respectievelijk 62% en 65% op de vroege DEAP zonder GAN-data-augmentatie. Bovendien kan dit model onderscheid maken tussen SEED-datasets tijdens neutrale emotionele toestanden, negatief en positief met een gemiddelde nauwkeurigheid van 89%. Het voorgestelde artikel verkondigt de superieure prestaties van het CWFC-model met GAN-gebaseerde data-uitbreiding op EEG voor emotherkenning over verschillende datasets door middel van diepgaande analyse en vergelijkend onderzoek.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Emotieherkenning is belangrijk in menselijke interactie en menselijke communicatie. Om succesvolle interpersoonlijke verbindingen te kunnen leggen, moet men emoties kunnen waarnemen en begrijpen, wat verstrekkende implicaties heeft in domeinen zo uiteenlopend als psychologie, neurologie en mens-computerinteractie1. In de afgelopen jaren is de op elektro-encefalogram (EEG) gebaseerde BCI (Brain Computer Interface) een waardetool geweest waarop onderzoekers zich hebben gericht om emoties te detecteren. Hoewel EEG-gebaseerde BCI een direct venster biedt op de elektrische activiteit van het menselijk brein en een passend onderzoeksinstrument is om emotionele toestanden te verkennen. De automatische en nauwkeurige classificatie van emotionele toestanden heeft het gebied van emotherkenning fundamenteel getransformeerd door middel van machine learning-technieken en EEG-gebaseerde BCI2.

In het vorige werk wordt emotieherkenning geïntroduceerd en het belang ervan in diverse vakgebieden, waaronder gezondheidszorg, mens-computerinteractie en neurowetenschap3. Ondanks aanzienlijke vooruitgang blijft er een duidelijke onderzoekskloof bestaan in huidige EEG-gebaseerde emotieherkenningsstudies. Ten eerste gebruiken benaderingen die in de literatuur zijn geïntroduceerd single-domein feature-extractie (bijvoorbeeld spectrale of tijdsfrequentiekenmerken) of singuliere niet-lineaire descriptoren die beschikbaar en isoleerbaar zijn, die niet genoeg bieden voor modellering door alleen te werken met een gedeeltelijke representatie van inherent complexe en niet-stationaire EEG-signalen. Ten tweede, hoewel verschillende niet-lineaire kenmerken een superieure discriminatiekracht hebben, worden ze meestal afzonderlijk gebruikt en isoleren ze de relaties tussen deze kenmerken over domeinen heen. Deze beperking maakt hen minder in staat om de multiscale- en bronniveaudynamiek te modelleren die betrokken zijn bij emotionele hersenactivatie. Ten derde zijn de meeste deep learning-methoden ontworpen om classificatieprestaties te optimaliseren, maar zonder rekening te houden met feature-interpreteerbaarheid, redundantievermindering en robuustheid in aanwezigheid van klasse-onevenwicht. Daarom blijft generalisatie van cross-datasets een open probleem tussen onderzoeken met verschillende elektrodeopstellingen, bemonsteringsfrequentie (128–256 Hz) en opnameduur (30–60 s). De belangrijkste dimensies van emotionele intelligentie worden weergegeven in Figuur 1.

Om dergelijke nadelen te overwinnen, introduceren we in dit artikel een Combined Weighted Feature Concatenation (CWFC) framework dat multidomein niet-lineaire features in één architectuur samenbrengt. In plaats van ICA, DWT en FFT als onafhankelijke extractiemethoden te behandelen zoals conventionele benaderingen, modelleren we bronniveaudecompositie (ICA), multi-resolutie temporele dynamica (DWT) en spectrale vermogensrepresentaties (FFT) via een gewogen correlatie. Deze structuur kan het model helpen om gebruik te maken van complementaire neurale informatie en redundantie te verminderen om het discriminatievermogen te vergroten. Ook worden zowel feature importance ranking als GAN-gebaseerde augmentatie gebruikt om de robuustheid te bereiken op de minste onevenwichtige EEG-monsters. Door multimodale kenmerkrelaties en temporele afhankelijkheden te integreren via LSTM-classificatie, verbetert het gecombineerde model de generalisatie over diverse EEG-acquisitiecondities. De belangrijkste bijdrage van dit werk is dus het overwinnen van het gebrek aan integratie tussen niet-lineaire EEG-representaties en de onvoldoende generaliseerbaarheid in bestaande methoden, en het introduceren van een systematisch, reproduceerbaar en stabiel emotieherkenningskader binnen de praktijk van BCI-toepassingen.

figure-introduction-1
Figuur 1: Fasen van emotionele intelligentie. Fasen van emotionele intelligentie geven aan hoe emotherkenning uit EEG-signalen kan worden afgeleid, en vervolgens de toepassingen bij de diagnose en monitoring van emotionele problemen bij mentale gezondheidsbeoordelingen. Klik hier om een grotere versie van deze figuur te bekijken.

Niet-lineaire EEG-kenmerken voor emotieherkenningsonderzoek bieden een diepgaand begrip van de neurale processen die betrokken zijn bij affectieve verwerking. Als een niet-invasieve techniek met hoge temporele resolutie die gevoelig is voor snelle neurale dynamiek, wordt EEG breed gebruikt voor de studie van hersenactiviteit gerelateerd aan emotionele toestanden. Niet-lineaire methoden zijn vooral geschikt voor de studie van EEG-signalen, vanwege hun niet-stationaire en complexe aard die een beter model vormt van zowel de opgewekte als geïnduceerde activiteit in emotionele processen. In een willekeurig aantal computationele modellen wordt emotie weergegeven met verwijzing naar bestaande theoretische modellen zoals het Basic Emotion Model4 (BEM) en het Circumplex Model 5,6. Twee structureel en functioneel verschillende opvattingen van emotie zijn het Basic Emotion-model, dat ervan uitgaat dat er een set biologisch gebaseerde fundamentele kernemotiesbestaat 7,8 (vooral liefde), en het Circumplex-model dat emotie organiseert volgens twee onderliggende dimensies: valentie9 (positief–negatief) en opwinding10,11 (laag–hoog). Het valentie–opwinding-kader dat in Figuur 2 wordt getoond, komt veel voor in EEG-gebaseerde emotieherkenningsstudies, voornamelijk vanwege de afstemming met de standaarddatasets en de toepasbaarheid voor het modelleren van continue emotionele toestanden. Deze dimensiegebaseerde representatie biedt een systematische en kwantificeerbare manier om neurale activiteit in emotionele categorieën te koppelen en kan zo classificatie op basis van machine learning vergemakkelijken.

figure-introduction-2
Figuur 2: Valence-Aosale Emotierepresentatie. Twee-ass diagram dat emotionele toestanden toont, waarbij valentie positieve of negatieve gevoelens aangeeft en opwinding een lage tot hoge emotionele intensiteit weerspiegelt. Klik hier om een grotere versie van deze figuur te bekijken.

Opwinding is emotionele intensiteit, valentie positief of negatief. Emotieanalyse is recentelijk gericht op EEG om neurale correlaten van emoties te onderzoeken. Feature-extractie is zeer belangrijk, waarbij het EEG wordt afgebeeld in grootheden in tijd, frequentie en tijd-frequentie domein. Enkele van de meest voorkomende niet-lineaire kenmerken zijn Wavelet-entropie12, correlatiedimensie13, en deze voorgestelde studie gebruikt een gecombineerde gewogen benadering die een fusie is van DWT en ICA en FFT13. Standaard DEAP14 - en SEED15-datasets zijn beschikbaar voor reproduceerbare evaluatie. Traditionele lineaire kenmerken zijn vaak niet langer voldoende, wat vereist het ontwerp van niet-lineaire benaderingen16. Emotionele patronen gebaseerd op frequentiebanden zijn weergegeven in Figuur 2, en de gewichten van de bijdragen van EEG-banden zijn vermeld in Tabel 1.

Verschillende frequentiebandFrequentiebandbereik in HzFuncties van de frequentieband in emotieherkenning
GammaGroter dan 30 HzDe integratie van emotionele data en de synchronisatie van verschillende hersengebieden tijdens emotionele verwerking kan worden weerspiegeld in gammaactiviteit.
BetaTussen 13 en 30 HzVariaties in bètakracht kunnen een teken zijn van emotionele opwinding en de motorische reacties die verband houden met emotionele uitingen.
AlphaTussen 8 en 13 HzEmotionele toestanden en variaties in alfa-kracht, met name alfa-asymmetrie, zijn gerelateerd. Wanneer emotioneel opgewonden en meer aandacht besteedt aan emotionele inputs, wordt vaak een verminderde alfa-kracht gezien.
ThetaTussen 4 en 8 HzEmotionele ervaringen kunnen geassocieerd zijn met verhoogde theta-kracht, wat kan helpen bij het coderen en terughalen van emotionele herinneringen.
Delta0,5-4 HzEen toename van delta-activiteit in de context van emotiedetectie kan wijzen op een ontspannen of rustende emotionele toestand.

Tabel 1: Functies van de EEG-frequentieband in emotieherkenning samen met verschillende bereiken. Deze tabel geeft een overzicht van de algemeen erkende EEG-frequentiebanden, specificeert hun respectievelijke frequentiebereiken en beschrijft hun functionele betekenis in emotieherkenningsonderzoek. Het benadrukt hoe elke band geassocieerd is met verschillende cognitieve en affectieve processen, en biedt een basis voor het interpreteren van EEG-signalen in de classificatie van emotionele toestanden.

De recente ontwikkeling van EEG-gebaseerde emotherkenning wordt gestimuleerd door doorbraken in deep learning en niet-lineaire signaalverwerking. CNN-gebaseerde modellen behaalden hoge prestaties door gebruik te maken van elektrodeselectie en hyperparameterafstemming17, terwijl subjectonafhankelijk CNN-model met dynamische differentiële entropie de draagbaarheid en verminderde complexiteit18 verbeterde. Maar modellen voor dit probleem kunnen meestal niet worden gegeneraliseerd over onderwerpen. Om sequentieafhankelijkheden te modelleren, werden aandachtgebaseerde LSTM-architecturen met domeinadaptatiemechanismen voorgesteld19,20 die grote berekeningen vereisen en geen interpreteerbaarheid hebben. Naast het domein van diepe netwerken hebben ook niet-lineaire en topologische methoden aanzienlijke belangstelling gekregen. Door gebruik te maken van persistent, op homologie gebaseerde faseruimteanalyse werd verbeterde discriminatie verkregen voor subtiele emotionele toestanden21,22. Ensemblemethoden door entropie- en fractale uitgangen te combineren met verschillende feature-selecties stonden bekend als verbeterde voorspellers. Hybride CNN–LSTM-modellen23 presteerden beter dan directe valentie–opwinding-classificatie op DEAP24 en multikolom-CNN's maakten effectief gebruik van de ruimtelijke verdeling van elektroden25. Topografische Feature Maps26,27 (TOPO-FM) en Holografische Feature Maps (HOLO-FM) gebaseerde feature-representaties werden geëvalueerd op een aantal openbaar beschikbare datasets 28,29,30. Ondanks dat dergelijke resultaten aanzienlijke vooruitgang in classificatienauwkeurigheid laten zien, blijven er uitdagingen bestaan met betrekking tot cross-subject generalisatie en interpreteerbaarheid van het model en robuustheid ten opzichte van heterogeniteit van EEG-acquisitiecondities. Auteur31 biedt een uitgebreide overzicht van de belangrijkste uitdagingen, benaderingen en verdere richtingen op dit gebied, met focus op signaalkwaliteit, feature-extractie en schaalbaarheid in Applied Soft Computing. In een gerelateerd werk32 werd geavanceerde functionele connectiviteit gecorrigeerd met amplitude-enveloppencorrelatie over verschillende EEG-frequentiebanden bij het identificeren van ongunstige rijomstandigheden, waarmee de kracht van multibandconnectiviteit voor on-the-fly gedragsmonitoring wordt benadrukt.

In een bredere neuroimagingrelatie33,36 een sterk overzicht van multimodale leermethoden die verschillende signalen zoals EEG en gezichtsuitdrukkingen of fysiologische gegevens combineren voor betrouwbaardere emotiedetectie, met verwijzing naar het aantonen van het potentieel van modaliteitsintegratie die de prestaties in AI-systemen aanzienlijk verhoogt. Naast DEAP en SEED is de DREAMER-dataset ook een recente toevoeging aan representatieve benchmarks in EEG-gebaseerde emotieherkenningsstudies. DREAMER werd voorgesteld door Katsigiannis en Ramzan37 en bevat EEG- en ECG-signalen die zijn verkregen van proefpersonen die de audiovisuele emotionele prikkels bekijken met een goedkoop draadloos apparaat. De inhoud van de dataset is toepasbaar voor dimensionale modellering van emoties met valentie-, opwindings- en dominantiehiërarchieën in lijn met het circumplexmodel van affect. Dankzij het goed doordachte experimentele paradigma zijn DREAMER-datasets uitgebreid gebruikt voor de evaluatie van deep learning en subjectonafhankelijke emotieherkenningsmodellen. De toepassingen ervan kunnen zich veroorloven te vergelijken met andere databases van dimensionale emotierepresentatie, en toonden ook aan dat het een waardevol alternatief is als aanvulling op de cirrus dance, DEAP en SEED-dataset. Deze datasets worden uitgebreid gebruikt in affectieve computerstudies en omvatten EEG-opnames die onder gecontroleerde experimentele omstandigheden zijn verkregen met gestandaardiseerde emotionele prikkels. Deze dataset bestaat uit 32-kanaals EEG-signalen van 32 proefpersonen die emotionele videoclips ontvingen. De gegevens zijn geannoteerd met betrekking tot valentie en opwinding. SEED: meervoudige sessies EEG-opnames van proefpersonen tijdens filmgebaseerde emotie-uitlokkingsexperimenten met categorische emotielabels. DREAMER is een EEG- en ECG-dataset die tijdens emotie-inductie wordt opgenomen via audiovisuele stimuluspresentatie. Alle datasets werden oorspronkelijk verzameld met behulp van gestandaardiseerde protocollen, hardwareconfiguraties en validatie van labelprocedures zoals gerapporteerd in hun oorspronkelijke publicaties. Hier werden EEG-signalen uit alleen deze datasets geanalyseerd in deze studie.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het onderzoek bevatte geen directe betrokkenheid bij menselijke proefpersonen. Alle datasets die in deze studie werden gebruikt, waren afkomstig van openbaar toegankelijke platforms en werden gebruikt volgens hun verklaarde gebruiksbeleid. Daarom was formele ethische goedkeuring niet nodig.

1. Computationele Omgevingsvoorbereiding

  1. Bereid een Python-omgeving voor (versie 3.8 of hoger) op een standaard werkstation.
  2. Installeer TensorFlow (v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE en PyWavelets met pip.
  3. Fix de willekeurige seed (seed = 42) in NumPy en TensorFlow om consistente experimentele resultaten te garanderen.

2. Dataset-acquisitie en -structuur (DEAP, SEED en DREAMER)

  1. Verkrijg de EEG-datasets uit de openbare repositories van DEAP, SEED en DREAMER. De ruwe EEG-datasets die in deze studie zijn gebruikt, zijn beschikbaar via openbare registers. DEAP-dataset (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), SEED-dataset (BCMI Laboratory-repository: http://bcmi.sjtu.edu.cn/~seed/seed.html) en DREAMER-dataset zijn toegankelijk via IEEE Data Port (https://ieee-dataport.org/documents/dreamer-dataset).
  2. Haal ruwe EEG-opnames (.dat) uit voor alle proefpersonen en proeven.
  3. Converteer de opnames naar NumPy-arrayformaat en rangschik ze subjectgewijs en proefgewijs voor verwerking.
  4. Lees de DEAP-dataset in en haal EEG-opnames uit voor alle proefpersonen. Behou in totaal 32 EEG-kanalen (van Fp1 tot O2) en verwijder niet-EEG fysiologische signalen.
  5. Download de SEED-dataset en haal alle EEG-opnames uit elk experiment uit. Downsample naar 200 Hz indien nodig. Pas een 0–75Hz banddoorlaatfilter toe en segmenteer de signalen in epoch-gewijze (eeg_1 tot eeg_15) arrays.
  6. Label elk frame met emotie (−1: negatief, 0: neutraal, +1: positief) en herschik de data in kanaal × tijd.
  7. Haal de DREAMER-dataset op en haal alle EEG-opnames van proefpersonen / proeven op. Kies de beschikbare EEG-kanalen evenals de emotionele labels.
  8. Categoriseer elk experiment in kleine vensters van een bepaalde duur en hervorm de data als subjectgewijs gestructureerde matrices met gecodeerde categorische variabelen voor valentie-, opwindings- en dominantiescores.
    OPMERKING: De gedetailleerde specificaties van de vooraf bewerkte DEAP-dataset die voor de analyse wordt gebruikt, zijn samengevat in Tabel 2, terwijl Figuur 3 de verdeling van valentie- en opwindingsscores illustreert.
Signaal opgenomen op verschillende tredenEEG (Elektro-encefalogram) apparaat door DEAP-dataset
Gegevens genomen24 vakken (S02, S04, S05, S06, S07, S08, S09, S10, S11, S12, S13, S14, S15, S16, S17, S18, S19, S20, S21, S22, S23, S24, S25, S26)
Kanaalindices"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "Oz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
Venstergrootte256
Geen video/proces40
Stapgrootte16 (elk 0,125 seconden één keer bijgewerkt)
Samplefrequentie128 Hz
Onderwerpenlijst32
EmotiesOpwinding, Valence

Tabel 2: UITLEG VAN DE DATASET VOOR DE BEWERKING. Samenvatting van de voorverwerkingsstappen van de EEG-dataset, waaronder filtering, verwijdering van artefacten, segmentatie en normalisatie, uitgevoerd voorafgaand aan feature-extractie en modeltraining.

figure-protocol-1
Figuur 3: DEAP-dataset Valence - Opwindingsrepresentatie van de eerste 40 data. Valence–Arousal-mapping van de eerste 40 EEG-proeven uit de DEAP-dataset, die de verdeling en variabiliteit van emotionele toestanden over de twee dimensies illustreert. Deze representatie biedt inzicht in de verspreiding van emotionele reacties en ondersteunt het proces van feature-extractie voor emotieclassificatie. Klik hier om een grotere versie van deze figuur te bekijken.

OPMERKING: EEG-elektrodelocaties over verschillende hersengebieden zijn weergegeven in Figuur 4. De kanaalconfiguratie volgt de standaard plaatsingen van de hoofdhuid-EEG-elektroden die worden gebruikt voor gegevensverzameling in de DEAP-, SEED- en DREAMER-datasets. De elektroden zijn verdeeld over frontale, temporele, pariëtale en occipitale regio's, waardoor zowel lokale als verspreide neurale activiteit gerelateerd aan emotionele verwerking kan worden afgedekt.

figure-protocol-2
Figuur 4: EEG-signaal elektrode representatie. Elektrodeplaatsing in het EEG 10–20 internationale systeem voor hoofdhuidsignaalacquisitie. Klik hier om een grotere versie van deze figuur te bekijken.

3. Signaalherbemonstering en venstersegmentatie

  1. Downsample SEED EEG-opnamen van 512 Hz tot 200 Hz met scipy.signal.resample() om de rekenkundige complexiteit te verminderen. Vervolgens segmenteert elke proef in vaste vensters van 256 steekproeven met een stapgrootte van 16 steekproeven.
  2. Bebehoud de oorspronkelijke bemonsteringsfrequenties voor DEAP en DREAMER (128 Hz datasets). Monsters van stapgrootte 16 (0,125 s overlap bij 128 Hz).
  3. Segmenteer elke EEG-proef in vensters van 256 monsters met een stapgrootte van 16 monsters om overlappende segmenten te creëren.

4. Banddoorlaatfiltering en frequentiedecompositie

  1. Definieer de bemonsteringsfrequentie (fs) en stel de filtervolgorde in op 2. Bereken de Nyquist-frequentie (0,5 × fs) en normaliseer de cutoff-frequenties.
  2. Ontwerp een Butterworth-banddoorlaatfilter met behulp van scipy.signal.butter().
  3. Pas nulfase-filtering toe met scipy.signal.filtfilt() om fasevervorming te voorkomen.
  4. Haal vijf canonieke EEG-frequentiebanden uit: delta (0,5–4 Hz), theta (4–8 Hz), alfa (8–13 Hz), beta (13–30 Hz) en gamma (30–45 Hz).

5. Artefactverwijdering met behulp van onafhankelijke componentanalyse

  1. Pas FastICA toe van Scikit-learn met het aantal componenten gelijk aan het aantal EEG-kanalen.
  2. Identificeer artefactuele componenten met behulp van statistische indicatoren zoals variantie en kurtosis.
  3. Verwijder de geïdentificeerde componenten en reconstrueer de gereinigde EEG-signalen voor verdere analyse.

6. CWFC-gebaseerde differentiële entropie-feature-extractie

  1. Bereken de variantie van elk gefilterd EEG-segment langs de kanaalas.
  2. Bereken differentiële entropie met behulp van:
  3. Extraheren entropiewaarden voor alle frequentiebanden en EEG-kanalen.
  4. Sla de resulterende entropiekenmerken op in een gestructureerde featurematrix.

7. Discrete Wavelet Transformatie (DWT) Feature-extractie

  1. Voer multi-level wavelet-decompositie uit met behulp van de "db4" moederwavelet.
  2. Ontleed elk EEG-segment tot niveau 4.
  3. Haal statistische descriptoren (gemiddelde, variantie, energie, entropie) uit elk decompositieniveau.
  4. Voeg DWT-afgeleide features toe aan de bestaande featurematrix.

8. Spectrale kenschapsextractie met FFT

  1. Pas Fast Fourier Transform toe met numpy.fft.fft() op elk EEG-segment.
  2. Bereken de spectrale vermogensdichtheid over de gedefinieerde frequentiebanden.
  3. Haal bandvermogenswaarden uit voor alle kanalen.
  4. Verbind FFT-gebaseerde features met eerder extraherde features.

9. Featureselectie via Willekeurig Bos

  1. Train een Random Forest-classifier met 300 bomen volgens het Gini-onzuiverheidscriterium.
  2. Stel de maximale boomdiepte in op 20 en schakel bootstrap-monsterneming in met out-of-bag schatting.
  3. Rangschik functies op basis van belangrijkheidsscores.
  4. Verwijder functies onder een vooraf gedefinieerde belangrijkheidsdrempel om redundantie te verminderen.

10. Datapartitionering

  1. Gestratificeerde steekproeven om de dataset zo te schudden dat de klassenbalans over emotionele categorieën behouden blijft.
  2. Splits de dataset op in 10 gelijke vouwen. Gebruik bij elke iteratie 9 folds voor training en 1 fold voor testen, waarbij je altijd zorgt dat elke fold één keer wordt getest.
  3. Gebruik deze aanpak voor elke vouw en bereken gemiddelde prestatie-metrics (nauwkeurigheid, precisie, recall, F1-score) plus standaarddeviatie om de stabiliteit van het model te controleren.
    OPMERKING: Voer alle splitsingen per steekproef uit, terwijl er wordt gezorgd dat er geen samples worden gedeeld tussen de trainings- en testsets binnen elke fold.

11. Data-uitbreiding met behulp van Generatief Adversarieel Netwerk

  1. Bouw een feature-level GAN met behulp van de Keras Sequential API. Definieer volledig verbonden lagen voor zowel generator- als discriminatornetwerken.
  2. Train de GAN voor 200 epochs met behulp van minderheidsklasse featurevectoren. Genereer synthetische feature-monsters van de getrainde generator.
  3. Behou alleen synthetische monsters met hoge betrouwbaarheid zoals geëvalueerd door de discriminator. Voeg de geselecteerde synthetische monsters samen met de originele trainingsset.

12. LSTM-modelarchitectuur

  1. Bouw een sequentiële LSTM-model met Keras. Voeg de eerste LSTM-laag toe met 128 verborgen eenheden en stel return_sequences=waar.
  2. Voeg een tweede LSTM-laag toe met 128 verborgen units. Pas dropout toe (snelheid = 0,3) na elke LSTM-laag om overfitting te voorkomen.
  3. Voeg een Dense-uitvoerlaag toe met SoftMax-activatie voor multi-class classificatie.

13. Modelcompilatie en training

  1. Compileer het model met de Adam-optimizer met een leersnelheid van 0,001.
  2. Gebruik categorisch kruis-entropieverlies. Train het model met batchgrootte = 64 voor 80 epochs.
  3. Pas vroeg toe met geduld = 10 op basis van validatienauwkeurigheid.

14. Prestatiebeoordeling

  1. Evalueer het getrainde model met behulp van de onafhankelijke testdataset. Bereken prestatie-indicatoren zoals nauwkeurigheid, precisie, recall en F1-score.
  2. Bewaar de gewichten van het getrainde model en de evaluatieresultaten voor reproduceerbaarheid. Zo'n goed georganiseerde pijplijn garandeert dat het voorgestelde raamwerk gemakkelijk gereproduceerd kan worden.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De verzameling van twee verschillende EEG-datasets; DEAP en SEED vormden de eerste fase van de analyse. Figuur 5 toont de grafiek van de valentie-opwinding van LAHV, HALV, LALV en HAHV, die respectievelijk korte vormen zijn van lage opwinding, hoge opwinding, lage valentie, lage opwinding, lage valentie en hoge opwinding, hoge valentie. Er zijn vier categorieën psychologische respons gerapporteerd: HAHV, LAHV, HALV en LALV. Twee fundamentele emotionele kenmerken, valentie en opwinding, z...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In dit artikel voerde onderzoek een grondig onderzoek uit naar de EEG-gebaseerde emotherkenning op twee benchmarkdatasets (namelijk DEAP en SEED) en toonde aan dat het voorgestelde CWFC-model effectief emotionele discriminatieve informatie kan vastleggen. In tegenstelling tot eerdere werken die in wezen gebaseerd zijn op lineaire beschrijvingen of kenmerktypes, verenigt de voorgestelde methodologie verschillende niet-lineaire kenmerkextracties die met elkaar verbonden zijn en maakt gebru...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben niets te onthullen.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We willen ook de instellingen en onderzoekers in de DEAP- en SEED EEG-databases bedanken voor hun belangrijke bijdragen aan dit werk. Tot slot gaat ook onze universiteiten uit voor hun steun via middelen en aanmoediging om dit onderzoek uit te voeren.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
DEAP DatasetQueen Mary University of Londonv1.0EEG emotion dataset
DREAMER DatasetIEEE DataPortPublic ReleaseEEG emotion dataset
KerasGoogle LLC2.x (TensorFlow backend)Neural network modeling
WorkstationLenovoIntel Core i7, 16 GB RAM, 8 GB NVIDIA GPUModel training and computation
MNE-PythonMNE Developers1.xEEG preprocessing
NumPyNumPy Developers1.xNumerical computation
Operating SystemMicrosoft CorporationWindows 11 (64-bit)Computational platform
PythonPython Software Foundation3.8+Programming environment
PyWaveletsPyWavelets Developers1.xWavelet decomposition
Scikit-learnscikit-learn Developers1.xMachine learning utilities
SciPySciPy Community1.xSignal processing and resampling
SEED DatasetBCMI Laboratory, Shanghai Jiao Tong UniversityPublic ReleaseEEG emotion dataset
TensorFlowGoogle LLC2.xDeep learning framework

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

EEG emotieherkenningniet lineaire EEG kenmerkenRandom Forest classifierGAN data augmentatieLSTM kenmerkselectieonafhankelijke componentanalysediscrete wavelet transformatiesnelle Fourier transformatieDEAP dataset

Gerelateerde artikelen