Articolo metodologico

Approccio combinato di correlazione ponderata delle caratteristiche per un riconoscimento emotivo potenziato basato sull'EEG tra diversi dataset

DOI:

10.3791/69073

⸱

17 aprile 2026

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

In questo articolo

Sommario

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L'articolo si concentra sul riconoscimento emotivo basato su EEG, un ambito emergente nelle neuroscienze e nel calcolo emotivo. I metodi lineari tradizionali sono insufficienti poiché è impossibile rappresentare una struttura emotiva complessa nel video. Per affrontare questo problema, gli autori propongono un nuovo modello, la Correlazione Combinata delle Caratteristiche Ponderate (CWFC), che cattura le relazioni emotive. Dopo il filtraggio passa-banda, il modello impiega l'Analisi Indipendente dei Componenti (ICA), la Trasformata Discreta a Onda (DWT) e la Trasformata di Fourier Rapida (FFT) per estrarre caratteristiche non lineari dall'EEG. In questo caso la migliore caratteristica viene selezionata da LSTM e queste caratteristiche vengono valutate dal Classificatore di Foresta Casuale. Introduzione: L'aumento dei dati basato su Generative Adversarial Network (GAN) fornisce l'88% (per la valenza) e l'86% (per la valutazione dei risultati del test. L'attivazione proposta basata sul GAN è stato rilevato) sul dataset DEAP, che è molto elevato nell'aumento dei dati, è stato in grado di migliorare le prestazioni durante le prestazioni. Il modello conferma che CWFC è vantaggioso in tutti i dataset, poiché offre un'accuratezza complessiva della classificazione dell'89% per gli stati emotivi nel dataset SEED.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il riconoscimento delle emozioni tramite segnali EEG è un'area attiva di ricerca nel calcolo affettivo e nelle neuroscienze, che aiuta gli scienziati nella loro ricerca per comprendere i processi cerebrali coinvolti nelle emozioni. A differenza delle opere esistenti che si concentravano sulle caratteristiche lineari dell'EEG, il presente lavoro si concentra sulle caratteristiche non lineari per caratterizzare meglio i cambiamenti più sottili della risposta emotiva. Ispirato da questo, nell'attuale articolo il metodo proposto si chiama Combined Weighted Feature Correlation (CWFC) per indagare l'effetto delle componenti non lineari sulle prestazioni del rilevamento delle emozioni. Come primo passo, i dati EEG vengono raccolti e pre-processati utilizzando filtri passa-banda per separare le bande di frequenza come beta, alfa, gamma, delta e theta. Per rilevare schemi emotivi intricati, l'estrazione delle caratteristiche viene effettuata tramite Analisi Indipendente dei Componenti (ICA), DWT (Trasformata Wavelet Discreta) e FFT (Trasformata di Fourier Veloce). Queste caratteristiche possono essere integrate come funzionalità combinate nel modello CWFCC per migliorarne la potenza e la precisione predittiva complessiva. Poi applica un classificatore Random Forest per vedere quanto siano significative queste caratteristiche combinate. Il lavoro proposto integra l'aumento dei dati GAN dopo la selezione ottimale delle caratteristiche (con un'enfasi sulla LSTM). Nel dataset DEAP, questo aumento porta a un'incredibile precisione della valenza dell'88% e dell'86% dell'attivazione, migliorando notevolmente la precisione del riconoscimento delle emozioni. Il modello proposto ha raggiunto una precisione di valenza e attivazione rispettivamente del 62% e del 65%, nel DEAP iniziale senza aumento dei dati GAN. Inoltre, questo modello può distinguere tra dataset SEED durante stati emotivi neutrali, negativi e positivi con una precisione media dell'89%. L'articolo proposto proclama la superiore performance del modello CWFC con l'aumento dei dati basato su GAN sull'EEG per il riconoscimento delle emozioni su diversi dataset attraverso analisi approfondite e studi comparativi.

Introduzione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il riconoscimento delle emozioni è importante nell'interazione e nella comunicazione umana. Per stabilire connessioni interpersonali di successo, è necessario essere in grado di percepire e comprendere le emozioni, avendo così implicazioni di vasta portata in ambiti tanto diversi quanto psicologia, neurologia e interazioneuomo-computer. Negli ultimi anni, l'elettroencefalogramma (EEG) (BCI (Brain Computer Interface) è stato uno strumento di valore su cui i ricercatori si sono concentrati per rilevare le emozioni. Sebbene la BCI basata sull'EEG offra una finestra diretta sull'attività elettrica del cervello umano e uno strumento di ricerca appropriato per esplorare gli stati emotivi. La classificazione automatica e accurata degli stati emotivi ha trasformato radicalmente l'area del riconoscimento delle emozioni attraverso tecniche di machine learning eBCI 2 basata sull'EEG.

Nel lavoro precedente è stato introdotto il riconoscimento delle emozioni e la sua importanza in vari campi, tra cui la sanità, l'interazione uomo-computer e leneuroscienze 3. Nonostante i progressi sostanziali, rimane una chiara lacuna di ricerca negli attuali studi di riconoscimento delle emozioni basati sull'EEG. Innanzitutto, gli approcci introdotti in letteratura utilizzano estrazione di caratteristiche a dominio singolo (ad esempio, caratteristiche spettrali o di frequenza temporale) o descrittori singolari non lineari disponibili e isolabili, che non offrono abbastanza per la modellazione lavorando solo con una rappresentazione parziale di segnali EEG intrinsecamente complessi e non stazionari. In secondo luogo, sebbene una varietà di caratteristiche non lineari abbia riportato un potere discriminativo superiore, di solito vengono usate separatamente e isolano le relazioni tra queste caratteristiche tra i domini. Questo vincolo li rende meno capaci di modellare le dinamiche multiscala e a livello di sorgente coinvolte nell'attivazione cerebrale emotiva. In terzo luogo, la maggior parte dei metodi di deep learning è progettata per ottimizzare le prestazioni di classificazione senza considerare l'interpretabilità delle caratteristiche, la riduzione della ridondanza e la robustezza in presenza di squilibri di classe. Di conseguenza, la generalizzazione cross-dataset resta un problema aperto tra le indagini con diverse configurazioni di elettrodi, frequenza di campionamento (128–256 Hz) e durata di registrazione (30–60 s). Le principali dimensioni dell'intelligenza emotiva sono presentate nella Figura 1.

Per superare tali svantaggi, in questo articolo introduciamo un framework Combined Weighted Feature Concatenation (CWFC) che aggrega caratteristiche non lineari multi-dominio in un'unica architettura. Invece di trattare ICA, DWT e FFT come metodi di estrazione indipendenti come gli approcci convenzionali, modelliamo la decomposizione a livello di sorgente (ICA), la dinamica temporale multi-risoluzione (DWT) e le rappresentazioni di potenza spettrale (FFT) tramite una correlazione ponderata. Questa struttura può aiutare il modello a utilizzare informazioni neurali complementari e ridurre la ridondanza per aumentare la capacità discriminativa. Inoltre, sia il ranking dell'importanza delle caratteristiche sia l'aumento basato su GAN sono impiegati per ottenere la robustezza su un minor numero di campioni EEG sbilanciati. Integrando relazioni di caratteristiche multimodali e dipendenze temporali attraverso la classificazione LSTM, il modello combinato migliora la generalizzazione tra diverse condizioni di acquisizione EEG. Pertanto, il contributo principale di questo lavoro è stato superare la mancanza di integrazione tra rappresentazioni EEG non lineari e la carenza di generalizzazione nei metodi esistenti, introducendo un quadro di riconoscimento delle emozioni sistematico, riproducibile e stabile nelle applicazioni BCI reali.

figure-introduction-1
Figura 1: Fasi dell'intelligenza emotiva. Le fasi dell'intelligenza emotiva rappresentano come il riconoscimento emotivo dai segnali EEG può essere estratto, e poi il suo utilizzo nella diagnosi e nel monitoraggio dei problemi emotivi nelle valutazioni della salute mentale. Clicca qui per visualizzare una versione più grande di questa figura.

Le caratteristiche EEG non lineari per la ricerca sul riconoscimento delle emozioni offrono una comprensione più profonda dei processi neurali coinvolti nell'elaborazione affettiva. Essendo una tecnica non invasiva ad alta risoluzione temporale e sensibile a dinamiche neurali rapide, l'EEG è stato ampiamente utilizzato per lo studio dell'attività cerebrale legata agli stati emotivi. I metodi non lineari sono particolarmente appropriati per lo studio dei segnali EEG, a causa della loro natura non stazionaria e complessa, che costituisce un modello migliore sia della loro attività evocata che indotta nei processi emotivi. In numerosi modelli computazionali, l'emozione è rappresentata con riferimento a modelli teorici esistenti come il Modello EmotivoFondamentale 4 (BEM) e il Modello Circumplex 5,6. Due concezioni strutturalmente e funzionalmente distinte dell'emozione sono il modello dell'Emozione di Base, che assume che esista un insieme di emozioni fondamentali fondamentalibasate su biologia 7,8 (in particolare l'amore), e il Modello Circumplex che organizza l'emozione secondo due dimensioni sottostanti: valenza9 (positiva–negativa) e eccitazione10,11 (basso–alto). Il quadro valenza-risveglianza mostrato nella Figura 2 è diffuso negli studi di riconoscimento delle emozioni basati su EEG, principalmente per la sua allineamento con i dataset standard e per la sua applicabilità alla modellazione di stati emotivi continui. Questa rappresentazione basata sulle dimensioni offre un mezzo sistematico e quantificabile per mappare l'attività neurale in categorie emotive e può quindi facilitare la classificazione basata sul machine learning.

figure-introduction-2
Figura 2: Rappresentazione delle emozioni valence-aroussal. Diagramma a due assi che mostra stati emotivi, con la valenza che indica sentimenti positivi o negativi e l'eccitazione che riflette un'intensità emotiva da bassa ad alta. Clicca qui per visualizzare una versione più grande di questa figura.

L'eccitazione è intensità emotiva, valenza positiva o negativa. L'analisi delle emozioni si è recentemente concentrata sull'EEG per sondare i correlati neurali delle emozioni. L'estrazione delle caratteristiche è molto importante e mappa l'EEG in quantità nel dominio tempo, frequenza e tempo-frequenza. Alcune delle caratteristiche non lineari più comuni sono l'Entropia delle Onda12, Dimensione di Correlazione13, e questo studio proposto utilizza un approccio combinato pesato che è una fusione di DWT, ICA e FFT13. I dataset standard DEAP14 e SEED15 sono disponibili per la valutazione riproducibile. Le caratteristiche lineari tradizionali spesso non sono più adeguate, richiedendo la progettazione di approcci nonlineari 16. I modelli emotivi basati sulle bande di frequenza sono mostrati nella Figura 2, e i pesi dei contributi delle bande EEG sono elencati nella Tabella 1.

Bande di frequenze diverseGamma di bande di frequenza in HzFunzioni della banda di frequenza nel riconoscimento delle emozioni
GammaPiù di 30 HzL'integrazione dei dati emotivi e la sincronizzazione di diverse regioni cerebrali durante l'elaborazione emotiva potrebbero riflettersi nell'attività gamma.
BetaTra 13 e 30 HzLe variazioni nella potenza beta potrebbero essere un segno di eccitazione emotiva e delle reazioni motorie legate alle manifestazioni emotive.
AlphaTra 8 e 13 HzGli stati emotivi e le variazioni nel potere alfa, in particolare l'asimmetria alfa, sono correlati. Quando si è emotivamente eccitati e si presta più attenzione agli input emotivi, si osserva spesso una diminuzione del potere alfa.
ThetaTra 4 e 8 HzLe esperienze emotive possono essere associate a un aumento del potere theta, che può aiutare nella codifica e nel recupero dei ricordi emotivi.
Delta0,5-4 HzUn aumento dell'attività delta nel contesto del rilevamento delle emozioni potrebbe indicare uno stato emotivo rilassato o a riposo.

Tabella 1: Funzioni della banda di frequenza EEG nel riconoscimento delle emozioni insieme a diversi intervalli. Questa tabella delinea le bande di frequenza EEG comunemente riconosciute, specifica le rispettive gamme di frequenza e descrive il loro significato funzionale nella ricerca sul riconoscimento delle emozioni. Mette in evidenza come ogni banda sia associata a diversi processi cognitivi e affettivi, fornendo una base per interpretare i segnali EEG nella classificazione degli stati emotivi.

Lo sviluppo recente del riconoscimento delle emozioni basato sull'EEG è stimolato dalle scoperte nel deep learning e nell'elaborazione non lineare del segnale. I modelli basati su CNN hanno ottenuto alte prestazioni utilizzando la selezione degli elettrodi e la sintoniaiperparametrica 17, mentre i modelli CNN indipendenti dal soggetto con entropia differenziale dinamica hanno aumentato la indossabilità e ridotto lacomplessità 18. Ma i modelli per questo problema di solito non possono essere generalizzati tra i soggetti. Per modellare le dipendenze di sequenza, sono state proposte architetture LSTM basate sull'attenzione con meccanismi di adattamento del dominio19,20 che richiedono grandi calcoli e mancano di interpretabilità. Al di là del campo delle reti profonde, anche i metodi non lineari e topologici hanno suscitato notevole interesse. Utilizzando un'analisi persistente basata sull'omologia dello spazio delle fasi, è stata ottenuta una discriminazione migliorata per stati emotivisottili 21,22. I metodi di ensemble che combinano output di entropia e frattali con varie selezioni di caratteristiche erano noti per essere predittori migliorati. I modelli ibridi CNN–LSTM 23 hanno superato la classificazione diretta valenza–attivazione su DEAP24 e le CNN multicolonna hanno sfruttato efficacemente la distribuzione spaziale deglielettrodi 25. Le rappresentazioni basate su Topographic FeatureMaps 26,27 (TOPO-FM) e Holographic Feature Maps (HOLO-FM) sono state valutate su diversi datasetpubblici 28,29,30. Nonostante tali risultati mostrino notevoli progressi nell'accuratezza della classificazione, persistono ancora sfide riguardo alla generalizzazione e interpretabilità del modello tra soggetti, nonché alla robustezza rispetto all'eterogeneità delle condizioni di acquisizione EEG. L'autore 31 offre un'ampia panoramica sulle principali sfide, approcci e ulteriori direzioni in questo ambito, concentrandosi sulla qualità del segnale, l'estrazione di funzionalità e la scalabilità nell'Applied Soft Computing. In un lavorocorrelato 32, Advanced Functional Connectivity Measure ha corretto la correlazione dell'inviluppo di ampiezza tra diverse bande di frequenza EEG nell'identificazione di condizioni di guida avverse, evidenziando la forza della connettività multibanda per il monitoraggio comportamentale al volo.

In una relazione più ampia dineuroimaging 33,36, una panoramica solida dei metodi di apprendimento multimodali che combinano diversi segnali come EEG ed espressioni facciali o dati fisiologici per una rilevazione delle emozioni più affidabile con riferimento alla dimostrazione del potenziale dell'integrazione delle modalità che aumenta notevolmente le prestazioni nei sistemi di IA. Oltre a DEAP e SEED, il dataset DREAMER è anche una recente aggiunta ai benchmark rappresentativi negli studi di riconoscimento delle emozioni basati su EEG. DREAMER è stato proposto da Katsigiannis e Ramzan37 e contiene segnali EEG ed ECG acquisiti da soggetti che osservano gli stimoli emotivi audiovisivi con dispositivi wireless economici. Il contenuto del dataset è applicabile per la modellazione dimensionale delle emozioni con gerarchie di valenza, eccitazione e dominanza in linea con il modello circumplex dell'affetto. Grazie al suo paradigma sperimentale ben ponderato, i dataset DREAMER sono stati ampiamente utilizzati per la valutazione di deep learning e modelli di riconoscimento emozioni indipendenti dal soggetto. Le sue applicazioni possono permettersi di confrontarsi con altri database di rappresentazione delle emozioni dimensionali, e hanno anche dimostrato che è un'alternativa preziosa in complemento ai dataset cirrus dance, DEAP e SEED. Questi dataset sono ampiamente utilizzati negli studi di calcolo affettivo e comprendono registrazioni EEG acquisite in condizioni sperimentali controllate con stimoli emotivi standardizzati. Questo dataset consiste in segnali EEG a 32 canali provenienti da 32 soggetti che hanno ricevuto clip video emotivi. I dati sono annotati riguardo alla valenza e all'eccitazione. SEED: registrazioni EEG multi-sessione dei soggetti durante esperimenti di elicitazione emotiva basati su film con etichette emotive categoriche. DREAMER è un dataset EEG ed ECG registrato durante l'induzione emotiva tramite presentazione audiovisiva di stimoli. Tutti i dataset sono stati originariamente raccolti utilizzando protocolli standardizzati, configurazioni hardware e validazione delle procedure di etichettatura come riportato nelle loro pubblicazioni originali. Qui, in questo studio sono stati analizzati segnali EEG provenienti solo da questi dataset.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Protocollo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La ricerca non ha incluso alcun coinvolgimento diretto con soggetti umani. Tutti i dataset utilizzati in questo studio sono stati provenienti da piattaforme pubblicamente accessibili e utilizzati in conformità con le politiche d'uso dichiarate. Pertanto, non era necessaria un'approvazione etica formale.

1. Preparazione dell'ambiente computazionale

  1. Prepara un ambiente Python (versione 3.8 o superiore) su una workstation standard.
  2. Installa TensorFlow (v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE e PyWavelets usando pip.
  3. Fissa il seme casuale (seed = 42) in NumPy e TensorFlow per garantire risultati sperimentali coerenti.

2. Acquisizione e Strutturazione di Dataset (DEAP, SEED e DREAMER)

  1. Ottieni i dataset EEG dai repository pubblici di DEAP, SEW e DREAMER. I dataset EEG grezzi utilizzati in questo studio sono disponibili tramite registri pubblici. Il dataset DEAP (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), SEED dataset (repository BCMI Laboratory: http://bcmi.sjtu.edu.cn/~seed/seed.html) e dataset DREAMER possono essere consultati tramite IEEE Data Port (https://ieee-dataport.org/documents/dreamer-dataset).
  2. Estrarre le registrazioni EEG grezze (.dat) per tutti i soggetti e le prove.
  3. Converti le registrazioni in formato array NumPy e disponile per soggetto e per prova per l'elaborazione.
  4. Leggi il dataset DEAP ed estrai le registrazioni EEG per tutti i soggetti. Mantenere un totale di 32 canali EEG (da Fp1 a O2) e rimuovere i segnali fisiologici non EEG.
  5. Scarica il dataset SEED ed estrai tutte le registrazioni EEG di ogni esperimento. Ricampiona a 200 Hz se necessario. Applicare un filtro passa-banda 0–75Hz e segmentare i segnali in array epocali (da eeg_1 a eeg_15).
  6. Etichetta ogni fotogramma con l'emozione (−1: negativo, 0: neutro, +1: positivo) e riorganizza i dati nel tempo × canale.
  7. Prendi il dataset DREAMER e recupera tutte le registrazioni EEG dei soggetti / degli studi. Scegli i canali EEG disponibili così come le etichette emotive.
  8. Categorizza ogni esperimento in piccole finestre di durata specificata e rimodella i dati come matrici strutturate per soggetto con variabili categoriche codificate per punteggi di valenza, eccitazione e dominanza.
    NOTA: Le specifiche dettagliate del dataset DEAP pre-elaborato utilizzato per l'analisi sono riassunte nella Tabella 2, mentre la Figura 3 illustra la distribuzione dei punteggi di valenza e attivazione.
Segnale registrato su passaggi diversiDispositivo EEG (elettroencefalogramma) del dataset DEAP
Dati raccolti24 materie (s02, s04, s05, s06, s07, s08, s09, s10, s11, s12, s13, s14, s15, s16, s17, s18, s19, s20, s21, s22, s23, s24, s25, s26)
Indici dei canali"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "Oz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
Dimensione della finestra256
No di video/prova40
Dimensione del passo16 (ciascuno di 0,125 secondi aggiornato una volta)
Frequenza di campionamento128 Hz
Elenco delle materie32
EmozioniEccitazione, Valenza

Tabella 2: SPIEGAZIONE DELLA PRE-ELABORAZIONE DEL DATASET. Riepilogo dei passaggi di pre-elaborazione del dataset EEG, inclusi filtraggio, rimozione di artefatti, segmentazione e normalizzazione, eseguiti prima dell'estrazione delle caratteristiche e dell'addestramento del modello.

figure-protocol-1
Figura 3: Dataset DEAP Valenza - Rappresentazione dell'attivazione dei primi 40 dati. Mappatura Valence–Arousal dei primi 40 trial EEG dal dataset DEAP, illustrando la distribuzione e la variabilità dello stato emotivo tra le due dimensioni. Questa rappresentazione fornisce una visione della diffusione delle risposte emotive e supporta il processo di estrazione delle caratteristiche per la classificazione delle emozioni. Clicca qui per visualizzare una versione più grande di questa figura.

NOTA: La posizione degli elettrodi EEG nelle diverse regioni cerebrali è mostrata nella Figura 4. La configurazione del canale segue le posizioni standard degli elettrodi EEG del cuoio capelluto utilizzate per la raccolta dati nei dataset DEAP, SEED e DREAMER. Gli elettrodi sono distribuiti nelle regioni frontale, temporale, parietale e occipitale, consentendo la copertura sia dell'attività neurale locale che distribuita legata all'elaborazione emotiva.

figure-protocol-2
Figura 4: Rappresentazione dell'elettrodo del segnale EEG. Collocamento degli elettrodi nel sistema internazionale EEG 10–20 per l'acquisizione del segnale del cuoio capelluto. Clicca qui per visualizzare una versione più grande di questa figura.

3. Ricampionamento del segnale e segmentazione delle finestre

  1. Ridimensiona le registrazioni SEED EEG da 512 Hz a 200 Hz utilizzando scipy.signal.resample() per ridurre la complessità computazionale. Successivamente segmenta ogni studio in finestre di lunghezza fissa di 256 campioni con una dimensione di passo di 16 campioni.
  2. Mantenere i tassi di campionamento originali per DEAP e DREAMER (dataset a 128 Hz). Dimensione del passo: 16 campioni (0,125 s si sovrappongono a 128 Hz).
  3. Segmentare ogni prova EEG in finestre di 256 campioni con una dimensione di passo di 16 campioni per creare segmenti sovrapposti.

4. Filtraggio passa-banda e decomposizione in frequenza

  1. Definisci la frequenza di campionamento (fs) e imposta l'ordine del filtro a 2. Calcola la frequenza di Nyquist (0,5 × fs) e normalizza le frequenze di taglio.
  2. Progetta un filtro passabanda Butterworth usando scipy.signal.butter().
  3. Applica il filtraggio a fase zero usando scipy.signal.filtfilt() per evitare distorsioni di fase.
  4. Estraggiamo cinque bande canoniche di frequenza EEG: delta (0,5–4 Hz), theta (4–8 Hz), alfa (8–13 Hz), beta (13–30 Hz) e gamma (30–45 Hz).

5. Rimozione di artefatti tramite analisi indipendente dei componenti

  1. Applica FastICA di Scikit-learn con il numero di componenti uguale al numero di canali EEG.
  2. Identificare le componenti artefattuali utilizzando indicatori statistici come varianza e curtosi.
  3. Rimuovere i componenti identificati e ricostruire i segnali EEG puliti per ulteriori analisi.

6. Estrazione di caratteristiche di entropia differenziale basata su CWFC

  1. Calcola la varianza di ogni segmento EEG filtrato lungo l'asse del canale.
  2. Calcolare l'entropia differenziale utilizzando:
  3. Estrarre i valori di entropia per tutte le bande di frequenza e i canali EEG.
  4. Memorizza le caratteristiche di entropia risultanti in una matrice di caratteristiche strutturata.

7. Estrazione delle caratteristiche con Trasformata a Wavelet Discreta (DWT)

  1. Eseguire la decomposizione a wavelet multilivello utilizzando l'wavelet madre "db4".
  2. Decomporre ogni segmento EEG fino al livello 4.
  3. Estrarre descrittori statistici (media, varianza, energia, entropia) da ciascun livello di decomposizione.
  4. Aggiungere caratteristiche derivate dalla DWT alla matrice di caratteristiche esistente.

8. Estrazione delle caratteristiche spettrali tramite FFT

  1. Applica la Trasformata di Fourier Veloce usando numpy.fft.fft() su ogni segmento EEG.
  2. Calcolare la densità di potenza spettrale attraverso le bande di frequenza definite.
  3. Estrai i valori di potenza delle bande per tutti i canali.
  4. Concatena le caratteristiche basate su FFT con le caratteristiche precedentemente estratte.

9. Selezione delle caratteristiche tramite Random Forest

  1. Addestra un classificatore Random Forest con 300 alberi usando il criterio di impurità di Gini.
  2. Imposta la profondità massima dell'albero a 20 e abilita il campionamento bootstrap con stima fuori dal sacchetto.
  3. Classifica le caratteristiche in base ai punteggi di importanza.
  4. Rimuovere le caratteristiche al di sotto di una soglia di importanza predefinita per ridurre la ridondanza.

10. Partizionamento dei dati

  1. Campionamento stratificato per mescolare il dataset in modo che l'equilibrio di classe tra le categorie emotive sia preservato.
  2. Dividi il dataset in 10 pieghe uguali. Ad ogni iterazione, usa 9 fold per l'addestramento e 1 fold per i test, assicurandoti sempre che ogni fold sia testato una sola volta.
  3. Usa questo approccio per ogni piega e calcola metriche medie di performance (accuratezza, precisione, richiamo, punteggio F1) più la deviazione standard per verificare la stabilità del modello.
    NOTA: Eseguire tutte le suddivisioni campione per campione assicurandosi che nessun campione venga condiviso tra i set di addestramento e test all'interno di ciascun fold.

11. Aumento dei dati utilizzando rete generativa avversaria

  1. Costruisci un GAN a livello di funzionalità utilizzando l'API Sequenziale di Keras. Definisci i livelli completamente connessi sia per le reti generatori che per quelle discriminatori.
  2. Addestrare il GAN per 200 epoche usando vettori di caratteristiche di classe minoritaria. Genera campioni di caratteristiche sintetiche dal generatore addestrato.
  3. Conservare solo campioni sintetici ad alta fiducia come valutati dal discriminatore. Unisci i campioni sintetici selezionati con il set di addestramento originale.

12. Architettura modello LSTM

  1. Costruire un modello LSTM sequenziale usando Keras. Aggiungi il primo livello LSTM con 128 unità nascoste e imposta return_sequences=vero.
  2. Aggiungi un secondo livello LSTM con 128 unità nascoste. Applicare il dropout (tasso = 0,3) dopo ogni strato LSTM per evitare il sovrafitting.
  3. Aggiungi un livello di output Dense con attivazione SoftMax per la classificazione multiclasse.

13. Compilazione e addestramento dei modelli

  1. Compila il modello usando l'ottimizzatore Adam con un tasso di apprendimento di 0,001.
  2. Usa la perdita categorica di entropia incrociata. Addestrare il modello con la dimensione del lotto = 64 per 80 epoche.
  3. Applica l'arresto anticipato con pazienza = 10 in base all'accuratezza della validazione.

14. Valutazione delle prestazioni

  1. Valuta il modello addestrato utilizzando il dataset di test indipendente. Calcolare metriche di prestazione tra cui accuratezza, precisione, richiamo e punteggio F1.
  2. Conservare i pesi addestrati del modello e i risultati delle valutazioni per la riproducibilità. Una pipeline così ben organizzata garantisce che il quadro proposto possa essere facilmente riprodotto.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Risultati

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La raccolta di due diversi dataset EEG; DEAP e SEED costituivano la prima fase dell'analisi. La Figura 5 mostra il grafico della Valenza-Attivazione di LAHV, HALV, LALV e HAHV sono rispettivamente forme brevi di bassa eccitazione, alta valenza, alta eccitazione, bassa valenza, bassa eccitazione e alta eccitazione alta rispettivamente. Sono state segnalate quattro categorie di risposta psicologica: HAHV, LAHV, HALV e LALV. Due caratteristiche emotive fondamentali, valenza ed eccitazione, ...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Discussione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In questo articolo, la ricerca ha condotto un'indagine approfondita sul riconoscimento delle emozioni basato sull'EEG su due dataset di riferimento (ovvero DEAP e SEED) e ha dimostrato che il modello proposto CWFC può catturare efficacemente informazioni discriminative legate alle emozioni. A differenza dei lavori precedenti basati essenzialmente su descrizioni lineari o tipi di caratteristiche, la metodologia proposta unifica varie estrazioni di caratteristiche non lineari interconnesse...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Dichiarazioni

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori non hanno nulla da rivelare.

Ringraziamenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Vorremmo inoltre ringraziare gli istituti e i ricercatori nei database EEG DEAP e SEED per i loro significativi contributi a questo lavoro. Infine, ringraziamo anche le nostre università per il loro supporto attraverso le risorse e l'incoraggiamento a condurre questa indagine.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
DEAP DatasetQueen Mary University di Londrav1.0Dataset emotive EEG
DREAMER DatasetIEEE DataPortPubblicazione pubblicaDataset emotive EEG
KerasGoogle LLC2.x (backend TensorFlow)Modellazione delle reti neurali
Postazione di lavoroLenovoIntel Core i7, 16 GB RAM, 8 GB NVIDIA GPUAddestramento e calcolo del modello
MNE-PythonSviluppatori MNE1.xPre-elaborazione EEG
NumPySviluppatori NumPy1.xCalcolo numerico
Sistema operativoMicrosoft CorporationWindows 11 (64 bit)Piattaforma computazionale
PythonPython Software Foundation3.8+Ambiente di programmazione
PyWaveletsSviluppatori PyWavelets1.xDecomposizione wavelet
Scikit-learnscikit-learn Sviluppatori1.xUtility di machine learning
SciPyComunità SciPy1.xElaborazione del segnale e ricampionamento
SEED DatasetLaboratorio BCMI, Università Jiao Tong di ShanghaiPubblicazione pubblicaDataset emotive EEG
TensorFlowGoogle LLC2.xFramework per il deep learning

Riferimenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

EEG Emotion RecognitionNonlinear EEG FeaturesRandom Forest ClassifierGAN Data AugmentationLSTM Feature SelectionIndependent Component AnalysisDiscrete Wavelet TransformFast Fourier TransformDEAP Dataset

Articoli correlati