Artigo de método

Abordagem combinada de correlação de características ponderadas para aprimorar o reconhecimento emocional baseado em EEG em diversos conjuntos de dados

DOI:

10.3791/69073

⸱

17 de abril de 2026

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

Neste artigo

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O artigo é centrado no reconhecimento emocional baseado em EEG, que é um domínio emergente em neurociência e computação emocional. Os métodos lineares tradicionais são insuficientes, pois é impossível representar estruturas emocionais complicadas em vídeo. Para resolver isso, os autores propõem um novo modelo, Correlação Ponderada de Características Combinadas (CWFC), que captura as relações emocionais. Após a filtragem passa-banda, o modelo utiliza Análise Independente de Componentes (ICA), Transformada Discreta de Wavelet (DWT) e Transformada Rápida de Fourier (FFT) para extrair características não lineares do EEG. Nesse caso, a melhor característica é selecionada pelo LSTM e essas características são avaliadas pelo Classificador de Floresta Aleatória. Introdução A ampliação de dados baseada em Rede Generativa Adversarial (GAN) oferece 88% (para valência) e 86% (para avaliação de resultados de teste). A excitação proposta baseada em GAN no conjunto de dados DEAP, que é muito alto em aumento de dados, tem conseguido melhorar o desempenho quando o desempenho. O modelo valida que o CWFC é benéfico em todos os conjuntos de dados, pois oferece uma precisão geral de classificação de 89% para estados emocionais no conjunto de dados SEED.

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O reconhecimento de emoções usando sinais EEG é uma área ativa de pesquisa em computação afetiva e neurociência, auxiliando cientistas em sua busca para entender os processos cerebrais envolvidos nas emoções. Em contraste com os trabalhos existentes, que focavam em características lineares do EEG, o presente trabalho concentra-se em traços não lineares para melhor caracterizar as mudanças mais sutis da resposta emocional. Inspirado por isso, no artigo atual, o método proposto é chamado de Correlação Ponderada de Características Combinadas (CWFC) para investigar o efeito dos componentes não lineares no desempenho da detecção de emoções. Como primeiro passo, os dados do EEG são coletados e pré-processados usando filtros passa-banda para separar as faixas de frequência como beta, alfa, gama, delta e theta. Para detectar padrões emocionais complexos, a extração de características é realizada por Análise Independente de Componentes (ICA), DWT (Transformada Discreta de Wavelet) e FFT (Transformada Rápida de Fourier). Essas funcionalidades podem ser incorporadas como características combinadas no modelo CWFCC para melhorar seu poder, bem como sua precisão preditiva geral. Depois, aplique um classificador de Floresta Aleatória para ver o quão significativas são essas características combinadas. O trabalho proposto integra a ampliação de dados GAN após a seleção ótima de características (com ênfase no LSTM). No conjunto de dados DEAP, esse aumento resulta em impressionantes 88% de precisão de valência e 86% de precisão de excitação, o que melhora notavelmente a precisão do reconhecimento de emoções. O modelo proposto alcançou valência e precisão de excitação de 62% e 65%, respectivamente, no DEAP inicial sem aumento de dados GAN. Além disso, esse modelo pode distinguir entre o conjunto de dados SEED durante estados emocionais neutros, negativos e positivos, com uma precisão média de 89%. O artigo proposto proclama o desempenho superior do modelo CWFC com aumento de dados baseado em GAN no EEG para reconhecimento de emoções em diferentes conjuntos de dados por meio de análise aprofundada e estudo comparativo.

Introdução

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O reconhecimento emocional é importante na interação e comunicação humana. Para estabelecer conexões interpessoais bem-sucedidas, é necessário ser capaz de perceber e compreender emoções, o que tem implicações de longo alcance em domínios tão diversos quanto psicologia, neurologia e interaçãohumano-computador 1. Nos últimos anos, o BCI (Interface Cérebro-Computador) baseado em eletroencefalograma (EEG) tem sido uma ferramenta de mérito na qual os pesquisadores têm se concentrado para detectar emoções. Embora a BCI baseada em EEG ofereça uma janela direta para a atividade elétrica do cérebro humano e uma ferramenta de pesquisa apropriada para explorar estados emocionais. A classificação automática e precisa dos estados emocionais transformou fundamentalmente a área do reconhecimento emocional por meio de técnicas de aprendizado de máquina eBCI 2 baseada em EEG.

No trabalho anterior, o reconhecimento emocional é introduzido e sua importância em diversos campos, incluindo saúde, interação humano-computador eneurociência 3. Apesar do progresso substancial, uma clara lacuna de pesquisa permanece nos estudos atuais de reconhecimento emocional baseados em EEG. Primeiro, abordagens introduzidas na literatura utilizam extração de características de domínio único (por exemplo, características espectrais ou de frequência temporal) ou descritores singulares não lineares disponíveis e isolables, que não oferecem o suficiente para modelagem ao trabalhar apenas com uma representação parcial de sinais de EEG inerentemente complexos e não estacionários. Segundo, embora uma variedade de características não lineares tenha relatado ter poder discriminativo superior, elas geralmente são usadas separadamente e isolam as relações entre essas características entre domínios. Essa restrição os torna menos capazes de modelar as dinâmicas multiescala e em nível de fonte envolvidas na ativação cerebral emocional. Terceiro, a maioria dos métodos de aprendizado profundo é projetada para otimizar o desempenho da classificação, mas sem considerar a interpretabilidade de características, redução de redundância e robustez na presença de desequilíbrio de classes. Consequentemente, a generalização entre conjuntos de dados ainda é um problema em aberto entre investigações com diferentes configurações de eletrodos, taxa de amostragem (128–256 Hz) e duração de gravação (30–60 s). As principais dimensões da inteligência emocional são apresentadas na Figura 1.

Para superar tais limitações, neste artigo, apresentamos um framework de Concatenação Ponderada de Características Combinadas (CWFC) que agrega características não lineares multidomínio em uma única arquitetura. Em vez de tratar ICA, DWT e FFT como métodos de extração independentes como as abordagens convencionais, modelamos decomposição em nível de fonte (ICA), dinâmica temporal multi-resolução (DWT) e representações de potência espectral (FFT) por meio de uma correlação ponderada. Essa estrutura pode ajudar o modelo a utilizar informações neurais complementares e reduzir a redundância para aumentar a capacidade discriminativa. Além disso, tanto o ranking de importância das características quanto o aumento baseado em GAN são empregados para alcançar a robustez no menor número possível de amostras de EEG desequilibradas. Integrando relações multimodais de características e dependências temporais por meio da classificação LSTM, o modelo combinado melhora a generalização em diversas condições de aquisição de EEG. Assim, a principal contribuição deste trabalho é superar a falta de integração entre representações não lineares do EEG e a insuficiente generalização nos métodos existentes, introduzindo uma estrutura sistemática, reproduzível e estável de reconhecimento emocional em aplicações reais de BCI.

figure-introduction-1
Figura 1: Fases da inteligência emocional. Fases da inteligência emocional representam como o reconhecimento emocional a partir de sinais de EEG pode ser extraído, e então seu uso no diagnóstico e monitoramento de problemas emocionais em avaliações de saúde mental. Por favor, clique aqui para ver uma versão ampliada desta figura.

As características de EEG não linear para pesquisa em reconhecimento emocional oferecem uma compreensão mais profunda dos processos neurais envolvidos no processamento afetivo. Sendo uma técnica não invasiva, de alta resolução temporal e sensível a dinâmicas neurais rápidas, o EEG tem sido amplamente utilizado para o estudo da atividade cerebral relacionada a estados emocionais. Métodos não lineares são especialmente apropriados para o estudo de sinais de EEG, devido à sua natureza não estacionária e complexa, que constitui um modelo melhor tanto de sua atividade evocada quanto induzida em processos emocionais. Em qualquer número de modelos computacionais, a emoção é representada com referência a modelos teóricos existentes, como o Modelo Básico deEmoção 4 (BEM) e o Modelo Circunplexo 5,6. Duas concepções estrutural e funcionalmente distintas de emoção são o Modelo Básico da Emoção, que assume que existe um conjunto de emoções fundamentais baseadas biologicamente 7,8 (especialmente o amor), e o Modelo Circunplexo que organiza a emoção de acordo com duas dimensões subjacentes: valência9 (positiva–negativa) e excitação10,11 (baixa–alta). A estrutura valência-excitação mostrada na Figura 2 é prevalente em estudos de reconhecimento emocional baseados em EEG, principalmente devido ao seu alinhamento com os conjuntos de dados padrão e aplicabilidade para modelar estados emocionais contínuos. Essa representação baseada em dimensões oferece um meio sistemático e quantificável de mapear a atividade neural em categorias emocionais e, assim, pode facilitar a classificação baseada em aprendizado de máquina.

figure-introduction-2
Figura 2: Representação da Emoção Valência-Excitação. Diagrama de dois eixos mostrando estados emocionais, com valência indicando sentimentos positivos ou negativos e excitação refletindo intensidade emocional baixa a alta. Por favor, clique aqui para ver uma versão ampliada desta figura.

Excitação é intensidade emocional, valência positiva ou negativa. A análise emocional tem sido focada recentemente no EEG para sondar correlatos neurais das emoções. A extração de características é muito importante, pois mapeia o EEG em quantidades no domínio tempo, frequência e tempo–frequência. Algumas das características não lineares mais comuns são a Entropia deWavelet 12, Dimensão de Correlação13, e este estudo proposto utiliza uma abordagem ponderada combinada, que é uma fusão de DWT, ICA e FFT13. Conjuntos de dados padrão DEAP14 e SEED15 estão disponíveis para avaliação reprodutível. Características lineares tradicionais muitas vezes não são mais adequadas, exigindo o projeto de abordagens nãolineares 16. Padrões emocionais baseados em bandas de frequência são mostrados na Figura 2, e os pesos das contribuições das bandas de EEG estão listados na Tabela 1.

Faixa de frequência diferenteFaixa de frequência em HzFunções da banda de frequência no reconhecimento de emoções
GamaMaior que 30 HzA integração de dados emocionais e a sincronização de várias regiões cerebrais durante o processamento emocional podem se refletir na atividade gama.
BetaEntre 13 e 30 HzVariações no poder beta podem ser um sinal de excitação emocional e das reações motoras ligadas às demonstrações emocionais.
AlphaEntre 8 e 13 HzEstados emocionais e variações no poder alfa, particularmente assimetria alfa, estão relacionados. Quando emocionalmente excitado e prestando mais atenção aos estímulos emocionais, a diminuição do poder alfa é frequentemente observada.
ThetaEntre 4 e 8 HzExperiências emocionais podem estar associadas ao aumento do poder theta, o que pode ajudar na codificação e recuperação de memórias emocionais.
Delta0,5-4 HzUm aumento na atividade delta no contexto da detecção de emoções pode indicar um estado emocional relaxado ou em repouso.

Tabela 1: Funções da faixa de frequência de EEG no reconhecimento emocional junto com diferentes alcances. Esta tabela descreve as bandas de frequência de EEG comumente reconhecidas, especifica suas respectivas faixas de frequência e descreve seu significado funcional na pesquisa de reconhecimento emocional. Ele destaca como cada faixa está associada a diferentes processos cognitivos e afetivos, fornecendo uma base para interpretar sinais de EEG na classificação do estado emocional.

O desenvolvimento recente do reconhecimento emocional baseado em EEG é estimulado pelos avanços em aprendizado profundo e processamento não linear de sinais. Modelos baseados em CNN alcançaram alto desempenho usando seleção de eletrodos e sintonia de hiperparâmetros17, enquanto modelos CNN independentes do sujeito usando entropia diferencial dinâmica melhoraram a usabilidade e diminuíram acomplexidade 18. Mas modelos para essa questão geralmente não podem ser generalizados entre os assuntos. Para modelar dependências de sequência, foram propostas arquiteturas LSTM baseadas em atenção com mecanismos de adaptação de domínio19,20, que exigem grande computação e carecem de interpretabilidade. Além do campo das redes profundas, métodos não lineares e topológicos também receberam considerável interesse. Utilizando análise persistente baseada em espaço de fases baseada em homologia, foi obtida discriminação aprimorada para estados emocionaissutis 21,22. Métodos de conjunto combinando saídas de entropia e fractais com várias seleções de características eram conhecidos por serem preditores aprimorados. Os modelos híbridos CNN–LSTM 23 superaram a classificação direta valência–excitação no DEAP24 e as CNNs multicolunas exploraram efetivamente a distribuição espacialdos eletrodos 25. Os Topographic FeatureMaps 26, 27 (TOPO-FM) e as representações baseadas em Holographic Feature Maps (HOLO-FM) foram avaliados em vários conjuntos de dados públicos28, 29, 30. Apesar de tais resultados mostrarem avanços substanciais na precisão da classificação, ainda permanecem desafios relacionados à generalização e interpretabilidade do modelo entre sujeitos e à robustez sobre a heterogeneidade das condições de aquisição do EEG. O Autor31 oferece uma análise extensa sobre os principais desafios, abordagens e direções adicionais nesta área, focando na qualidade do sinal, extração de recursos e escalabilidade em Computação Soft Aplicada. Em um trabalhorelacionado 32, a medida avançada de conectividade funcional corrigiu a correlação do envelope de amplitude entre diferentes faixas de frequência do EEG na identificação de condições adversas de condução, destacando a força da conectividade multibanda para monitoramento comportamental em tempo real.

Em uma relação mais ampla deneuroimagem 33,36, uma visão geral sólida dos métodos de aprendizagem multimodais que combinam diferentes sinais como EEG e expressões faciais ou dados fisiológicos para uma detecção emocional mais confiável, com referência à demonstração do potencial da integração de modalidades que eleva consideravelmente o desempenho em sistemas de IA. Além do DEAP e do SEED, o conjunto de dados DREAMER também é uma adição recente a referências representativas em estudos de reconhecimento emocional baseados em EEG. O DREAMER foi proposto por Katsigiannis e Ramzan37 e contém sinais de EEG e ECG adquiridos de sujeitos que assistem aos estímulos emocionais audiovisuais com dispositivos sem fio baratos. O conteúdo do conjunto de dados é aplicável para modelagem dimensional de emoções com hierarquias de valência, excitação e dominância, em linha com o modelo circunplexo do afeto. Devido ao seu paradigma experimental bem considerado, os conjuntos de dados DREAMER têm sido amplamente utilizados para a avaliação de aprendizado profundo e modelos de reconhecimento emocional independentes do sujeito. Suas aplicações permitem comparar com outros bancos de dados de representação de emoções dimensionais, e também mostraram que é uma alternativa valiosa em complemento aos conjuntos de dados cirrus dance, DEAP e SEED. Esses conjuntos de dados são amplamente utilizados em estudos de computação afetiva e abrangem gravações de EEG adquiridas sob condições experimentais controladas com estímulos emocionais padronizados. Este conjunto de dados consiste em sinais de EEG de 32 canais de 32 participantes que receberam clipes de vídeo emocionais. Os dados são anotados sobre valência e excitação. SEED: gravações de EEG em múltiplas sessões de participantes durante experimentos de elicitação emocional baseados em filmes, com rótulos categóricos de emoção. DREAMER é um conjunto de dados de EEG e ECG registrado durante a indução emocional por meio de apresentação audiovisual de estímulos. Todos os conjuntos de dados foram originalmente coletados usando protocolos padronizados, configurações de hardware e validação de procedimentos de rotulagem conforme relatado em suas publicações originais. Aqui, sinais de EEG provenientes apenas desses conjuntos de dados foram analisados neste estudo.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A pesquisa não incluiu nenhum envolvimento direto com sujeitos humanos. Todos os conjuntos de dados utilizados neste estudo foram obtidos de plataformas de acesso público e foram utilizados de acordo com suas políticas de uso declaradas. Assim, não era necessária aprovação ética formal.

1. Preparação para o Ambiente Computacional

  1. Prepare um ambiente Python (versão 3.8 ou superior) em uma estação de trabalho padrão.
  2. Instale TensorFlow (v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE e PyWavelets usando pip.
  3. Fixe a semente aleatória (semente = 42) no NumPy e no TensorFlow para garantir resultados experimentais consistentes.

2. Aquisição e Estruturação de Conjuntos de Dados (DEAP, SEMENTE e DREAMER)

  1. Obtenha os conjuntos de dados EEG dos repositórios públicos DEAP, SEW e DREAMER. Os conjuntos de dados brutos de EEG usados neste estudo estão disponíveis por meio de registros públicos. O conjunto de dados DEAP (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), o conjunto de dados SEED (repositório do Laboratório BCMI: http://bcmi.sjtu.edu.cn/~seed/seed.html) e o conjunto de dados DREAMER podem ser acessados pelo IEEE Data Port (https://ieee-dataport.org/documents/dreamer-dataset).
  2. Extraia registros de EEG bruto (.dat) de todos os sujeitos e ensaios.
  3. Converta as gravações para o formato de array NumPy e organize-as por sujeito e por teste para processamento.
  4. Leia o conjunto de dados do DEAP e extraia os registros de EEG de todos os sujeitos. Retenha um total de 32 canais de EEG (de Fp1 a O2) e remova os sinais fisiológicos não relacionados ao EEG.
  5. Baixe o conjunto de dados SEED e extraia todos os registros de EEG de cada experimento. Reduza a amostragem para 200 Hz se necessário. Aplique um filtro passa-banda de 0–75Hz e segmente os sinais em matrizes de época (eeg_1 a eeg_15).
  6. Rotule cada quadro com emoção (−1: negativo, 0: neutro, +1: positivo) e reorganize os dados no tempo do canal ×.
  7. Pegue o conjunto de dados DREAMER e recupere todos os registros de EEG dos participantes / ensaios. Escolha os canais de EEG disponíveis, assim como os rótulos emocionais.
  8. Categorize cada experimento em pequenas janelas de duração especificada e reformule os dados como matrizes estruturadas por sujeito, com variáveis categóricas codificadas para escores de valência, excitação e dominância.
    NOTA: As especificações detalhadas do conjunto de dados DEAP pré-processado usado para análise são resumidas na Tabela 2, enquanto a Figura 3 ilustra a distribuição das pontuações de valência e despertação.
Sinal gravado em diferentes etapasDispositivo EEG (Eletroencefalograma) do conjunto de dados DEAP
Dados recolhidos24 disciplinas (s02, s04, s05, s06, s07, s08, s09, s10, s11, s12, s13, s14, s15, s16, s17, s18, s19, s20, s21, s22, s23, s24, s25, s26)
Índices de canal"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "Oz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
Tamanho da janela256
Não de vídeo/teste40
Tamanho do passo16 (cada 0,125 seg atualizado uma vez)
Taxa de amostragem128 Hz
Lista de Assuntos32
EmoçõesExcitação, Valência

Tabela 2: EXPLICAÇÃO DO PRÉ-PROCESSAMENTO DO CONJUNTO DE DADOS. Resumo das etapas de pré-processamento do conjunto de dados EEG, incluindo filtragem, remoção de artefatos, segmentação e normalização, realizadas antes da extração de características e do treinamento do modelo.

figure-protocol-1
Figura 3: Conjunto de dados DEAP Valência-Representação de excitação dos primeiros 40 dados. Mapeamento Valence–Aousal dos 40 primeiros ensaios de EEG do conjunto de dados DEAP, ilustrando a distribuição e variabilidade do estado emocional entre as duas dimensões. Essa representação fornece uma visão sobre a disseminação das respostas emocionais e apoia o processo de extração de características para a classificação emocional. Por favor, clique aqui para ver uma versão ampliada desta figura.

NOTA: As localizações dos eletrodos de EEG em diferentes regiões cerebrais são mostradas na Figura 4. A configuração do canal segue as posições padrão de eletrodos EEG do couro cabeludo usadas para coleta de dados nos conjuntos de dados DEAP, SEED e DREAMER. Os eletrodos são distribuídos pelas regiões frontal, temporal, parietal e occipital, permitindo a cobertura tanto da atividade neural local quanto distribuída relacionada ao processamento emocional.

figure-protocol-2
Figura 4: Representação do Eletrodo do Sinal de EEG. Colocação de eletrodos no sistema internacional EEG 10–20 para aquisição de sinais no couro cabeludo. Por favor, clique aqui para ver uma versão ampliada desta figura.

3. Reamostragem de Sinal e Segmentação de Janelas

  1. Reduza as gravações SEED EEG de 512 Hz a 200 Hz usando scipy.signal.resample() para reduzir a complexidade computacional. Em seguida, segmente cada ensaio em janelas de comprimento fixo de 256 amostras com um passo de 16 amostras.
  2. Mantenha as taxas de amostragem originais para DEAP e DREAMER (conjuntos de dados de 128 Hz). Tamanho de passo 16 amostras (0,125 s de sobreposição a 128 Hz).
  3. Segmente cada ensaio de EEG em janelas de 256 amostras com um passo de 16 amostras para criar segmentos sobrepostos.

4. Filtragem passa-banda e decomposição em frequência

  1. Defina a frequência de amostragem (fs) e defina a ordem do filtro para 2. Calcule a frequência de Nyquist (0,5 × fs) e normalize as frequências de corte.
  2. Projete um filtro passa-banda Butterworth usando scipy.signal.butter().
  3. Aplique filtragem de fase zero usando scipy.signal.filtfilt() para evitar distorção de fase.
  4. Extraia cinco bandas canônicas de frequência EEG: delta (0,5–4 Hz), theta (4–8 Hz), alfa (8–13 Hz), beta (13–30 Hz) e gama (30–45 Hz).

5. Remoção de Artefatos Usando Análise Independente de Componentes

  1. Aplique o FastICA do Scikit-learn com o número de componentes igual ao número de canais EEG.
  2. Identifique componentes artefatuais usando indicadores estatísticos como variância e curtose.
  3. Remova os componentes identificados e reconstrua os sinais de EEG limpos para análise posterior.

6. Extração de Características de Entropia Diferencial Baseada em CWFC

  1. Calcule a variância de cada segmento de EEG filtrado ao longo do eixo do canal.
  2. Calcule a entropia diferencial usando:
  3. Extraia valores de entropia para todas as faixas de frequência e canais de EEG.
  4. Armazene as características de entropia resultantes em uma matriz estruturada de características.

7. Extração de Características por Transformada Discreta de Wavelet (DWT)

  1. Realize a decomposição de wavelet multinível usando a wavelet mãe "db4".
  2. Decomponha cada segmento de EEG até o nível 4.
  3. Extraia descritores estatísticos (média, variância, energia, entropia) de cada nível de decomposição.
  4. Anexe características derivadas de DWT à matriz de características existente.

8. Extração de Características Espectrais Usando FFT

  1. Aplique a Transformada de Fourier Rápida usando numpy.fft.fft() em cada segmento de EEG.
  2. Calcule a densidade espectral de potência nas faixas de frequência definidas.
  3. Extraia os valores de potência da banda para todos os canais.
  4. Concatene características baseadas em FFT com características previamente extraídas.

9. Seleção de Características via Random Forest

  1. Treine um classificador de Floresta Aleatória com 300 árvores usando o critério de impureza de Gini.
  2. Defina a profundidade máxima da árvore para 20 e permita a amostragem bootstrap com estimativa direta do saco.
  3. Classifique características com base nas pontuações de importância.
  4. Remova características abaixo de um limite de importância pré-definido para reduzir a redundância.

10. Particionamento de Dados

  1. Amostragem estratificada para embaralhar o conjunto de dados de forma que o equilíbrio de classes entre categorias emocionais seja preservado.
  2. Divida o conjunto de dados em 10 dobras iguais. A cada iteração, use 9 folds para treinamento e 1 fold para testes, sempre garantindo que cada fold seja testado uma vez.
  3. Use essa abordagem para cada dobra e calcule métricas médias de desempenho (precisão, precisão, recall, F1-score) além do desvio padrão para verificar a estabilidade do modelo.
    NOTA: Realize todas as divisões amostra a amostra, garantindo que nenhuma amostra seja compartilhada entre os conjuntos de treinamento e teste dentro de cada dobra.

11. Aumento de Dados Usando Rede Generativa Adversarial

  1. Construa um GAN em nível de recurso usando a API Sequencial do Keras. Defina camadas totalmente conectadas tanto para redes geradoras quanto discriminadoras.
  2. Treine o GAN por 200 épocas usando vetores de características de classe minoritária. Gerar amostras de características sintéticas a partir do gerador treinado.
  3. Retenha apenas amostras sintéticas de alta confiança avaliadas pelo discriminador. Misture as amostras sintéticas selecionadas com o conjunto de treinamento original.

12. Arquitetura do Modelo LSTM

  1. Construa um modelo LSTM Sequencial usando Keras. Adicione a primeira camada LSTM com 128 unidades ocultas e defina return_sequences=verdadeiro.
  2. Adicione uma segunda camada LSTM com 128 unidades ocultas. Aplique dropout (taxa = 0,3) após cada camada de LSTM para evitar sobreajuste.
  3. Adicione uma camada de saída densa com ativação SoftMax para classificação multiclasse.

13. Compilação e Treinamento de Modelos

  1. Compile o modelo usando o otimizador Adam com taxa de aprendizado de 0,001.
  2. Use a perda categórica de entropia cruzada. Treine o modelo com tamanho de lote = 64 para 80 épocas.
  3. Aplique parar cedo com paciência = 10 baseado na precisão da validação.

14. Avaliação de Desempenho

  1. Avalie o modelo treinado usando o conjunto de dados de teste independente. Calcule métricas de desempenho incluindo precisão, exatidão, recordação e pontuação F1.
  2. Guarde os pesos treinados do modelo e os resultados da avaliação para reprodutibilidade. Esse pipeline bem organizado garante que o framework proposto possa ser facilmente reproduzido.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A coleta de dois diferentes conjuntos de dados de EEG; DEAP e SEED formaram a primeira fase da análise. A Figura 5 mostra o gráfico de Valência-Excitação de LAHV, HALV, LALV e HAHV são formas abreviadas de baixa excitação: alta valência, alta excitação, baixa valência, baixa excitação, baixa valência e alta excitação, alta valência, respectivamente. Quatro categorias de resposta psicológica foram relatadas: HAHV, LAHV, HALV e LALV. Duas características emocionais fundamentais, valência e...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Neste artigo, a pesquisa conduziu uma investigação aprofundada do reconhecimento emocional baseado em EEG em dois conjuntos de dados de referência (ou seja, DEAP e SEED) e mostrou que o modelo proposto CWFC pode capturar efetivamente informações discriminatórias relacionadas à emoção. Diferentemente de trabalhos anteriores baseados essencialmente em descrições lineares ou tipos de características, a metodologia proposta unifica várias extrações de características não lineares que estão i...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm nada a revelar.

Agradecimentos

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Também gostaríamos de agradecer aos estabelecimentos e pesquisadores dos bancos de dados DEAP e SEED EEG por suas contribuições significativas para este trabalho. Por fim, agradecimentos também às nossas universidades pelo apoio, com recursos e incentivo, para realizar esta investigação.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
Conjunto de Dados DEAPUniversidade Queen Mary de Londresv1.0Conjunto de dados de emoções EEG
Conjunto de Dados DREAMERIEEE DataPortLançamento PúblicoConjunto de dados de emoções EEG
KerasGoogle LLC2.x (backend TensorFlow)Modelagem de redes neurais
Estação de trabalhoLenovoIntel Core i7, 16 GB RAM, 8 GB NVIDIA GPUTreinamento e computação de modelos
MNE-PythonDesenvolvedores MNE1.xPré-processamento de EEG
NumPyDesenvolvedores NumPy1.xComputação numérica
Sistema OperacionalMicrosoft CorporationWindows 11 (64 bits)Plataforma computacional
PythonFundação de Software Python3.8+Ambiente de programação
PyWaveletsDesenvolvedores PyWavelets1.xDecomposição wavelet
Scikit-learnscikit-learn Desenvolvedores1.xUtilitários de aprendizado de máquina
SciPyComunidade SciPy1.xProcessamento de sinal e reamostragem
Conjunto de Dados SEEDLaboratório BCMI, Universidade Jiao Tong de XangaiLançamento PúblicoConjunto de dados de emoções EEG
TensorFlowGoogle LLC2.xEstrutura de aprendizado profundo

Referências

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

Reconhecimento de Emo es por EEGCaracter sticas N o Lineares de EEGClassificador Random ForestAumento de Dados por GANSele o de Caracter sticas por LSTMAn lise de Componentes IndependentesTransformada de Wavelet DiscretaTransformada R pida de FourierConjunto de Dados DEAP

Artigos relacionados