Article de méthode

Approche combinée pondérée de corrélation des caractéristiques pour une reconnaissance émotionnelle améliorée basée sur l’EEG à travers divers ensembles de données

DOI :

10.3791/69073

⸱

17 avril 2026

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

Dans cet article

Résumé

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L’article porte sur la reconnaissance émotionnelle basée sur l’EEG, un domaine émergent en neurosciences et en informatique émotionnelle. Les méthodes linéaires traditionnelles sont insuffisantes car il est impossible de représenter une structure émotionnelle complexe en vidéo. Pour y remédier, les auteurs proposent un nouveau modèle, la corrélation pondérée combinée des caractéristiques (CWFC), qui capture les relations émotionnelles. Après le filtrage passe-bande, l’analyse indépendante des composantes (ICA), la transformée en ondelettes discrètes (DWT) et la transformée rapide de Fourier (FFT) sont employées par le modèle pour extraire des caractéristiques non linéaires de l’EEG. Dans ce cas, la meilleure caractéristique est sélectionnée par LSTM et ces caractéristiques sont évaluées par le classificateur de forêt aléatoire. Introduction : L’augmentation des données basée sur le réseau génératif adversarial (GAN) donne une précision de 88 % (pour la valence) et 86 % (pour l’évaluation des résultats de tests. L’activation proposée basée sur le GAN sur le jeu de données DEAP, qui est très élevé en augmentation des données, a permis d’améliorer les performances lors de la performance. Le modèle valide que le CWFC est bénéfique dans tous les ensembles de données, car il offre une précision globale de 89 % pour les états émotionnels dans le jeu de données SEED.

Résumé

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La reconnaissance des émotions grâce aux signaux EEG est un domaine de recherche actif en informatique affective et en neurosciences, aidant les scientifiques à comprendre les processus cérébraux impliqués dans les émotions. Contrairement aux travaux existants qui se concentraient sur les caractéristiques linéaires de l’EEG, le présent ouvrage se concentre sur les traits non linéaires afin de mieux caractériser les changements fins de la réponse émotionnelle. Inspirée par cet article, la méthode proposée s’appelle Combined Weighted Feature Correlation (CWFC) pour étudier l’effet des composantes non linéaires sur la performance de la détection des émotions. En première étape, les données EEG sont collectées et prétraitées à l’aide de filtres passe-bande pour séparer les bandes de fréquences telles que bêta, alpha, gamma, delta et thêta. Pour détecter des schémas émotionnels complexes, l’extraction des caractéristiques est réalisée par analyse indépendante des composantes (ICA), la transformée en ondelettes discrètes (DWT) et la FFT (transformée rapide de Fourier). Ces fonctionnalités peuvent être intégrées comme des fonctionnalités combinées dans le modèle CWFCC afin d’améliorer sa puissance ainsi que sa précision prédictive globale. Ensuite, appliquez un classificateur Random Forest pour voir l’importance de ces caractéristiques combinées. Les travaux proposés intègrent l’augmentation des données GAN après une sélection optimale des caractéristiques (avec un accent sur la LSTM). Sur le jeu de données DEAP, cette augmentation donne une précision de valence et 86 % d’éveil de 86 %, ce qui améliore de façon remarquable la précision de reconnaissance des émotions. Le modèle proposé a atteint une valence et une précision d’excitation de 62 % et 65 %, respectivement, sur le DEAP précoce sans augmentation des données GAN. De plus, ce modèle peut distinguer entre un ensemble de données SEED lors des états émotionnels neutres, négatifs et positifs avec une précision moyenne de 89 %. L’article proposé proclame la performance supérieure du modèle CWFC avec l’augmentation des données basées sur le GAN sur l’EEG pour la reconnaissance des émotions sur différents ensembles de données grâce à une analyse approfondie et une étude comparative.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La reconnaissance des émotions est importante dans l’interaction humaine et la communication humaine. Pour établir des liens interpersonnels réussis, il faut être capable de percevoir et de comprendre les émotions, ce qui a des implications profondes dans des domaines aussi divers que la psychologie, la neurologie et l’interactionhomme-machine. Ces dernières années, l’interface cerveau-ordinateur basée sur l’électroencéphalogramme (EEG) a été un outil de référence sur lequel les chercheurs se sont concentrés pour détecter les émotions. Bien que les ICC basées sur l’EEG offrent une fenêtre directe sur l’activité électrique du cerveau humain et constituent un outil de recherche approprié pour explorer les états émotionnels. La classification automatique et précise des états émotionnels a fondamentalement transformé le domaine de la reconnaissance des émotions grâce aux techniques d’apprentissage automatique et à laBCI 2 basée sur l’EEG.

Dans les travaux précédents, la reconnaissance des émotions est introduite et son importance dans divers domaines, notamment la santé, l’interaction homme-machine etles neurosciences 3. Malgré des progrès substantiels, un vide de recherche clair subsiste dans les études actuelles de reconnaissance émotionnelle basées sur l’EEG. Premièrement, les approches introduites dans la littérature utilisent l’extraction de caractéristiques à domaine unique (par exemple, des caractéristiques spectrales ou temporelles) ou des descripteurs non linéaires singuliers disponibles et isolables, qui n’offrent pas suffisamment de modélisation en ne travaillant qu’avec une représentation partielle de signaux EEG intrinsèquement complexes et non stationnaires. Deuxièmement, bien qu’une variété de caractéristiques non linéaires aient déclaré avoir un pouvoir discriminatif supérieur, elles sont généralement utilisées séparément et isolent les relations entre ces caractéristiques à travers les domaines. Cette contrainte les rend moins capables de modéliser les dynamiques multi-échelle et au niveau source impliquées dans l’activation émotionnelle du cerveau. Troisièmement, la plupart des méthodes d’apprentissage profond sont conçues pour optimiser la performance de classification sans prendre en compte l’interprétabilité des caractéristiques, la réduction de la redondance et la robustesse en présence d’un déséquilibre de classes. Par conséquent, la généralisation inter-jeux de données reste un problème ouvert entre les investigations utilisant différents dispositifs d’électrodes, la fréquence d’échantillonnage (128–256 Hz) et la durée d’enregistrement (30–60 s). Les principales dimensions de l’intelligence émotionnelle sont présentées dans la Figure 1.

Pour surmonter ces inconvénients, dans cet article, nous introduisons un cadre de Concaténation de Caractéristiques Pondérées Combinées (CWFC) qui agrège des caractéristiques non linéaires multi-domaines dans une seule architecture. Au lieu de traiter l’ACI, la DWT et la FFT comme des méthodes d’extraction indépendantes comme les approches conventionnelles, nous modélisons la décomposition au niveau de la source (ICA), la dynamique temporelle multi-résolution (DWT) et les représentations de puissance spectrale (FFT) via une corrélation pondérée. Cette structure peut aider le modèle à utiliser l’information neuronale complémentaire et à réduire la redondance pour augmenter la capacité discriminative. De plus, le classement de l’importance des caractéristiques et l’augmentation basée sur GAN sont utilisés pour obtenir la robustesse sur le moins d’échantillons EEG déséquilibrés. Intégrant des relations de caractéristiques multimodales et des dépendances temporelles via la classification LSTM, le modèle combiné améliore la généralisation à travers diverses conditions d’acquisition EEG. Ainsi, la contribution majeure de ce travail est de surmonter le manque d’intégration entre les représentations EEG non linéaires et l’insuffisance de généralisabilité dans les méthodes existantes, et d’introduire un cadre systématique, reproductible et stable de reconnaissance émotionnelle dans les applications BCI réelles.

figure-introduction-1
Figure 1 : Phases de l’intelligence émotionnelle. Les phases de l’intelligence émotionnelle représentent comment la reconnaissance émotionnelle à partir des signaux EEG peut être extraite, puis son utilisation dans le diagnostic et le suivi des problèmes émotionnels lors des évaluations de la santé mentale. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Les caractéristiques EEG non linéaires pour la recherche en reconnaissance des émotions offrent une compréhension plus approfondie des processus neuronaux impliqués dans le traitement affectif. Étant une technique non invasive à haute résolution temporelle et sensible à la dynamique neuronale rapide, l’EEG a été largement utilisé pour l’étude de l’activité cérébrale liée aux états émotionnels. Les méthodes non linéaires sont particulièrement appropriées pour l’étude des signaux EEG, en raison de leur nature non stationnaire et complexe, qui constitue un meilleur modèle à la fois de son activité évoquée et induite dans les processus émotionnels. Dans un certain nombre de modèles computationnels, l’émotion est représentée par référence à des modèles théoriques existants tels que le Modèle d’émotionde base 4 (BEM) et le ModèleCircumplex 5,6. Deux conceptions structurellement et fonctionnellement distinctes de l’émotion sont le modèle de l’émotion de base, qui suppose qu’il existe un ensemble d’émotions fondamentalesfondées sur la biologie 7,8 (notamment l’amour), et le modèle de Circumplex qui organise l’émotion selon deux dimensions sous-jacentes : la valence9 (positive–négative) et l’excitation10,11 (faible–élevée). Le cadre valence-éveil présenté à la Figure 2 est prévalent dans les études de reconnaissance émotionnelle basées sur l’EEG, principalement en raison de son alignement avec les ensembles de données standards et de son applicabilité à la modélisation des états émotionnels continus. Cette représentation basée sur les dimensions offre un moyen systématique et quantifiable de cartographier l’activité neuronale en catégories émotionnelles et peut ainsi faciliter la classification basée sur l’apprentissage automatique.

figure-introduction-2
Figure 2 : Représentation de l’émotion valence-éveil. Schéma à deux axes montrant les états émotionnels, la valence indiquant des sentiments positifs ou négatifs et l’excitation reflétant une intensité émotionnelle faible à élevée. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

L’excitation est une intensité émotionnelle, valence positive ou négative. L’analyse émotionnelle s’est récemment concentrée sur l’EEG pour sonder les corrélats neuronaux des émotions. L’extraction des caractéristiques est très importante, car elle mappe l’EEG en grandeurs dans le domaine temps, fréquence et temps-fréquence. Parmi les caractéristiques non linéaires les plus courantes figurent l’entropie des ondelettes12, dimension decorrélation 13, et cette étude proposée utilise une approche pondérée combinée qui fusionne la DWT, l’ACI et laFFT 13. Les ensembles de données standards DEAP14 et SEED15 sont disponibles pour une évaluation reproductible. Les traits linéaires traditionnels ne sont souvent plus adéquats, nécessitant la conception d’approches nonlinéaires 16. Les schémas émotionnels basés sur les bandes de fréquence sont présentés à la Figure 2, et les pondérations des contributions des bandes EEG sont listées dans le Tableau 1.

Bande de fréquences différentesBande de fréquences en HzFonctions de la bande de fréquences dans la reconnaissance des émotions
GammaPlus de 30 HzL’intégration des données émotionnelles et la synchronisation de plusieurs régions cérébrales lors du traitement émotionnel pourraient se refléter dans l’activité gamma.
BetaEntre 13 et 30 HzLes variations de la puissance bêta pourraient être un signe d’excitation émotionnelle et des réactions motrices liées aux démonstrations émotionnelles.
AlphaEntre 8 et 13 HzLes états émotionnels et les variations du pouvoir alpha, en particulier l’asymétrie alpha, sont liés. Lorsqu’on est émotionnellement excité et qu’on prête plus d’attention aux stimulations émotionnelles, une diminution de la puissance alpha est fréquemment observée.
ThetaEntre 4 et 8 HzLes expériences émotionnelles peuvent être associées à une augmentation du pouvoir thêta, ce qui peut aider à l’encodage et à la récupération des souvenirs émotionnels.
Delta0,5-4 HzUne augmentation de l’activité delta dans le contexte de la détection émotionnelle pourrait indiquer un état émotionnel de détention ou de repos.

Tableau 1 : Fonctions de la bande de fréquences EEG dans la reconnaissance des émotions ainsi que différentes plages. Ce tableau présente les bandes de fréquences EEG couramment reconnues, spécifie leurs plages de fréquences respectives et décrit leur importance fonctionnelle dans la recherche sur la reconnaissance émotionnelle. Il met en lumière comment chaque bande est associée à différents processus cognitifs et affectifs, fournissant une base pour interpréter les signaux EEG dans la classification de l’état émotionnel.

Le développement récent de la reconnaissance émotionnelle basée sur l’EEG est stimulé par les avancées en apprentissage profond et traitement non linéaire du signal. Les modèles basés sur CNN ont obtenu de hautes performances grâce à la sélection d’électrodes et à l’ajustement deshyperparamètres 17, tandis que les modèles CNN indépendants du sujet utilisant une entropie différentielle dynamique ont amélioré la portabilité et réduit lacomplexité 18. Mais les modèles pour ce problème ne peuvent généralement pas être généralisés entre les sujets. Pour modéliser les dépendances de séquences, des architectures LSTM basées sur l’attention avec des mécanismes d’adaptation de domaine ont étéproposées 19,20 qui nécessitent un calcul important et manquent d’interprétabilité. Au-delà du domaine des réseaux profonds, les méthodes non linéaires et topologiques ont également suscité un intérêt considérable. Grâce à l’analyse persistante basée sur l’homologie de l’espace des phases, une discrimination accrue a été obtenue pour les états émotionnelssubtils 21,22. Les méthodes d’ensemble combinant les sorties d’entropie et fractales avec diverses sélections de caractéristiques étaient connues pour être des prédicteurs améliorés. Les modèles hybrides CNN–LSTM 23 ont surpassé la classification directe valence–éveil surDEAP 24 et les CNN multicolonnes exploitaient effectivement la distribution spatiale desélectrodes 25. Les représentations de caractéristiquesTopographiques 26, 27 (TOPO-FM) et Holographic Feature Maps (HOLO-FM) ont été évaluées sur plusieurs ensembles de donnéespubliques 28, 29, 30. Malgré ces résultats montrant des avancées substantielles en matière de précision de la classification, des défis concernant la généralisation intersujette et l’interprétabilité du modèle ainsi que la robustesse face à l’hétérogénéité des conditions d’acquisition EEG subsistent. L’auteur31 propose un aperçu approfondi des principaux défis, approches et orientations dans ce domaine, en se concentrant sur la qualité du signal, l’extraction de fonctionnalités et la scalabilité en informatique logicielle appliquée. Dans un travailconnexe 32, Advanced Functional Connectivity Measure a corrigé la corrélation de l’enveloppe d’amplitude à travers différentes bandes de fréquences EEG en identifiant des conditions de conduite défavorables, soulignant la force de la connectivité multi-bandes pour la surveillance comportementale à la volée.

Dans une relation plus large deneuroimagerie 33,36, un aperçu solide des méthodes d’apprentissage multimodales combinant différents signaux tels que l’EEG et les expressions faciales ou les données physiologiques pour une détection émotionnelle plus fiable, en se référant à démontrer le potentiel d’intégration des modalités qui augmente considérablement les performances dans les systèmes d’IA. Outre DEAP et SEED, le jeu de données DREAMER est également une addition récente aux repères représentatifs dans les études de reconnaissance émotionnelle basées sur l’EEG. DREAMER a été proposé par Katsigiannis et Ramzan37 et contient des signaux EEG et ECG obtenus auprès de sujets qui observent les stimuli émotionnels audiovisuels avec un appareil sans fil peu coûteux. Le contenu de ce jeu de données est applicable à la modélisation dimensionnelle des émotions avec hiérarchies de valence, d’excitation et de dominance, conformément au modèle circunplexe de l’affect. Grâce à son paradigme expérimental bien réfléchi, les ensembles de données DREAMER ont été largement utilisés pour l’évaluation de modèles d’apprentissage profond et de reconnaissance émotionnelle indépendants du sujet. Ses applications permettent de se comparer à d’autres bases de données de représentation dimensionnelle des émotions, et ont également montré qu’il constitue une alternative précieuse en complément des ensembles de données cirrus dance, DEAP et SEED. Ces ensembles de données sont largement utilisés dans les études d’informatique affective et englobent des enregistrements EEG acquis dans des conditions expérimentales contrôlées avec des stimuli émotionnels standardisés. Ce jeu de données se compose de signaux EEG à 32 canaux provenant de 32 sujets ayant reçu des clips vidéo émotionnels. Les données sont annotées concernant la valence et l’excitation. SEIN : enregistrements EEG multi-sessions de sujets lors d’expériences d’émotion filmées avec des étiquettes catégorielles émotionnelles. DREAMER est un ensemble de données EEG et ECG enregistré lors de l’induction émotionnelle via une présentation audio-visuelle de stimulus. Tous les ensembles de données ont été initialement collectés en utilisant des protocoles standardisés, des configurations matérielles et la validation des procédures d’étiquetage telles que rapportées dans leurs publications originales. Ici, seuls ces ensembles de données ont été analysés dans cette étude.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Protocole

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La recherche n’a pas inclus d’engagement direct avec des sujets humains. Tous les ensembles de données utilisés dans cette étude proviennent de plateformes accessibles au public et ont été utilisés conformément à leurs politiques d’utilisation déclarées. Ainsi, une approbation éthique formelle n’était pas nécessaire.

1. Préparation à l’environnement computationnel

  1. Préparez un environnement Python (version 3.8 ou supérieure) sur un poste de travail standard.
  2. Installez TensorFlow (v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE et PyWavelets en utilisant pip.
  3. Fixez la graine aléatoire (seed = 42) dans NumPy et TensorFlow pour garantir des résultats expérimentaux cohérents.

2. Acquisition et structuration de jeux de données (DEAP, SEED et DREAMER)

  1. Obtenez les ensembles de données EEG auprès des dépôts publics DEAP, SEED et DREAMER. Les ensembles de données EEG brutes utilisés dans cette étude sont accessibles via les archives publiques. Les ensembles de données DEAP (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), SEED (dépôt du laboratoire BCMI : http://bcmi.sjtu.edu.cn/~seed/seed.html) et DREAMER sont accessibles via IEEE Data Port (https://ieee-dataport.org/documents/dreamer-dataset).
  2. Extraire les enregistrements EEG bruts (.dat) pour tous les sujets et essais.
  3. Convertir les enregistrements en format NumPy array et les organiser par sujet et par essai pour le traitement.
  4. Lisez dans l’ensemble de données DEAP et extrayez les enregistrements EEG pour tous les sujets. Conservez un total de 32 canaux EEG (de Fp1 à O2) et supprimez les signaux physiologiques non EEG.
  5. Téléchargez l’ensemble de données SEED et extrayez tous les enregistrements EEG de chaque expérience. Réduisez l’échantillonnage à 200 Hz si besoin. Appliquez un filtre passe-bande de 0–75 Hz et segmentez les signaux en réseaux d’époque (de eeg_1 à eeg_15).
  6. Étiquetez chaque image avec l’émotion (−1 : négatif, 0 : neutre, +1 : positif) et réarrangez les données en temps × canal.
  7. Obtiens le jeu de données DREAMER et récupère tous les sujets / enregistrements EEG des essais. Choisissez les canaux EEG disponibles ainsi que les étiquettes émotionnelles.
  8. Catégorisez chaque expérience en petites fenêtres de durée spécifiée, et reconfigurez les données en matrices structurées par sujet avec des variables catégorielles codées pour les scores de valence, d’excitation et de dominance.
    REMARQUE : Les spécifications détaillées du jeu de données DEAP pré-traité utilisé pour l’analyse sont résumées dans le tableau 2, tandis que la Figure 3 illustre la distribution des scores de valence et d’éveil.
Signal enregistré à différents niveauxDispositif EEG (électroencéphalogramme) par le jeu de données DEAP
Données prises24 matières (s02, s04, s05, s06, s07, s08, s09, s10, s11, s12, s13, s14, s15, s16, s17, s18, s19, s20, s21, s22, s23, s24, s25, s26)
Indices de canaux« Fp1 », « AF3 », « F3 », « F7 », « FC5 », « FC1 », « C3 », « T7 », « CP5 », « CP1 », « P3 », « P7 », « PO3 », « O1 », « Oz », « Pz », « Fp2 », « AF4 », « Fz », « F4 », « F8 », « FC6 », « FC2 », « Cz », « C4 », « T8 », « CP6 », « CP2 », « P4 », « P8 », « PO4 », « O2 »
Taille de la fenêtre256
Pas de vidéo/essai40
Taille du pas16 (chaque 0,125 s mise à jour une fois)
Fréquence d’échantillonnage128 Hz
Liste des matières32
ÉmotionsExcitation, Valence

Tableau 2 : EXPLICATION DU PRÉTRAITEMENT DES JEUX DE DONNÉES. Résumé des étapes de prétraitement des ensembles de données EEG, incluant le filtrage, la suppression des artefacts, la segmentation et la normalisation, réalisées avant l’extraction des caractéristiques et l’entraînement du modèle.

figure-protocol-1
Figure 3 : Jeu de données DEAP Valence - Représentation de l’éveil des 40 premières données. Cartographie valence–éveil des 40 premiers essais EEG issus du jeu de données DEAP, illustrant la répartition et la variabilité de l’état émotionnel sur les deux dimensions. Cette représentation offre un aperçu de la propagation des réponses émotionnelles et soutient le processus d’extraction des caractéristiques pour la classification des émotions. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

REMARQUE : L’emplacement des électrodes EEG dans différentes régions cérébrales est montré à la Figure 4. La configuration du canal suit les placements standards des électrodes EEG du cuir chevelu utilisés pour la collecte de données dans les ensembles de données DEAP, SEED et DREAMER. Les électrodes sont réparties sur les régions frontale, temporale, pariétale et occipitale, permettant de couvrir à la fois l’activité neuronale locale et distribuée liée au traitement émotionnel.

figure-protocol-2
Figure 4 : Représentation de l’électrode du signal EEG. Placement d’électrodes dans le système international EEG 10–20 pour l’acquisition du signal du cuir chevelu. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

3. Rééchantillonnage du signal et segmentation des fenêtres

  1. Réduisez les enregistrements EEG SEED de 512 Hz à 200 Hz en utilisant scipy.signal.resample() pour réduire la complexité de calcul. Ensuite, segmentez chaque essai en fenêtres de longueur fixe de 256 échantillons avec une taille de pas de 16 échantillons.
  2. Conserver les taux d’échantillonnage originaux pour DEAP et DREAMER (ensembles de données 128 Hz). Taille de pas : 16 échantillons (0,125 s se chevauchent à 128 Hz).
  3. Segmentez chaque essai EEG en fenêtres de 256 échantillons avec une taille de pas de 16 échantillons pour créer des segments qui se chevauchent.

4. Filtrage passe-bande et décomposition en fréquence

  1. Définissez la fréquence d’échantillonnage (fs) et réglez l’ordre du filtre à 2. Calculez la fréquence de Nyquist (0,5 × fs) et normalisez les fréquences de coupure.
  2. Concevez un filtre passe-bande Butterworth en utilisant scipy.signal.butter().
  3. Appliquez un filtrage à phase nulle en utilisant scipy.signal.filtfilt() pour éviter la distorsion de phase.
  4. Extraire cinq bandes de fréquences EEG canoniques : delta (0,5–4 Hz), theta (4–8 Hz), alpha (8–13 Hz), bêta (13–30 Hz) et gamma (30–45 Hz).

5. Suppression des artefacts à l’aide d’une analyse indépendante des composants

  1. Appliquez FastICA de Scikit-learn avec un nombre de composants égal au nombre de canaux EEG.
  2. Identifier les composantes artificielles à l’aide d’indicateurs statistiques tels que la variance et la kurtose.
  3. Retirez les composants identifiés et reconstruisez les signaux EEG nettoyés pour une analyse plus approfondie.

6. Extraction de caractéristiques différentielles d’entropie basée sur CWFC

  1. Calculez la variance de chaque segment EEG filtré le long de l’axe du canal.
  2. Calculer l’entropie différentielle en utilisant :
  3. Extraire les valeurs d’entropie pour toutes les bandes de fréquences et canaux EEG.
  4. Stockez les caractéristiques d’entropie résultantes dans une matrice de caractéristiques structurée.

7. Extraction de caractéristiques par transformée en ondelettes discrètes (DWT)

  1. Effectuer la décomposition en ondelettes multi-niveaux en utilisant l’ondelette mère « db4 ».
  2. Décomposer chaque segment EEG jusqu’au niveau 4.
  3. Extraire des descripteurs statistiques (moyenne, variance, énergie, entropie) de chaque niveau de décomposition.
  4. Ajouter des caractéristiques dérivées de la DWT à la matrice de caractéristiques existante.

8. Extraction des caractéristiques spectrales utilisant la FFT

  1. Appliquez la transformée rapide de Fourier en utilisant numpy.fft.fft() sur chaque segment EEG.
  2. Calculer la densité de puissance spectrale sur les bandes de fréquences définies.
  3. Extraire les valeurs de puissance de bande pour tous les canaux.
  4. Concaténer les caractéristiques basées sur la FFT avec les caractéristiques déjà extraites.

9. Sélection des caractéristiques via Random Forest

  1. Entraînez un classificateur Random Forest avec 300 arbres en utilisant le critère d’impureté de Gini.
  2. Réglez la profondeur maximale de l’arbre à 20 et activez l’échantillonnage bootstrap avec une estimation hors de portée.
  3. Classez les caractéristiques en fonction des scores d’importance.
  4. Supprimez les caractéristiques en dessous d’un seuil d’importance prédéfini pour réduire la redondance.

10. Partitionnement des données

  1. Échantillonnage stratifié pour réorganiser l’ensemble de données de manière à préserver l’équilibre des classes entre catégories émotionnelles.
  2. Divisez le jeu de données en 10 plis égaux. À chaque itération, utilisez 9 folds pour l’entraînement et 1 fold pour les tests, en veillant toujours à ce que chaque fold soit testé une fois.
  3. Utilisez cette approche pour chaque pli et calculez les métriques de performance moyennes (précision, précision, rappel, score F1) ainsi que l’écart-type pour vérifier la stabilité du modèle.
    REMARQUE : Effectuer toutes les divisions échantillon par échantillon tout en veillant à ce qu’aucun échantillon ne soit partagé entre les ensembles d’entraînement et de test au sein de chaque plie.

11. Augmentation des données utilisant un réseau antagoniste génératif

  1. Construisez un GAN au niveau des fonctionnalités en utilisant l’API séquentielle de Keras. Définissez des couches entièrement connectées pour les réseaux générateurs et discriminateurs.
  2. Entraînez le GAN pendant 200 époques en utilisant des vecteurs de caractéristiques de classe minoritaire. Générez des échantillons de caractéristiques synthétiques à partir du générateur entraîné.
  3. Conservez uniquement les échantillons synthétiques à haute confiance tels qu’évalués par le discriminateur. Fusionner les échantillons synthétiques sélectionnés avec l’ensemble d’entraînement d’origine.

12. Architecture modèle LSTM

  1. Construisez un modèle LSTM séquentiel à l’aide de Keras. Ajoutez la première couche LSTM avec 128 unités cachées et définissez return_sequences=true.
  2. Ajoutez une seconde couche LSTM avec 128 unités cachées. Appliquer un dropout (taux = 0,3) après chaque couche de LSTM pour éviter le sur-ajustement.
  3. Ajoutez une couche de sortie Dense avec activation SoftMax pour la classification multi-classes.

13. Compilation et formation de modèles

  1. Compiler le modèle à l’aide de l’optimiseur Adam avec un taux d’apprentissage de 0,001.
  2. Utilisez la perte par entropie croisée catégorique. Entraînez le modèle avec la taille du lot = 64 pour 80 époques.
  3. Appliquez un arrêt précoce avec patience = 10 selon la précision de validation.

14. Évaluation de la performance

  1. Évaluez le modèle entraîné à l’aide du jeu de données de test indépendant. Calculez les indicateurs de performance incluant la précision, la précision, le rappel et le score F1.
  2. Conservez les poids entraînés du modèle et les résultats d’évaluation pour la reproductibilité. Un pipeline aussi bien organisé garantit que le cadre proposé puisse être facilement reproduit.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Résultats

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La collection de deux ensembles de données EEG différents ; DEAP et SEED constituaient la première étape de l’analyse. La Figure 5 montre le graphique de valence-excitation de LAHV, HALV, LALV et HAHV sont des formes abrégées de faible éveil, haute valence, haute valence, faible valence, faible éveil, faible valence et haute excitation, haute valence respectivement. Quatre catégories de réponse psychologique ont été rapportées : HAHV, LAHV, HALV et LALV. Deux caractéristiques émotionnell...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dans cet article, la recherche a mené une enquête approfondie sur la reconnaissance émotionnelle basée sur l’EEG sur deux ensembles de données de référence (à savoir DEAP et SEED) et a montré que le modèle proposé de la CWFC peut capturer efficacement des informations discriminantes liées aux émotions. Contrairement aux travaux précédents basés essentiellement sur des descriptions linéaires ou des types de caractéristiques, la méthodologie proposée unifie diverses extractions de caractér...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Déclarations de divulgation

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs n’ont rien à divulguer.

Remerciements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Nous tenons également à remercier les établissements et chercheurs des bases de données EEG DEAP et SEED pour leurs contributions significatives à ce travail. Enfin, merci également à nos universités pour leur soutien, grâce à leurs ressources et leur encouragement, à mener cette enquête.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Matériaux

Liste des matériaux utilisés dans cet article
NomEntrepriseNuméro de catalogueCommentaires
Jeu de données DEAPUniversité Queen Mary de Londresv1.0Ensemble de données émotionnelles EEG
Jeu de données DREAMERIEEE DataPortSortie publiqueEnsemble de données émotionnelles EEG
KerasGoogle LLC2.x (backend TensorFlow)Modélisation des réseaux de neurones
Poste de travailLenovoIntel Core i7, 16 Go de RAM, 8 GO DE GPU NVIDIAEntraînement et calcul de modèles
MNE-PythonDéveloppeurs MNE1.xPrétraitement EEG
NumPyDéveloppeurs NumPy1.xCalcul numérique
Système d’exploitationMicrosoft CorporationWindows 11 (64 bits)Plateforme de calcul
PythonFondation Python Software3.8+Environnement de programmation
PyWaveletsDéveloppeurs PyWavelets1.xDécomposition en ondelettes
Scikit-learnscikit-learn Développeurs1.xUtilitaires d’apprentissage automatique
SciPyCommunauté SciPy1.xTraitement du signal et rééchantillonnage
Jeu de données SEEDLaboratoire BCMI, Université Jiao Tong de ShanghaiSortie publiqueEnsemble de données émotionnelles EEG
TensorFlowGoogle LLC2.xCadre d’apprentissage profond

Références

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Réimpressions et autorisations

Demander l’autorisation de réutiliser le texte ou les figures de cet article JoVE

Demander une autorisation

Mots-clés

Reconnaissance des motions par EEGcaract ristiques non lin aires de l EEGclassificateur Random Forestaugmentation de donn es par GANs lection de caract ristiques par LSTManalyse en composantes ind pendantestransform e en ondelettes discr testransform e rapide de Fourierjeu de donn es DEAP

Articles connexes