Yöntem makalesi

Çeşitli veri setlerinde gelişmiş EEG tabanlı duygu tanıma için Birleşik Ağırlıklı Özellik Korelasyon Yaklaşımı

DOI:

10.3791/69073

⸱

17 Nisan 2026

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Makale, sinirbilim ve duygusal hesaplamada gelişmekte olan EEG tabanlı duygu tanıma üzerine odaklanmaktadır. Geleneksel doğrusal yöntemler yetersizdir çünkü karmaşık duygusal yapıyı videoda temsil etmek imkansızdır. Bunu ele almak için yazarlar, duygusal ilişkileri yakalayan yeni bir model olan Birleşik Ağırlıklı Özellik Korelasyonu (CWFC) önermektedir. Bant geçişli filtreleme sonrası, model tarafından EEG'den doğrusal olmayan özellikler çıkarmak için Bağımsız Bileşen Analizi (ICA), Ayrık Dalgalet Dönüşümü (DWT) ve Hızlı Fourier Dönüşümü (FFT) kullanılır. Bu durumda en iyi özellik LSTM tarafından seçilir ve bu özellikler Random Forest Classifier tarafından değerlendirilir. Giriş: Üretken Karşı Çıkarıcı Ağ (GAN) tabanlı veri artırma, değerlik için %88 ve Test Sonuçlarının Değerlendirilmesi için %86 (Test Sonuçları Değerlendirmesi için) doğruluk sağlar; veri artırma çok yüksektir, performans arttığında performansı iyileştirebilmiştir. Model, CWFC'nin veri setleri genelinde faydalı olduğunu doğrular; çünkü SEED veri setinde duygusal durumlar için %89 genel sınıflandırma doğruluğu sağlar.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

EEG Sinyalleri kullanılarak duygu tanıma, duygusal hesaplama ve sinirbilimde aktif bir araştırma alanıdır ve bilim insanlarının duygularla ilgili beyin süreçlerini anlama arayışına yardımcı olur. Mevcut çalışmaların doğrusal EEG özelliklerine odaklanmasının aksine, mevcut çalışmalar duygusal tepkilerin ince değişikliklerini daha iyi karakterize etmek için doğrusal olmayan özelliklere odaklanmaktadır. Bundan esinlenerek, mevcut makalede önerilen yöntem, doğrusal olmayan bileşenlerin duygu algılama performansına etkisini araştırmak için Kombine Ağırlıklı Özellik Korelasyonu (CWFC) olarak adlandırılmaktadır. İlk adım olarak, EEG verileri beta, alfa, gamma, delta ve theta gibi frekans bantlarını ayırmak için bant geçişli filtreler kullanılarak toplanır ve ön işlenir. Karmaşık duygusal kalıpları tespit etmek için, özelliklerin çıkarılması Bağımsız Bileşen Analizi (ICA), DWT (Ayrı Dalga Dönüşümü) ve FFT (Hızlı Fourier Dönüşümü) ile gerçekleştirilir. Bu özellikler, CWFCC modeline birleşik özellikler olarak entegre edilip, gücünü ve genel tahmin doğruluğunu artırabilir. Sonra bu birleşik özelliklerin ne kadar önemli olduğunu görmek için Rastgele Orman sınıflandırıcısı uygulayın. Önerilen çalışma, optimal özellik seçiminden sonra (özellikle LSTM'ye vurgu yapılarak) GAN veri artırmasını entegre eder. DEAP veri setinde bu artırma, %88 değerlik doğruluğu ve %86 uyarılma doğruluğu ile etkileyici bir şekilde sonuçlanıyor; bu da duyguların tanıma doğruluğunu önemli ölçüde artırıyor. Önerilen model, GAN veri artırımı olmadan erken DEAP'te sırasıyla %62 ve %65 değerlik ve uyarılma doğruluğu elde etmiştir. Ayrıca, bu model Nötr duygusal durumlar sırasında SEED veri setini, Negatif ve Pozitif arasında ortalama %89 doğrulukla ayırt edebiliyor. Önerilen makale, EEG'de GAN tabanlı veri artışıyla CWFC modelinin derinlemesine analiz ve karşılaştırmalı çalışmalarla farklı veri setlerine göre duygu tanıma için üstün performansını ilan etmektedir.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Duygu tanıma, insan etkileşimi ve iletişimde önemlidir. Başarılı kişilerarası bağlantılar kurmak için, duyguları algılayabilmeli ve anlayabilmelidir; bu da psikoloji, nöroloji ve insan-bilgisayar etkileşimi gibi çeşitli alanlarda geniş kapsamlı sonuçlara sahipolmalıdır. Son birkaç yılda, elektroensefalogram (EEG) tabanlı BCI (Beyin Bilgisayar Arayüzü), araştırmacıların duyguları tespit etmek için odaklandığı bir değerli araç olmuştur. EEG tabanlı BCI, insan beyninin elektriksel aktivitesine doğrudan bir pencere ve duygusal durumları keşfetmek için uygun bir araştırma aracı sunar. Otomatik ve doğru duygusal durum sınıflandırması, makine öğrenimi teknikleri ve EEG tabanlı BCI2 aracılığıyla duygu tanıma alanını kökten değiştirmiştir.

Önceki çalışmalarda, duygu tanıma ve bunun sağlık hizmetleri, insan-bilgisayar etkileşimi ve sinirbilim gibi çeşitli alanlardaki önemitanıtılmıştır. Önemli ilerlemelere rağmen, mevcut EEG tabanlı duygu tanıma çalışmalarında belirgin bir araştırma açığı hâlâ devam etmektedir. İlk olarak, literatürde tanıtılan yaklaşımlar, yalnızca doğası gereği karmaşık ve durağan olmayan EEG sinyallerinin kısmi temsili ile çalışmak için modelleme için yeterli olmayan tek alanlı özellik çıkarımı (örneğin, spektral veya zaman frekansı özellikleri) veya tekil doğrusal olmayan tanımlayıcılar kullanır. İkincisi, çeşitli doğrusal olmayan özelliklerin üstün ayırt etme gücüne sahip olduğu bildirilse de, genellikle ayrı ayrı kullanılır ve bu özellikler arasındaki ilişkileri alanlar arasında izole eder. Bu kısıtlama, duygusal beyin aktivasyonuyla ilgili çok ölçekli ve kaynak düzeyindeki dinamikleri modellemelerini daha az yapmasına neden olur. Üçüncü olarak, derin öğrenme yöntemlerinin çoğu sınıflandırma performansını optimize etmek için tasarlanmıştır ancak sınıf dengesizliği durumunda özellik yorumlanabilirliği, yedeklik azaltımı ve sağlamlığı dikkate almaz. Sonuç olarak, farklı elektrot düzenlemeleri, örnekleme hızı (128–256 Hz) ve kayıt süresi (30–60 s) ile yapılan araştırmalar arasında çapraz veri genellemesi hâlâ açık bir sorundur. Duygusal zekanın ana boyutları Şekil 1'de sunulmaktadır.

Bu tür dezavantajları aşmak için, bu makalede, çoklu alanlı doğrusal olmayan özellikleri tek bir mimaride toplayan Birleşik Ağırlıklı Özellik Birleştirme (CWFC) çerçevesi sunuyoruz. ICA, DWT ve FFT'yi geleneksel yaklaşımlar gibi bağımsız çıkarma yöntemleri olarak ele almak yerine, kaynak düzeyinde ayrıştırma (ICA), çok çözünürlüklü zaman dinamikleri (DWT) ve spektral güç temsillerini (FFT) ağırlıklı bir korelasyon üzerinden modelliyoruz. Bu yapı, modelin tamamlayıcı sinirsel bilgileri kullanmasına ve tekrarı azaltarak ayırt etme yeteneğini artırmasına yardımcı olabilir. Ayrıca, en az dengesiz EEG örneğinde sağlamlığı sağlamak için hem özellik önemi sıralaması hem de GAN tabanlı artırma uygulanır. Çok modlu özellik ilişkilerini ve zamansal bağımlılıkları LSTM sınıflandırması aracılığıyla entegre eden bu model, çeşitli EEG alım koşullarında genellemeyi iyileştirir. Bu nedenle, bu çalışmanın en büyük katkısı, doğrusal olmayan EEG temsilleri arasındaki entegrasyonun eksikliğini ve mevcut yöntemlerde yeterli genellenebilirliğin eksikliğini aşmak ve gerçek hayat BCI uygulamalarında sistematik, tekrarlanabilir ve kararlı bir duygu tanıma çerçevesi sunmaktır.

figure-introduction-1
Şekil 1: Duygusal zekanın evreleri. Duygusal zekanın evreleri, EEG sinyallerinden duygu tanımanın nasıl çıkarılabileceğini ve ardından ruh sağlığı değerlendirmelerinde duygusal sorunların teşhisi ve izlenmesinde nasıl kullanıldığını gösterir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Duygu tanıma araştırmaları için doğrusal olmayan EEG özellikleri, duygusal işlemede yer alan sinirsel süreçlerin daha derin bir anlaşılmasını sağlar. İnvaziv olmayan, yüksek zamansal çözünürlüklü ve hızlı sinirsel dinamiklere duyarlı bir teknik olan EEG, duygusal durumlarla ilgili beyin aktivitesinin incelenmesinde geniş çapta kullanılmaktadır. Doğrusal olmayan yöntemler, EEG sinyallerinin incelenmesi için özellikle uygundur; çünkü durağan olmayan ve karmaşık yapıları nedeniyle hem uyarlanan hem de tetiklenen aktivitelerinin duygusal süreçlerdeki daha iyi bir modelini oluşturur. Birçok hesaplamalı modelde, duygu Temel DuyguModeli 4 (BEM) ve CircumplexModeli 5,6 gibi mevcut teorik modellerle referans olarak temsil edilir. Yapısal ve işlevsel olarak iki farklı duygu kavramı, biyolojik temelli temelduygular 7,8 (özellikle aşk) kümesinin var olduğunu varsayan Temel Duygu modeli ve duyguyu iki temel boyuta göre organize eden Circumplex Modeli'dir:değerlik 9 (pozitif–negatif) veuyarılma 10,11 (düşük–yüksek). Şekil 2'de gösterilen değerlik–uyarılma çerçevesi, standart veri setleriyle uyumu ve sürekli duygusal durumların modellenmesinde uygulanabilirliği nedeniyle EEG tabanlı duygu tanıma çalışmalarında yaygındır. Bu boyut tabanlı temsil, sinirsel aktiviteyi duygusal kategorilere eşlemek için sistematik ve ölçülebilir bir araç sunar ve böylece makine öğrenimi tabanlı sınıflandırmayı kolaylaştırabilir.

figure-introduction-2
Şekil 2: Valans-uyarılma duygu temsili. Duygusal durumları gösteren iki eksenli diyagram, değerlik pozitif veya olumsuz duyguları gösterirken, uyarılma düşük ila yüksek duygusal yoğunluğu yansıtır. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Uyanık, duygusal yoğunluktur, değerlik pozitif ya da negatif. Duygu analizi, son zamanlarda duyguların sinirsel korelasyonlarını araştırmak için EEG'ye odaklanmıştır. Özellik çıkarımı çok önemlidir ve EEG'yi zaman, frekans ve zaman-frekans alanındaki niceliklere eşler. En yaygın doğrusal olmayan özelliklerden bazıları Wavelet Entropisi12, KorelasyonBoyutu 13'dür ve önerilen çalışma, DWT, ICA ve FFT13'ün birleşimi olan birleşik ağırlıklı yaklaşım kullanmaktadır. Standart DEAP14 ve SEED15 veri setleri tekrarlanabilir değerlendirme için mevcuttur. Geleneksel doğrusal özellikler genellikle artık yeterli değildir ve doğrusal olmayan yaklaşımların tasarlanmasınıgerektirir 16. Frekans bandına dayalı duygusal kalıplar Şekil 2'de gösterilmekte ve EEG bantlarının katkılarının ağırlıkları Tablo 1'de listelenmiştir.

Farklı Frekans BandıHz cinsinden frekans bandı aralığıDuygu tanımadaki frekans bandının fonksiyonları
Gamma30 Hz'den büyükDuygusal verilerin entegrasyonu ve duygusal işleme sırasında birkaç beyin bölgesinin senkronize edilmesi, gama aktivitesinde yansıyabilir.
Beta13 ila 30 Hz arasındaBeta güçlerindeki değişiklikler, duygusal uyarılmanın ve duygusal gösterilere bağlı motor tepkilerin bir işareti olabilir.
Alfa8 ile 13 Hz arasındaDuygusal durumlar ve alfa güçlerindeki varyasyonlar, özellikle alfa asimetrisi, birbirleriyle ilişkilidir. Duygusal olarak uyarıldığında ve duygusal girdilere daha fazla dikkat edildiğinde, alfa gücünde azalma sıklıkla görülür.
Theta4 ila 8 Hz arasındaDuygusal deneyimler, duygusal anıların kodlanmasına ve geri kazanılmasına yardımcı olabilecek artan teta gücünle ilişkilendirilebilir.
Delta0.5-4 HzDuygu algılama bağlamında delta aktivitesinin artışı, rahatlamış veya dinlenen bir duygusal duruma işaret edebilir.

Tablo 1: Duygu tanıma sisteminde EEG frekans bandının fonksiyonları ve farklı aralıklar. Bu tablo, yaygın olarak tanınan EEG frekans bantlarını özetler, ilgili frekans aralıklarını belirtir ve duygu tanıma araştırmalarındaki işlevsel önemlerini açıklar. Her bandın farklı bilişsel ve duygusal süreçlerle nasıl ilişkili olduğunu vurgularak EEG sinyallerinin duygusal durum sınıflandırmasında yorumlanması için bir temel sağlar.

EEG tabanlı duygu tanımadaki son gelişmeler, derin öğrenme ve doğrusal olmayan sinyal işlemedeki atılımlarla desteklenmektedir. CNN tabanlı modeller, elektrot seçimi ve hiperparametre ayarınıkullanarak yüksek performans elde etti 17, dinamik diferansiyel entropi kullanan konulardan bağımsız CNN modelleri ise giyilebilirliği artırdı ve karmaşıklığıazalttı 18. Ancak bu sorun için modeller genellikle konular arasında genellenemez. Dizi bağımlılıklarını modellemek için, büyük hesaplama gerektiren ve yorumlanabilirlikten yoksun olan dikkat odaklı LSTM mimarileri19,20 önerilen alan uyarlama mekanizmaları. Derin ağların ötesinde, doğrusal olmayan ve topolojik yöntemler de önemli ilgi görmüştür. Kalıcı homoloji tabanlı faz uzayı analizi kullanılarak, ince duygusal durumlar için artırılmış ayrım eldeedilmiştir 21,22. Entropi ve fraktal çıktıları çeşitli özellik seçimleriyle birleştiren topluluk yöntemlerinin, gelişmiş öngörücüler olduğu bilinmektedir. Hibrit CNN–LSTMmodelleri 23, DEAP24'te doğrudan değerlik–uyarılma sınıflandırmasını geride bıraktı ve çok sütunlu CNN'ler elektrotların mekansal dağılımını etkilişekilde 25 kullandı. Topografik ÖzellikHaritaları 26,27 (TOPO-FM) ve Holografik Özellik Haritaları (HOLO-FM) tabanlı özellik temsilleri, halka açık verisetleri üzerinde değerlendirildi (28,29,30). Bu sonuçlar sınıflandırma doğruluğunda önemli ilerlemeler göstermesine rağmen, modelin çapraz genellemesi ve yorumlanabilirliği ile EEG alım koşullarının heterojenliği üzerindeki sağlamlığı konusundaki zorluklar hâlâ devam etmektedir. Yazar31, bu alandaki ana zorluklar, yaklaşımlar ve ileri yönler üzerine kapsamlı bir anket sunar; Uygulamalı Yumuşak Hesaplamada sinyal kalitesi, özellik çıkarımı ve ölçeklenebilirlik üzerine odaklanır. İlgilibir çalışmada 32, gelişmiş fonksiyonel bağlantı, farklı EEG frekans bantları arasında düzeltilmiş genlik zarfı korelasyonunu ölçerek olumsuz sürüş koşullarını belirledi ve anında davranışsal izleme için çoklu bantlı bağlantının gücünü vurguladı.

Daha geniş bir nörogörüntülemeilişkisi 33,36 olarak, EEG ve yüz ifadeleri gibi farklı sinyalleri veya daha güvenilir duygu tespiti için fizyolojik verileri birleştiren çoklu modal öğrenme yöntemlerinin güçlü bir genel görünümü ve yapay zeka sistemlerinde performansı önemli ölçüde artıran modaliteler entegrasyonunun potansiyelini göstermek için referans gösterilir. DEAP ve SEED'in yanı sıra, DREAMER veri seti EEG tabanlı duygu tanıma çalışmalarında temsil eden kıyaslamalara yeni eklenmiştir. DREAMER, Katsigiannis ve Ramzan37 tarafından önerilmiştir; bu sinyal, uygun fiyatlı kablosuz cihazla görsel-görsel duygusal uyaranları izleyen deneklerden alınan EEG ve EKG sinyallerini içerir. Veri setinin içeriği, duyguların değerlik, uyarılma ve hakimiyet hiyerarşileriyle boyutsal modellemesi için geçerlidir; bu model, circumplex etki modeline uygundur. İyi düşünülmüş deneysel paradigması sayesinde, DREAMER veri setleri derin öğrenme ve özneden bağımsız duygu tanıma modellerinin değerlendirilmesi için yaygın olarak kullanılmıştır. Uygulamaları, boyutsal duygu temsili veritabanlarıyla karşılaştırma imkanı sunabilir ve ayrıca cirrus dansı, DEAP ve SEED veri setine ek olarak değerli bir alternatif olduğunu göstermiştir. Bu veri setleri, duygusal hesaplama çalışmalarında yaygın olarak kullanılır ve kontrollü deneysel koşullarda standartlaştırılmış duygusal uyarıcılarla elde edilen EEG kayıtlarını kapsar. Bu veri seti, duygusal video klipleri alınan 32 denek tarafından alınan 32 kanallı EEG sinyallerinden oluşmaktadır. Veriler değerlik ve uyarılma ile ilgili açıklamalar içerir. SEED: kategorik duygu etiketleriyle film tabanlı duygu ortaya çıkarma deneyleri sırasında deneklerin çok oturumlu EEG kayıtları. DREAMER, duygu indüksiyonu sırasında sessel-görsel uyaran sunumu yoluyla kaydedilen bir EEG ve EKG veri setidir. Tüm veri setleri, orijinal yayınlarında bildirilen standart protokoller, donanım yapılandırmaları ve etiketleme prosedürlerinin doğrulanması kullanılarak başlangıçta toplanmıştır. Burada, yalnızca bu veri setlerinden alınan EEG sinyalleri bu çalışmada analiz edilmiştir.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Araştırmada insan deneklerle doğrudan etkileşim yer almadı. Bu çalışmada kullanılan tüm veri setleri, halka açık platformlardan alınmış ve belirtilen kullanım politikalarına uygun olarak kullanılmıştır. Bu nedenle, resmi etik onay gerekli değildi.

1. Hesaplamalı Ortam Hazırlığı

  1. Standart bir iş istasyonunda bir Python ortamı (sürüm 3.8 veya üzeri) hazırlayın.
  2. TensorFlow (v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE ve PyWavelets pip kullanarak kurun.
  3. Tutarlı deneysel sonuçlar için rastgele tohumu (tohum = 42) NumPy ve TensorFlow'da düzeltin.

2. Veri Seti Edinimi ve Yapılandırması (DEAP, SEED ve DREAMER)

  1. DEAP, SEED ve DREAMER'ın kamu depolarından EEG veri setlerini edinin. Bu çalışmada kullanılan ham EEG veri setleri kamu kayıtları aracılığıyla erişilebilir durumdadır. DEAP veri seti (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), SEED veri seti (BCMI Laboratuvar deposu: http://bcmi.sjtu.edu.cn/~seed/seed.html) ve DREAMER veri setine IEEE Veri Limanı (https://ieee-dataport.org/documents/dreamer-dataset) ile erişilebilir.
  2. Tüm denek ve denemeler için ham EEG kayıtlarını (.dat) çıkarın.
  3. Kayıtları NumPy dizisi formatına dönüştürün ve işlem için konu ve deneme bazında düzenleyin.
  4. DEAP veri setini okuyun ve tüm denekler için EEG kayıtlarını çıkarın. Toplam 32 EEG kanalını (Fp1'den O2'ye) koruyun ve EEG dışı fizyolojik sinyalleri çıkarın.
  5. SEED veri setini indirin ve her deneyden tüm EEG kayıtlarını çıkarın. Gerekirse 200 Hz'e kadar sample yapın. 0–75Hz bant geçiş filtresi uygulanır ve sinyalleri dönem bazında (eeg_1-den eeg_15'e) dizilere ayırır.
  6. Her kareyi duygu ile etiketleyin (−1: negatif, 0: nötr, +1: pozitif) ve verileri kanal × zamanında yeniden düzenleyin.
  7. DREAMER veri setini alın ve tüm denekler/denemelerin EEG kayıtlarını geri alın. Mevcut EEG kanallarını ve duygusal etiketleri seçin.
  8. Her deneyi belirli süreli küçük pencerelere ayırın ve verileri değerlik, uyarılma ve hakimiyet puanları için kodlanmış kategorik değişkenlerle konu bazında yapılandırılmış matrisler olarak yeniden şekillendirin.
    NOT: Analiz için kullanılan önceden işlenmiş DEAP veri setinin ayrıntılı spesifikasyonları Tablo 2'de özetlenmişken, Şekil 3 değerlik ve uyarılma puanlarının dağılımını göstermektedir.
Sinyal farklı adımlarla kaydedildiDEAP veri seti tarafından EEG (Elektroensefalogram) cihazı
Alınan veriler24 Konu (s02, s04, s05, s06, s07, s08, s09, s10, s11, s12, s13, s14, s15, s16, s17, s18, s19, s20, s21, s22, s23, s24, s25, s26)
Kanal indeksleri"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "Oz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
Pencere boyutu256
Video/deneme sayısı40
Basamak boyutu16 (her biri 0.125 saniye bir kez güncellenir)
Örnekleme hızı128 Hz
Konu Listesi32
DuygularUyarılma, Valans

Tablo 2: VERI SETI ÖN IŞLEME AÇIKLAMASI. Özellik çıkarımı ve model eğitimi öncesinde yapılan filtreleme, artefakt kaldırma, segmentasyon ve normalizasyon dahil olmak üzere EEG veri seti ön işleme adımlarının özeti.

figure-protocol-1
Şekil 3: DEAP veri seti Valans- İlk 40 verinin uyarılma temsili. DEAP veri setinden ilk 40 EEG denemesinin değerlik–uyarılma haritalaması, iki boyut arasındaki duygusal durum dağılımını ve değişkenliğini göstermektedir. Bu temsil, duygusal tepkilerin yayılmasına dair içgörü sağlar ve duygu sınıflandırması için özellik çıkarma sürecini destekler. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

NOT: Farklı beyin bölgelerindeki EEG elektrot konumları Şekil 4'te gösterilmiştir. Kanal yapılandırması, DEAP, SEED ve DREAMER veri setlerinde veri toplama için kullanılan standart saç derisi EEG elektrot yerleştirmelerini takip eder. Elektrotlar, frontal, temporal, parietal ve oksipital bölgelere dağılmıştır; bu da duygusal işlemle ilgili hem yerel hem de dağılım sinirsel aktivitenin kapsayılmasına olanak tanır.

figure-protocol-2
Şekil 4: EEG Sinyal Elektrot Temsili. EEG 10–20 uluslararası sisteminde kafa derisi sinyal alımı için elektrot yerleştirme. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

3. Sinyal Yeniden Örnekleme ve Pencere Segmentasyonu

  1. SEED EEG kayıtlarını 512 Hz'den 200 Hz'e kadar scipy.signal.resample() kullanarak aşağı örnekleyin ve hesaplama karmaşıklığını azaltmak. Daha sonra her denemeyi sabit uzunlukta 256 örnek ve 16 örnek boyutunda sabit uzunluklu pencerelere ayırın.
  2. DEAP ve DREAMER (128 Hz veri setleri) için orijinal örnekleme hızlarını koruyun. Step Size 16 örnekleri (128 Hz'de 0.125 s örtüşme).
  3. Her EEG denemesini, 16 örnek adım boyutuyla 256 örneklik pencerelere ayırarak örtüşen segmentler oluşturun.

4. Bant Geçişli Filtreleme ve Frekans Ayrıştırması

  1. Örnekleme frekansını (fs) tanımlayın ve filtre sırasını 2'ye ayarlayın. Nyquist frekansını (0.5 × fs) hesaplayın ve kesme frekanslarını normalize edin.
  2. scipy.signal.butter() kullanarak bir Butterworth bant geçişli filtre tasarla.
  3. Faz bozulmasını önlemek için scipy.signal.filtfilt() kullanarak sıfır faz filtreleme uygulayın.
  4. Beş kanonik EEG frekans bandı çıkarın: delta (0.5–4 Hz), theta (4–8 Hz), alfa (8–13 Hz), beta (13–30 Hz) ve gamma (30–45 Hz).

5. Bağımsız Bileşen Analiziyle Eser Çıkarma

  1. Scikit-learn'den FastICA'yı bileşen sayısı EEG kanallarının sayısına eşit olarak uygulayın.
  2. Varyans ve kurtoz gibi istatistiksel göstergeler kullanarak yapay bileşenleri tanımlayın.
  3. Tanımlanan bileşenleri çıkarın ve temizlenmiş EEG sinyallerini daha fazla analiz için yeniden inşa edin.

6. CWFC Tabanlı Diferansiyel Entropi Özelliği Çıkarımı

  1. Her filtrelenmiş EEG segmentinin kanal ekseni boyunca varyansını hesaplayın.
  2. Diferansiyel entropiyi şu yöntemlerle hesaplayın:
  3. Tüm frekans bantları ve EEG kanalları için entropi değerlerini çıkarın.
  4. Ortaya çıkan entropi özelliklerini yapılandırılmış bir özellik matrisinde depolayın.

7. Ayrık Dalgalet Dönüşümü (DWT) Özellik Çıkarımı

  1. "db4" ana dalgasit kullanarak çok seviyeli dalgalet ayrıştırması gerçekleştirin.
  2. Her EEG segmentini seviye 4'e kadar ayrıştırın.
  3. Her ayrıştırma seviyesinden istatistiksel tanımlayıcılar (ortalama, varyans, enerji, entropi) çıkarın.
  4. Mevcut özellik matrisine DWT'den türetilmiş özellikler ekleyin.

8. FFT kullanarak Spektral Özellik Çıkarımı

  1. Her EEG segmentinde numpy.fft.fft() kullanarak Hızlı Fourier Dönüşümü uygulayın.
  2. Tanımlanmış frekans bantları boyunca spektral güç yoğunluğunu hesaplayın.
  3. Tüm kanallar için bant güç değerlerini çıkarın.
  4. FFT tabanlı özellikleri daha önce çıkarılan özelliklerle birleştirin.

9. Random Forest Üzerinden Özellik Seçimi

  1. Gini saflık kriterini kullanarak 300 ağaç içeren bir Rastgele Orman sınıflandırıcısı eğitin.
  2. Maksimum ağaç derinliğini 20'ye ayarlayın ve çantadan dışarı tahmin ile bootstrap örneklemesini etkinleştirin.
  3. Önem puanlarına göre sıralama özellikleri.
  4. Gerekliliği azaltmak için önceden tanımlanmış önem eşiğinin altındaki özellikleri kaldırın.

10. Veri Bölümleme

  1. Veri setini duygusal kategoriler arasında sınıf dengesinin korunması için katmanlı örnekleme yöntemi.
  2. Veri setini 10 eşit kata böl. Her yinelemede, eğitim için 9 katlama, test için ise 1 katlama kullanın, her katlamanın her zaman bir kez test ayarını yapıldığından emin olun.
  3. Her katlama için bu yaklaşımı kullanın ve ortalama performans metriklerini (doğruluk, hassasiyet, hatırlama, F1-puan) ve standart sapma hesaplayarak model kararlılığını kontrol edin.
    NOT: Tüm bölmeleri örnek örnek olarak gerçekleştirin ve her fold içindeki eğitim ve test setleri arasında hiçbir örnek paylaşılmadığından emin olun.

11. Üretken Düşman Ağı Kullanarak Veri Artırma

  1. Keras Dizisel API'si kullanarak özellik düzeyinde bir GAN oluşturun. Hem jeneratör hem de ayrımcı ağlar için tam bağlı katmanlar tanımlanır.
  2. GAN'ı azınlık sınıfı özellik vektörleri kullanarak 200 dönem boyunca eğitin. Eğitilen jeneratörden sentetik özellik örnekleri üretin.
  3. Yalnızca ayırıcı tarafından değerlendirilen yüksek güvenliğe sahip sentetik örnekler tutulur. Seçilen sentetik örnekleri orijinal eğitim setiyle birleştirin.

12. LSTM Model Mimarisi

  1. Keras kullanarak Ardışık bir LSTM modeli oluşturun. İlk LSTM katmanını 128 gizli birimle ekleyin ve return_sequences=true ayarlayın.
  2. 128 gizli ünite içeren ikinci bir LSTM katmanı ekleyin. Her LSTM katmanından sonra aşırı uyum (overfiting) için dropout (oran = 0.3) uygulayın.
  3. Çok sınıflı sınıflandırma için SoftMax aktivasyonu ile Yoğun bir çıkış katmanı ekleyin.

13. Model Derleme ve Eğitim

  1. Modeli Adam optimizatörü ile 0.001 öğrenme oranıyla derleyin.
  2. Kategorik çapraz entropi kaybı kullanın. Modeli parti boyutu = 64 ile 80 dönem boyunca eğitin.
  3. Erken durmayı sabırla uygulayın, doğrulama doğruluğuna göre sabır = 10.

14. Performans Değerlendirmesi

  1. Bağımsız test veri seti kullanılarak eğitilen modeli değerlendirin. Doğruluk, hassasiyet, hatırlama ve F1 puanı gibi performans ölçümlerini hesaplayın.
  2. Eğitilen model ağırlıklarını ve değerlendirme sonuçlarını tekrarlanabilirlik için sakla. Böyle iyi organize edilmiş bir boru hattı, önerilen çerçevenin kolayca yeniden üretilebileceğini garanti eder.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

İki farklı EEG veri setinin toplanması; DEAP ve SEED analizin ilk aşamasını oluşturdu. Şekil 5, LAHV, HALV, LALV ve HAHV'nin değerlik-uyarılma grafiğini göstermektedir; sırasıyla düşük uyarılma, yüksek değerlilik, yüksek uyarılma, düşük değerlik, düşük uyarılma, düşük değerlik ve yüksek uyarılma yüksek değerlik. Dört psikolojik tepki kategorisi bildirilmiştir: HAHV, LAHV, HALV ve LALV. Her durumla ilişkili iki temel duygusal özellik olan değerlik ve uyarılma ile ilişkilidir ve ortalama i...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu makalede, EEG tabanlı duygu tanıma iki kıyaslama veri seti (yani DEAP ve SEED) üzerinde kapsamlı bir inceleme yaptı ve önerilen CWFC modelinin duyguyla ilgili ayırtıcı bilgileri etkili bir şekilde yakalayabildiğini gösterdi. Önceki çalışmaların temelde doğrusal tanımlar veya özellik türlerine dayanmasının aksine, önerilen metodoloji, birbirine bağlı çeşitli doğrusal olmayan özellik çıkarımlarını birleştirir ve bunları ağırlıklı korelasyon modeli aracılığıyla kullanarak fonksiyonel ili...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarların açıklayacak hiçbir şeyi yok.

Teşekkürler

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ayrıca, DEAP ve SEED EEG veritabanlarındaki kuruluşlara ve araştırmacılara bu çalışmaya yaptıkları önemli katkılar için teşekkür etmek isteriz. Son olarak, bu araştırmayı yürütmek için kaynaklar ve teşvikler için üniversitelerimize de teşekkür ederiz.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
DEAP Veri SetiLondra Queen Mary Üniversitesiv1.0EEG duygu veri seti
DREAMER Veri SetiIEEE DataPortKamuya Açık YayınEEG duygu veri seti
KerasGoogle LLC2.x (TensorFlow arka uçu)Sinir ağı modellemesi
İş IstasyonuLenovoIntel Core i7, 16 GB RAM, 8 GB NVIDIA GPUModel eğitimi ve hesaplama
MNE-PythonMNE Geliştiricileri1.xEEG ön işleme
NumPyNumPy Geliştiricileri1.xSayısal hesaplama
İşletim SistemiMicrosoft CorporationWindows 11 (64-bit)Hesaplamalı platform
PythonPython Yazılım Vakfı3.8+Programlama ortamı
PyWaveletsPyWavelets Geliştiricileri1.xDalga parçalanması
Scikit-learnscikit-learn Geliştiriciler1.xMakine öğrenimi araçları
SciPySciPy Topluluğu1.xSinyal işleme ve yeniden örnekleme
SEED Veri SetiBCMI Laboratuvarı, Şanghay Jiao Tong ÜniversitesiKamuya Açık YayınEEG duygu veri seti
TensorFlowGoogle LLC2.xDerin öğrenme çerçevesi

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

EEG Duygu Tan maDo rusal Olmayan EEG zellikleriRastgele Orman S n fland r cGAN Veri Art r mLSTM zellik Se imiBa ms z Bile en AnaliziAyr k Dalgac k D n mH zl Fourier D n mDEAP Veri K mesi

İlgili makaleler