مقالة منهجية

نهج الارتباط المرجح للميزات لتعزيز التعرف على المشاعر المعتمد على تخطيط الدماغ عبر مجموعات بيانات متنوعة

DOI:

10.3791/69073

⸱

أبريل 17, 2026

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

في هذه المقالة

ملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تركز الورقة على التعرف على المشاعر المعتمدة على تخطيط الدماغ الكهربائي (EEG)، وهو مجال ناشئ في علوم الأعصاب والحوسبة العاطفية. الطرق الخطية التقليدية غير كافية لأنه من المستحيل تمثيل البنية العاطفية المعقدة في الفيديو. لمعالجة ذلك، يقترح المؤلفون نموذجا جديدا، وهو الارتباط المرجع بالخصائص المرجحة (CWFC)، الذي يلتقط العلاقات العاطفية. بعد تصفية المرور النطاقي، يستخدم النموذج تحليل المكونات المستقلة (ICA)، وتحويل المويجات المنفصلة (DWT)، والتحويل الفورييه السريع (FFT) لاستخراج الميزات غير الخطية من تخطيط الدماغ الكهربائي. في هذه الحالة، يتم اختيار أفضل ميزة بواسطة LSTM ويتم تقييم هذه الميزات بواسطة مصنف الغابات العشوائي. مقدمة: تعزيز البيانات القائم على شبكة الخصم التوليدية (GAN) يعطي دقة بنسبة 88٪ (للتكافؤ) و86٪ (لتقييم نتائج الاختبار). الإثارة المقترحة المعتمدة على GAN) في مجموعة بيانات DEAP، والتي تتمتع بارتفاع كبير في البيانات، تمكنت من تحسين الأداء عند الأداء. يؤكد النموذج أن CWFC مفيد عبر مجموعات البيانات، حيث يوفر دقة تصنيف شاملة تبلغ 89٪ للحالات العاطفية في مجموعة بيانات SEED.

الملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يعد التعرف على المشاعر باستخدام إشارات تخطيط الدماغ مجالا نشطا في مجال الحوسبة العاطفية وعلوم الأعصاب، حيث يساعد العلماء في سعيهم لفهم العمليات الدماغية المرتبطة بالعواطف. على عكس الأعمال القائمة التي ركزت على ميزات تخطيط الدماغ الخطي، يركز العمل الحالي على السمات غير الخطية لوصف التغيرات الدقيقة في الاستجابة العاطفية بشكل أفضل. استلهام من هذا، في الورقة الحالية، تسمى الطريقة المقترحة "ارتباط الميزات المرجحة المركبة" (CWFC) لدراسة تأثير المكونات غير الخطية على أداء اكتشاف المشاعر. كخطوة أولى، يتم جمع بيانات تخطيط الدماغ ومعالجتها مسبقا باستخدام مرشحات تمرير النطاق لفصل نطاقات التردد مثل بيتا، ألفا، غاما، دلتا، وثيتا. لاكتشاف الأنماط العاطفية المعقدة، يتم استخراج السمات بواسطة تحليل المكونات المستقلة (ICA)، وتحويل المويجات المنفصلة (DWT)، وتحويل فورييه السريع (FFT). يمكن بناء هذه الميزات كميزات مدمجة في نموذج CWFCC لتحسين قوته بالإضافة إلى دقته التنبؤية العامة. ثم قم بتطبيق مصنف الغابة العشوائية لمعرفة مدى أهمية هذه الميزات المجمعة. يدمج العمل المقترح تعزيز بيانات GAN بعد اختيار الميزات الأمثل (مع التركيز على LSTM). في مجموعة بيانات DEAP، يؤدي هذا التعزيز إلى دقة مذهلة تبلغ 88٪ في التكافؤ ودقة الإثارة 86٪، مما يحسن دقة التعرف على المشاعر بشكل ملحوظ. حقق النموذج المقترح دقة تكافؤ وإثارة بنسبة 62٪ و65٪ على التوالي في اختبار DEAP المبكر دون تعزيز بيانات GAN. علاوة على ذلك، يمكن لهذا النموذج التمييز بين مجموعة بيانات SEED خلال الحالات العاطفية المحايدة، السلبية، والإيجابية بدقة متوسطة تبلغ 89٪. تعلن الورقة المقترحة الأداء المتفوق لنموذج CWFC مع تعزيز البيانات المعتمدة على GAN على تخطيط الدماغ الكهربائي للتعرف على المشاعر عبر مجموعات بيانات مختلفة من خلال تحليل معمق ودراسة مقارنة.

المقدمة

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

التعرف على المشاعر مهم في التفاعل البشري والتواصل البشري. لكي تؤسس روابط ناجحة بين الأشخاص، يجب أن يكون المرء قادرا على إدراك وفهم المشاعر، مما يحمل آثارا بعيدة المدى في مجالات متنوعة مثل علم النفس، وعلم الأعصاب، والتفاعل بين الإنسان والحاسوب1. في السنوات القليلة الماضية، كان واجهة الدماغ الحاسوبية (BCI) المعتمدة على تخطيط كهربائي الدماغ (EEG) أداة استحقاق ركز عليها الباحثون لاكتشاف المشاعر. على الرغم من أن BCI المعتمد على تخطيط الدماغ يوفر نافذة مباشرة على النشاط الكهربائي للدماغ البشري وأداة بحثية مناسبة لاستكشاف الحالات العاطفية. لقد غير التصنيف التلقائي والدقيق للحالات العاطفية مجال التعرف على المشاعر بشكل جذري من خلال تقنيات التعلم الآلي وتحليل الحساسيةالعاطفية 2 المعتمد على تخطيط الدماغ الكهربائي.

في العمل السابق، تم تقديم التعرف على المشاعر وأهميته في مجالات مختلفة، بما في ذلك الرعاية الصحية، والتفاعل بين الإنسان والحاسوب، وعلوم الأعصاب3. على الرغم من التقدم الكبير، لا تزال هناك فجوة بحثية واضحة في الدراسات الحالية للتعرف على المشاعر المعتمدة على تخطيط الدماغ الكهربائي. أولا، تستخدم الأساليب التي تم تقديمها في الأدبيات استخراج الميزات في مجال واحد (مثل ميزات الطيف أو التردد الزمني) أو الواصفات غير الخطية المفردة المتاحة والقابلة للعزل، والتي لا توفر ما يكفي للنمذجة من خلال العمل فقط مع تمثيل جزئي لإشارات EEG المعقدة وغير الثابتة بطبيعتها. ثانيا، بينما أبلغ عن وجود مجموعة متنوعة من السمات غير الخطية بأنها تمتلك قوة تمييزية متفوقة، إلا أنها عادة ما تستخدم بشكل منفصل وتعزل العلاقات بين هذه السمات عبر المجالات. هذا القيد يجعلهم أقل قدرة على نمذجة الديناميكيات متعددة المقاييس ومستوى المصدر المرتبطة بتنشيط الدماغ العاطفي. ثالثا، معظم طرق التعلم العميق مصممة لتحسين أداء التصنيف دون مراعاة قابلية تفسير الميزات، وتقليل التكرار، والمتانة في ظل عدم توازن الفئة. وبالتالي، لا يزال التعميم عبر مجموعات البيانات مشكلة مفتوحة بين التحقيقات التي تحتوي على إعدادات الأقطاب المختلفة، ومعدل أخذ عينات (128–256 هرتز)، ومدة التسجيل (30–60 ثانية). الأبعاد الرئيسية للذكاء العاطفي تعرض في الشكل 1.

لتجاوز هذه العيوب، نقدم في هذه الورقة إطار عمل الربط المرجع بالميزات المرجحة (CWFC) الذي يجمع الميزات غير الخطية متعددة المجالات في بنية واحدة. بدلا من التعامل مع ICA وDWT وFFT كطرق استخراج مستقلة مثل الأساليب التقليدية، نقوم بنمذجة التحليل على مستوى المصدر (ICA)، والديناميكا الزمنية متعددة الدقة (DWT)، وتمثيلات الطاقة الطيفية (FFT) من خلال ارتباط مرجح. يمكن أن تساعد هذه البنية النموذج على الاستفادة من المعلومات العصبية التكميلية وتقليل التكرار لزيادة القدرة على التمييز. كما يتم استخدام كل من تصنيف أهمية الميزات والتعزيز المعتمد على GAN لتحقيق المتانة على أقل عينات تخطيط الدماغ غير المتوازنة. من خلال دمج علاقات الميزات متعددة الوسائط والاعتماديات الزمنية من خلال تصنيف LSTM، يحسن النموذج المدمج التعميم عبر ظروف اكتساب EEG المتنوعة. لذا، فإن المساهمة الرئيسية لهذا العمل هي التغلب على نقص التكامل بين تمثيلات تخطيط الدماغ غير الخطية وعدم قابلية التعميم الكافية في الطرق القائمة، وقدم إطار عمل منهجي، قابل للتكرار، ومستقر للتعرف على المشاعر ضمن تطبيقات BCI الواقعية.

figure-introduction-1
الشكل 1: مراحل الذكاء العاطفي. تمثل مراحل الذكاء العاطفي كيف يمكن استخراج التعرف على المشاعر من إشارات تخطيط الدماغ الكهربائي، ثم استخدامها في تشخيص ومراقبة المشكلات العاطفية في تقييمات الصحة النفسية. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

توفر ميزات تخطيط الدماغ غير الخطي في أبحاث التعرف على المشاعر فهما أعمق للعمليات العصبية المشاركة في المعالجة العاطفية. كونه تقنية غير جراحية ذات دقة زمنية عالية وحساسة للديناميكيات العصبية السريعة، فقد استخدم تخطيط الدماغ على نطاق واسع لدراسة نشاط الدماغ المرتبط بالحالات العاطفية. الطرق غير الخطية مناسبة بشكل خاص لدراسة إشارات تخطيط الدماغ الكهربائي، بسبب طبيعتها غير الثابتة والمعقدة التي تشكل نموذجا أفضل لكل من نشاطها المستحث والمحفز في العمليات العاطفية. في أي عدد من النماذج الحاسوبية، يتم تمثيل العاطفة بالإشارة إلى النماذج النظرية القائمة مثل نموذج العاطفة الأساسي4 (BEM) ونموذج سيركومبلكس 5,6. مفهومان مختلفان بنيويا ووظيفيا للعاطفة هما نموذج العاطفة الأساسي، الذي يفترض وجود مجموعة من المشاعر الأساسية البيولوجية 7,8 (وخاصة الحب)، ونموذج الدائرة الذي ينظم العاطفة وفقا لبعدين أساسيين: التكافؤ9 (إيجابي-سلبي) والإثارة10,11 (منخفض-عالي). إطار التكافؤ والإثارة الموضح في الشكل 2 شائع في دراسات التعرف على المشاعر المعتمدة على تخطيط الدماغ الكهربائي، ويرجع ذلك أساسا إلى توافقه مع مجموعات البيانات القياسية وقابليته للتطبيق على نمذجة الحالات العاطفية المستمرة. يوفر هذا التمثيل القائم على الأبعاد وسيلة منهجية وقابلة للقياس لرسم النشاط العصبي إلى فئات عاطفية، وبالتالي يمكن أن يسهل التصنيف القائم على التعلم الآلي.

figure-introduction-2
الشكل 2: تمثيل عاطفة التكافؤ والاستثارة. مخطط المحورين يظهر الحالات العاطفية، حيث يشير التكافؤ إلى المشاعر الإيجابية أو السلبية والإثارة التي تعكس شدة عاطفية منخفضة إلى عالية. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

الإثارة هي شدة عاطفية، سواء كانت إيجابية أو سلبية. تم التركيز مؤخرا على تحليل المشاعر على تخطيط الدماغ الكهربائي لفحص الارتباطات العصبية للمشاعر. استخراج الميزات مهم جدا حيث يرسم تخطيط الدماغ إلى كميات في الزمن والتردد ومجال الزمن–التردد. بعض الخصائص غير الخطية الأكثر شيوعا هي إنتروبيا المويجات12، بعد الارتباط13، وتستخدم هذه الدراسة المقترحة نهجا مركبا موزنا وهو دمج DWT و ICA و FFT13. تتوفر مجموعات بيانات قياسية ل DEAP14 وSEED15 للتقييم القابل لإعادة الإنتاج. غالبا ما لم تعد الميزات الخطية التقليدية كافية، مما يتطلب تصميم مناهج غير خطية16. تظهر أنماط المشاعر القائمة على نطاق التردد في الشكل 2، وأوزان مساهمات نطاقات تخطيط الدماغ مدرجة في الجدول 1.

نطاق تردد مختلفنطاق نطاق التردد بالهرتزوظائف نطاق التردد في التعرف على المشاعر
غاماأكثر من 30 هرتزيمكن أن ينعكس دمج البيانات العاطفية ومزامنة عدة مناطق دماغية أثناء معالجة المشاعر في نشاط غاما.
بيتابين 13 إلى 30 هرتزقد تكون التغيرات في قوة بيتا علامة على الإثارة العاطفية وردود الفعل الحركية المرتبطة بالعروض العاطفية.
ألفابين 8 إلى 13 هرتزالحالات العاطفية والتغيرات في قوة الألفا، وخاصة عدم تماثل الألفا، مرتبطة ببعضها. عندما يكون الشخص مثيرا عاطفيا ويولي اهتماما أكبر للمدخلات العاطفية، يلاحظ غالبا انخفاض قوة الألفا.
ثيتابين 4 إلى 8 هرتزيمكن أن ترتبط التجارب العاطفية بزيادة قوة الثيتا، مما قد يساعد في ترميز واسترجاع الذكريات العاطفية.
دلتا0.5-4 هرتزقد يشير زيادة نشاط دلتا في سياق اكتشاف المشاعر إلى حالة عاطفية مسترخية أو راحة.

الجدول 1: وظائف نطاق تردد EEG في التعرف على المشاعر مع نطاق مختلف. يوضح هذا الجدول نطاقات التردد المعروفة شائعا لتخطيط الدماغ الكهربائي، ويحدد نطاقات ترددها المختلفة، ويصف أهميتها الوظيفية في أبحاث التعرف على المشاعر. يبرز كيف يرتبط كل شريط بعمليات معرفية وعاطفية مختلفة، مما يوفر أساسا لتفسير إشارات تخطيط الدماغ الكهربائي في تصنيف الحالات العاطفية.

يتم تحفيز التطور الأخير للتعرف على المشاعر المعتمد على تخطيط الدماغ الكهربائي من خلال الاختراقات في التعلم العميق ومعالجة الإشارات غير الخطية. حققت النماذج المبنية على CNN أداء عاليا باستخدام اختيار الأقطاب الكهربائية وضبط المعاملات الفائقة17، بينما عزز نموذج CNN المستقل عن الموضوع الذي يستخدم إنتروبيا ديناميكية تفاضلية قابلية ارتداء وتقليل التعقيد18. لكن النماذج لهذه المشكلة عادة لا يمكن تعميمها عبر المواضيع. ولنمذجة تبعيات التسلسل، تم اقتراح هياكل LSTM قائمة على الانتباه مع آليات تكييف المجال 19,20 التي تتطلب حسابات كبيرة وتفتقر إلى قابلية التفسير. بعيدا عن نطاق الشبكات العميقة، حظيت الطرق غير الخطية والطوبولوجية باهتمام كبير أيضا. باستخدام تحليل فضاء الطور القائم على التجانس المستمر، تم الحصول على تمييز معزز للحالات العاطفية الدقيقة21,22. كانت طرق المجموعات التي تجمع بين مخرجات الإنتروبيا والكسور مع اختيارات ميزات مختلفة معروفة بأنها متنبؤات محسنة. تفوق نماذج CNN–LSTMالهجينة 23 على تصنيف التكافؤ والإثارة المباشر على DEAP24، واستغلت CNNs متعددة الأعمدة التوزيع المكاني للأقطاب بشكل فعال25. تم تقييم تمثيلات الميزات القائمة على خرائط الميزات الطبوغرافية26,27 (TOPO-FM) وخرائط الميزات الهولوغرافية (HOLO-FM) على عدد من مجموعات البيانات المتاحة للجمهور 28,29,30. على الرغم من أن هذه النتائج أظهرت تقدما كبيرا في دقة التصنيف، إلا أن التحديات المتعلقة بالتعميم بين المواضيع وقابلية تفسير النموذج وقوة الاعتماد على تباين شروط اكتساب تخطيط الدماغ لا تزال قائمة. يقدم المؤلف31 استطلاعا شاملا حول التحديات الرئيسية والأساليب والاتجاهات الإضافية في هذا المجال، مع التركيز على جودة الإشارة، واستخراج الميزات، وقابلية التوسع في الحوسبة التطبيقية للحوسبة البرمجية. في عمل ذي صلة32، صحح مقياس الاتصال الوظيفي المتقدم ارتباط غلاف السعة عبر نطاقات تردد EEG المختلفة في تحديد ظروف القيادة السيئة التي تبرز قوة الاتصال متعدد النطاقات لمراقبة السلوك أثناء التفاعل.

في علاقة أوسع في التصوير العصبي 33,36، نظرة عامة قوية على طرق التعلم متعددة الوسائط تجمع بين إشارات مختلفة مثل تخطيط الدماغ الكهربائي وتعبيرات الوجه أو البيانات الفسيولوجية لاكتشاف مشاعر أكثر موثوقية، مع الإشارة إلى إثبات إمكانات دمج الأساليب التي ترفع الأداء بشكل كبير في أنظمة الذكاء الاصطناعي. بالإضافة إلى DEAP وSEED، تعد مجموعة بيانات DREAMER إضافة حديثة إلى المعايير التمثيلية في دراسات التعرف على المشاعر المعتمدة على تخطيط دماغ الدماغ. تم اقتراح DREAMER من قبل كاتسيجيانيس ورمضان37 الذي يحتوي على إشارات تخطيط الدماغ الكهربائي وتخطيط القلب المكتسبة من الأشخاص الذين يشاهدون المحفزات السمعية والبصرية العاطفية باستخدام جهاز لاسلكي رخيص. محتوى مجموعة البيانات قابل للتطبيق على النمذجة البعدية للمشاعر مع تسلسلات هرمية للتكافؤ والإثارة والهيمنة بما يتماشى مع نموذج التأثير الدائري. وبفضل نموذجها التجريبي المدروس، تم استخدام مجموعات بيانات دريمر على نطاق واسع لتقييم التعلم العميق ونماذج التعرف على المشاعر المستقلة عن الموضوع. يمكن لتطبيقاته أن تقارن مع قواعد بيانات أخرى لتمثيل المشاعر البعدية، كما أظهرت أيضا أنها بديل قيم كمكملة لمجموعة بيانات رقصة السيروس وDEAP وSEED. تستخدم هذه المجموعات على نطاق واسع في دراسات الحوسبة العاطفية وتشمل تسجيلات تخطيط الدماغ الكهربائي المكتسب تحت ظروف تجريبية مضبوطة مع محفزات عاطفية موحدة. تتكون هذه المجموعة من إشارات تخطيط دماغ كهربائية ب32 قناة من 32 شخصا تلقوا مقاطع فيديو عاطفية. المعلومات مشروحة حول القيمة والإثارة. SEED: تسجيلات تخطيط دماغ متعددة الجلسات للمواضيع خلال تجارب إثارة المشاعر المستندة إلى الأفلام باستخدام تسميات عاطفية تصنيفية. دريمر هو مجموعة بيانات تخطيط كهربائي كهربائي وتخطيط القلب يتم تسجيلها أثناء تحفيز المشاعر عبر عرض المحفز السمعي والبصري. تم جمع جميع مجموعات البيانات في الأصل باستخدام بروتوكولات موحدة، وتكوينات عتادية، والتحقق من إجراءات التصنيف كما وردت في منشوراتها الأصلية. هنا، تم تحليل إشارات تخطيط الدماغ من هذه المجموعات فقط في هذه الدراسة.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

البروتوكول

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

لم تتضمن الأبحاث أي تفاعل مباشر مع البشر. جميع مجموعات البيانات المستخدمة في هذه الدراسة تم الحصول عليها من منصات متاحة للجمهور واستخدمت وفقا لسياسات الاستخدام المعلنة. وبالتالي، لم يكن هناك حاجة للموافقة الأخلاقية الرسمية.

1. التحضير للبيئة الحاسوبية

  1. جهز بيئة بايثون (الإصدار 3.8 أو أعلى) على محطة عمل قياسية.
  2. قم بتثبيت TensorFlow (v2.x)، وKeras، وScikit-learn، وNumPy، وSciPy، وMNE، وPyWavelets باستخدام pip.
  3. ثبت البذرة العشوائية (البذرة = 42) في NumPy و TensorFlow لضمان نتائج تجريبية متسقة.

2. اكتساب وهيكلة مجموعات البيانات (DEAP، SEED، وDREAMER)

  1. احصل على مجموعات بيانات EEG من المستودعات العامة ل DEAP وSEED وDREAMER. مجموعات بيانات تخطيط الدماغ الخام المستخدمة في هذه الدراسة متاحة من خلال السجلات العامة. يمكن الوصول إلى مجموعة بيانات DEAP (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/)، ومجموعة بيانات SEED (مستودع مختبر BCMI: http://bcmi.sjtu.edu.cn/~seed/seed.html) ومجموعة بيانات DREAMER عبر منفذ بيانات IEEE (https://ieee-dataport.org/documents/dreamer-dataset).
  2. استخلاص تسجيلات تخطيط الدماغ الخام (.dat) لجميع المشاركين والتجارب.
  3. حول التسجيلات إلى صيغة مصفوفة NumPy ورتبها حسب الموضوع والتجربة للمعالجة.
  4. اقرأ مجموعة بيانات DEAP واستخرج تسجيلات تخطيط الدماغ لجميع المشاركين. احتفظ بإجمالي 32 قناة EEG (من Fp1 إلى O2) وإزالة الإشارات الفسيولوجية غير المرتبطة بتخطيط الدماغ.
  5. قم بتنزيل مجموعة بيانات SEED واستخرج جميع تسجيلات تخطيط الدماغ من كل تجربة. قم بتقليل العينات إلى 200 هرتز إذا لزم الأمر. تطبيق مرشح تمرير النطاق من 0 إلى 75 هرتز وقسم الإشارات إلى مصفوفات حسب العصر (eeg_1 إلى eeg_15).
  6. قم بتسمية كل إطار بالعاطفة (−1: سالب، 0: محايد، +1: إيجابي) وأعد ترتيب البيانات في القناة × الزمن.
  7. احصل على مجموعة بيانات DREAMER واسترجع جميع تسجيلات تخطيط الدماغ من جميع المشاركين / التجارب. اختر قنوات تخطيط الدماغ المتاحة بالإضافة إلى التسميات العاطفية.
  8. صنف كل تجربة إلى نوافذ صغيرة ذات مدة محددة، وأعد تشكيل البيانات كمصفوفات منظمة حسب الموضوع مع متغيرات تصنيفية مشفرة لدرجات التكافؤ والإثارة والهيمنة.
    ملاحظة: المواصفات التفصيلية لمجموعة بيانات DEAP المعالجة مسبقا المستخدمة في التحليل ملخصة في الجدول 2، بينما يوضح الشكل 3 توزيع درجات التكافؤ والإثارة.
الإشارة المسجلة على درجات مختلفةجهاز تخطيط كهربائي الدماغ (EEG) بواسطة مجموعة بيانات DEAP
البيانات المأخوذة24 موضوعا (الموسم 2، الموسم 4، الموسم 5، الموسم 6، الموسم 07، الموسم 8، الموسم التاسع، الموسم 10، الموسم 11، الموسم 12، الموسم 13، الموسم 14، الموسم 15، الموسم 16، الموسم 17، الموسم 18، الموسم 19، الموسم 20، الموسم 21، الموسم 22، الموسم 23، الموسم 24، الموسم 25، الموسم 26)
مؤشرات القنوات"FP1"، "AF3"، "F3"، "F7"، "FC5"، "FC1"، "C3"، "T7"، "CP5"، "CP1"، "P3"، "P7"، "PO3"، "O1"، "Oz"، "Pz"، "Fp2"، "AF4"، "Fz"، "F4"، "F8"، "FC6"، "FC2"، "Cz"، "C4"، "T8"، "CP6"، "CP2"، "P4"، "P8"، "PO4"، "O2"
حجم النافذة256
لا فيديو/محاكمة40
حجم الخطوة16 (كل 0.125 ثانية يتم تحديثها مرة واحدة)
معدل العينة128 هرتز
قائمة المشاركات32
المشاعرالإثارة، التكافؤ

الجدول 2: شرح المعالجة المبدئية لمجموعة البيانات. ملخص خطوات المعالجة المسبقة لمجموعات بيانات EEG، بما في ذلك التصفية، إزالة القطع الأثرية، التقسيم، والتطبيع، التي أجريت قبل استخراج الميزات وتدريب النماذج.

figure-protocol-1
الشكل 3: تكافؤ مجموعة بيانات DEAP - تمثيل الإثارة لأول 40 بيانة. رسم خريطة التواكاف والإثارة في 40 تجربة تخطيط كهربائي أولية من مجموعة بيانات DEAP، يوضح توزيع الحالة العاطفية والتغير عبر البعدين. يوفر هذا التمثيل نظرة على انتشار الاستجابات العاطفية ويدعم عملية استخراج السمات لتصنيف المشاعر. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

ملاحظة: مواقع أقطاب تخطيط الدماغ عبر مناطق دماغية مختلفة موضحة في الشكل 4. يتبع تكوين القناة وضعيات أقطاب EEG القياسية المستخدمة لجمع البيانات في مجموعات بيانات DEAP وSEED وDREAMER. توزع الأقطاب الكهربائية عبر المناطق الجبهية، الصدغية، الجدارية، والقذالي، مما يسمح بتغطية النشاط العصبي المحلي والموزع المرتبط بالمعالجة العاطفية.

figure-protocol-2
الشكل 4: تمثيل قطب إشارة تخطيط الدماغ الكهربائي. وضع الأقطاب الكهربائية في النظام الدولي EEG 10–20 لاكتساب إشارات فروة الرأس. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

3. إعادة أخذ عينات الإشارة وتقسيم النوافذ

  1. تسجيل تخطيط الدماغ المبكر لبذور الدماغ من 512 هرتز إلى 200 هرتز باستخدام scipy.signal.resample() لتقليل تعقيد الحساب. ثم قسم كل تجربة إلى نوافذ بطول ثابت مكونة من 256 عينة بحجم خطوة 16 عينة.
  2. احتفظ بمعدلات أخذ العينات الأصلية ل DEAP و DREAMER (مجموعات بيانات 128 هرتز). حجم الخطوة 16 عينة (تداخل 0.125 ثانية عند 128 هرتز).
  3. قسم كل تجربة تخطيط دماغي إلى نوافذ تحتوي على 256 عينة بحجم خطوة 16 عينة لإنشاء مقاطع متداخلة.

4. ترشيح تمرير النطاق وتحليل التردد

  1. حدد تردد أخذ العينة (fs) واضبط ترتيب المرشح إلى 2. احسب تردد نيكويست (0.5 × fs) وقم بتطبيع ترددات القطع.
  2. صمم فلتر تمرير النطاق السريع من Butterworth باستخدام scipy.signal.butter().
  3. تطبيق ترشيح الطور الصفري باستخدام scipy.signal.filtfilt() لتجنب تشويه الطور.
  4. استخرج خمسة نطاقات ترددية معتمدة لتخطيط الدماغ الكهربائي: دلتا (0.5–4 هرتز)، ثيتا (4–8 هرتز)، ألفا (8–13 هرتز)، بيتا (13–30 هرتز)، وغاما (30–45 هرتز).

5. إزالة القطع الأثرية باستخدام تحليل المكونات المستقلة

  1. طبق FastICA من Scikit-learn بحيث يكون عدد المكونات مساويا لعدد قنوات EEG.
  2. تحديد المكونات الاصطناعية باستخدام مؤشرات إحصائية مثل التباين والكرتوزيس.
  3. إزالة المكونات المحددة وإعادة بناء إشارات تخطيط الدماغ النظيفة لمزيد من التحليل.

6. استخراج ميزات الإنتروبيا التفاضلية المعتمدة على CWFC

  1. احسب تباين كل مقطع تخطيط كهربائي كهربائي مفلتر على محور القناة.
  2. احسب الإنتروبيا التفاضلية باستخدام:
  3. استخلاص قيم الإنتروبيا لجميع نطاقات التردد وقنوات تخطيط الدماغ الكهربائي.
  4. تخزين ميزات الإنتروبيا الناتجة في مصفوفة ميزات منظمة.

7. استخراج الميزات بتحويل المويجات المنفصلة (DWT)

  1. قم بتحليل المويجات متعدد المستويات باستخدام المويجة الأم "db4".
  2. قم بتفكيك كل جزء من تخطيط الدماغ حتى المستوى 4.
  3. استخرج الواصفات الإحصائية (المتوسط، التباين، الطاقة، الإنتروبيا) من كل مستوى تفكك.
  4. إضافة الميزات المشتقة من DWT إلى مصفوفة الميزات الحالية.

8. استخراج الخصائص الطيفية باستخدام FFT

  1. تطبيق تحويل فورييه السريع باستخدام numpy.fft.fft() على كل مقطع EEG.
  2. حساب كثافة الطاقة الطيفية عبر نطاقات التردد المحددة.
  3. استخرج قيم طاقة النطاق لجميع القنوات.
  4. دمج الميزات القائمة على FFT مع ميزات تم استخراجها سابقا.

9. اختيار الميزات عبر الغابة العشوائية

  1. درب مصنف غابة عشوائية ب 300 شجرة باستخدام معيار شوائب الجيني.
  2. اضبط أقصى عمق شجرة إلى 20 ويمكنك أخذ عينات الحزام من القاعدة مع تقدير خارج الحقيبة.
  3. ترتيب الميزات بناء على درجات الأهمية.
  4. إزالة الميزات التي تقل عن عتبة الأهمية المحددة مسبقا لتقليل التكرار.

10. تقسيم البيانات

  1. أخذ عينات طبقية لخلط مجموعة البيانات بطريقة تحافظ على توازن الطبقات عبر الفئات العاطفية.
  2. قسم مجموعة البيانات إلى 10 طيات متساوية. مع كل تكرار، استخدم 9 طيات للتدريب وطية واحدة للاختبار، مع التأكد دائما من أن كل طي تم اختباره مرة واحدة.
  3. استخدم هذا النهج لكل طي وحساب مقاييس الأداء المتوسطة (الدقة، الدقة، الاستدعاء، درجة F1) بالإضافة إلى الانحراف المعياري للتحقق من استقرار النموذج.
    ملاحظة: قم بتنفيذ جميع التقسيمات على أساس عينة على حدة مع التأكد من عدم مشاركة أي عينات بين مجموعات التدريب والاختبار داخل كل طي.

11. تعزيز البيانات باستخدام شبكة الخصم التوليدية

  1. قم بإنشاء GAN على مستوى الميزات باستخدام واجهة برمجة تطبيقات Keras Sequential. حدد طبقات متصلة بالكامل لكل من الشبكات المولدة والمميزة.
  2. درب GAN ل 200 حقبة باستخدام متجهات ميزات من فئة الأقلية. توليد عينات من الميزات الاصطناعية من المولد المدرب.
  3. احتفظ فقط بالعينات الصناعية عالية الثقة كما تم تقييمها من قبل المميز. ادمج العينات الصناعية المختارة مع مجموعة التدريب الأصلية.

12. بنية نماذج LSTM

  1. بناء نموذج LSTM تسلسلي باستخدام Keras. أضف أول طبقة LSTM تحتوي على 128 وحدة مخفية واضبط return_sequences=true.
  2. أضف طبقة LSTM ثانية تحتوي على 128 وحدة مخفية. تطبيق الانخفاض (المعدل = 0.3) بعد كل طبقة LSTM لمنع الإفراط في التركيب.
  3. أضف طبقة إخراج كثيفة مع تفعيل SoftMax لتصنيف الفئات المتعددة.

13. تجميع النماذج والتدريب

  1. قم بتجميع النموذج باستخدام محسن آدم بمعدل تعلم 0.001.
  2. استخدم فقدان الإنتروبيا المتقاطع التصنيفي. درب النموذج بحجم دفعة = 64 لمدة 80 عصرا.
  3. طبق التوقف المبكر مع الصبر = 10 بناء على دقة التحقق.

14. تقييم الأداء

  1. قيم النموذج المدرب باستخدام مجموعة بيانات الاختبار المستقلة. احسب مقاييس الأداء بما في ذلك الدقة، الدقة، الاستدعاء، ودرجة F1.
  2. احتفظ بأوزان النموذج المدرب ونتائج التقييم لإعادة الإنتاج. يضمن هذا التنظيم الجيد أن الإطار المقترح يمكن إعادة إنتاجه بسهولة.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

النتائج

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

جمع مجموعتين مختلفتين لبيانات تخطيط الدماغ الكهربائي؛ شكل DEAP وSEED المرحلة الأولى من التحليل. يوضح الشكل 5 رسم بياني للتكافؤ والإثارة ل LAHV وHLV وLAV وHAHV هي الشكل المختصر للإثارة المنخفضة، التكافؤ المرتفع، التكافؤ المنخفض، الإثارة المنخفضة، والتكافؤ المنخفض والإثارة العالية على التوالي. تم الإبلاغ عن أربع فئات من الاستجابة النفسية: HAHV، LAHV، HALV، وLALV. ترتبط ميزتان عاطفيان أساسيتان، التكافؤ والإثارة، بكل حالة وتقاس بمتوسط وانحرافها المعياري. قام المشاركون بتقييم حالة HAHV بمتوسط...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المناقشة

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

في هذه الورقة، أجرى البحث تحقيقا شاملا في التعرف على المشاعر المعتمد على تخطيط الدماغ الكهربائي على مجموعتين بيانات مرجعيتين (وهما DEAP وSEED) وأظهرت أن نموذج CWFC المقترح يمكنه التقاط المعلومات التمييزية المرتبطة بالعاطفة بفعالية. على عكس الأعمال السابقة التي تعتمد أساسا على أوصاف خطية أو أنواع السمات، توحد المنهجية المقترحة استخلاصات الميزات غير الخطية المترابطة وتستفيد منها عبر نموذج ارتباط موزون لاستنتاج العلاقات الوظيفية. يعد هذا الدمج متعدد الرؤى من الميزات الجديدة الرئيسية في العم...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

الإفصاحات

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

المؤلفون ليس لديهم ما يكشفون عنه.

شكر وتقدير

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

نود أيضا أن نشكر المؤسسات والباحثين في قواعد بيانات DEAP وSEED EEG على مساهماتهم الكبيرة في هذا العمل. وأخيرا، نشكر جامعاتنا على دعمهم من خلال الموارد والتشجيع لإجراء هذا التحقيق.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
مجموعة بيانات DEAPجامعة كوين ماري في لندنالإصدار 1.0مجموعة بيانات المشاعر لتخطيط الدماغ
مجموعة بيانات دريمرIEEE DataPortالإصدار العاممجموعة بيانات المشاعر لتخطيط الدماغ
كيراسجوجل ذ.م.م2.x (خلفية TensorFlow)نمذجة الشبكات العصبية
محطة العمللينوفومعالج Intel Core i7، 16 جيجابايت رام، بطاقة رسومات NVIDIA بسعة 8 جيجابايتتدريب النماذج والحوسبة
MNE-Pythonمطورو MNE1.xمعالجة تخطيط الدماغ المسبق
نومبايمطورو نومبي1.xالحوسبة العددية
نظام التشغيلشركة مايكروسوفتويندوز 11 (64-بت)منصة الحوسبة
بايثونمؤسسة بايثون للبرمجيات3.8+بيئة البرمجة
باي ويفلتسمطوري باي ويفلتس1.xتفكيك المويجات
سكيت-لرنمطورو scikit-learn1.xأدوات التعلم الآلي
SciPyمجتمع SciPy1.xمعالجة الإشارة وإعادة أخذ العينات
مجموعة بيانات SEEDمختبر BCMI، جامعة شنغهاي جياو تونغالإصدار العاممجموعة بيانات المشاعر لتخطيط الدماغ
تنسور فلوجوجل ذ.م.م2.xإطار التعلم العميق

المراجع

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

إعادة الطباعة والأذونات

طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه

طلب إذن

الوسوم

DEAP

مقالات ذات صلة