يتطلب اشتراك JoVE لعرض هذا المحتوى. تسجيل الدخول أو ابدأ نسخة تجريبية مجانية

مقالة منهجية

شبكة الانتباه المتقاطع ذات الفرعين لتخطيط الدماغ الكهربائي والتعرف على المشاعر متعددة الوسائط للوجه أثناء مشاهدة الرسم

109 مشاهدة

⸱

DOI:

10.3791/70600

⸱

مايو 12, 2026

 ,  , 
1College of Art, Minzu Normal University of Xingyi, 2Department of Electrical, Electronic and Automatic Engineering, University of Girona, 3College of Sericulture, Textile and Biomass Sciences, Southwest University, 4College of Art and Design, Zhengzhou University of Light Industry, 5Faculty of Education and Psychology, University of Girona

في هذه المقالة

ملخص

يصف هذا البروتوكول الاكتساب المتزامن لتخطيط كهربائية الدماغ وبيانات الوجه في بيئات الرسم والمشاهدة وشبكة تركيز متقاطع مزدوجة الفرع للتعرف على المشاعر متعددة الوسائط، بما في ذلك المعالجة المسبقة، ودمج الميزات، وتصنيف أربع حالات عاطفية.

الملخص

يظل التعرف على المشاعر أثناء مشاهدة اللوحة صعبا لأن الاستجابات الجمالية ديناميكية، تعتمد على السياق، ولا يمكن ملاحظتها جزئيا إلا من خلال السلوك الخارجي. لذلك، فإن المناهج الأحادية النمط التي تعتمد فقط على تعبيرات الوجه أو الإشارات الفسيولوجية فقط، غالبا ما توفر تمثيلات غير مكتملة لتجربة المشاهد. تصف هذه المقالة طريقة قابلة للتكرار لبناء شبكة مزدوجة التوجه المتقاطع تدمج فيديو الوجه مع بيانات تخطيط كهربائي الدماغ (EEG) للتعرف على المشاعر متعددة الوسائط في سياق معرض لوحة. يبدأ البروتوكول بإنشاء بيئة اقتناص متزامنة باستخدام نظام تخطيط الدماغ ذو 64 قناة وكاميرا عالية الدقة للتسجيل المتزامن أثناء مشاهدة الطلاء. الإجراء التالي يوضح معالجة الإشارة المسبقة، بما في ذلك ترشيح تخطيط الدماغ الكهربائي، والتقسيم، واستخراج ميزات الإنتروبيا التفاضلية، إلى جانب اكتشاف الوجه، والمحاذاة، وتحضير الإطارات لتحليل الفيديو. تحتوي الشبكة العصبية على فرعين محددين بنمط الاستخدام. يستخدم فرع تخطيط الدماغ شبكة عصبية الالتفافية وشبكة ذاكرة قصيرة المدى ثنائية الاتجاه لنمذجة الميزات العصبية المكانية-الزمكانية، بينما يستخدم فرع الوجه شبكة الالتفافية خفيفة الوزن معززة بالانتباه لاستخراج ميزات التعبير البصري. ثم يستخدم وحدة تركيز متقاطع متعددة الرؤوس لدمج التيارين من خلال تعلم الصلة بين الوسائط. تحت الظروف التجريبية المذكورة هنا، حقق الإطار متعدد الوسائط دقة تصنيف أعلى من نماذج المقارنة أحادية النمط في التعرف على المشاعر ذات الفئات الأربع. هذه الطريقة مناسبة جدا للتحليل غير المتصل بالإنترنت في بيئات الاكتساب المسيطر عليها وتوفر إطارا عمليا للحوسبة العاطفية، والجماليات التجريبية، وأبحاث التفاعل بين الإنسان والحاسوب الموجهة للمعارض.

المقدمة

العاطفة هي عملية نفسية وفسيولوجية متعددة الأبعاد تتشكل بواسطة المحفزات الخارجية، والتقييم الداخلي، والتنظيم المعرفي المستمر، وبالتالي تحتل مكانة مركزية في التفاعل بين الإنسان والحاسوب وعلوم الإدراك1. في بيئات المعرض اللوحة، تتوسط المشاعر أيضا العلاقة بين الأعمال الفنية البصرية وتفسير المشاهد. لهذا السبب، فإن تحديد الحالات العاطفية للمشاهد له قيمة عملية لتقييم المعرض، والتصميم المكاني، والدراسات التجريبية للتجربة الجمالية2. وفي الوقت نفسه، يظل قياس المشاعر في بيئات العرض شبه الطبيعية صعبا تقنيا لأن الاستجابات دقيقة وعابرة وتتأثر بكل من العمل الفني وسياق المشاهدة.

تطورت أبحاث التعرف على المشاعر عموما على خطين رئيسيين: التحليل السلوكي والتحليل الفسيولوجي. تستخدم الأساليب السلوكية، خاصة تحليل تعبيرات الوجه المعتمدة على الرؤية الحاسوبية، على نطاق واسع لأنها غير جراحية وسهلة التطبيق نسبيا.3. أظهرت نماذج التعلم العميق مثل الشبكات المتبقية والشبكات الالتفافية خفيفة الوزن أداء قويا في مهام تصنيف عواطف الوجه الأساسية4. ومع ذلك، قد يكون سلوك الوجه أثناء مشاهدة الرسم ضعيفا، أو معتدلا اجتماعيا، أو مقيدا عمدا، مما يقلل من التوافق بين التعبير المرئي والشعور الذاتي5. توفر المناهج الفسيولوجية، خاصة تلك القائمة على تخطيط كهربائي الدماغ (EEG)، وصولا مباشرا أكثر إلى النشاط العصبي المرتبط بالمعالجة العاطفية6. تم استخدام تخطيط الدماغ الكهربائي على نطاق واسع في دراسات المشاعر لأن التقلبات الزمنية في الإشارات العصبية مفيدة للتغيرات في الحالة العاطفية، بما في ذلك الأبعاد المتعلقة بالتكافؤ والإثارة7. ومع ذلك، فإن تسجيلات EEG حساسة لتأثيرات الحركة، والتلوث الكهربائي العضلي، والضوضاء البيئية، وغالبا ما توفر EEG وحده معلومات سياقية محدودة حول ما يستجيب له المشاهد بصريا8.

هذه النقاط القوية والضعف التكميلية زادت الاهتمام بالتعرف على المشاعر متعددة الوسائط9. الفرضية المركزية للاندماج متعدد الوسائط هي أن الإشارات غير المتجانسة يمكن أن توفر أدلة مفيدة للطرفين وتقلل الغموض الذي ينشأ عند تفسير نمط واحد بشكل منفصل10. في مهام مشاهدة الرسم، على سبيل المثال، قد يتزامن سلوك الوجه المقيد مع تغييرات عصبية قابلة للقياس مرتبطة بالانتباه أو الانخراط العاطفي. ومع ذلك، فإن الأنظمة متعددة الوسائط الحالية لا تنمجي هذه العلاقة دائما بشكل فعال. استراتيجيات الاندماج المبكرة المبنية على التداخل المباشر في الميزات يمكن أن تزيد من عبء الأبعاد وقد تشوش البنية الزمنية الخاصة بالنمط11. استراتيجيات الاندماج المتأخرة المبنية على قرارات منفصلة أسهل في التنفيذ، لكنها قد تتجاهل التفاعلات الدقيقة بين الإشارات البصرية والفسيولوجية أثناء معالجة المشاعر12. بالإضافة إلى ذلك، تستخدم العديد من النماذج متعددة الوسائط أنظمة اندماج ثابتة أو ضعيفة التكيف، والتي لا تناسب استجابات المشاهدين المتقلبة في إعدادات شبيهة بالمعرض13.

لمعالجة هذه القيود، يصف البروتوكول الحالي شبكة تركيز متقاطع ذات فرعين للتعرف على المشاعر متعددة الوسائط أثناء مشاهدة الرسم. في هذا الإطار، تعالج ميزات تخطيط الدماغ بواسطة نموذج الذاكرة العصبية الالتفاوية ثنائية الاتجاه طويلة الأجل قصيرة المدى (CNN-BiLSTM)، والذي يستخدم لتمثيل الديناميكيات العصبية المكانية-الزمكانية. تتم معالجة ميزات الفيديو الوجهي بواسطة فرع MobileNetV2 معزز بالانتباه بالإحداثيات، والذي يستخدم لالتقاط إشارات تعبير منخفضة الشدة مع الحفاظ على كفاءة الحوسبة14. يتم دمج الفرعين من خلال آلية تركيز متعدد الرؤوس تتعلم الصلة بين الأنماط بدلا من مجرد دمج مخرجاتها15,16. يهدف هذا التصميم إلى الحفاظ على البنية الخاصة بالنمط مع تحسين نمذجة التفاعل عبر الوسائط.

تم تصميم الطريقة بشكل أساسي للتحليل غير المتصلة بالإنترنت تحت ظروف جمع بيانات محكمة بدلا من النشر المباشر في الوقت الحقيقي في أماكن العرض العامة المفتوحة. يتطلب التنفيذ الموثوق تخطيط الدماغ والتقاط الفيديو المتزامن، وإضاءة مستقرة، ووضع كاميرا محكم، ومقاومة كهربائية مقبولة، وموارد حوسبة كافية لتدريب النماذج. قد يعتمد الأداء أيضا على تركيب العينة، ونوع المنبه، ودرجة تعديل المشاركين للسلوك لأنهم يعلمون أنهم يتم تسجيلهم. يجب أخذ هذه القيود التشغيلية في الاعتبار عند تكييف البروتوكول مع بيئات أو مجموعات معارض أخرى.

يغطي البروتوكول المعروض هنا كامل خط التجارب التجريبي، بما في ذلك الاقتناء المتزامن من 327 مشاركا، والمعالجة المسبقة لتخطيط الدماغ وبيانات الفيديو الوجهية، واستخراج الميزات، والدمج متعدد الوسائط، والتصنيف. الهدف هو توفير سير عمل قابل للتكرار للتعرف على المشاعر متعددة الوسائط في أبحاث معارض الرسم. بعيدا عن الحوسبة العاطفية17، قد يدعم البروتوكول أيضا التحقيق الكمي في الجماليات التجريبية والدراسات النفسية ذات الصلة18.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

البروتوكول

تمت مراجعة بروتوكول الدراسة والموافقة عليه من قبل لجنة الأخلاقيات لحماية أبحاث الإنسان في جامعة شينغيي مينزو للمعلمين (رقم الموافقة 2600AL0621). تم الحصول على موافقة مكتوبة ومستنيرة من جميع المشاركين قبل إدراجهم في الدراسة وقبل جمع البيانات.

1. استقطاب المشاركين والامتثال الأخلاقي

  1. الحصول على الموافقة الأخلاقية
    1. قدم البروتوكول التجريبي الكامل، ونموذج الموافقة، وورقة معلومات المشاركين، وخطة حماية البيانات إلى لجنة المراجعة المؤسسية (IRB) أو لجنة الأخلاقيات قبل بدء الدراسة.
    2. احصل على موافقة كتابية وسجل رقم الموافقة في وثائق الدراسة.
  2. استقطاب المشاركين
    1. استقطب مشاركين بالغين أصحاء لاكتساب المشاعر متعددة الوسائط أثناء مشاهدة الرسم. في هذا البروتوكول التجريبي، يتم تجنيد 327 مشاركا.
    2. تطبيق معايير الإدراج التالية: العمر 18–35 سنة، رؤية طبيعية أو مصححة إلى طبيعية، لا يوجد تاريخ معلن عن الاضطرابات العصبية الذاتية، لا يستخدم حاليا الأدوية النفسية، والاستعداد للخضوع لتسجيل تخطيط كهربائي الدماغ وتسجيل فيديو الوجه.
    3. تطبيق معايير الاستبعاد التالية: إصابات مفرطة في فروة الرأس أو حالات جلدية تمنع وضع الأقطاب الكهربائية، عدم القدرة على إكمال جلسة التسجيل الكاملة، حركة شديدة أثناء الاكتساب، أو عدم اكتمال توثيق الموافقة.
    4. سجل خصائص المشارك، بما في ذلك العمر، الجنس، حجم اليد، الخبرة السابقة في مشاهدة الفن، ومستوى التعليم. في هذا البروتوكول التجريبي، سجل العينة التالية الملخص القصير الطويل: متوسط العمر 24.8 ± 3.7 سنوات، 165 أنثى و162 ذكرا، جميعهم مشاركون يمينيون.
    5. حدد التوازن الديموغرافي عمليا قبل التوظيف. في هذا البروتوكول التجريبي، استخدم هذا المصطلح للدلالة على توزيع جنسي متوازن تقريبا ونطاق عمري يتركز في بداية البلوغ لتقليل التباين المرتبط بالعمر في تخطيط الدماغ واستجابات تعبيرات الوجه.
  3. الحصول على الموافقة المستنيرة
    1. تزويد كل مشارك بنموذج موافقة مستنيرة مكتوب يصف تسجيل تخطيط الدماغ الكهربائي، وتسجيل الفيديو الوجهي، وإجراءات التزامن، وعدم الهوية، وتخزين البيانات، وحق الانسحاب في أي وقت دون عقوبة.
    2. اشرح أن صور الوجه ستستخدم لاستخراج الميزات، وأن مناطق العين ستخفي في جميع أشكال المخطوطات لحماية هوية المشارك.
    3. احصل على موافقة مكتوبة ومستنيرة قبل بدء أي إجراء تجريبي.
  4. تعيين المعرفات وإخفاء الهوية للبيانات
    1. خصص لكل مشارك معرف دراسة رقمي فريد. تخزين ملفات تخطيط الدماغ، وملفات الفيديو، والبيانات الوصفية باستخدام معرف الدراسة فقط.
    2. تخزين نماذج الموافقة القابلة للتعريف بشكل منفصل عن البيانات الفسيولوجية والصورية. استخدم إطارات الوجه غير المحددة أو المخرجات المستمدة من معالم الوجه لتخزين التحليل الداخلي عند الحاجة بموجب سياسة الأخلاقيات المحلية.

2. البيئة التجريبية وإعداد المحفزات

  1. تحضير بيئة المشاهدة
    1. جهز غرفة داخلية هادئة لمحاكاة بيئة معرض لوحات محكمة. حافظ على درجة حرارة محيطة بين 22–24 درجة مئوية ورطوبة نسبية بين 45٪–60٪. تحكم في ضوضاء الخلفية أقل من 40 ديسيبل حيثما أمكن.
    2. أجلس المشارك على كرسي قائم مع دعم ظهر ووضع الكرسي بحيث تكون مسافة المشاهدة بين المشارك والعرض 2.0 متر.
    3. طلب من المشارك البقاء جالسا بمفرده في منطقة التسجيل أثناء تقديم المنبه. لا تسمح للمشاركين الآخرين أو المراقبين بأن يكونوا في مجال الرؤية المباشرين أثناء جمع البيانات.
  2. تكوين الإضاءة
    1. قم بتركيب إضاءة دائرية أو دائرية منتشرة أمام المشارك لتقليل ظلال الوجه. اضبط الإضاءة على مستوى مستقر يقارب 500 لوكس عند مستوى الوجه.
    2. تجنب التقلبات السريعة في الإضاءة والوهج المباشر على العينين أو الجبهتين أو الخدين. نقطة التحقق البصرية: تأكد من أن الوجه بالكامل، بما في ذلك الجبهة، والحواجب، والعينين، والأنف، والخدين، ومنطقة الفم، مرئي في معاينة الكاميرا دون تعريض مفرط أو ظل عميق.
  3. تكوين عرض المنبهات البصرية
    1. عرض المحفزات البصرية على شاشة أو شاشة عرض. في هذا البروتوكول التوضيحي، استخدم شاشة عرض بلورة سائلة بحجم 27 بوصة بدقة 1,920 × 1,080 بكسل ومعدل تحديث 60 هرتز.
    2. عرض محفزات المشاهدة للرسم بصيغة فيديو أو عرض شرائح وفقا لتصميم الدراسة. استخدم نفس قواعد سطوع الشاشة، والتباين، وترتيب العرض لجميع المشاركين.
    3. قدم كل مقطع لوحة لمدة 90–120 ثانية. في هذا البروتوكول التجريبي، استخدم 6 مقاطع بمدة كل منها 100 ثانية، مع فترة راحة تحفيزية 20 ثانية.
      تحذير: قم بتأريض جميع الأجهزة الكهربائية بشكل صحيح ووضع مضخم EEG وكابلات الطاقة بعيدا عن مصادر التداخل العالي لتقليل ضوضاء الخط بنسبة 50/60 هرتز.

3. جمع البيانات متعدد الوسائط

  1. الحصول على فيديو الوجه
    1. ضع كاميرا صناعية عالية الدقة مباشرة أمام المشارك على مستوى العين تقريبا. اضبط مسافة الكاميرا إلى الوجه على 1.2 متر.
    2. استخدم كاميرا بدقة اكتساب لا تقل عن 1,920 × 1,080 بكسل ومعدل إطارات 30 إطارا في الثانية.
    3. اضبط التعريض يدويا لتجنب التقلب بين الإطارات. في هذا البروتوكول التوضيحي، استخدم ISO 400، وسرعة غالق 1/60 ثانية، وتوازن اللون الأبيض الثابت.
    4. احفظ الفيديو بصيغة MP4 أو AVI باستخدام معدل إطارات ثابت. في هذا البروتوكول التوضيحي، حفظ الفيديو ك MP4، ترميز H.264، 30 إطارا في الثانية.
    5. تحقق من أن الوجه الكامل يبقى في مجال الرؤية طوال جلسة التسجيل. نقطة التحقق البصرية: تأكد من أن الحواجب والجبهة مرئية بالكامل. أعد وضع الكاميرا فورا إذا تم قص الجبهة أو منطقة الحاجب أو الذقن.
      ملاحظة: استخدم 30 إطارا في الثانية لأن معدل الإطارات هذا يوفر دقة زمنية كافية لديناميكيات تعبير الوجه منخفضة الشدة مع الحفاظ على حمل تخزين ومعالجة قابل للإدارة في التسجيل المتزامن متعدد الوسائط.
  2. الحصول على إشارات تخطيط الدماغ
    1. قس محيط الرأس واختر الحجم المناسب للغطاء للمشارك. ضع غطاء EEG ذو 64 قناة وفقا للنظام الدولي 10–20 أو تخطيط تمديد 64 قناة محدد من الشركة المصنعة.
    2. قم بمحاذاة الغطاء باستخدام علامات تشريحية. ضع Fpz على الخط الأوسط فوق الناسيون وتحقق من التماثل عبر نصفي الكرة الأيسر والأيمن.
    3. افصل الشعر عند كل موقع قطب كهربائي وطبق جل موصل لتحسين تلامس الأقطاب مع فروة الرأس.
    4. جهز فروة الرأس بلطف في مواقع عالية المقاومة باستخدام مسحة قطنية أو أداة تحضير البلانت. لا تفرط الجلد بشكل مفرط.
    5. توصيل المكثف بمضخم EEG وقم بقياس الممانعة. تقليل مقاومة الأقطاب إلى أقل من 10 كيلو أوم لجميع القنوات. في هذا البروتوكول التجريبي، استهدف < 5 كيلو أوم للأقطاب الأمامية والمركزية عند الإمكان.
    6. اضبط تردد العينة على 500 هرتز. اضبط المرجع الإلكتروني وفقا لتكوين المضخم. في هذا البروتوكول التجريبي، استخدم مرجعا مرتبطا للخشاء أثناء الاكتساب وقم بإعادة الإشارة المتوسطة الشائعة أثناء المعالجة المسبقة.
    7. ضع قطب التأريض وفقا لمواصفات المضخم. في هذا البروتوكول التوضيحي، ضع الأرض في منطقة AFz. سجل على الأقل 60 ثانية من الراحة قبل تقديم المحفز.
    8. نقطة التحقق البصرية: افحص آثار تخطيط الدماغ الحية قبل بدء التجربة. تأكيد استقرار النشاط الأساسي الأساسي، الانجراف المنخفض، وغياب القنوات المشبعة المستمرة أو التشجيعات الحركية الرئيسية.
  3. مزامنة تخطيط الدماغ الكهربائي وتدفقات الفيديو
    1. توصيل كمبيوتر عرض التحفيز بمدخل مشغل مضخم EEG باستخدام كابل زناد منطقي ترانزستور-ترانزستور (TTL) أو صندوق الزناد.
    2. استخدم برنامج العرض لإرسال نبضة زناد TTL عند بداية كل مقطع رسم ونبضة زناد ثانية عند إزاحة كل مقطع.
    3. قم بتعيين رموز تفعيل فريدة لكل نوع من الحدث. في هذا البروتوكول التجريبي، استخدم 11–16 لبدء القطع و21–26 لإزاحة المقطع.
    4. سجل تدفق الكاميرا وتدفق EEG في نفس الوقت من 5 ثوان على الأقل قبل أول مشغل وحتى 5 ثوان على الأقل بعد المحفز النهائي. سجل جدول الطوابع الزمنية تلقائيا في برنامج التحفيز.
    5. تحقق من التزامن بعد الاستحواذ عن طريق مطابقة الطوابع الزمنية للمحفزات في تسجيل EEG مع مؤشرات إطارات الفيديو من سجل العرض. نقطة التحقق البصرية: تأكد من أن متوسط خطأ المحاذاة بين طوابع زمن تفعيل EEG وإطارات الفيديو ضمن ±33 مللي ثانية عند 30 إطارا في الثانية.
      ملاحظة: إذا لم تتوفر واجهة تزامن دقيقة لإطار العتاد، قم بتصدير سجلات الطوابع الزمنية من كلا النظامين وقم بتصحيح المحاذاة غير المتصلة باستخدام مطابقة بدء الزناد.
  4. تسجيل البيانات التجريبية
    1. اطلب من المشارك رؤية اللوحات بشكل طبيعي مع تقليل حركات الرأس الكبيرة، والرمش المفرط، والكلام، ولمس الوجه.
    2. قدم مقاطع الرسم المحددة مسبقا بالترتيب المختار. سجل مقاطع EEG وفيديو الوجه المتزامنة باستمرار طوال جلسة المشاهدة.
    3. أوقف التجربة وأعد فحص الأقطاب إذا تجاوزت أكثر من 5 قنوات عتبة المعاوقة أثناء التسجيل. توثيق الانقطاعات، وعدم ارتياح المشاركين، والمشاكل التقنية في سجل الجلسة.

4. المعالجة المسبقة لتخطيط الدماغ واستخراج الميزات

  1. استيراد بيانات تخطيط الدماغ الخام
    1. استورد تسجيلات تخطيط الدماغ الخام إلى بيئة التحليل. في هذا البروتوكول التجريبي، استخدم إما MATLAB R2023b مع EEGLAB 2024.0 أو بايثون 3.10 مع MNE 1.6.
    2. استورد علامات الأحداث وتحقق من وجود جميع محفزات بداية وتعويض المحفز.
  2. تقليل عينات إشارات تخطيط الدماغ
    1. قم بتقليل عينات الإشارات من 500 هرتز إلى 200 هرتز ومعالجتها مسبقا وفقا لسير العمل الموضح في الشكل 1.
    2. تطبيق مضاد التنعيم أثناء إعادة العينة وفقا للإعدادات الافتراضية للبرنامج أو إعدادات المرشح المحددة.
  3. تصفية إشارات تخطيط الدماغ
    1. تطبيق مرشح تمرير النطاق من 0.5 إلى 45 هرتز. ضع مرشح نتش عند تردد القدرة المحلية إذا بقيت ضوضاء الخط المرئية. في هذا البروتوكول التوضيحي، قم بتطبيق مرشح شق 50 هرتز.
  4. إزالة القطع الأثرية
    1. افحص تخطيط الدماغ المستمر يدويا وحدد الأجزاء التي تحتوي على تشوهات حركة إجمالية.
    2. شغل تحليل المكونات بشكل مستقل على البيانات المصفاة. حدد المكونات المرتبطة برمشات العين، وحركات العين الأفقية، وتوتر الفك، أو نشاط العضلات باستخدام خرائط فروة الرأس، ومسارات الزمن، وأطياف القوة.
    3. قم بإزالة المكونات الأثرية المحددة وإعادة بناء إشارات تخطيط الدماغ النظيفة. رفض المقاطع التي لا تزال تحتوي على تقلب شديد في السعة بعد تصحيح تحليل المكونات بشكل مستقل. في هذا البروتوكول التجريبي، يتم رفض المقاطع التي تتجاوز ±100 ميكروفولت.
  5. إعادة الإشارة إلى البيانات
    1. أعد الإشارة إلى إشارات تخطيط الدماغ المنظفة إلى المرجع المتوسط الشائع.
  6. تقسيم بيانات تخطيط الدماغ الكهربائي
    1. قم بإصدار تخطيط الدماغ المستمر حسب محفزات بداية المنبه. استخراج المقاطع المحاطة بالمحفزات التي تغطي نافذة التحليل الكاملة أو الثابتة. في هذا البروتوكول التوضيحي، قسم تخطيط الدماغ إلى نوافذ 2.0 ثانية مع تداخل بنسبة 50٪. استبعد النوافذ التي تحتوي على تشوهات متبقية بعد التقسيم.
  7. حساب ميزات الإنتروبيا التفاضلية
    1. قم بتقسيم كل جزء من تخطيط الدماغ إلى النطاقات الترددية التالية: دلتا (1–4 هرتز)، ثيتا (4–8 هرتز)، ألفا (8–13 هرتز)، بيتا (13–30 هرتز)، وغاما (30–45 هرتز).
    2. احسب الإنتروبيا التفاضلية لكل نطاق تردد لكل قناة. استخدم المعادلة التالية لمتغير غاوسي:
      DE = 1/2 ln(2πeσ2)، حيث σ2 هو تباين إشارة EEG محدودة النطاق.
    3. ترتيب قيم الإنتروبيا التفاضلية حسب القناة في مصفوفة طبوغرافية ثنائية الأبعاد أو مصفوفة خصائص القناة لإدخال النموذج.
    4. في هذا البروتوكول التوضيحي، تولد خرائط ميزات EEG بحجم إدخال 128 × 128 × 5 لكل نافذة تحليل. نقطة التحقق البصرية: رسم خرائط الإنتروبيا التفاضلية الممثلة لكل نطاق وتأكيد عدم وجود قنوات مفقودة، أو خرائط ذات قيم ثابتة، أو انهيار غير طبيعي على مستوى نطاق.

5. معالجة الفيديو للوجه

  1. استخراج إطارات الصور
    1. فك تشفير الفيديو المسجل إلى إطارات صور باستخدام خط أنابيب مكتوب. استخراج الإطارات بسرعة 25 إطارا في الثانية لإدخال النموذج مع الحفاظ على بيانات التزامن الوصفية.
  2. اكتشاف ومحاذاة الوجه
    1. اكتشف الوجه في كل إطار باستخدام كاشف وجوه معتمد. حدد معالم الوجه واصطف الوجه بناء على مراكز العين أو نقاط التثبيت القياسية. تخلص من الإطارات التي لا يتم فيها اكتشاف الوجه بشكل موثوق.
  3. قص وتغيير حجم منطقة الوجه
    1. اقتصاص الوجه إلى صندوق الحدود المكتشف مع هامش صغير للحفاظ على معلومات الكونتور. قم بتغيير حجم صورة الوجه المقطوعة إلى 224 × 224 بكسل.
    2. افحص عينات الوجه المقصوصة من الفئات الأربع للمشاعر المستهدفة، كما هو موضح في الشكل 2، وتأكد من أن الجبهة، والحواجب، والعينين، والأنف، والخدين، والفم تبقى مرئية بعد القص.
  4. تعزيز صور التدريب
    1. طبق الانقلاب الأفقي العشوائي باحتمال 0.5 على مجموعة التدريب فقط. طبق الدوران العشوائي ضمن ±15° فقط على مجموعة التدريب.
    2. لا تطبق التعزيز على الصور للتحقق أو الاختبار.
  5. تطبيع مدخلات الوجه
    1. قم بتطبيع قيم البكسلات إلى النطاق [-1, 1] أو استخدم قاعدة التطبيع الخاصة بالعمود الفقري بشكل متسق عبر جميع التقسيمات.

6. بناء الشبكة العصبية متعددة الوسائط

  1. تكوين بيئة البرمجيات والأجهزة
    1. نفذ النموذج في بايثون 3.10 باستخدام PyTorch 2.1. تشغيل التدريب على أوبونتو 22.04 أو نظام تشغيل محدد آخر.
    2. استخدم محطة عمل بذاكرة لا تقل عن 32 جيجابايت، ووحدة معالجة رسومات واحدة بذاكرة فيديو لا تقل عن 12 جيجابايت، ومساحة تخزين محلية كافية لبيانات EEG-فيديو متزامنة. في هذا البروتوكول التجريبي، استخدم وحدة معالجة رسومات NVIDIA RTX 3080.
    3. تخزين سكريبت التدريب، وملف تعريف النموذج، وسكريبت المعالجة المسبقة، وملف التكوين في مجلد مشروع يتحكم به الإصدارات.
    4. الإبلاغ عن مستودع الكود أو حزمة السكربت المؤرشفة في المخطوطة إذا كان مسموحا بالمشاركة.
  2. بناء الفرع الوجهي
    1. قم ببناء الإطار المتعدد الوسائط ذو الفرعين كما هو موضح في الشكل 3. قم بتهيئة عمود فقري MobileNetV2 لفرع الوجه.
    2. قم بتعديل الطبقة الالفافية الأولى من 32 قناة إلى 24 قناة. ابن فرع استخراج السمات الوجهية وفقا للشكل 4 وأدرج وحدات انتباه الإحداثيات بعد الكتل المقلوبة المتبقية المختارة، كما هو موضح في الشكل 5.
    3. استبدال الالتفافات القياسية المعينة بالتفافات عمق متوازية بحجم 3 × 3 و5 × 5 نواة لتحسين استخراج الميزات متعدد المقاييس.
    4. تصدير متجه ملامح وجه ذات بعد ثابت للاندماج. في هذا البروتوكول التوضيحي، استخدم بعد ميزة 256.
  3. بناء فرع تخطيط الدماغ
    1. أدخل خاصية الإنتروبيا التفاضلية إلى مشفر شبكة عصبية الالتفافية. استخدم الطبقات الالتفافية لاستخراج الأنماط المكانية من خرائط ميزات EEG.
    2. تغذية تسلسل الإخراج الالتفافي إلى وحدة ذاكرة طويلة الأمد ثنائية الاتجاه لالتقاط الاعتماد الزمني عبر النوافذ.
    3. تصدير متجه ميزة EEG ثابت الأبعاد. في هذا البروتوكول التوضيحي، استخدم بعد ميزة 256.
  4. بناء وحدة الاندماج متعددة الوسائط
    1. نفذ وحدة تفاعل الميزات متعددة الوسائط الموضحة في الشكل 6. نفذ كتلة تركيز متعددة الرؤوس مع 8 رؤوس.
    2. استخدم تسلسل ميزات تخطيط الدماغ كاستعلام، وتسلسل ميزات الوجه كمفتاح وقيمة في تدفق واحد من الانتباه المتقاطع.
    3. استخدم تسلسل ميزات الوجه كاستعلام وتسلسل ميزات تخطيط الدماغ كمفتاح وقيمة في تدفق الانتباه المتبادل.
    4. ادمج المخرجات من تيارين متقاطعين للانتباه. مرر الميزة المتصلة عبر طبقة إسقاط اندماج.
  5. إضافة وحدة الالتفاف المتوسعة ذاتية الباقي
    1. قم بتحسين التمثيل المنصهري باستخدام طبقة الاتصال الذاتية المتوسعة الموضحة في الشكل 7.
    2. قم ببناء طبقة التفاف متسعة باستخدام معدلات توسع 1، 3، 6، و12. اربط المخرجات من الفروع الأربعة للتوسع.
    3. أضف اتصالات تخطي متبقية لتثبيت تدفق التدرج والحفاظ على المعلومات على المستوى الأدنى.
  6. إضافة المصنف
    1. قم بتسطيح أو تجميع التمثيل المندمج. أضف طبقة واحدة متصلة بالكامل وطبقة إخراج سوفتماكس نهائية. اضبط فئات النتائج على الخوف، والسعادة، والهدوء، والحزن.
  7. تحديد إعدادات التدريب
    1. استخدم إعدادات الشبكة والتدريب الملخصة في الجدول 1. تم تعريف الفئات العاطفية الأربع (الخوف، السعادة، الهدوء، والحزن) عمليا باستخدام إجراء تصنيف مشترك يعتمد على تصميم المنبه وتقرير المشارك الذاتي. تم اختيار كل مقطع لوحة مسبقا لإثارة فئة عاطفية مستهدفة، وأبلغ المشاركون عن تجربتهم العاطفية السائدة بعد المشاهدة. تم تعيين التصنيفات النهائية عن طريق مواءمة فئة المنبه المقصودة مع الاستجابات التي تم الإبلاغ عنها ذاتيا، وتم استبعاد العينات غير المتسقة لضمان موثوقية الوسم.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

النتائج

تم تقييم أداء شبكة الانتباه المتقاطع ذات الفرعين المقترحة باستخدام مجموعة البيانات متعددة الوسائط التي جمعت من 327 مشاركا أثناء مشاهدة الرسم. كانت النتيجة الأساسية هي تصنيف المشاعر بأربع فئات للخوف، والسعادة، والهدوء، والحزن. فحصت تحليلات إضافية سلوك النموذج أحادي الطريقة، والتقارب متعدد الوسائط، والحساسية لعدد رؤوس الانتباه، وأداء التعرف المقارن، وسلوك الشبكات الفرعية للوجه وتخطيط الدماغ الكهربائي. لم يتم تضمين مجموعة ضابطة منفصلة في هذه الدراسة، لأن الهدف كان تقييم الأداء النسبي عبر ال...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المناقشة

يعالج هذا البروتوكول مشكلة عملية في الحوسبة العاطفية، وهي كيفية التعرف على الحالات العاطفية في بيئات مشاهدة الرسم حيث قد لا يتطابق التعبير المرئي والاستجابة الفسيولوجية تماما في كل لحظة. تحت الظروف التجريبية المذكورة هنا، حقق إطار الفرع المزدوج أداء تصنيفي أعلى من نماذج المقارنة أحادية الوضع، مما يدعم قيمة دمج تخطيط كهربائي الدماغ ومعلومات التعبير عن الوجه في بيئات شبيهة بالعرض. تشير النتائج إلى أن التكامل متعدد الوسائط مفيد بشكل خاص عندما تكون التغيرات في الوجه طفيفة أو معتدلة اجتماعيا،...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

الإفصاحات

يعلن المؤلفون عدم وجود تضارب مصالح.

شكر وتقدير

نعبر عن خالص امتناننا للمتطوعين من جامعة مينزو نورمال في شينغيي وجامعة ساوثويست لمشاركتهم في التجارب. نشكر أيضا الطاقم الفني في جامعة جيرونا على مساعدتهم في جمع بيانات EEG والمراجعين المجهولين على تعليقاتهم العميقة.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
إطار التعلم العميقبايتورشv2.0 / https://pytorch.orgيستخدم في بناء النماذج والتدريب والتقييم
نظام اكتساب EEG (64 قناة)منتجات برين GmbHactiCHamp Plus / v1.6يستخدم لاكتساب إشارة EEG عالية الدقة أثناء التجارب
غطاء قطب EEG (10– نظام 20)منتجات برين GmbHأكتي كاب / 64 قناةستاندرد إنترناشونال 10– وضع 20 قطب كهربائي
كاميرا عالية الدقةشركة سونيمستشعر IMX327يستخدم لتسجيل تعبيرات الوجه بالفيديو (≥ 1080p، 30 إطار في الثانية)

المراجع

  1. Yang, Y., et al. A dual-stream regional feature learning and adaptive fusion method for electroencephalogram-based emotion recognition. Eng Appl Artificial Intell. 164, 113250(2026).
  2. Li, C., Pun, S. H., Li, J. W., Chen, F. Eeg-based emotion recognition using graph attention network with dual-branch attention module. 2024 46th Ann Int Conf IEEE Eng Me Biol Soc (EMBC), , 1-4 (2024).
  3. Ubillús, J. A. T., et al. Algorithms used for facial emotion recognition: A systematic review of the literature. EAI Endorsed Transact Pervasive Health Technol. 9, 1-17 (2023).
  4. Xu, Y., Cheng, L. Face emotion recognition based on gabor wavelet and particle swarm optimization algorithm. Multimed Syst. 31 (6), 435(2025).
  5. Dube, D. Y., Sannasi, M. V., Kyritsis, M., Gulliver, S. R. Facial emotion recognition from feature loss media: Human versus machine learning algorithms. Comp Human Behav. 174, 108806(2026).
  6. Manuel, M. T. J., Medina-DeVilliers, S., Clarkson, T., Lerner, M. D., Riccardi, G. Evaluation of interpretability for deep learning algorithms in EEG emotion recognition: A case study in autism. Artif Intell Med. 143, 102545(2023).
  7. Watanabe, A., Yamazaki, T. Representation of the brain network by electroencephalograms during facial expressions. J Neurosci Meth. 357, 109158(2021).
  8. Prakash, A., Poulose, A. Electroencephalogram-based emotion recognition: A comparative analysis of supervised machine learning algorithms. Data Sci Manag. 8 (3), 342-360 (2025).
  9. Sun, Y., Ayaz, H., Akansu, A. N. Multimodal affective state assessment using fnirs + eeg and spontaneous facial expression. Brain Sci. 10 (2), 85(2020).
  10. Huang, Y., Yang, J., Liu, S., Pan, J. Combining facial expressions and electroencephalography to enhance emotion recognition. Future Internet. 11 (5), 105(2019).
  11. Han, Q., et al. A multi-branch electroencephalogram emotion recognition framework based on cross-subject or cross-session multi-perspective representation fusion. Neurocomputing. 658, 131767(2025).
  12. Wang, L., Chang, Y., Wang, K. Dual-branch multimodal fusion network for driver facial emotion recognition. Appl Sci. 14 (20), 9430(2024).
  13. Mutawa, A. M., Hassouneh, A. Multimodal real-time patient emotion recognition system using facial expressions and brain EEG signals based on machine learning and log-sync methods. Biomed Signal Proc Contr. 91, 105942(2024).
  14. Qi, Y., Ibrayim, M., Hamdulla, A. Attention-based dual-branch network for micro-expression recognition with global-local feature fusion. 2024 IEEE Int Joint Conf Biometr (IJCB), , 1-9 (2024).
  15. Li, E. Intervention of art education on college students’ aesthetic mood based on emotion recognition algorithm. Front Art Res. 6 (9), 81-90 (2024).
  16. Liu, Z., Han, M., Wu, B., Rehman, A. Speech emotion recognition based on convolutional neural network with attention-based bidirectional long short-term memory network and multi-task learning. Appl Acoustics. 202, 109178(2023).
  17. Xue, P., Wang, S., Bai, J., Qiang, Y. Research on bimodal emotion recognition algorithm based on multi-branch bidirectional multi-scale time perception. J Biome Eng. 42 (3), 528-536 (2025).
  18. Shioiri, S., Nagata, H., Sato, Y., Hatori, Y. Prediction of preference judgments of face images using facial expressions and eeg signals. J Vis. (9), 5063(2023).
  19. Lu, Y., Chen, J. Cross-subject EEG emotion recognition using the SSA-EMS algorithm for feature extraction. Entropy. 27 (9), 986(2025).
  20. Thapa, D., Rai, R. Freq-eer: A novel frequency-driven ensemble framework for emotion recognition and classification of eeg signals. Appl Sci. 15 (19), 10671(2025).
  21. Yang, Y., et al. Investigating of deaf emotion cognition pattern by eeg and facial expression combination. IEEE J Biomed Health Inform. 26 (2), 589-599 (2022).
  22. Tong, L., Yang, L., Wang, X., Liu, L. Self-aware face emotion accelerated recognition algorithm: A novel neural network acceleration algorithm of emotion recognition for international students. PeerJ Comput Sci. 9, e1611(2023).

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

إعادة الطباعة والأذونات

الوسوم

التعرف على العواطف عبر تخطيط كهربائية الدماغتحليل تعبيرات الوجهالإنتروبيا التفاضليةالشبكة العصبونية الالتفافيةالذاكرة طويلة المدى قصيرة المدى ثنائية الاتجاهالحوسبة العاطفيةالتفاعل بين الإنسان والحاسوب
تواصل معنا
أوصِ به للمكتبة

الخصوصية

شروط الاستخدام

السياسات

حقوق الطبع والنشر © 2026 MyJoVE Corporation. جميع الحقوق محفوظة.