التحقق الأولي من صحة خوارزمية لتحليل تعبيرات الوجه والحركة أثناء مهام استثارة العواطف لدى البالغين الأصحاء

Saurabh Shaligram; Sandeep Pendurkar; Yashashree Joshi; Manasi Oza; Jyoti Jamlingappanavar; Arya Alurkar; Girish Babu Nanjundappa; Naren Prahlad Rao; Rishikesh Vijay Behere

doi:10.3791/70843

يتطلب اشتراك JoVE لعرض هذا المحتوى. تسجيل الدخول أو ابدأ نسخة تجريبية مجانية

مقالة بحثية

التحقق الأولي من صحة خوارزمية لتحليل تعبيرات الوجه والحركة أثناء مهام استثارة العواطف لدى البالغين الأصحاء

58 مشاهدة

⸱

DOI:

10.3791/70843

⸱

أغسطس 14, 2026

Saurabh Shaligram¹ , Sandeep Pendurkar¹ , Yashashree Joshi¹ , Manasi Oza² , Jyoti Jamlingappanavar² , Arya Alurkar² , Girish Babu Nanjundappa² , Naren Prahlad Rao² , Rishikesh Vijay Behere²

¹Nihilent Ltd., ²Manoshanti Centre for Emotional Well Being, a Unit of GNR Health Care Pvt Ltd.

في هذه المقالة

ملخص

تتحقق هذه الدراسة بشكل أولي من صحة خوارزمية FEA، وهي خوارزمية تعلّم آلي مملوكة، للكشف عن الاستجابات أثناء مهام المحفزات العاطفية. وتبحث الدراسة في مدى التوافق بين درجات خوارزمية FEA ومحفزات العواطف الوجهية المعيارية باستخدام إطار عمل Navarasa لدى البالغين الأصحاء، لتقييم ما إذا كان النظام يعكس الاستجابات المرتبطة بالعواطف بشكل موثوق في ظل ظروف تجريبية مضبوطة.

الملخص

صُمم هذا البروتوكول للتحقق الأولي من صحة Emoscape، وهو خوارزمية تعلم آلي مملوكة تعتمد على إطار عمل Navarasa، وذلك من خلال اختبار ما إذا كانت درجات العاطفة الخاصة بها تتغير بالتوافق مع مهام استثارة العواطف المعيارية لدى البالغين الأصحاء. تم استقطاب اثنين وسبعين بالغاً صحيحاً بعد تقديم موافقة مستنيرة مكتوبة. أكمل المشاركون استبيان صحة المريض-9 (Patient Health Questionnaire-9) ومقياس اضطراب القلق العام-7 (Generalized Anxiety Disorder-7)، ثم شاهدوا محفزات العواطف الوجهية من مجموعة TRENDS وصور Navarasa، بينما قامت خوارزمية FEA بتسجيل الحركات الدقيقة للجزء العلوي من الجسم طوال المهمة. كما قام المشاركون بتحديد العواطف المعروضة. تم تحليل التغيرات في درجات خوارزمية FEA مقارنة بالقيمة المرجعية أثناء التعرض لمحفزات الحياد، والسعادة، والخوف، والغضب من مجموعة TRENDS، وكذلك أثناء التعرض لصور Navarasa. استُخدم تحليل خصائص تشغيل المستقبل (Receiver operating characteristic analysis) لتقدير الحساسية والنوعية للتمييز بين الفئات العاطفية. أظهرت درجات خوارزمية FEA انحرافات ذات دلالة إحصائية عن القيمة المرجعية لصور TRENDS المرتبطة بالعواطف المقابلة (الحياد–Shanta، السعادة–Haasya، الخوف–Bhayanaka، والغضب–Raudra). كما لوحظت تغيرات متوافقة في صور Navarasa، حيث كانت جميع متوسطات الفروق ذات دلالة إحصائية (p < 0.001). تباينت قيم المساحة تحت المنحنى (AUC) عبر الفئات. وأظهرت خوارزمية FEA حساسية متوسطة للعواطف السارة (70–80%) والعواطف غير السارة (60–70%). توفر هذه النتائج دعماً أولياً للبروتوكول ولاستخدام خوارزمية FEA لتقييم الاستجابات المرتبطة بالعواطف أثناء مهام استثارة العواطف المنضبطة لدى البالغين الأصحاء.

المقدمة

يُعد التعرف على العواطف مجالاً هاماً من مجالات البحث في العلوم العصبية المعرفية الاجتماعية، مع تطبيقات سريرية وبحثية محتملة. وتعمل الطرق الحالية للتقييم العاطفي على قياس التغيرات في النشاط الفسيولوجي، مثل تخطيط كهربية الدماغ (EEG) أو مقاومة الجلد الجلفانية (GSR)، لاستنتاج الحالات العاطفية. ومع ذلك، فإن هذه الطرق معقدة وتداخلية. وتوفر القياسات المباشرة لحركات الوجه والجسم مؤشراً أكثر فورية وقابلية للملاحظة للحالة الوجدانية للفرد¹^,²^,³. وتُستخدم خوارزميات تعلم الآلة (ML)، وبخاصة تلك المدربة على مجموعات بيانات كبيرة وغير متجانسة من تعبيرات الوجه، لفك تشفير هذه الإشارات غير اللفظية الدقيقة وتصنيف الحالات العاطفية. وبينما لا تزال خوارزميات تعلم الآلة التقليدية، مثل آلات متجه الدعم (SVMs)، مستخدمة على نطاق واسع، فقد أظهرت بنيات التعلم العميق، ولا سيما الشبكات العصبية (NNs)⁴^,⁵ أداءً متفوقاً، خاصة عند تدريبها على مجموعات بيانات واسعة النطاق، وذلك بفضل قدرتها على استخراج الميزات تلقائياً⁶. ومن الأمثلة على النماذج التقليدية في السياق الهندي أداة تفاعلية تتبنى نموذجاً أبعادياً قائماً على التكافؤ لتحديد مستوى الاستثارة. ويجب أن تكون أطر التعرف على العواطف حساسة للسياق الثقافي. ففي الوسط الثقافي الهندي، يوفر إطار "Navarasa" تصنيفاً دقيقاً لتسع عواطف أساسية، ومع ذلك، لا يزال هذا الإطار غير مفحوص إلى حد كبير ضمن أبحاث التعرف على العواطف المعتمدة على تعلم الآلة. وهناك ندرة نسبية في مناهج تعلم الآلة المصدقة بدقة والتي تحلل مباشرة الإشارات السلوكية الملحوظة، مثل تعبيرات الوجه الدقيقة وحركات الجسم⁷^,⁸. ويمكن استخدام خوارزميات تعلم الآلة المعتمدة على التعبيرات في الوقت الفعلي، كما أنها سهلة التطبيق وغير تداخلية.

تُعد خوارزمية تحليل تعبيرات الوجه والحركة [والتي سيشار إليها فيما يلي باسم خوارزمية FEA] خوارزمية مملوكة تعتمد على التعلم الآلي (ML)، حيث تقوم بتحليل التعبيرات الوجهية الدقيقة وحركات الجزء العلوي من الجسم، وتنشئ تمثيلات ديناميكية لمسارات العواطف ودرجات مجمعة لكل من الراسات (rasas) التسع، بناءً على إطار عمل "نافاراسا" (Navarasa). هدفت هذه الدراسة إلى إجراء تحقق أولي من صحة خوارزمية FEA من خلال فحص التوافق بين الدرجات المستمدة من FEA والاستجابات لمحفزات العواطف الوجهية القياسية لدى متطوعين أصحاء من البالغين.

ولتحقيق هذه الغاية، نستند إلى مفاهيم نظرية العقل (ToM) ونظام الخلايا العصبية المرآتية. تُعد نظرية العقل قدرة معرفية اجتماعية أساسية تمكّن الأفراد من استنتاج وتفسير الحالات الذهنية والعاطفية للآخرين في السياقات الاجتماعية⁹. وتشير الأدلة التجريبية إلى أن التعرض للمثيرات العاطفية الوجهية ينشط شبكات الخلايا العصبية المرآتية، والتي تؤدي بدورها إلى استحضار حالة عاطفية بديلة ومتوافقة لدى المراقب¹⁰. إن التعديل الناتج في الحالة العاطفية الذاتية الداخلية للفرد استجابةً لمشاهدة تعبيرات الوجه العاطفية، إذا تم رصده بواسطة خوارزمية تحليل تعبيرات الوجه (FEA)، يمكن أن يوفر تحققاً أولياً من صحة الخوارزمية.

نحن نفترض أن التعرض للمحفزات العاطفية للوجه التي تتوافق مع فئة معينة من "نافاراسا" (Navarasa) سيؤدي إلى انحراف ذو دلالة إحصائية عن الخط الأساسي في درجة خوارزمية FEA لتلك العاطفة من عواطف "نافاراسا".

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

البروتوكول

تمت الموافقة على بروتوكول الدراسة من قبل لجنة أخلاقيات مستشفيات سوشروتا، هوبالي، كارناتاكا، الهند (رقم تسجيل اللجنة: ECR/372/INST/KA/2013/RR-19)، وتم الحصول على موافقة كتابية مستنيرة من جميع المشاركين قبل الالتحاق بالدراسة.

تعد خوارزمية FEA طريقة مملوكة تعتمد على التعلم الآلي (ML) للتحليل الفوري للتعبيرات الوجهية الدقيقة وحركات الجزء العلوي من الجسم لاستنتاج الحالات العاطفية باستخدام إطار عمل Navarasa. يحدد إطار عمل Navarasa، المستمد من نظرية الجمال الهندية الكلاسيكية، تسعة عواطف أساسية هي: shringara (الحب)، وhaasya (البهجة)، وkaruna (الحزن/التأمل)، وadbhuta (المفاجأة)، وshanta (السلام)، وraudra (الغضب)، وveera (الشجاعة)، وbhayanaka (الخوف)، وvibhitsa (الاشمئزاز). وتستخدم خوارزمية FEA نموذج تعلم آلي مدرباً على التعبيرات الوجهية الدقيقة وحركات الجزء العلوي من الجسم المستخلصة من صور ممثلين يجسدون عواطف Navarasa التسعة. تستنتج الخوارزمية الحالة العاطفية للفرد من خلال تحليل الديناميكيات الوجهية الدقيقة والحركات الصغيرة من المدخلات المرئية التي تلتقطها كاميرا RGB واحدة، وتصدر درجات كمية لكل عاطفة من العواطف الأساسية التسعة. يتيح هذا التكوين غير الجراحي تقييماً عاطفياً طبيعياً وغير مزعج، مما يجعله مناسباً لمجموعة واسعة من الأبحاث والسياقات التطبيقية.

تطوير النموذج

تعتمد خوارزمية FEA على بنية الشبكة العصبية (NN). تم جمع مجموعة بيانات التدريب داخلياً، وهي تتكون من عدة ساعات من بيانات الفيديو المسجلة لممثلين هنود يجسدون عواطف Navarasa التسعة. تم اشتقاق مجموعة البيانات من تسجيلات فيديو محكومة لعدة ممثلين/مشاركين، مع إجراء تسجيلات/اختبارات متعددة لكل ممثل/مشارك عبر حالات عاطفية مستحثة مختلفة. بعد المعالجة المسبقة، بما في ذلك الكشف عن معالم الوجه، وفحوصات الاتساق الزمني، وتصفية الجودة، وإزالة الإطارات غير القابلة للاستخدام أو ذات الثقة المنخفضة، تم الاحتفاظ بنحو 25,000 عينة تدريب مهيكلة. وخلال عملية تنظيم مجموعة البيانات، تم تقسيم التسجيلات وفقاً لأكثر من عشرة معايير ديموغرافية ومعايير متعلقة بالتسجيل، بما في ذلك العمر والجنس وصفات أخرى ذات صلة، وتم موازنتها عمداً لتحقيق تمثيل عادل عبر هذه المعايير وتقليل التحيز الديموغرافي. تم الحفاظ على توزيع الجنس بنسبة 52% تقريباً للذكور و48% للإناث. غطى المشاركون بشكل عام الفئات العمرية للمراهقين والبالغين، مع تمثيل لمجموعات البالغين الأصغر سناً، والمتوسطين، وكبار السن. كان الممثلون/المشاركون مقيمين في الهند ومثلوا خلفيات إقليمية وثقافية هندية متعددة، بالإضافة إلى أعراق دولية متعددة متواجدة في الهند. ونظراً للقيود المتعلقة بحقوق الملكية، لا يمكن الكشف عن العدد الدقيق للممثلين/المشاركين، أو هوية الممثل/المشارك على المستوى الفردي، أو أعداد الفيديوهات/التسجيلات الدقيقة لكل ممثل، أو أعداد الإطارات الدقيقة، ومنهجية التعليق التوضيحي الداخلية، حيث تشكل هذه العناصر جزءاً من مجموعة البيانات المملوكة لشركة Nihilent Ltd. والملكية الفكرية لتطوير النموذج؛ وقد تم الإقرار بهذا القيد صراحةً في قسم المناقشة.

تمت معالجة الصور الوجهية المستخرجة من هذه التسجيلات باستخدام تقنيات معالجة الصور لاستخلاص سمات كمية، والتي استُخدمت لاحقاً كمدخلات لشبكة عصبية لأغراض التنبؤ. ثم تم تقييم هذا النموذج على مجموعة سكانية مستهدفة، واستُخدمت الرؤى المكتسبة لتحسين الإصدارات اللاحقة بشكل تكراري. وقد تكررت دورة التطوير والاختبار والتحسين هذه حتى استقر أداء النموذج. تم تنفيذ النموذج التنبئي النهائي على شكل مدرك متعدد الطبقات (MLP) يتكون من طبقة إدخال تضم حوالي 300 سمة مختارة، وطبقات خفية، وطبقة إخراج تنتج متجه درجات تساعي الأبعاد يتوافق مع فئات عواطف Navarasa التسع. وقد استُخلص في البداية أكثر من 700 سمة من البيانات الملتقطة، ثم تم تقليلها لاحقاً من خلال إجراءات اختيار السمات وتحسين النموذج. بعد ذلك، يتم تمرير درجة مخرج MLP إلى خوارزميات معالجة لاحقة مملوكة للاشتقاق النهائي لدرجات خوارزمية FEA المجمعة. وتعتبر التفاصيل المعمارية الإضافية — بما في ذلك العدد الدقيق للمعلمات القابلة للتدريب وأبعاد الطبقات المحددة — معلومات ملكية ولا يمكن الكشف عنها؛ وهو ما تم الإقرار به كأحد محددات التقرير الحالي. يتوفر وصف تفصيلي لتطوير النموذج في المواد التكميلية (Supplementary File 1 و Supplementary Figure 1).

خلال عملية التطوير التكراري، تم تقييم أداء النموذج باستخدام التحقق المتقاطع على مجموعة البيانات الداخلية، حيث تم تحقيق دقة تصنيف بنسبة 96% عبر فئات Navarasa التسع. بعد ذلك، أُجري تحقق مستقل على بيانات فيديو تزيد مدتها عن 15,000 دقيقة. وتتوفر في المواد التكميلية مصفوفة ارتباك معيارية بحجم 9 × 9 تلخص أداء التصنيف عبر جميع فئات Navarasa التسع (الملف التكميلي 1).

بعد عملية التثبيت، خضع النموذج لتحقق داخلي مضبوط تحت إشراف خبراء. ويؤكد هذا النهج على التحقق التجريبي من خلال الاختبار المباشر على أشخاص بشر، مما يسمح بتقييم قابلية التطبيق في العالم الحقيقي والمتانة عبر مجموعات سكانية متنوعة. ويلخص الشكل 1 عملية تطوير النموذج.

استبيان صحة المريض-9 (PHQ-9) ومقياس اضطراب القلق العام-7 (GAD-7): أكمل المشاركون استبيانات التقرير الذاتي تحت إشراف أخصائي نفسي مدرب لتقييم حالاتهم العاطفية الحالية. وشملت الأدوات المستخدمة استبيان صحة المريض-9 (PHQ-9)، ومقياس اضطراب القلق العام-7 (GAD-7). واعتُبرت الدرجة التي تزيد عن 9 في أي من المقياسين ذات دلالة سريرية.

التوجهات

تُعد أداة التعرف على العواطف في الاضطرابات النفسية العصبية (TRENDS) أداة مصادق عليها ثقافياً وحساسة بيئياً، صُممت لتقييم قدرات التعرف على عواطف الوجه¹¹. وقد تم التحقق من صلاحيتها للاستخدام لدى المجموعات السكانية الهندية، وهي تتكون من 40 صورة فوتوغرافية لممثلين يجسدون العواطف الأساسية العالمية وهي: الحياد، والسعادة، والخوف، والغضب، والحزن. وقد استُخدمت الصور المستمدة من أداة TRENDS كمحفزات مرجعية للمصادقة على مخرجات تصنيف العواطف الخاصة بخوارزمية FEA.

التصميم التجريبي

صُممت التجربة لاستثارة استجابة خوارزمية للمؤثرات العاطفية. وقد تم تطوير نموذجين لاستثارة العواطف واستخدامهما في هذه الدراسة.

نموذج صور TRENDS

في النموذج الأول، عرض تسلسل الفيديو في البداية شاشة فارغة لمدة 60 s، تلاها عرض محفزات عاطفية. تم اختيار المحفزات العاطفية من أداة TRENDS. تم عرض ما مجموعه 20 صورة، تمثل كل من الحياد، والسعادة، والحزن، والغضب، والخوف × جنسين × مجموعتين عمريتين. عُرض كل محفز لمدة 5 s. وبذلك كان إجمالي وقت عرض المحفزات 20 × 5 s، مع فاصل إضافي لمدة 10 s من الشاشة الفارغة بين الصور المتتالية، مما أدى إلى مدة إجمالية قدرها 300 s. وخلال كل فاصل فارغ مدته 10 s، طُلب من المشاركين تحديد العاطفة المصورة في الصورة السابقة عن طريق اختيار أحد ملصقات العواطف الخمسة المعروضة على الشاشة.

نموذج نافاراسا

تم إنشاء نموذج فيديو ثانٍ مماثل استناداً إلى إطار "نافاراسا" (Navarasa) الذي يتكون من تسعة أنواع من الرأسات (rasas). عُرض ما مجموعه 18 صورة (تسعة مشاعر × جنسان). عُرض كل مثير لمدة 5 s، مع فاصل زمني مدته 10 s من الشاشة الفارغة بين الصور، مما أدى إلى مدة إجمالية قدرها 270 s. صُنفت المشاعر التسعة إلى محايدة (shanta)، أو سارة (haasya, veera, shringara, adbhuta)، أو غير سارة (Krodha, vibhitsa, bhayanaka, karuna). وخلال كل فاصل زمني فارغ مدته 10 s، طُلب من المشاركين تصنيف الشعور المصور في الصورة السابقة من خلال اختيار واحد من ثلاثة خيارات معروضة على الشاشة: محايد، أو سار، أو غير سار. تم تجميع الـ "نافاراسا" التسعة في ثلاث فئات لتسهيل تسجيل استجابات المشاركين في تحديد المشاعر.

المشاركون

تم استقطاب متطوعين بالغين أصحاء من بيئات العمل والمؤسسات التعليمية. وشملت معايير الاشتمال الأفراد الذين تتراوح أعمارهم بين 18 و50 عاماً، من أي جنس. أما معايير الاستبعاد فقد شملت وجود تاريخ من الاضطرابات النفسية المشخصة، أو الاضطرابات العصبية، أو ضعف البصر الملحوظ، أو الإعاقات الجسدية التي تقيد حركات الرأس والرقبة.

الإجراء

تم إجلاس المشاركين بحيث كانت الكاميرا في مستوى العين وعلى مسافة 60–70 cm. استُخدمت خوارزمية FEA في الدراسة، حيث تم فتح التطبيق على الكمبيوتر المحمول وأدخل الباحث معرف الشخص الخاضع للدراسة. وطوال التجربة، قامت خوارزمية FEA بتسجيل بيانات الفيديو باستمرار لتمكين التحليل اللاحق لتعبيرات الوجه والحركات الدقيقة. في البداية، تم الحصول على تسجيل أساسي لمدة 60 s، طُلب خلاله من المشاركين الاسترخاء والامتناع عن السلوكيات التعبيرية الواضحة. وبعد الحصول على التسجيل الأساسي، عُرّض المشاركون لنموذجي الفيديو (صور TRENDS تليها Navarasa). وقد شاهد جميع المشاركين النماذج بنفس الترتيب الثابت لتقليل التأثيرات المربكة المحتملة المرتبطة بتسلسل العرض؛ ومع ذلك، فإن هذا الترتيب الثابت قد يكون قد أدى إلى حدوث تأثيرات مرتبطة بالترتيب. وخلال جلسات التسجيل، بقي الباحث خارج الغرفة لتقليل التشتيت، وكان يراقب التجربة عن بُعد عبر تطبيق للهاتف المحمول أثناء تواجده خارج الغرفة. كما مُنِح المشاركون فترة راحة قصيرة بين النموذجين (الشكل 2).

التحليل

تم ربط البيانات التي تم جمعها بمعرف الشخص الذي تم إدخاله في التطبيق لضمان دقة البيانات. تستخدم خوارزمية FEA مساراً حاسوبياً هيكلياً متكاملاً للاستنتاج التلقائي للعواطف، يتكون من خمس مراحل أساسية هي: الحصول على الفيديو، وكشف الميزات واستخراجها، والمعالجة المسبقة للبيانات، وتصنيف العواطف، وتفسير المخرجات. خضعت الميزات المستخرجة لسلسلة من عمليات المعالجة المسبقة، بما في ذلك تقليل الضوضاء، والتقييس عبر الأشخاص وظروف الإضاءة المختلفة، واستكمال الإطارات المفقودة. كما طُبق التنعيم الزمني لتعزيز استقرار الإشارة. وقد تم محاذاة متجهات الميزات الناتجة زمنياً لضمان إدخالها لاحقاً في نموذج التصنيف. عملت مصفوفات الميزات المُنقاة والمحاذات زمنياً كمدخلات لمكون تصنيف العواطف.

استخراج الميزات

يعتمد إطار الاستخلاص على خط معالجة خوارزمي لمرحلة استخلاص متعددة الميزات، يقوم بتحويل تدفقات صور الفيديو أحادية العين ثنائية الأبعاد القياسية إلى حيز إحداثيات ثلاثي الأبعاد مُعاد بناؤه. وبدلاً من الاعتماد على تتبع البكسلات ثنائية الأبعاد الخام، يقوم النظام بمسح الإحداثيات المكانية الموضعية عبر الوجه والجزء العلوي من الجسم. وتندرج الميزات المستمدة تحت ثلاث فئات عريضة: (1) مناطق معالم الوجه، بما يشمل الواصفات الهندسية لبنية الوجه وديناميكياته (بما في ذلك إشارات منطقة العين ومؤشرات التعبيرات الدقيقة للوجه المستمدة من إطار "نافاراسا" (Navarasa)، المتجذر في "ناتيا شاسترا" (Natyashastra)—وهو أقدم إطار رسمي للتعبير العاطفي البشري ومعترف به من قبل منظمة اليونسكو)؛ (ii) معلومات وضعية الرأس، ورصد اتجاه الرأس وحركته؛ و(3) سمات حركة الجزء العلوي من الجسم، التي ترصد الحركة الناتجة للجزء العلوي من الجسم. وتعد تعريفات السمات المحددة، بما في ذلك مؤشرات المعالم الدقيقة ومعرفات النقاط الرئيسية، ملكية فكرية ولا يمكن الكشف عنها بالكامل؛ ويُقر بذلك كأحد محددات الدراسة. لا يستخدم النظام تسميات وحدات العمل الخاصة بنظام ترميز تعبيرات الوجه (FACS) بشكل مباشر؛ وبدلاً من ذلك، يستخلص سمات هندسية وزمنية من حركات الوجه والجسم. وتُجمع هذه التحويلات المكانية ثلاثية الأبعاد عبر الزمن لإنشاء متجه ملخص سلوكي شامل، والذي يعمل كمدخل لمصنف MLP. وفي المجمل، تم اشتقاق أكثر من 700 سمة مرشحة في البداية من البيانات التي تم رصدها، ثم خُفضت لاحقاً إلى ما يقرب من 300 سمة مختارة من خلال عملية اختيار السمات وتحسين النموذج. ويسير المخطط الهيكلي بدءاً من الحصول على الفيديو، مروراً بإعادة البناء المكاني من ثنائي الأبعاد إلى ثلاثي الأبعاد، ثم التجميع الزمني، ومعايرة السمات قبل مرحلة التصنيف.

نموذج تصنيف العواطف

تم تزويد متجهات السمات المعالجة مسبقاً ببنية شبكة عصبية من نوع المدرك متعدد الطبقات (MLP) خاضعة للإشراف، والمدربة على مجموعة بيانات مُصنفة داخلياً تقابل فئات العواطف التسع في "نافاراسا" (Navarasa): Śṛṅgāra (الحب)، وHāsya (البهجة)، وKaruṇā (الحزن)، وRaudra (الغضب)، وVīra (الشجاعة)، وBhayānaka (الخوف)، وBībhatsa (الاشمئزاز)، وAdbhuta (الدهشة)، وŚānta (السلام). وقد صُمم النموذج بشكل صريح لالتقاط التبعيات المكانية والزمانية في بيانات السلوك التعبيري. وفي كل خطوة زمنية، أنتجت هذه البنية متجهاً لشدة العواطف المتوقعة للفئات التسع.

المعالجة اللاحقة لمخرجات النموذج

تمت معالجة مخرجات النموذج الخام لاحقاً لإنتاج درجات انفعالية مستقرة وقابلة للتفسير. وقد طُبقت ثلاث عمليات متسلسلة: (1) التنعيم الزمني لتقليل التقلبات قصيرة المدى، (2) التسوية لضمان القابلية للمقارنة عبر الزمن وعبر أبعاد الانفعالات المختلفة، و(3) التجميع لاشتقاق مقاييس ملخصة عبر نوافذ زمنية محددة أو عبر التسلسلات الكاملة. تضمن إجراءات المعالجة اللاحقة إمكانية المقارنة بين المبحوثين والتحكم في التباين الأساسي بين الأفراد.

تفسير المخرجات وتصويرها

تولد خوارزمية تحليل التعبيرات الوجهية (FEA) تمثيلات كمية وبصرية للديناميكيات العاطفية المستنتجة من بيانات الفيديو. ويتمثل الشكلان الأساسيان للمخرجات في...مسارات العواطف الزمنية. يتم تصور قيم كثافة العاطفة في شكل مخططات زمنية توضح تطور كل عاطفة على مدار الفيديو. ويوفر هذا التمثيل رؤية مستمرة للتغير العاطفي، مما يسهل فحص التغيرات العابرة، وذروات التنشيط، ومراحل التعافي أو تراجع الاستثارة العاطفية. درجات العواطف المقارنة: تُعرض قيم العواطف المجمعة لكل فئة من فئات "Navarasa" التسع في شكل مخططات درجات مقارنة، مما يوضح الحجم النسبي لكل عاطفة عبر الفترة الزمنية التي تم تحليلها. وتسمح هذه التصورات المقارنة بإجراء مقارنات مباشرة بين العواطف، وتوفر ملخصاً موجزاً للملف العاطفي العام. كما تم فحص درجات خوارزمية FEA الناتجة عند خط الأساس للبحث عن أي خطوط مسطحة أو غياب للتغيير الملحوظ، وهو ما قد يشير إلى عدم كفاية التسجيل.

التحليل الإحصائي

اعتُبرت درجات نطاقات عواطف Navarasa التسعة، التي استخرجتها خوارزمية FEA خلال فترة 10 s التي تلت عرض كل صورة في النموذج، بمثابة متغيرات نتيجة. تم استخراج درجات خوارزمية FEA لكل ثانية s في نافذة الـ 10 s (T0, T1, T2… T9). واعتُبرت درجة خوارزمية FEA عند T0 هي درجة الخط الأساس. كما عُرِفت أعلى درجة لخوارزمية FEA من بين التسجيلات من T1–T9 بأنها Tmax. تم حساب التغير في درجة خوارزمية FEA عن الخط الأساس (Tmax − T0) واستُخدم كمتغير نتيجة في التحليلات. يظهر التغير في درجات خوارزمية FEA عبر السلسلة الزمنية لكل عاطفة في الشكل 3A–D.

بالنسبة لصور TRENDS، تم تعيين فئات العواطف المستهدفة المقابلة على النحو التالي: Shanta > محايد؛ Haasya > سعيد؛ Krodha > غضب؛ و Bhayanaka > خوف. أما بالنسبة لصور Navarasa، فقد تم تجميع درجات خوارزمية FEA وحساب متوسطها ضمن ثلاث فئات مركبة: محايد (Shanta)، وممتع (Haasya، Veera، Shringara، Adbhuta)، وغير ممتع (Krodha، Vibhitsa، Bhayanaka، Karuna).

أُجريت تحليلات على مستوى المجموعة وعلى مستوى المشارك.

التحليل على مستوى المجموعة: بالنسبة لكل فئة من فئات العواطف الموصوفة أعلاه، تمت مقارنة التغيير في درجة خوارزمية FEA من الخط الأساسي إلى Tmax باستخدام اختبارات t المقترنة. يشير التغيير الجوهري عن الخط الأساسي في درجة خوارزمية FEA إلى توافق جيد مع التعرف على العواطف. ومع ذلك، فإن وجود فرق جوهري لن يشير بالضرورة إلى دقة تصنيف قوية.

التحليل على مستوى المفحوص: صُنِّف أي ارتفاع في درجة نطاق العاطفة وفق خوارزمية FEA فوق القيمة المرجعية على أنه استجابة عاطفية إيجابية. بعد ذلك، استُمدت مؤشرات الدقة، وهي الحساسية والنوعية. وتحدد الحساسية والنوعية، على التوالي، احتمالية أن تكون نتيجة الاختبار إيجابية عند وجود الحالة المستهدفة (+) وسلبية عند غيابها (−). وعندما تقترب كلتا القيمتين التقديريتين من 1، فإن الاختبار يؤدي بشكل جيد من حيث الدقة التشخيصية. وقد عُرِّفت الحساسية والنوعية التقديريتان بأنهما نسب المشاركين الذين لديهم الحالة المرجعية (تعبيرات Navarasa) والذين ليس لديهم هذه الحالة، والذين تم تصنيفهم بشكل صحيح، على التوالي.

اعتُبر الشخص مصاباً بالحالة المستهدفة (+) إذا تمكن من تحديد ما لا يقل عن 75% من العواطف المصورة بشكل صحيح. واستند هذا التصنيف إلى دراسات التحقق من نظام TRENDS، والتي اعتبرت أن دقة تتراوح بين 60–80% تمثل صلاحية تمييزية كافية. كما أُجري تحليل خصائص تشغيل المستقبل (ROC) لمتنبئ مستمر لتقدير المساحة تحت المنحنى (AUC) وقيم الحساسية والخصوصية المقابلة. واعتُبرت الحساسية التي تزيد عن 80% قدرة تمييزية جيدة، بينما اعتبرت القيمة الأقل من 80% قدرة متواضعة.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

النتائج

بحثت الدراسة في التباينات في درجات خوارزمية FEA استجابةً للمثيرات المسببة للعواطف، وقيمت الأداء التشخيصي لخوارزمية FEA باستخدام تحليل منحنى خصائص تشغيل المستقبل (ROC). تم تجنيد اثنين وسبعين متطوعاً سليمًا للدراسة. بلغ متوسط (الانحراف المعياري) للعمر 31.9 (11.9) سنة، وشملت العينة 26 ذكرًا و46 أنثى. كان جميع المشاركين قد حصلوا على تعليم لا يقل عن 10 سنوات، وكان جميعهم من العرق الهندي. وكانت درجاتهم المتوسطة (الانحراف المعياري) في مقياس PHQ-9 وGAD-7 هي 4.4 (4.8) و4.7 (4.5)، على التوالي.

ا...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المناقشة

سعت هذه الدراسة إلى تقديم تحقق أولي من خوارزمية FEA من خلال فحص التوافق بين الدرجات المستمدة من خوارزمية FEA والاستجابات لمحفزات عواطف الوجه القياسية لدى متطوعين أصحاء من البالغين. وتشير هذه النتائج المبكرة إلى أن خوارزمية FEA تظهر تغيرات يمكن اكتشافها إحصائياً استجابةً للمحفزات البصرية المسببة للعواطف عبر مختلف الفئات العاطفية المنفصلة، بما في ذلك الحالة المحايدة (shanta)، والسعادة (haasya)، والخوف (bhayanaka)، والغضب (raudra)، بالإضافة إلى تصنيفات أوسع للحالات الممتعة وغير الممتعة. وهذا يشير إلى أن درجات خوارزمية FEA ت...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

الإفصاحات

تعد خوارزمية FEA خوارزمية مملوكة لشركة Nihilent Ltd.، والتي قدمت الدعم المالي لـ Manoshanti لإجراء عملية جمع البيانات لهذه الدراسة. وقدمت شركة Nihilent درجات خوارزمية FEA. وقد أجرت Manoshanti تحليل البيانات بشكل مستقل. ولم تكن شركة Nihilent Ltd. مشاركة في تحليل البيانات.

شكر وتقدير

نتوجه بالشكر إلى البروفيسور P. T. Sivakumar والدكتور Shivarama Varambally على توفير الإشراف العلمي على هذه الدراسة.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسم	الشركة	رقم فهرسي	التعليقات
Emoscape	شركة Nihilent Ltd، بونه	1	مطور Emoscape
مراكز Manoshanti للصحة العاطفية	شركة GNR Health Care Pvt Ltd.	2	شريك إكلينيكي وبحثي
أداة للتعرف على العواطف في الاضطرابات النفسية العصبية	حقوق الطبع والنشر مع المؤلف المسؤول عن الدراسة	3	الأداة المستخدمة للتحقق من الصحة في الدراسة

المراجع

Garg N, Garg R, Anand A, Baths V. Decoding the neural signatures of valence and arousal from a portable EEG headset. Front Hum Neurosci. 2022;16:1051463. doi:10.3389/fnhum.2022.1051463.
Wang XW, Nie D, Lu BL. Emotional state classification from EEG data using a machine learning approach. Neurocomputing. 2014;129:94–106.
Giannakaki K, Giannakakis GA, Farmaki C, Sakkalis V. Emotional state recognition using advanced machine learning techniques on EEG data [conference paper]. Presented at: 2017 IEEE 30th International Symposium on Computer-Based Medical Systems; Thessaloniki, Greece; 2017. p. 333–6. Available from: https://ieeexplore.ieee.org/document/8104214
Barzilay R, et al. Predicting affect classification in mental status examination using machine learning face action recognition system. Front Psychiatry. 2019;10:288. doi:10.3389/fpsyt.2019.00288.
Houssein EH, Hammad A, Ali AA. Human emotion recognition from EEG-based brain-computer interface using machine learning. Neural Comput Appl. 2022;34:12527–52.
Awan AW, et al. An ensemble learning method for emotion charting using multimodal physiological signals. Sensors (Basel). 2022;22(23):9480. doi:10.3390/s22239480.
Shetty H, Sampathila N, Kumar GS, Behere R. Interactive self assessment tool for analysis of emotional status. Indian J Sci Technol. 2017;10(16):1–5.
Bazgir O, Mohammadi Z, Habibi SAH. Emotion recognition with machine learning using EEG signals [conference paper]. Presented at: 2018 25th National and 3rd International Iranian Conference on Biomedical Engineering; Qom, Iran; 2018. p. 1–5. Available from: https://ieeexplore.ieee.org/document/8703559
Spunt RP, Adolphs R. The neuroscience of understanding the emotions of others. Neurosci Lett. 2019;693:44–8.
Hawco C, et al. Neural activity while imitating emotional faces is related to both lower and higher-level social cognitive performance. Sci Rep. 2017;7:1244. doi:10.1038/s41598-017-01316-z.
Behere RV, et al. TRENDS: a tool for recognition of emotions in neuropsychiatric disorders. Indian J Psychol Med. 2008;30(1):32–8.
Trevethan R. Sensitivity, specificity, and predictive values: foundations, pliabilities, and pitfalls in research and practice. Front Public Health. 2017;5:307. doi:10.3389/fpubh.2017.00307.
Gkintoni E, Aroutzidis A, Antonopoulou H, Halkiopoulos C. From neural networks to emotional networks: a systematic review of EEG-based emotion recognition in cognitive neuroscience and real-world applications. Brain Sci. 2025;15(3):220. doi:10.3390/brainsci15030220.
Joshi S, Srinivas LNB. An ensemble classifier for emotion classification from EEG and GSR signals for autism detection. Comput Methods Programs Biomed. 2025;270:108921. doi:10.1016/j.cmpb.2025.108921.
Lincoln SH, et al. The neural basis of social cognition in typically developing children and its relationship to social functioning. Front Psychol. 2021;12:714176. doi:10.3389/fpsyg.2021.714176.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

إعادة الطباعة والأذونات

الوسوم

تم نشر هذه المقالة

الفيديو قريباً

أبقِني على اطلاع: