تتحقق هذه الدراسة بشكل أولي من صحة خوارزمية FEA، وهي خوارزمية تعلّم آلي مملوكة، للكشف عن الاستجابات أثناء مهام المحفزات العاطفية. وتبحث الدراسة في مدى التوافق بين درجات خوارزمية FEA ومحفزات العواطف الوجهية المعيارية باستخدام إطار عمل Navarasa لدى البالغين الأصحاء، لتقييم ما إذا كان النظام يعكس الاستجابات المرتبطة بالعواطف بشكل موثوق في ظل ظروف تجريبية مضبوطة.
مقالة بحثية
التحقق الأولي من صحة خوارزمية لتحليل تعبيرات الوجه والحركة أثناء مهام استثارة العواطف لدى البالغين الأصحاء
يفتح في علامة تبويب جديدة
في هذه المقالة
ملخص
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
الملخص
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
صُمم هذا البروتوكول للتحقق الأولي من صحة Emoscape، وهو خوارزمية تعلم آلي مملوكة تعتمد على إطار عمل Navarasa، وذلك من خلال اختبار ما إذا كانت درجات العاطفة الخاصة بها تتغير بالتوافق مع مهام استثارة العواطف المعيارية لدى البالغين الأصحاء. تم استقطاب اثنين وسبعين بالغاً صحيحاً بعد تقديم موافقة مستنيرة مكتوبة. أكمل المشاركون استبيان صحة المريض-9 (Patient Health Questionnaire-9) ومقياس اضطراب القلق العام-7 (Generalized Anxiety Disorder-7)، ثم شاهدوا محفزات العواطف الوجهية من مجموعة TRENDS وصور Navarasa، بينما قامت خوارزمية FEA بتسجيل الحركات الدقيقة للجزء العلوي من الجسم طوال المهمة. كما قام المشاركون بتحديد العواطف المعروضة. تم تحليل التغيرات في درجات خوارزمية FEA مقارنة بالقيمة المرجعية أثناء التعرض لمحفزات الحياد، والسعادة، والخوف، والغضب من مجموعة TRENDS، وكذلك أثناء التعرض لصور Navarasa. استُخدم تحليل خصائص تشغيل المستقبل (Receiver operating characteristic analysis) لتقدير الحساسية والنوعية للتمييز بين الفئات العاطفية. أظهرت درجات خوارزمية FEA انحرافات ذات دلالة إحصائية عن القيمة المرجعية لصور TRENDS المرتبطة بالعواطف المقابلة (الحياد–Shanta، السعادة–Haasya، الخوف–Bhayanaka، والغضب–Raudra). كما لوحظت تغيرات متوافقة في صور Navarasa، حيث كانت جميع متوسطات الفروق ذات دلالة إحصائية (p < 0.001). تباينت قيم المساحة تحت المنحنى (AUC) عبر الفئات. وأظهرت خوارزمية FEA حساسية متوسطة للعواطف السارة (70–80%) والعواطف غير السارة (60–70%). توفر هذه النتائج دعماً أولياً للبروتوكول ولاستخدام خوارزمية FEA لتقييم الاستجابات المرتبطة بالعواطف أثناء مهام استثارة العواطف المنضبطة لدى البالغين الأصحاء.
المقدمة
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
يُعد التعرف على العواطف مجالاً هاماً من مجالات البحث في العلوم العصبية المعرفية الاجتماعية، مع تطبيقات سريرية وبحثية محتملة. وتعمل الطرق الحالية للتقييم العاطفي على قياس التغيرات في النشاط الفسيولوجي، مثل تخطيط كهربية الدماغ (EEG) أو مقاومة الجلد الجلفانية (GSR)، لاستنتاج الحالات العاطفية. ومع ذلك، فإن هذه الطرق معقدة وتداخلية. وتوفر القياسات المباشرة لحركات الوجه والجسم مؤشراً أكثر فورية وقابلية للملاحظة للحالة الوجدانية للفرد1,2,3. وتُستخدم خوارزميات تعلم الآلة (ML)، وبخاصة تلك المدربة على مجموعات بيانات كبيرة وغير متجانسة من تعبيرات الوجه، لفك تشفير هذه الإشارات غير اللفظية الدقيقة وتصنيف الحالات العاطفية. وبينما لا تزال خوارزميات تعلم الآلة التقليدية، مثل آلات متجه الدعم (SVMs)، مستخدمة على نطاق واسع، فقد أظهرت بنيات التعلم العميق، ولا سيما الشبكات العصبية (NNs)4,5 أداءً متفوقاً، خاصة عند تدريبها على مجموعات بيانات واسعة النطاق، وذلك بفضل قدرتها على استخراج الميزات تلقائياً6. ومن الأمثلة على النماذج التقليدية في السياق الهندي أداة تفاعلية تتبنى نموذجاً أبعادياً قائماً على التكافؤ لتحديد مستوى الاستثارة. ويجب أن تكون أطر التعرف على العواطف حساسة للسياق الثقافي. ففي الوسط الثقافي الهندي، يوفر إطار "Navarasa" تصنيفاً دقيقاً لتسع عواطف أساسية، ومع ذلك، لا يزال هذا الإطار غير مفحوص إلى حد كبير ضمن أبحاث التعرف على العواطف المعتمدة على تعلم الآلة. وهناك ندرة نسبية في مناهج تعلم الآلة المصدقة بدقة والتي تحلل مباشرة الإشارات السلوكية الملحوظة، مثل تعبيرات الوجه الدقيقة وحركات الجسم7,8. ويمكن استخدام خوارزميات تعلم الآلة المعتمدة على التعبيرات في الوقت الفعلي، كما أنها سهلة التطبيق وغير تداخلية.
تُعد خوارزمية تحليل تعبيرات الوجه والحركة [والتي سيشار إليها فيما يلي باسم خوارزمية FEA] خوارزمية مملوكة تعتمد على التعلم الآلي (ML)، حيث تقوم بتحليل التعبيرات الوجهية الدقيقة وحركات الجزء العلوي من الجسم، وتنشئ تمثيلات ديناميكية لمسارات العواطف ودرجات مجمعة لكل من الراسات (rasas) التسع، بناءً على إطار عمل "نافاراسا" (Navarasa). هدفت هذه الدراسة إلى إجراء تحقق أولي من صحة خوارزمية FEA من خلال فحص التوافق بين الدرجات المستمدة من FEA والاستجابات لمحفزات العواطف الوجهية القياسية لدى متطوعين أصحاء من البالغين.
ولتحقيق هذه الغاية، نستند إلى مفاهيم نظرية العقل (ToM) ونظام الخلايا العصبية المرآتية. تُعد نظرية العقل قدرة معرفية اجتماعية أساسية تمكّن الأفراد من استنتاج وتفسير الحالات الذهنية والعاطفية للآخرين في السياقات الاجتماعية9. وتشير الأدلة التجريبية إلى أن التعرض للمثيرات العاطفية الوجهية ينشط شبكات الخلايا العصبية المرآتية، والتي تؤدي بدورها إلى استحضار حالة عاطفية بديلة ومتوافقة لدى المراقب10. إن التعديل الناتج في الحالة العاطفية الذاتية الداخلية للفرد استجابةً لمشاهدة تعبيرات الوجه العاطفية، إذا تم رصده بواسطة خوارزمية تحليل تعبيرات الوجه (FEA)، يمكن أن يوفر تحققاً أولياً من صحة الخوارزمية.
نحن نفترض أن التعرض للمحفزات العاطفية للوجه التي تتوافق مع فئة معينة من "نافاراسا" (Navarasa) سيؤدي إلى انحراف ذو دلالة إحصائية عن الخط الأساسي في درجة خوارزمية FEA لتلك العاطفة من عواطف "نافاراسا".
البروتوكول
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
تمت الموافقة على بروتوكول الدراسة من قبل لجنة أخلاقيات مستشفيات سوشروتا، هوبالي، كارناتاكا، الهند (رقم تسجيل اللجنة: ECR/372/INST/KA/2013/RR-19)، وتم الحصول على موافقة كتابية مستنيرة من جميع المشاركين قبل الالتحاق بالدراسة.
تعد خوارزمية FEA طريقة مملوكة تعتمد على التعلم الآلي (ML) للتحليل الفوري للتعبيرات الوجهية الدقيقة وحركات الجزء العلوي من الجسم لاستنتاج الحالات العاطفية باستخدام إطار عمل Navarasa. يحدد إطار عمل Navarasa، المستمد من نظرية الجمال الهندية الكلاسيكية، تسعة عواطف أساسية هي: shringara (الحب)، وhaasya (البهجة)، وkaruna (الحزن/التأمل)، وadbhuta (المفاجأة)، وshanta (السلام)، وraudra (الغضب)، وveera (الشجاعة)، وbhayanaka (الخوف)، وvibhitsa (الاشمئزاز). وتستخدم خوارزمية FEA نموذج تعلم آلي مدرباً على التعبيرات الوجهية الدقيقة وحركات الجزء العلوي من الجسم المستخلصة من صور ممثلين يجسدون عواطف Navarasa التسعة. تستنتج الخوارزمية الحالة العاطفية للفرد من خلال تحليل الديناميكيات الوجهية الدقيقة والحركات الصغيرة من المدخلات المرئية التي تلتقطها كاميرا RGB واحدة، وتصدر درجات كمية لكل عاطفة من العواطف الأساسية التسعة. يتيح هذا التكوين غير الجراحي تقييماً عاطفياً طبيعياً وغير مزعج، مما يجعله مناسباً لمجموعة واسعة من الأبحاث والسياقات التطبيقية.
تطوير النموذج
تعتمد خوارزمية FEA على بنية الشبكة العصبية (NN). تم جمع مجموعة بيانات التدريب داخلياً، وهي تتكون من عدة ساعات من بيانات الفيديو المسجلة لممثلين هنود يجسدون عواطف Navarasa التسعة. تم اشتقاق مجموعة البيانات من تسجيلات فيديو محكومة لعدة ممثلين/مشاركين، مع إجراء تسجيلات/اختبارات متعددة لكل ممثل/مشارك عبر حالات عاطفية مستحثة مختلفة. بعد المعالجة المسبقة، بما في ذلك الكشف عن معالم الوجه، وفحوصات الاتساق الزمني، وتصفية الجودة، وإزالة الإطارات غير القابلة للاستخدام أو ذات الثقة المنخفضة، تم الاحتفاظ بنحو 25,000 عينة تدريب مهيكلة. وخلال عملية تنظيم مجموعة البيانات، تم تقسيم التسجيلات وفقاً لأكثر من عشرة معايير ديموغرافية ومعايير متعلقة بالتسجيل، بما في ذلك العمر والجنس وصفات أخرى ذات صلة، وتم موازنتها عمداً لتحقيق تمثيل عادل عبر هذه المعايير وتقليل التحيز الديموغرافي. تم الحفاظ على توزيع الجنس بنسبة 52% تقريباً للذكور و48% للإناث. غطى المشاركون بشكل عام الفئات العمرية للمراهقين والبالغين، مع تمثيل لمجموعات البالغين الأصغر سناً، والمتوسطين، وكبار السن. كان الممثلون/المشاركون مقيمين في الهند ومثلوا خلفيات إقليمية وثقافية هندية متعددة، بالإضافة إلى أعراق دولية متعددة متواجدة في الهند. ونظراً للقيود المتعلقة بحقوق الملكية، لا يمكن الكشف عن العدد الدقيق للممثلين/المشاركين، أو هوية الممثل/المشارك على المستوى الفردي، أو أعداد الفيديوهات/التسجيلات الدقيقة لكل ممثل، أو أعداد الإطارات الدقيقة، ومنهجية التعليق التوضيحي الداخلية، حيث تشكل هذه العناصر جزءاً من مجموعة البيانات المملوكة لشركة Nihilent Ltd. والملكية الفكرية لتطوير النموذج؛ وقد تم الإقرار بهذا القيد صراحةً في قسم المناقشة.
تمت معالجة الصور الوجهية المستخرجة من هذه التسجيلات باستخدام تقنيات معالجة الصور لاستخلاص سمات كمية، والتي استُخدمت لاحقاً كمدخلات لشبكة عصبية لأغراض التنبؤ. ثم تم تقييم هذا النموذج على مجموعة سكانية مستهدفة، واستُخدمت الرؤى المكتسبة لتحسين الإصدارات اللاحقة بشكل تكراري. وقد تكررت دورة التطوير والاختبار والتحسين هذه حتى استقر أداء النموذج. تم تنفيذ النموذج التنبئي النهائي على شكل مدرك متعدد الطبقات (MLP) يتكون من طبقة إدخال تضم حوالي 300 سمة مختارة، وطبقات خفية، وطبقة إخراج تنتج متجه درجات تساعي الأبعاد يتوافق مع فئات عواطف Navarasa التسع. وقد استُخلص في البداية أكثر من 700 سمة من البيانات الملتقطة، ثم تم تقليلها لاحقاً من خلال إجراءات اختيار السمات وتحسين النموذج. بعد ذلك، يتم تمرير درجة مخرج MLP إلى خوارزميات معالجة لاحقة مملوكة للاشتقاق النهائي لدرجات خوارزمية FEA المجمعة. وتعتبر التفاصيل المعمارية الإضافية — بما في ذلك العدد الدقيق للمعلمات القابلة للتدريب وأبعاد الطبقات المحددة — معلومات ملكية ولا يمكن الكشف عنها؛ وهو ما تم الإقرار به كأحد محددات التقرير الحالي. يتوفر وصف تفصيلي لتطوير النموذج في المواد التكميلية (Supplementary File 1 و Supplementary Figure 1).
خلال عملية التطوير التكراري، تم تقييم أداء النموذج باستخدام التحقق المتقاطع على مجموعة البيانات الداخلية، حيث تم تحقيق دقة تصنيف بنسبة 96% عبر فئات Navarasa التسع. بعد ذلك، أُجري تحقق مستقل على بيانات فيديو تزيد مدتها عن 15,000 دقيقة. وتتوفر في المواد التكميلية مصفوفة ارتباك معيارية بحجم 9 × 9 تلخص أداء التصنيف عبر جميع فئات Navarasa التسع (الملف التكميلي 1).
بعد عملية التثبيت، خضع النموذج لتحقق داخلي مضبوط تحت إشراف خبراء. ويؤكد هذا النهج على التحقق التجريبي من خلال الاختبار المباشر على أشخاص بشر، مما يسمح بتقييم قابلية التطبيق في العالم الحقيقي والمتانة عبر مجموعات سكانية متنوعة. ويلخص الشكل 1 عملية تطوير النموذج.
استبيان صحة المريض-9 (PHQ-9) ومقياس اضطراب القلق العام-7 (GAD-7): أكمل المشاركون استبيانات التقرير الذاتي تحت إشراف أخصائي نفسي مدرب لتقييم حالاتهم العاطفية الحالية. وشملت الأدوات المستخدمة استبيان صحة المريض-9 (PHQ-9)، ومقياس اضطراب القلق العام-7 (GAD-7). واعتُبرت الدرجة التي تزيد عن 9 في أي من المقياسين ذات دلالة سريرية.
التوجهات
تُعد أداة التعرف على العواطف في الاضطرابات النفسية العصبية (TRENDS) أداة مصادق عليها ثقافياً وحساسة بيئياً، صُممت لتقييم قدرات التعرف على عواطف الوجه11. وقد تم التحقق من صلاحيتها للاستخدام لدى المجموعات السكانية الهندية، وهي تتكون من 40 صورة فوتوغرافية لممثلين يجسدون العواطف الأساسية العالمية وهي: الحياد، والسعادة، والخوف، والغضب، والحزن. وقد استُخدمت الصور المستمدة من أداة TRENDS كمحفزات مرجعية للمصادقة على مخرجات تصنيف العواطف الخاصة بخوارزمية FEA.
التصميم التجريبي
صُممت التجربة لاستثارة استجابة خوارزمية للمؤثرات العاطفية. وقد تم تطوير نموذجين لاستثارة العواطف واستخدامهما في هذه الدراسة.
نموذج صور TRENDS
في النموذج الأول، عرض تسلسل الفيديو في البداية شاشة فارغة لمدة 60 s، تلاها عرض محفزات عاطفية. تم اختيار المحفزات العاطفية من أداة TRENDS. تم عرض ما مجموعه 20 صورة، تمثل كل من الحياد، والسعادة، والحزن، والغضب، والخوف × جنسين × مجموعتين عمريتين. عُرض كل محفز لمدة 5 s. وبذلك كان إجمالي وقت عرض المحفزات 20 × 5 s، مع فاصل إضافي لمدة 10 s من الشاشة الفارغة بين الصور المتتالية، مما أدى إلى مدة إجمالية قدرها 300 s. وخلال كل فاصل فارغ مدته 10 s، طُلب من المشاركين تحديد العاطفة المصورة في الصورة السابقة عن طريق اختيار أحد ملصقات العواطف الخمسة المعروضة على الشاشة.
نموذج نافاراسا
تم إنشاء نموذج فيديو ثانٍ مماثل استناداً إلى إطار "نافاراسا" (Navarasa) الذي يتكون من تسعة أنواع من الرأسات (rasas). عُرض ما مجموعه 18 صورة (تسعة مشاعر × جنسان). عُرض كل مثير لمدة 5 s، مع فاصل زمني مدته 10 s من الشاشة الفارغة بين الصور، مما أدى إلى مدة إجمالية قدرها 270 s. صُنفت المشاعر التسعة إلى محايدة (shanta)، أو سارة (haasya, veera, shringara, adbhuta)، أو غير سارة (Krodha, vibhitsa, bhayanaka, karuna). وخلال كل فاصل زمني فارغ مدته 10 s، طُلب من المشاركين تصنيف الشعور المصور في الصورة السابقة من خلال اختيار واحد من ثلاثة خيارات معروضة على الشاشة: محايد، أو سار، أو غير سار. تم تجميع الـ "نافاراسا" التسعة في ثلاث فئات لتسهيل تسجيل استجابات المشاركين في تحديد المشاعر.
المشاركون
تم استقطاب متطوعين بالغين أصحاء من بيئات العمل والمؤسسات التعليمية. وشملت معايير الاشتمال الأفراد الذين تتراوح أعمارهم بين 18 و50 عاماً، من أي جنس. أما معايير الاستبعاد فقد شملت وجود تاريخ من الاضطرابات النفسية المشخصة، أو الاضطرابات العصبية، أو ضعف البصر الملحوظ، أو الإعاقات الجسدية التي تقيد حركات الرأس والرقبة.
الإجراء
تم إجلاس المشاركين بحيث كانت الكاميرا في مستوى العين وعلى مسافة 60–70 cm. استُخدمت خوارزمية FEA في الدراسة، حيث تم فتح التطبيق على الكمبيوتر المحمول وأدخل الباحث معرف الشخص الخاضع للدراسة. وطوال التجربة، قامت خوارزمية FEA بتسجيل بيانات الفيديو باستمرار لتمكين التحليل اللاحق لتعبيرات الوجه والحركات الدقيقة. في البداية، تم الحصول على تسجيل أساسي لمدة 60 s، طُلب خلاله من المشاركين الاسترخاء والامتناع عن السلوكيات التعبيرية الواضحة. وبعد الحصول على التسجيل الأساسي، عُرّض المشاركون لنموذجي الفيديو (صور TRENDS تليها Navarasa). وقد شاهد جميع المشاركين النماذج بنفس الترتيب الثابت لتقليل التأثيرات المربكة المحتملة المرتبطة بتسلسل العرض؛ ومع ذلك، فإن هذا الترتيب الثابت قد يكون قد أدى إلى حدوث تأثيرات مرتبطة بالترتيب. وخلال جلسات التسجيل، بقي الباحث خارج الغرفة لتقليل التشتيت، وكان يراقب التجربة عن بُعد عبر تطبيق للهاتف المحمول أثناء تواجده خارج الغرفة. كما مُنِح المشاركون فترة راحة قصيرة بين النموذجين (الشكل 2).
التحليل
تم ربط البيانات التي تم جمعها بمعرف الشخص الذي تم إدخاله في التطبيق لضمان دقة البيانات. تستخدم خوارزمية FEA مساراً حاسوبياً هيكلياً متكاملاً للاستنتاج التلقائي للعواطف، يتكون من خمس مراحل أساسية هي: الحصول على الفيديو، وكشف الميزات واستخراجها، والمعالجة المسبقة للبيانات، وتصنيف العواطف، وتفسير المخرجات. خضعت الميزات المستخرجة لسلسلة من عمليات المعالجة المسبقة، بما في ذلك تقليل الضوضاء، والتقييس عبر الأشخاص وظروف الإضاءة المختلفة، واستكمال الإطارات المفقودة. كما طُبق التنعيم الزمني لتعزيز استقرار الإشارة. وقد تم محاذاة متجهات الميزات الناتجة زمنياً لضمان إدخالها لاحقاً في نموذج التصنيف. عملت مصفوفات الميزات المُنقاة والمحاذات زمنياً كمدخلات لمكون تصنيف العواطف.
استخراج الميزات
يعتمد إطار الاستخلاص على خط معالجة خوارزمي لمرحلة استخلاص متعددة الميزات، يقوم بتحويل تدفقات صور الفيديو أحادية العين ثنائية الأبعاد القياسية إلى حيز إحداثيات ثلاثي الأبعاد مُعاد بناؤه. وبدلاً من الاعتماد على تتبع البكسلات ثنائية الأبعاد الخام، يقوم النظام بمسح الإحداثيات المكانية الموضعية عبر الوجه والجزء العلوي من الجسم. وتندرج الميزات المستمدة تحت ثلاث فئات عريضة: (1) مناطق معالم الوجه، بما يشمل الواصفات الهندسية لبنية الوجه وديناميكياته (بما في ذلك إشارات منطقة العين ومؤشرات التعبيرات الدقيقة للوجه المستمدة من إطار "نافاراسا" (Navarasa)، المتجذر في "ناتيا شاسترا" (Natyashastra)—وهو أقدم إطار رسمي للتعبير العاطفي البشري ومعترف به من قبل منظمة اليونسكو)؛ (ii) معلومات وضعية الرأس، ورصد اتجاه الرأس وحركته؛ و(3) سمات حركة الجزء العلوي من الجسم، التي ترصد الحركة الناتجة للجزء العلوي من الجسم. وتعد تعريفات السمات المحددة، بما في ذلك مؤشرات المعالم الدقيقة ومعرفات النقاط الرئيسية، ملكية فكرية ولا يمكن الكشف عنها بالكامل؛ ويُقر بذلك كأحد محددات الدراسة. لا يستخدم النظام تسميات وحدات العمل الخاصة بنظام ترميز تعبيرات الوجه (FACS) بشكل مباشر؛ وبدلاً من ذلك، يستخلص سمات هندسية وزمنية من حركات الوجه والجسم. وتُجمع هذه التحويلات المكانية ثلاثية الأبعاد عبر الزمن لإنشاء متجه ملخص سلوكي شامل، والذي يعمل كمدخل لمصنف MLP. وفي المجمل، تم اشتقاق أكثر من 700 سمة مرشحة في البداية من البيانات التي تم رصدها، ثم خُفضت لاحقاً إلى ما يقرب من 300 سمة مختارة من خلال عملية اختيار السمات وتحسين النموذج. ويسير المخطط الهيكلي بدءاً من الحصول على الفيديو، مروراً بإعادة البناء المكاني من ثنائي الأبعاد إلى ثلاثي الأبعاد، ثم التجميع الزمني، ومعايرة السمات قبل مرحلة التصنيف.
نموذج تصنيف العواطف
تم تزويد متجهات السمات المعالجة مسبقاً ببنية شبكة عصبية من نوع المدرك متعدد الطبقات (MLP) خاضعة للإشراف، والمدربة على مجموعة بيانات مُصنفة داخلياً تقابل فئات العواطف التسع في "نافاراسا" (Navarasa): Śṛṅgāra (الحب)، وHāsya (البهجة)، وKaruṇā (الحزن)، وRaudra (الغضب)، وVīra (الشجاعة)، وBhayānaka (الخوف)، وBībhatsa (الاشمئزاز)، وAdbhuta (الدهشة)، وŚānta (السلام). وقد صُمم النموذج بشكل صريح لالتقاط التبعيات المكانية والزمانية في بيانات السلوك التعبيري. وفي كل خطوة زمنية، أنتجت هذه البنية متجهاً لشدة العواطف المتوقعة للفئات التسع.
المعالجة اللاحقة لمخرجات النموذج
تمت معالجة مخرجات النموذج الخام لاحقاً لإنتاج درجات انفعالية مستقرة وقابلة للتفسير. وقد طُبقت ثلاث عمليات متسلسلة: (1) التنعيم الزمني لتقليل التقلبات قصيرة المدى، (2) التسوية لضمان القابلية للمقارنة عبر الزمن وعبر أبعاد الانفعالات المختلفة، و(3) التجميع لاشتقاق مقاييس ملخصة عبر نوافذ زمنية محددة أو عبر التسلسلات الكاملة. تضمن إجراءات المعالجة اللاحقة إمكانية المقارنة بين المبحوثين والتحكم في التباين الأساسي بين الأفراد.
تفسير المخرجات وتصويرها
تولد خوارزمية تحليل التعبيرات الوجهية (FEA) تمثيلات كمية وبصرية للديناميكيات العاطفية المستنتجة من بيانات الفيديو. ويتمثل الشكلان الأساسيان للمخرجات في...مسارات العواطف الزمنية. يتم تصور قيم كثافة العاطفة في شكل مخططات زمنية توضح تطور كل عاطفة على مدار الفيديو. ويوفر هذا التمثيل رؤية مستمرة للتغير العاطفي، مما يسهل فحص التغيرات العابرة، وذروات التنشيط، ومراحل التعافي أو تراجع الاستثارة العاطفية. درجات العواطف المقارنة: تُعرض قيم العواطف المجمعة لكل فئة من فئات "Navarasa" التسع في شكل مخططات درجات مقارنة، مما يوضح الحجم النسبي لكل عاطفة عبر الفترة الزمنية التي تم تحليلها. وتسمح هذه التصورات المقارنة بإجراء مقارنات مباشرة بين العواطف، وتوفر ملخصاً موجزاً للملف العاطفي العام. كما تم فحص درجات خوارزمية FEA الناتجة عند خط الأساس للبحث عن أي خطوط مسطحة أو غياب للتغيير الملحوظ، وهو ما قد يشير إلى عدم كفاية التسجيل.
التحليل الإحصائي
اعتُبرت درجات نطاقات عواطف Navarasa التسعة، التي استخرجتها خوارزمية FEA خلال فترة 10 s التي تلت عرض كل صورة في النموذج، بمثابة متغيرات نتيجة. تم استخراج درجات خوارزمية FEA لكل ثانية s في نافذة الـ 10 s (T0, T1, T2… T9). واعتُبرت درجة خوارزمية FEA عند T0 هي درجة الخط الأساس. كما عُرِفت أعلى درجة لخوارزمية FEA من بين التسجيلات من T1–T9 بأنها Tmax. تم حساب التغير في درجة خوارزمية FEA عن الخط الأساس (Tmax − T0) واستُخدم كمتغير نتيجة في التحليلات. يظهر التغير في درجات خوارزمية FEA عبر السلسلة الزمنية لكل عاطفة في الشكل 3A–D.
بالنسبة لصور TRENDS، تم تعيين فئات العواطف المستهدفة المقابلة على النحو التالي: Shanta > محايد؛ Haasya > سعيد؛ Krodha > غضب؛ و Bhayanaka > خوف. أما بالنسبة لصور Navarasa، فقد تم تجميع درجات خوارزمية FEA وحساب متوسطها ضمن ثلاث فئات مركبة: محايد (Shanta)، وممتع (Haasya، Veera، Shringara، Adbhuta)، وغير ممتع (Krodha، Vibhitsa، Bhayanaka، Karuna).
أُجريت تحليلات على مستوى المجموعة وعلى مستوى المشارك.
التحليل على مستوى المجموعة: بالنسبة لكل فئة من فئات العواطف الموصوفة أعلاه، تمت مقارنة التغيير في درجة خوارزمية FEA من الخط الأساسي إلى Tmax باستخدام اختبارات t المقترنة. يشير التغيير الجوهري عن الخط الأساسي في درجة خوارزمية FEA إلى توافق جيد مع التعرف على العواطف. ومع ذلك، فإن وجود فرق جوهري لن يشير بالضرورة إلى دقة تصنيف قوية.
التحليل على مستوى المفحوص: صُنِّف أي ارتفاع في درجة نطاق العاطفة وفق خوارزمية FEA فوق القيمة المرجعية على أنه استجابة عاطفية إيجابية. بعد ذلك، استُمدت مؤشرات الدقة، وهي الحساسية والنوعية. وتحدد الحساسية والنوعية، على التوالي، احتمالية أن تكون نتيجة الاختبار إيجابية عند وجود الحالة المستهدفة (+) وسلبية عند غيابها (−). وعندما تقترب كلتا القيمتين التقديريتين من 1، فإن الاختبار يؤدي بشكل جيد من حيث الدقة التشخيصية. وقد عُرِّفت الحساسية والنوعية التقديريتان بأنهما نسب المشاركين الذين لديهم الحالة المرجعية (تعبيرات Navarasa) والذين ليس لديهم هذه الحالة، والذين تم تصنيفهم بشكل صحيح، على التوالي.
اعتُبر الشخص مصاباً بالحالة المستهدفة (+) إذا تمكن من تحديد ما لا يقل عن 75% من العواطف المصورة بشكل صحيح. واستند هذا التصنيف إلى دراسات التحقق من نظام TRENDS، والتي اعتبرت أن دقة تتراوح بين 60–80% تمثل صلاحية تمييزية كافية. كما أُجري تحليل خصائص تشغيل المستقبل (ROC) لمتنبئ مستمر لتقدير المساحة تحت المنحنى (AUC) وقيم الحساسية والخصوصية المقابلة. واعتُبرت الحساسية التي تزيد عن 80% قدرة تمييزية جيدة، بينما اعتبرت القيمة الأقل من 80% قدرة متواضعة.
النتائج
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
بحثت الدراسة في التباينات في درجات خوارزمية FEA استجابةً للمحفزات المثيرة للعواطف، وقيمت الأداء التشخيصي لخوارزمية FEA باستخدام تحليل منحنى خصائص تشغيل المستقبل (ROC). تم استقطاب اثنين وسبعين متطوعًا سليمًا للمشاركة في الدراسة. كان متوسط العمر (الانحراف المعياري) 31.9 (11.9) سنة، وشملت العينة 26 ذكرًا و46 أنثى. وكان جميع المشاركين قد أتموا 10 سنوات على الأقل من التعليم، وجميعهم من العرق الهندي. وكانت درجاتهم المتوسطة (الانحراف المعياري) في مقياس PHQ-9 ومقياس GAD-7 هي 4.4 (4.8) و 4.7 (4.5) على التوالي.
التغيرات في درجات خوارزمية تحليل تعبيرات الوجه (FEA) استجابةً للمحفزات العاطفية: أظهرت المقاييس المستمدة من خوارزمية FEA تغيرات ذات دلالة إحصائية من خط الأساس (T0) إلى Tmax، وفقاً لما تم تحديده بواسطة اختبارات t المقترنة لكلا حالتي التحفيز — صور TRENDS وNavarasa (p < 0.001؛ الجدول 1، الشكل 4، الجدول 2، والشكل 5).
الدقة التشخيصية لخوارزمية FEA: تم تقييم الأداء التشخيصي لخوارزمية FEA باستخدام تحليل منحنى خصائص التشغيل للمستقبل (ROC)، مع حساب قيم المساحة تحت المنحنى (AUC) لحالات عاطفية متميزة (الجدول 3). تم الحصول على أعلى قيمة AUC لدرجة خوارزمية FEA المقابلة لحالة Shanta استجابةً لمحفزات تعبيرات الوجه المحايدة (AUC = 0.665)، تليها العاطفة الإيجابية للسعادة (AUC = 0.637) (الشكل 6). وكانت الحساسية للعواطف المحايدة والإيجابية (السعادة، المبهجة) تتراوح بين 70–80%، بينما تراوحت الحساسية للعواطف السلبية (الغضب، الخوف، غير المبهجة) بين 60–70%. وتعتبر قيم الحساسية هذه أقل من 80%، مما يشير إلى أداء تمييزي متواضع.
الارتباط بين درجات خوارزمية FEA ودرجات PHQ-9 وGAD-7: لم تُلاحظ أي ارتباطات ذات دلالة إحصائية بين أي من درجات خوارزمية FEA ودرجات PHQ-9 أو GAD-7.
توافر البيانات:
جميع البيانات الخام متوفرة في الملف التكميلي 2.
الشكل 1: مخطط توضيحي لمسار تطوير نموذج خوارزمية FEA. يوضح المخطط مجموعة بيانات الفيديو الداخلية لممثلين هنديين من كلا الجنسين يخضعون لعمليات استخراج الإطارات واستخراج الميزات عبر ثلاث فئات: مناطق معالم الوجه (بما في ذلك إشارات العين وتعبيرات الوجه الدقيقة المشتقة من Natyashastra/Navarasa)، ومعلومات وضعية الرأس، وحركة الجزء العلوي من الجسم، والتي يتم تجميعها في متجه ميزات واحد وتمريرها إلى مصنف الـ multilayer perceptron (MLP). وتخضع مخرجات MLP لمعالجة لاحقة مملوكة (التنعيم الزمني، والتطبيع، والتجميع؛ المربع البرتقالي المتقطع) قبل توليد مخرجات تنبؤ Navarasa النهائية المكونة من تسع فئات. تشير المربعات الزرقاء المتصلة إلى خطوات المعالجة؛ وتشير المربعات الزرقاء المظللة إلى فئات الميزات؛ بينما يشير المربع البرتقالي المتقطع إلى خطوة معالجة مملوكة لا يمكن الكشف عن معلماتها الداخلية. وبما أن هذا مخطط للعملية وليس رسماً بيانياً للبيانات، فإن أشرطة الخطأ وأشرطة المقياس غير قابلة للتطبيق. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
الشكل 2: إجراء تجربة خوارزمية FEA. مخطط تدفقي يوضح المراحل المتتابعة للبروتوكول التجريبي: التقييم السريري شبه المهيكل (PHQ-9، GAD-7)؛ جلوس المشارك مع وضع الكاميرا في مستوى العين، على مسافة 60–70 cm من المشارك؛ تسجيل خط الأساس لمدة 60 s؛ نموذج TRENDS لصور العواطف (20 صورة موزعة على خمس فئات من العواطف؛ عرض المثير لمدة 5 s وفترة استجابة لمدة 10 s لكل صورة؛ بإجمالي 300 s)؛ فترة راحة قصيرة؛ ونموذج Navarasa لصور العواطف (18 صورة موزعة على تسع فئات من Navarasa؛ عرض المثير لمدة 5 s وفترة استجابة لمدة 10 s لكل صورة؛ بإجمالي 270 s). تشير الأسهم إلى التسلسل الزمني للإجراءات بدءاً من التسجيل وحتى اكتمال الحصول على البيانات. وبما أن هذا مخطط تدفقي للعملية وليس رسماً بيانياً للبيانات، فإن أشرطة الخطأ وأشرطة المقياس غير قابلة للتطبيق. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
الشكل 3: التغير في السلاسل الزمنية لدرجات خوارزمية FEA استجابةً لصور عواطف TRENDS المقابلة (من T0 إلى T9 ثانية). تعرض أربعة لوحات (A–D) المسار الزمني ثانية بثانية على مستوى المجموعة لدرجة خوارزمية FEA (المحور y؛ وحدات درجات اعتباطية تم إنشاؤها بواسطة خوارزمية تسجيل مملوكة) عبر نافذة مدتها 10 ثانية بعد التحفيز (المحور x؛ T0 = الدرجة عند انتهاء التحفيز/خط الأساس لتلك التجربة، T1–T9 = كل ثانية تالية)، وذلك لـ (A) نطاق Shanta بعد الصور المحايدة، و(B) نطاق Haasya بعد الصور السعيدة، و(C) نطاق Bhayanaka بعد صور الخوف، و(D) نطاق Krodha بعد صور الغضب (العدد = 72 مشاركاً لكل لوحة). تمثل نقاط/خطوط البيانات متوسطات المجموعة عند كل نقطة زمنية؛ وتمثل أشرطة الخطأ/النطاقات المظللة الانحراف المعياري (SD) عبر المشاركين. أشرطة المقياس غير قابلة للتطبيق على تنسيق مخطط الخط الزمني هذا. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
الشكل 4: رسم بياني شريطي يوضح متوسط التغيير في درجات خوارزمية FEA استجابةً لمشاهدة صور عواطف TRENDS. تمثل الأشرطة متوسط تغيير المجموعة في درجة خوارزمية FEA (Tmax −T0؛ المحور الصادي، وحدات درجة تعسفية) لكل فئة من فئات العواطف الأربع المصنفة حسب TRENDS (Shanta/محايد، Haasya/سعيد، Krodha/غضب، Bhayanaka/خوف؛ المحور السيني) (n = 72). تمثل أشرطة الخطأ الانحراف المعياري (SD) لدرجة التغيير ضمن كل فئة. أظهرت الفئات الأربع تغييراً ذا دلالة إحصائية مقارنةً بالقيمة المرجعية وفقاً لاختبار t المقترن (p < 0.001؛ انظر الجدول 1). أشرطة المقياس غير قابلة للتطبيق على هذا التنسيق من الرسم البياني الشريطي. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
الشكل 5: رسم بياني شريطي يوضح متوسط التغير في درجات خوارزمية FEA استجابةً لمشاهدة صور عواطف Navarasa. تمثل الأشرطة متوسط تغير المجموعة في درجة خوارزمية FEA (Tmax − T0؛ المحور y، وحدات درجة عشوائية) للفئات المركبة الثلاث لـ Navarasa — المحايدة (Shanta)، والممتعة (متوسط Haasya، وVeera، وShringara، وAdbhuta)، وغير الممتعة (متوسط Krodha، وVibhitsa، وBhayanaka، وKaruna) (المحور x) (n = 72). تمثل أشرطة الخطأ الانحراف المعياري (SD) لدرجة التغير ضمن كل فئة. أظهرت الفئات الثلاث تغيراً دالاً إحصائياً عن خط الأساس بواسطة اختبار t المقترن (p < 0.001؛ انظر الجدول 2). لا تنطبق أشرطة المقياس على هذا التنسيق من الرسم البياني الشريطي. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
الشكل 6: منحنى خصائص تشغيل المستقبل (ROC) الذي يوضح الحساسية عند نقاط قطع مختلفة لمجموع نقاط Shanta الخاصة بخوارزمية FEA استجابةً لصور العاطفة المحايدة. يمثل المحور الصادي الحساسية (معدل الإيجابية الحقيقية، %) ويمثل المحور السيني 1 − النوعية (معدل الإيجابية الكاذبة، %)، مرسومة عبر نطاق قيم نقاط القطع الممكنة لمجموع نقاط Shanta؛ ويمثل الخط المرجعي القطري مستوى التمييز القائم على الصدفة (AUC = 0.5). المساحة تحت المنحنى (AUC) = 0.665 (راجع الجدول 3 لمعرفة قيم AUC والحساسية والنوعية لجميع فئات العواطف). لا تنطبق أشرطة الخطأ وأشرطة القياس على تنسيق هذا المنحنى. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
| العاطفة (محفزات TRENDS) | متوسط T0 | متوسط Tmax | متوسط الفرق | القيمة الاحتمالية p-value |
| محايد – Shanta | 0.2261 | 0.2664 | 0.0403 | <0.001 |
| سعيد – Haasya | 0.0834 | 0.1127 | 0.0294 | <0.001 |
| خوف – Bhayanaka | 0.0648 | 0.0848 | 0.02 | <0.001 |
| غضب – Raudra | 0.0901 | 0.1108 | 0.0207 | <0.001 |
الجدول 1: متوسط قيم T0 وTmax لدرجات خوارزمية FEA استجابةً لمشاهدة محفزات عواطف TRENDS. لكل فئة من فئات العواطف المحددة في TRENDS (Shanta/محايد، Haasya/سعيد، Krodha/غضب، Bhayanaka/خوف)، يوضح الجدول متوسط درجات خوارزمية FEA للمجموعة (± SD) عند خط الأساس (T0) وعند الحد الأقصى خلال التجربة (Tmax)، ومتوسط التغيير (Tmax − T0)، ونتيجة اختبار t المقترن (p-value) الذي يقارن بين T0 وTmax (n = 72). تم تسجيل جميع القيم بوحدات اعتباطية لدرجات خوارزمية FEA؛ واعتُبرت قيمة p < 0.05 ذات دلالة إحصائية.
| فئة العاطفة (محفزات Navarasa) | المتوسط T0 | المتوسط Tmax | متوسط الفرق | القيمة الاحتمالية p-value |
| محايد – Shanta | 0.24 | 0.29 | 0.047 | <0.001 |
| مبهج (Haasya, Veera, Shringara, Adbhuta) | 0.034 | 0.045 | 0.011 | <0.001 |
| غير مبهج (Krodha, Vibhitsa, Bhayanaka, Karuna) | 0.054 | 0.068 | 0.014 | <0.001 |
الجدول 2: متوسط قيم T0 و Tmax لنتائج خوارزمية FEA استجابةً لمشاهدة محفزات عواطف Navarasa. لكل فئة مركبة من Navarasa (محايدة، ممتعة، غير ممتعة)، يوضح الجدول متوسط نتائج خوارزمية FEA للمجموعة (± SD) عند خط الأساس (T0) وعند الحد الأقصى ضمن التجربة (Tmax)، ومتوسط التغيير (Tmax − T0)، ونتيجة اختبار t المزدوج (قيمة p) التي تقارن بين T0 و Tmax (العدد = 72). تم تسجيل جميع القيم بوحدات عشوائية لنتائج خوارزمية FEA؛ واعتُبرت القيمة p < 0.05 ذات دلالة إحصائية.
| اللوحة A: محفزات TRENDS | |||||
| محفزات TRENDS | AUC | 95% CI | نقطة القطع Δ لدرجة Emoscape | الحساسية (%) | النوعية (%) |
| محايد – Shanta | 0.665 | 0.456–0.873 | 0.065 | 82.5 | 50 |
| سعيد – Haasya | 0.637 | 0.493–0.780 | 0.0345 | 70.7 | 46.2 |
| خوف – Bhayanaka | 0.583 | 0.446–0.721 | 0.018 | 61.2 | 54.5 |
| غضب – Raudra | 0.532 | 0.374–0.689 | 0.023 | 67.3 | 45.5 |
| اللوحة B: محفزات Navarasa | |||||
| محفزات Navarasa | AUC | 95% CI | نقطة القطع Δ لدرجة Emoscape | الحساسية (%) | النوعية (%) |
| Shanta (محايد) | 0.596 | 0.412–0.779 | 0.03 | 85.7 | 44.6 |
| سار (Haasya, Veera, Shringara, Adbhuta) | 0.515 | 0.369–0.660 | 0.012 | 70.2 | 40 |
| غير سار (Krodha, Vibhitsa, Bhayanaka, Karuna) | 0.565 | 0.384–0.745 | 0.007 | 67.8 | 38 |
الجدول 3: قيم المساحة تحت المنحنى (AUC)، والحساسية، والنوعية لدرجات خوارزمية FEA حسب فئة العاطفة. بالنسبة لكل فئة عاطفة تم تقييمها باستخدام تحليل خصائص تشغيل المستقبل (ROC)، يوضح الجدول قيم AUC، والحساسية (%)، والنوعية (%). تم تحديد حساسية ≥ 80% مسبقاً كمؤشر على قدرة تمييزية جيدة؛ بينما صُنفت القيم التي تقل عن هذا الحد بأنها متواضعة (راجع التحليل الإحصائي).
الشكل التكميلي 1: مصفوفة ارتباك معيرة لنموذج تصنيف مشاعر Navarasa المكون من تسع فئات. تمثل الصفوف فئة المشاعر الحقيقية (الفعلية) وتمثل الأعمدة فئة المشاعر التي تنبأ بها النموذج؛ وتشير قيم الخلايا إلى نسبة حالات الفئة الحقيقية المخصصة لكل فئة متوقعة، معيرة وفق مقياس من 0 إلى 1 (شريط الألوان، جهة اليمين). تتوافق تسميات الفئات (1-9) مع فئات مشاعر Navarasa التسع؛ وبسبب قيود الملكية، لم يتم الكشف عن التعيين المحدد لكل رقم مقابل الشعور الخاص به. بلغت دقة التصنيف المتقاطع الإجمالية عبر جميع الفئات التسع 96%. أشرطة الخطأ غير قابلة للتطبيق في تنسيق هذه المصفوفة.يرجى النقر هنا لتنزيل هذا الملف.
الملف التكميلي 1: وصف تطوير نموذج خوارزمية FEA (يتضمن مقاييس التحقق الداخلي، ودقة التحقق المتقاطع، ومصفوفة ارتباك Navarasa بحجم 9 × 9).يرجى النقر هنا لتحميل هذا الملف.
الملف التكميلي 2: ملف يحتوي على البيانات الخام.يرجى النقر هنا لتنزيل هذا الملف.
المناقشة
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
سعت هذه الدراسة إلى تقديم تحقق أولي من خوارزمية FEA من خلال فحص التوافق بين الدرجات المستمدة من خوارزمية FEA والاستجابات لمحفزات عواطف الوجه القياسية لدى متطوعين أصحاء من البالغين. وتشير هذه النتائج المبكرة إلى أن خوارزمية FEA تظهر تغيرات يمكن اكتشافها إحصائياً استجابةً للمحفزات البصرية المسببة للعواطف عبر مختلف الفئات العاطفية المنفصلة، بما في ذلك الحالة المحايدة (shanta)، والسعادة (haasya)، والخوف (bhayanaka)، والغضب (raudra)، بالإضافة إلى تصنيفات أوسع للحالات الممتعة وغير الممتعة. وهذا يشير إلى أن درجات خوارزمية FEA تتوافق مع الاستجابات لمهام المحفزات العاطفية.
لوحظ أن حساسية خوارزمية FEA تتراوح بين 70% و 80% للمشاعر المحايدة أو الإيجابية، ومن 60% إلى 70% للمشاعر السلبية. وتعد قيم الحساسية هذه متواضعة بالنسبة لأي اختبار مخصص للاستخدام كإجراء مسحي12. ومقارنة بذلك، فإن نماذج استنتاج العواطف الأوسع القائمة على التعلم الآلي والتي تستخدم المؤشرات الفيزيولوجية العصبية، مثل تخطيط كهربائية الدماغ (EEG)، تسجل دقة تصنيف تصل إلى 90%13. وقد أظهر نظام مصنف تجميعي لتصنيف العواطف بناءً على EEG وGSR للكشف عن التوحد دقة كشف بلغت 99.97%14. ومع ذلك، تميل هذه النماذج إلى أن تكون أكثر استهلاكاً للموارد الحسابية وتتطلب معالجة غير متصلة بالإنترنت (offline). وفي المقابل، تكمن القوة البارزة لخوارزمية FEA في تركيزها على الإشارات الملحوظة في الوجه والجسم، مما يتيح تشغيلها في بيئات العمل في الوقت الفعلي.
تعتمد إجراءات خوارزمية FEA على عدة عوامل إجرائية حاسمة لجودة وموثوقية تسجيلات خوارزمية FEA، ومن بينها موضع الكاميرا والإضاءة المحيطة. فقد تؤدي التسجيلات التي تُجرى في ظل إضاءة محيطة ضعيفة أو غير متسقة إلى تدهور ملحوظ في جودة استخراج الميزات. كما يجب أن يظل وضع الرأس والجسم مستقراً طوال كل جلسة تسجيل؛ ولذلك تم استبعاد المشاركين الذين يعانون من محدودية في حركة الرأس أو الرقبة. ويعد تقليل التداخل السلوكي أثناء التسجيل أمراً ضرورياً؛ حيث جلس المشاركون بمفردهم، مع غياب الباحث عن الغرفة، لتقليل تأثيرات الرغبة الاجتماعية والمراقبة الذاتية التي قد تكبح التعبيرات الوجهية الطبيعية.
يوفر دمج إطار "نافاراسا" (Navarasa) تصنيفاً للمشاعر يراعي الحساسيات الثقافية. وقد طبقت الدراسة منهجية نظرية العقل (ToM) لتقييم التغيرات في درجات خوارزمية FEA استجابةً للمحفزات العاطفية. تمثل نظرية العقل وظيفة معرفية اجتماعية من رتبة عليا، وقد تم توثيق ركائزها العصبية البيولوجية في الدراسات السابقة15، مما يدعم المعقولية البيولوجية للتغيرات الملحوظة في درجات خوارزمية FEA.
لم يتم العثور على ارتباط بين درجات خوارزمية FEA ودرجات الاكتئاب أو القلق، مما يشير إلى أنه من غير المرجح أن تكون الحالات العاطفية الداخلية للمشاركين قد أثرت على تسجيلات خوارزمية FEA. ومع ذلك، من الصعب التحكم بشكل كامل في الحالات العاطفية للمشاركين أثناء التجربة. بالإضافة إلى ذلك، قد تثبط المعالجة المعرفية من الأعلى إلى الأسفل الاستجابات العاطفية الطبيعية، لا سيما في رد الفعل تجاه المثيرات العاطفية السلبية. وينبغي أن تقيم الدراسات المستقبلية التجارب الذاتية للمشاركين أثناء مشاهدة المثيرات العاطفية، حيث يمكن أن يؤكد ذلك ما إذا كانت المشاهدة السلبية تثير بالفعل حالة عاطفية ذاتية. كما يمكن تعزيز الحساسية المتواضعة لخوارزمية FEA وحدها من خلال بيانات فيزيولوجية عصبية إضافية، مثل EEG، أو تباين معدل ضربات القلب (HRV)، أو استجابة الجلد الجلفانية (GSR). ويجب تقييم ذلك في دراسات التحقق المستقبلية. وقد أُجري التحقق على مجموعة من البالغين الأصحاء، لذا فإن فائدة خوارزمية FEA في تقييم الحالات العاطفية الذاتية في الحالات السريرية مثل الاكتئاب والقلق تستوجب مزيداً من البحث من خلال دراسات الحالة والشواهد.
ثمة عدة قيود في الدراسة الحالية تستوجب الإقرار بها. إذ تحد الطبيعة المملوكة لخوارزمية FEA من شفافية مسار معالجة البيانات الخاص بها. وتحديداً، لا يمكن الكشف عن العدد الدقيق للممثلين/المشاركين، أو هوياتهم على مستوى الفرد، أو أعداد مقاطع الفيديو/التسجيلات الدقيقة لكل ممثل، أو تعريفات الميزات الدقيقة (مؤشرات العلامات المرجعية ومعرفات النقاط الرئيسية)، أو المعايير التفصيلية لبنية MLP (أبعاد الطبقات الدقيقة وأعداد المعلمات). وقد وردت مقاييس التحقق الداخلية (دقة التحقق المتبادل بنسبة 96%؛ والتحقق المستقل من >15,000 دقيقة من الفيديو) في المواد التكميلية. كما تم إخفاء أسماء تصنيفات المشاعر بسبب قيود الملكية. ونقر بأن هذه القيود تحد من إمكانية التكرار المستقل للدراسة.
لاحظت الدراسة وجود توافق في المثيرات بين درجات خوارزمية FEA ودقة التعرف على العواطف لدى البالغين الأصحاء، مع حساسية متواضعة في التمييز بين الحالات العاطفية. يوفر هذا تحققاً أولياً من خوارزمية FEA، وهي خوارزمية مملوكة تعتمد على تعلم الآلة (ML) تقوم بتحليل الحركات الدقيقة للجزء العلوي من الجسم وتوليد تمثيلات ديناميكية للمسارات العاطفية ودرجات مجمعة لكل من الـ rasas التسع، بناءً على إطار عمل Navarasa. يجب أن تهدف الإصدارات المستقبلية من الخوارزمية إلى تحسين قدرتها التمييزية عبر جميع الفئات العاطفية من خلال دمج بيانات فسيولوجية أو سياقية إضافية. ويتطلب التحقق من صحتها في مجموعات سريرية أوسع مزيداً من البحث.
الإفصاحات
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
تعد خوارزمية FEA خوارزمية مملوكة لشركة Nihilent Ltd.، والتي قدمت الدعم المالي لـ Manoshanti لإجراء عملية جمع البيانات لهذه الدراسة. وقدمت شركة Nihilent درجات خوارزمية FEA. وقد أجرت Manoshanti تحليل البيانات بشكل مستقل. ولم تكن شركة Nihilent Ltd. مشاركة في تحليل البيانات.
شكر وتقدير
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
نتوجه بالشكر إلى البروفيسور P. T. Sivakumar والدكتور Shivarama Varambally على توفير الإشراف العلمي على هذه الدراسة.
المواد
| الاسم | الشركة | رقم فهرسي | التعليقات |
|---|---|---|---|
| Emoscape | شركة Nihilent Ltd، بونه | 1 | مطور Emoscape |
| مراكز Manoshanti للصحة العاطفية | شركة GNR Health Care Pvt Ltd. | 2 | شريك إكلينيكي وبحثي |
| أداة للتعرف على العواطف في الاضطرابات النفسية العصبية | حقوق الطبع والنشر مع المؤلف المسؤول عن الدراسة | 3 | الأداة المستخدمة للتحقق من الصحة في الدراسة |
المراجع
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
- Garg N, Garg R, Anand A, Baths V. Decoding the neural signatures of valence and arousal from a portable EEG headset. Front Hum Neurosci. 2022;16:1051463. doi:10.3389/fnhum.2022.1051463.
- Wang XW, Nie D, Lu BL. Emotional state classification from EEG data using a machine learning approach. Neurocomputing. 2014;129:94–106.
- Giannakaki K, Giannakakis GA, Farmaki C, Sakkalis V. Emotional state recognition using advanced machine learning techniques on EEG data [conference paper]. Presented at: 2017 IEEE 30th International Symposium on Computer-Based Medical Systems; Thessaloniki, Greece; 2017. p. 333–6. Available from: https://ieeexplore.ieee.org/document/8104214
- Barzilay R, et al. Predicting affect classification in mental status examination using machine learning face action recognition system. Front Psychiatry. 2019;10:288. doi:10.3389/fpsyt.2019.00288.
- Houssein EH, Hammad A, Ali AA. Human emotion recognition from EEG-based brain-computer interface using machine learning. Neural Comput Appl. 2022;34:12527–52.
- Awan AW, et al. An ensemble learning method for emotion charting using multimodal physiological signals. Sensors (Basel). 2022;22(23):9480. doi:10.3390/s22239480.
- Shetty H, Sampathila N, Kumar GS, Behere R. Interactive self assessment tool for analysis of emotional status. Indian J Sci Technol. 2017;10(16):1–5.
- Bazgir O, Mohammadi Z, Habibi SAH. Emotion recognition with machine learning using EEG signals [conference paper]. Presented at: 2018 25th National and 3rd International Iranian Conference on Biomedical Engineering; Qom, Iran; 2018. p. 1–5. Available from: https://ieeexplore.ieee.org/document/8703559
- Spunt RP, Adolphs R. The neuroscience of understanding the emotions of others. Neurosci Lett. 2019;693:44–8.
- Hawco C, et al. Neural activity while imitating emotional faces is related to both lower and higher-level social cognitive performance. Sci Rep. 2017;7:1244. doi:10.1038/s41598-017-01316-z.
- Behere RV, et al. TRENDS: a tool for recognition of emotions in neuropsychiatric disorders. Indian J Psychol Med. 2008;30(1):32–8.
- Trevethan R. Sensitivity, specificity, and predictive values: foundations, pliabilities, and pitfalls in research and practice. Front Public Health. 2017;5:307. doi:10.3389/fpubh.2017.00307.
- Gkintoni E, Aroutzidis A, Antonopoulou H, Halkiopoulos C. From neural networks to emotional networks: a systematic review of EEG-based emotion recognition in cognitive neuroscience and real-world applications. Brain Sci. 2025;15(3):220. doi:10.3390/brainsci15030220.
- Joshi S, Srinivas LNB. An ensemble classifier for emotion classification from EEG and GSR signals for autism detection. Comput Methods Programs Biomed. 2025;270:108921. doi:10.1016/j.cmpb.2025.108921.
- Lincoln SH, et al. The neural basis of social cognition in typically developing children and its relationship to social functioning. Front Psychol. 2021;12:714176. doi:10.3389/fpsyg.2021.714176.
إعادة الطباعة والأذونات
طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه
طلب إذنالوسوم
