النمذجة الحاسوبية لتجربة المستخدم العاطفية باستخدام الإشارات الفسيولوجية والسلوكية متعددة الوسائط

Summary

يصف هذا البروتوكول إطارا حاسوبيا ينمذج تجربة المستخدم العاطفية من خلال دمج الإشارات الفسيولوجية والسلوكية بطريقة متعددة الوسائط، باستخدام تقنيات التعلم القائم على الارتباط والدمج متعدد الوسائط. يقترح هذا البروتوكول ويختبر إطارا لنمذجة التأثير متعددة الوسائط على مجموعة بيانات اختبار AMIGOS.

Abstract

يقترح هذا العمل بروتوكولا حسابيا قابلا للتكرار لنمذجة العاطفة متعددة الوسائط يستخدم الإشارات الفسيولوجية. هدف البروتوكول هو تمكين التعرف على المشاعر دون اتصال بالإنترنت من خلال دمج إشارات حيوية متعددة باستخدام إطار تعلم عميق موحد. يتكون العمل المقترح من خمس خطوات: جمع البيانات، المعالجة المسبقة، محاذاة الميزات، دمج الوسائط المتعددة، والتقييم. تم استخدام إشارات EEG وتخطيط القلب وGSR من بيانات AMIGOS المتاحة للجمهور كأساس تجريبي في هذا العمل. تمت معالجة الإشارات الحيوية مسبقا وتطبيعها لاستخراج ميزات خاصة بالنمط. تم محاذاة فضاءات الميزات غير المتجانسة عبر الأنماط باستخدام تحليل الارتباط القانوني العميق، تلاها شبكة اندماج متعددة الوسائط لتصنيف حالة عاطفية. تم تقييم البروتوكول من خلال تجارب غير متصلة ومقارنته مع نماذج الدمج والتصنيف التقليدية باستخدام مقاييس أداء قياسية مثل الدقة، والدقة، والاسترجاع، ودرجة F1، وAUC. تركز هذه الدراسة على تطوير والتحقق من صحة إطار عمل حاسوبي لنمذجة تجربة المستخدم العاطفية متعددة الوسائط بدلا من نشر نظام تفاعلي في الوقت الحقيقي. مع دقة 92.1٪ في توقع حالة تجربة المستخدم العاطفية و94.2٪ في تصنيف الإثارة والتكافؤية، تفوقت النتائج باستمرار على النماذج الأساسية في الأبعاد العاطفية. وقد أكدت هذه النتائج فعالية سير عمل الاندماج متعدد الوسائط المقترح في النمذجة العاطفية الحاسوبية من خلال مقارنة البيانات الفسيولوجية.

Introduction

التفاعل المعقد بين التفكير والمشاعر والأفعال يشكل طريقة تفكير الناس وتصرفاتهم. الحوسبة العاطفية هي دراسة هذه العلاقات من خلال الاستفادة من المعرفة متعددة التخصصات من علوم الأعصاب وعلم النفس والذكاء الاصطناعي لبناء أنظمة قادرة على تحليل وفهم وتفاعل مع المشاعر الإنسانية. وقد تم تطبيق هذا المجال بشكل متزايد على التواصل البشري مع التكنولوجيا من خلال دمج الوعي التعبيري في هياكل الذكاء الاصطناعي المستجيبة، مما يجعل التكنولوجيا تتفاعل ليس فقط مع الظروف الفكرية بل أيضا مع الظروف العاطفية، مما يؤدي إلى معرفة مستخدم أكثر فردية ووعي بالعاطفة. العاطفة، وهي عملية ذهنية معقدة، هي انعكاس للتصورات البشرية ولها دور كبير في التفاعلات البشرية

Protocol

مجموعة بيانات AMIGOS المستخدمة في هذه الدراسة متاحة للجمهور وتم جمعها بموافقة مسبقة من لجنة المراجعة المؤسسية وموافقة مستنيرة، كما ورد في المنشور الأصلي. تتضمن هذه الدراسة فقط تحليلا ثانويا لمجموعة البيانات، ولم تكن هناك حاجة لموافقة أخلاقية إضافية.

تستخدم الطريقة الحالية نهج محاذاة الميزات والاندماج متعدد الوسائط للتعامل مع البيانات الفسيولوجية والسلوكية متعددة الوسائط لوصف ارتباطات الإدراك والعاطفة. تقترح هذه الدراسة نموذجا حسابيا لتجربة المستخدم العاطفية (UX) في المعارض التفاعلية، مستفيدا من الاستشعار الفيزيائي الحيوي متعدد الوسائط ونمذجة المشاعر المعتمدة على الذكاء الاصطناعي. استنادا إلى رؤى البيانات الفيزيائية الحيوية من ورقة الأساس، ت....

Results

تقييم النظام المقترح
لتقييم النظام المقترح، أجرى المركز تجارب على مجموعة بيانات AMIGOS المتاحة للجمهور، والتي توفر قياسات متزامنة لتخطيط الدماغ الكهربائي (EEG) وتخطيط القلب (ECG) وأشعة الرؤية العالية (CSR)، والفيديو، والصوت ل 40 مستخدما تعرضوا لمحفزات عاطفية مؤثرة. لغرض هذا البحث، استخدم المؤلفون بيانات من 33 مشاركا (بعد المعالجة المسبقة وإزالة التجارب غير المكتملة)، مما أدى إلى 1,320 عينة صالحة على أبعاد التكافؤ والإثارة. ركز التقييم على تصنيف المشاعر والتنبؤ بحالة تجربة المستخدم العاطفية باستخدام طب.......

Discussion

سياقات التفاعل المكانية والبيئية والمادية، مثل التخطيط المكاني، كثافة الحشود، أو الظروف البيئية المحيطة، غير مذكورة صراحة في مجموعة بيانات AMIGOS. لذا، فإن مثل هذه العوامل لا يتم نمذجتها مباشرة في التجارب الحالية. يتقدم الإطار الحاسوبي المقترح لنمذجة تجربة المستخدم العاطفية (UX) بشكل أبعد بكثير من المفاهيم الأساسية للورقة الأساسية التي تناولت تفاعل المستخدم الموجه نحو المهام بين الطفل والروبوت باستخدام اكتشاف المشاعر الفيزيائية الحيوية. من خلال تعميم الحوسبة العاطفية إلى بيئات العرض الدي.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
مجموعة البيانات	مجموعة بيانات AMIGOS	40 مشاركا؛ تخطيط الدماغ (EEG) (128 هرتز)، تخطيط القلب (ECG) (1000 هرتز)، GSR (1000 هرتز)، فيديو الوجه، وتصنيفات التوالينس/الإثارة المبلغ عنها ذاتيا	بيانات الحقيقة الأرضية متعددة الوسائط لنمذجة الحالة العاطفية
الحساسات الفسيولوجية	سماعة EEG	Emotiv EPOC+ (14 قناة، 128 هرتز)	التقاط نشاط الدماغ المرتبط بالانتباه والإثارة والتفاعل
	حساس تخطيط القلب	Biopac MP150 أو ما يعادلها (1000 هرتز)	تغير معدل ضربات القلب والإثارة
	حساس GSR/EDA	Shimer GSR+ أو ما يعادله (1000 هرتز)	توصيل الجلد كمقياس للإثارة
الحساسات السلوكية	جهاز تتبع العين	توبي برو X2-60 أو ما يعادلها	تسجيل تثبيت النظرة والساكاد
	تسجيل تعبيرات الوجه	كاميرا فيديو عالية الدقة؛ تم تحليله باستخدام OpenFace (AUs، متجهات النظرة)	استخراج وحدات الحركة الوجهية (AUs) وإشارات النظرة
المدخلات البيئية	إعداد التسجيل السمعي والبصري	ميكروفون + كاميرا (متزامنة مع المحفزات)	التقاط المحفزات السياقية أثناء المعرض
البرمجيات / الأدوات	OpenFace	مجموعة أدوات تحليل سلوك الوجه مفتوحة المصدر	استخراج وحدات الحركة (AUs)، اتجاه النظرة
	MATLAB / بايثون (NumPy، SciPy، scikit-learn)	معالجة الإشارة المسبقة (إعادة العينات، تطبيع درجة z، حساب PSD)	معالجة البيانات واستخراج الميزات
	TensorFlowv2.13 / PyTorchv2.0	إطار عمل التعلم العميق ل DCCA و MMFN	تنفيذ النموذج والتدريب
الخوارزميات / النماذج	تحليل الارتباط القانوني العميق (DCCA)	طريقة محاذاة الميزات غير الخطية	تعلم التمثيلات الكامنة المترابطة عبر الأنماط
	شبكة الاندماج متعددة الوسائط (MMFN)	BiLSTM + طبقات الاندماج المعتمدة على الانتباه	الاندماج الهرمي للأنماط غير المتجانسة لتصنيف حالات تجربة المستخدم
مقاييس التقييم	الدقة، الدقة، الاستدعاء، نتيجة الفورمولا 1، كوهين s كابا، AUC-ROC، مصفوفة الارتباك	تم تنفيذها باستخدام مقاييس scikit-learn / TensorFlow	تقييم أداء النموذج
أجهزة الحوسبة	مجموعة محطة العمل / وحدة معالجة الرسومات	NVIDIA RTX 3080 (10GB) أو ما يعادله، 32 جيجابايت رام، معالج Intel i9	تدريب النماذج والمحاكاة