الرسم الخرائطي المرئي لسمات العواطف متعددة الوسائط لتصميم التفاعل الذكي

Wanbao Ge; Zhenhua Yang; Zhenhu Liu; Qi Liu; Quan Wen; Suraiyati Binti Rahman

doi:10.3791/71171

مقالة بحثية

الرسم الخرائطي المرئي لسمات العواطف متعددة الوسائط لتصميم التفاعل الذكي

96 مشاهدة

⸱

DOI:

10.3791/71171

⸱

أغسطس 21, 2026

Wanbao Ge¹^,² , Zhenhua Yang¹^,² , Zhenhu Liu³ , Qi Liu¹ , Quan Wen¹ , Suraiyati Binti Rahman¹

¹School of Housing, Building and Planning, Universiti Sains Malaysia, ²School of Design Art, Changsha University of Science & Technology, ³Xiamen Academy of Arts and Design, Fuzhou University

في هذه المقالة

ملخص

يقترح هذا العمل إطار عمل لتحليل العواطف متعدد الوسائط من الطرف إلى الطرف، والذي يسخر المشفرات التحويلية (transformer encoders)، وتمثيلات العواطف المفككة، والانتباه عبر الوسائط القائم على الرسوم البيانية مع التعيين المرئي لتحسين دقة التعرف على العواطف عبر مجموعتي بيانات.

الملخص

يُعد التخطيط المرئي لسمات العواطف متعددة الوسائط أمراً بالغ الأهمية لتصميم الواجهات الذكية، وذلك من خلال تمكين الآلات من فهم الحالات العاطفية البشرية وتفسيرها والتفاعل معها. ومع ذلك، تركز خوارزميات اكتشاف العواطف متعددة الوسائط الحالية بشكل أساسي على أداء التنبؤ، مما يوفر رؤية محدودة فيما يتعلق بقابلية التفسير، أو الوعي بالتفاعل، أو التفاعلات عبر الوسائط على مستوى السمات. قدم هذا العمل إطار عمل للتخطيط المرئي لجوانب العواطف متعددة الوسائط يجمع بين التصور الموجه نحو التفاعل، وتعلم التمثيلات القابلة للتفسير، والتنبؤ العاطفي. تم استخدام مشفرات قائمة على نماذج transformer لاستخراج تضمينات عاطفية عالية المستوى من الوسائط النصية والصوتية والمرئية، دون الاعتماد على سمات تم إنشاؤها يدوياً. ولتعزيز المتانة، تم فصل المعلومات الخاصة بالعاطفة وتلك الخاصة بالوسائط باستخدام تقنية تعلم التمثيلات المفككة. بالإضافة إلى ذلك، تم إنشاء شبكة انتباه عبر الوسائط قائمة على الرسوم البيانية لاستخدام وزن انتباه تكيفي لمحاكاة العلاقات العاطفية الدقيقة بين الوسائط. كما تم تطوير وحدة تخطيط مرئي متعددة الرؤى لتصوير مسارات العواطف الزمنية، وتوزيعات الانتباه عبر الوسائط، وتضمينات العواطف الكامنة من أجل تعزيز الشفافية. تم تقييم إطار العمل المقترح باستخدام مجموعة بيانات Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) ومجموعة بيانات تحليل المشاعر متعددة الوسائط الصينية (CH-SIMS). ووفقاً للنتائج التجريبية، وفر إطار العمل المقترح قابلية تفسير محسنة على مستوى السمات وتصوراً واعياً بالتفاعل، بينما تفوق باستمرار على التقنيات المرجعية التمثيلية من حيث الدقة، ومقياس F1-score، والارتباط، ومتوسط الخطأ المطلق. علاوة على ذلك، سهلت وحدة التخطيط المرئي التفسير النوعي لتمثيلات العواطف متعددة الوسائط، والتفاعلات عبر الوسائط، والديناميكيات العاطفية الزمنية، مما يدعم التحليل والتصور الواعي بالتفاعل.

المقدمة

لقد أصبحت القدرة على تحديد وفهم المشاعر البشرية بشكل صحيح أمراً بالغ الأهمية لتحسين التفاعل بين البشر والآلات. وبالإضافة إلى كونها ضرورية لتحسين التفاعل بين الإنسان والحاسوب، فإن لتحليل العواطف القدرة على إحداث ثورة في عدد من المجالات، بما في ذلك التشخيص الطبي السابق للتخيص¹، وتحليل السلوك داخل الفصول الدراسية²، والمتابعة النفسية للمرضى³، وتحديد حالة الإجهاد في المركبات⁴، والإدارة الذكية في بيئات المنازل الذكية⁵. وقد أدت التطورات الأخيرة في الحوسبة العاطفية والتعلم العميق⁶ إلى زيادة الاهتمام بإنشاء أنظمة تعمل في الوقت الفعلي ويمكنها استيعاب تعقيد العواطف البشرية.

تعتمد العديد من الطرق الحالية بشكل أساسي على البيانات أحادية النمط، مثل الإشارات النصية أو الرسومية أو السمعية⁷^,⁸^,⁹. وتفشل هذه النهج بشكل متكرر في اكتشاف الإشارات الدقيقة مثل السخرية أو الفروق الدقيقة المرتبطة بالسياق. وقد انتقلت الأبحاث إلى تقييم العواطف متعدد الأنماط، والذي يدمج بيانات تكميلية من مصادر متعددة للتغلب على هذه القيود¹⁰^,¹¹^,¹². وقد أثبتت النماذج المرجعية مزايا دمج أنماط متعددة، مثل الذاكرة طويلة قصيرة المدى ذات الدمج المبكر (EF-LSTM)13، والشبكات العصبية العميقة خفيفة وFM (LF-DNN)¹⁴، وشبكات دمج الموتر (TFN)، ونهج الدمج متعدد الأنماط منخفض الرتبة. ومع ذلك، تعتمد معظم هذه النهج على توليد السمات في وضع عدم الاتصال، وهي غير مناسبة للمواقف الديناميكية في العالم الحقيقي.

من أجل استيعاب الحالات العاطفية، شهدت أبحاث وتطبيقات تحديد العواطف متعددة الوسائط نمواً ملحوظاً خلال السنوات العشر الماضية¹⁵. ويعد الرصد المستمر للحالات العاطفية باستخدام مصادر بيانات متنوعة واحداً من أكثر مجالات البحث تحدياً وأهمية في الوقت الحاضر¹⁶. وقد ظهر مفهوم تعدد الوسائط بشكل طبيعي مع ظهور هذا النظام المعرفي المتنوع، مما أدى إلى العديد من التطورات في تطبيق العواطف في مجالات مثل الحوسبة العاطفية، والتفاعل بين الإنسان والحاسوب (HCI)، والتعلم، وألعاب الفيديو، وخدمة العملاء، والرعاية الطبية، وتقييم تجربة المستخدم (UX)، وغيرها. ومع ذلك، لم يكن تطبيق تقنيات التعرف على العواطف في تقييم تجربة المستخدم أمراً بسيطاً دائماً.

إن أحد الأسباب الرئيسية للتركيز على التعرف متعدد الوسائط بدلاً من الطرق أحادية الوسائط هو العيوب المتأصلة في الاعتماد على مصدر معلومات واحد. فقد تعاني أنظمة اكتشاف العواطف أحادية الوسائط من انخفاض الدقة بسبب البيانات المفقودة أو غير الواضحة، بينما تعد مخططات التعرف على العواطف (MER) أكثر موثوقية وتقدم فهماً أكثر شمولاً وتعمقاً للحالات التعبيرية من خلال دمج مصادر بيانات متعددة¹⁷. فعلى سبيل المثال، قد لا تكون لغة الوجه وحدها كافية لتصنيف المشاعر بدقة، خاصة عندما تكون الإيماءات معقدة أو غير واضحة. وبالرغم من ذلك، فإن الجمع بين تعبيرات الوجه وأشكال أخرى من التواصل، مثل اللغة أو الإشارات الجسدية، قد يزيد من دقة التعرف على المشاعر.

أُجريت أبحاث مكثفة حول التعرف على العواطف عبر أنماط متعددة. ركزت الدراسات المبكرة على تحديد السمات المميزة من أنماط مختلفة، مثل المدخلات الرسومية أو الصوتية أو النصية. ومع ذلك، أصبح من الواضح بشكل متزايد أن دمج أنماط متنوعة يمكن أن يوفر معلومات عاطفية متوازنة، مما يؤدي إلى كشف أكثر موثوقية ودقة عن المشاعر. يستعرض هذا القسم التطورات الرئيسية في تحليل العواطف أحادي النمط ومتعدد الأنماط، مع التركيز على النهج الأساسية، وأوجه القصور فيها، والمنطق الذي استندنا إليه في منهجيتنا.

ركزت الدراسات الأولية حول التعرف على العواطف بشكل أساسي على نمط واحد. ففي المجال البصري، أدت الأبحاث الرائدة إلى تصنيف حركات الوجه النموذجية²⁰. وشملت التطورات اللاحقة تقنيات لالتقاط الديناميكيات الزمنية، مثل الحركة البصرية²¹ ونماذج ماركوف المخفية²²، بينما قُسمت استجابات الوجه إلى وحدات عمل باستخدام نظام ترميز تعبيرات الوجه (FACS)²³. وقد استُخدمت شبكات الذاكرة طويلة قصيرة المدى (LSTMs) والشبكات العصبية الالتفافية (CNNs) بنجاح لاستخراج سمات ذات دلالة مباشرة من الإشارات الصوتية الخام؛ كما تطورت منهجيات تحديد العواطف القائمة على الصوت من معالجة الإشارات التقليدية إلى التعلم العميق²⁴. كما تعزز استخراج إشارات المشاعر السياقية في تحليل العواطف القائم على النصوص بشكل كبير بواسطة الشبكات العصبية المتكررة (RNNs) التي تدمج آليات الانتباه، ومؤخراً بواسطة النماذج القائمة على المحولات (transformer-based models). ورغم إنجازاتها، فإن التقنيات أحادية النمط غير قادرة جوهرياً على تمثيل التعقيدات التي يمر بها البشر بدقة نظراً لافتقارها إلى المعلومات التكميلية الموجودة في الأنماط الأخرى.

تم اقتراح بعض النماذج القائمة على آلية الانتباه، مثل نموذج DialogXL25، في عام 2021 لجمع بيانات بيئية طويلة المدى في مجال تحديد المشاعر في المحادثات. وقد قدم Kim et al.²⁶ نموذج EmoBERTa في عام 2021 لزيادة دقة التعرف على المشاعر في المحادثات (ERC). يستخدم هذا النموذج بيانات المتحدث لتحسين سمات المتحدثين في المحادثات وتفاعلاتهم مع بعضهم البعض. وفي عام 2022، عرض Li et al.²⁷ طريقة CoG-BART. وتستخدم هذه البنية التعلم التبايني الخاضع للإشراف لتحسين قدرة النموذج على تفسير البيانات ذات الصلة. وتجدر الإشارة إلى أن التعلم الخاضع للإشراف يتطلب كمية كبيرة من البيانات المصنفة.

ومن الأمثلة النموذجية على هذا العمل إطار التمثيل المدرك للتفاعل متعدد الوسائط (MIAR)²⁸، والذي يستخدم رموز تفاعل الميزات والمحاذاة التباينية لتحسين التعميم عبر الوسائط المختلفة. يعمل MIAR على تحسين محاذاة الوسائط ويحقق أداءً قوياً عبر عدة مجموعات بيانات؛ ومع ذلك، فإنه يركز بشكل أساسي على دقة التنبؤ دون معالجة التخطيط المرئي. وبالمثل، فإن نموذج الاندماج السمعي البصري عبر الانتباه (Cross-Attentional Audio-Visual Fusion)²⁹ يلتقط بفعالية التفاعلات السمعية البصرية دقيقة التفاصيل للتنبؤ بالتكافؤ والاستثارة، ولكنه يقتصر على وسيطين فقط ويفتقر إلى قدرات التصوير المرئي. كما نجحت مناهج النمذجة الزمنية القائمة على شبكات LSTM واندماج المشفِّرات التلقائية في التقاط الديناميكيات الزمنية للعواطف، إلا أنها توفر رؤية محدودة فيما يتعلق بتفاعلات الوسائط والتمثيلات العاطفية المكتسبة. وفي الآونة الأخيرة، أظهرت الطرق القائمة على المحولات، مثل شبكة الاندماج متعدد الوسائط القائمة على المحول (TMFN)³⁰، أداءً قوياً على مجموعات بيانات CMU-MOSI و CMU-MOSEI من خلال تعزيز الاندماج متعدد الوسائط والتعلم التبايني. ومع ذلك، تظل هذه المناهج مدفوعة بالأداء في المقام الأول، وتقدم دعماً محدوداً للقابلية للتفسير، والتأويل على مستوى الميزات، والتصوير المرئي الموجه نحو التفاعل.

بهدف تعزيز تكامل البيانات النصية والصوتية والبصرية، تم اقتراح العديد من تقنيات التعرف على العواطف متعددة الوسائط. وبالرغم من عدم قدرتها على التقاط التفاعلات المعقدة بين الوسائط المختلفة، فقد أظهرت تقنيات الدمج المبكر مثل EF-LSTM وLF-DNN مزايا استخدام المعلومات متعددة الوسائط لتحليل المشاعر والعواطف. ورغم أن TFN قد حسّن الأداء في مجموعات البيانات المرجعية مثل CMU-MOSI وCMU-MOSEI وقدم نمذجة صريحة للتفاعلات بين الوسائط، إلا أن محدودية قابليته للتفسير وتعقيده الحسابي العالي أعاقا فائدته. ولتحسين محاذاة الوسائط ودمج الميزات الديناميكية، استخدمت تقنيات أكثر حداثة مثل MIAR، ونماذج دمج الانتباه المتقاطع، وTMFN، ومحولات الوسائط المتعددة التكيفية، بنيات المحولات (transformer topologies) وآليات الانتباه. ركزت هذه الطرق بشكل أساسي على الأداء التنبؤي، وقدمت رؤى محدودة حول التمثيلات العاطفية على مستوى الميزات والتبعيات عبر الوسائط، رغم تحقيق نتائج تنافسية عبر مقاييس التقييم الشائعة مثل الدقة (accuracy)، وF1-score، ومتوسط الخطأ المطلق (mean absolute error). علاوة على ذلك، فإن الدراسات التي وضعت تقنيات تصور يمكنها الكشف عن تضمينات العواطف الكامنة وتوزيعات الانتباه وديناميكيات العواطف الزمنية، أو التي دمجت نمذجة قائمة على الرسوم البيانية (graph-based modeling) للتفاعلات بين الوسائط، تظل قليلة. يتضمن النهج المقترح رسم خرائط بصرية متعددة العروض، ودمج الانتباه المتقاطع القائم على الرسوم البيانية، وتعلم التمثيلات المفككة للتغلب على هذه العيوب وتعزيز أداء التعرف على العواطف متعدد الوسائط.

وبالمثل، يقترح محول الوسائط المتعددة التكيفي (Adaptive Multimodal Transformer)³² دمجاً قائماً على التبادل للتخفيف التكيفي من المعلومات النمطية المشوشة أو المفقودة، مما يعزز أداء تصنيف المشاعر. ورغم أن هذا النهج يمكن أن يعالج بشكل فعال التباينات في توزيع المعلومات النمطية، إلا أن تصميمه مخصص لمهام تحليل المشاعر ويوفر رؤية محدودة للتمثيلات العاطفية المكتسبة. وثمة مساهمة مهمة أخرى تتمثل في نموذج دمج الوسائط المتعددة (Multimodal Fusion Model)³³، الذي يدمج الشبكات العصبونية التلافيفية (CNNs)، وذاكرات الوحدات القصيرة المدى (LSTMs) الضربية، وآلية الانتباه القائمة على المحولات للتعرف على العواطف متعددة الأنماط في الوقت الفعلي. ويقوم النموذج بدمج كامل لأنماط الفيديو والصوت والنص، ويظهر أداءً قوياً في التعرف. ومع ذلك، وكما هو الحال في النماذج الحالية الأخرى، فإنه يركز بشكل أساسي على دقة التنبؤ ويفتقر إلى ميزات صريحة للتصوير المرئي وقابلية التفسير الموجهة نحو التفاعل.

وفي الختام، بينما حققت مناهج التعرف على العواطف متعددة الوسائط الحديثة نجاحاً ملحوظاً في رصد التفاعلات عبر الوسائط وتعزيز دقة التنبؤ، فإن معظمها يركز على المهام القائمة على التعرف. وقد نالت مجالات قابلية التفسير على مستوى الميزات، وتصوير التمثيلات العاطفية في مساحة الصور، ودمج الإطار المقترح لتصميم التفاعل الذكي اهتماماً ضئيلاً. ومن هذا المنطلق، ومع مراعاة هذه التحديات، تم تقديم الإطار المقترح.

تركز غالبية الطرق الحالية بشكل أساسي على تحسين الأداء التنبئي مع تقديم القليل من القابلية للتفسير للتمثيلات العاطفية المكتسبة والتفاعلات عبر الوسائط، وذلك رغم التقدم الملحوظ في التعرف متعدد الوسائط على العواطف²⁸^,²⁹. وغالباً ما يصعب على استراتيجيات الدمج الحالية نمذجة التفاعلات المعقدة بين الوسائط النصية والصوتية والبصرية، خاصة عند حدوث تباينات في الوسائط ونقص في المعلومات ²⁸^,³¹. وبينما أدت التصميمات القائمة على المحولات (transformers) وآليات الانتباه إلى تعزيز تعلم التمثيلات، فإن شفافيتها وقابليتها للتفسير غالباً ما تتضاءل بسبب الافتقار إلى الفصل الصريح بين المعلومات الخاصة بالعواطف والمعلومات الخاصة بالوسائط³¹^,³²^,³³. بالإضافة إلى ذلك، بحث عدد قليل فقط من الدراسات في النمذجة القائمة على الرسوم البيانية للتفاعلات بين الوسائط أو أنشأت أطر تصور يمكنها الكشف عن ديناميكيات العواطف الزمنية وتوزيعات الانتباه وتضمينات العواطف. وتوضح هذه العيوب الضرورة الملحة لإيجاد إطار عمل متعدد الوسائط وقابل للتفسير للتفاعل الذكي بين الإنسان والآلة يجمع بين الخرائط المرئية الموجهة نحو التفاعل والتعلم القوي عبر الوسائط.

يقدم هذا العمل إطار عمل قابل للتفسير لرسم الخرائط المرئية لجوانب العواطف متعددة الوسائط في تصميم الواجهات الذكية. يستخدم النظام التعلم العميق الشامل (end-to-end) لاستخراج تمثيلات عاطفية عالية المستوى من الوسائط النصية والصوتية والبصرية، دون الحاجة إلى ميزات مُعدة يدويًا. كما تم نمذجة التفاعلات العاطفية عبر الوسائط باستخدام آلية دمج قائمة على الانتباه الرسومي (graph-based attention fusion) تعمل على فصل المعلومات الخاصة بالعاطفة عن تلك الخاصة بالوسائط، مما يتيح تعلم التمثيلات المفككة ويحسن من القابلية للتفسير والمتانة. بالإضافة إلى ذلك، تم إنشاء وحدة تصور متعددة العروض لإظهار ديناميكيات العواطف الزمنية، وأنماط الانتباه عبر الوسائط، وتضمينات العواطف (emotion embeddings). وقد تم تقييم فعالية وملاءمة إطار العمل المقترح في أنظمة التفاعل الذكي بين الإنسان والآلة من خلال التحقق من صحته باستخدام مجموعات بيانات مرجعية للتعرف على العواطف متعددة الوسائط.

يقدم هذا العمل إطار عمل فريداً للرسم الخرائطي المرئي لجوانب العواطف متعددة الوسائط، والذي يتجاوز النهج التقليدية الموجهة نحو التنبؤ للتغلب على ضعف نمذجة التفاعلات عبر الوسائط ومحدودية القابلية للتفسير في أنظمة تحديد العواطف متعددة الوسائط الحالية. يدمج النهج المقترح، ضمن بنية واحدة، تعلّم التمثيلات متعددة الوسائط القائم على المحولات (transformer)، ونمذجة الميزات المفككة المدركة للعواطف، ودمج الانتباه عبر الوسائط القائم على الرسوم البيانية، والتصور الموجه نحو التفاعل. ويفصل إطار العمل بوضوح بين التمثيلات الخاصة بالعواطف وتلك الخاصة بالوسائط لتحسين القابلية للتفسير والمتانة والاتساق عبر الوسائط، وذلك على عكس النهج الحالية التي تركز بشكل أساسي على أداء التصنيف. بالإضافة إلى ذلك، تم تقديم آلية انتباه قائمة على الرسوم البيانية لتمكين النمذجة التكيفية للتفاعلات بين الوسائط من خلال التقاط الاعتماد المتبادل العاطفي دقيق التفاصيل بين الوسائط النصية والصوتية والمرئية. كما تم إنشاء وحدة رسم خرائطي مرئي متعدد الرؤى لزيادة الشفافية عن طريق الكشف عن مسارات العواطف الزمنية، وأنماط الانتباه عبر الوسائط، وتضمينات العواطف الكامنة، مما يوفر رؤى بديهية لعملية اتخاذ القرار في النموذج. وبالإضافة إلى توفير تصور وقابلية تفسير محسنة للديناميكيات العاطفية متعددة الوسائط، أظهر التقييم التجريبي على مجموعات بيانات CH-SIMS و CMU-MOSEI المرجعية أداءً تنافسياً من حيث الدقة، ومقياس F1-score، ومتوسط الخطأ المطلق، والارتباط.

البروتوكول

يهدف العمل المقترح إلى تحسين تصميم التفاعل الذكي من خلال تقديم إطار عمل قابل للتفسير للرسم الخرائطي البصري لميزات المشاعر متعددة الوسائط. وقد استُخدمت في هذا العمل قاعدتا بيانات CH-SIMS و CMU-MOSEI المتاحتان للعامة. تم الحصول على كلتا المجموعتين من مصادرهما الرسمية واستُخدمتا وفقاً لإرشادات الاستخدام ومعايير البحث وشروط الترخيص التي وضعها منشؤوهما. قام مزودو مجموعات البيانات أولاً بجمع المحتوى متعدد الوسائط، بما في ذلك البيانات النصية والصوتية والمرئية، وتصنيفها وفقاً لأذونات المشاركين المعتمدة وبروتوكولات جمع البيانات الخاصة بهم. لم يتضمن هذا البحث أي تفاعل بشري مباشر، أو استقطاب لمشاركين جدد، أو جمع لمعلومات تحديد الهوية الشخصية. وقد أُجريت جميع التحليلات باستخدام مجموعات بيانات بحثية متاحة للعامة. وبناءً على ذلك، لم يتطلب تحليلنا الثانوي للبيانات أي موافقة أخلاقية إضافية أو مراجعة من مجلس المراجعة المؤسسية (IRB). نُفذت الدراسة وفقاً للمعايير المؤسسية المناسبة التي تحكم استخدام مجموعات البيانات المتاحة للعامة، وإجراءات البحث الأخلاقية، وسياسات استخدام البيانات المعمول بها.

تم استخدام آلية انتباه عبر وسائط تعتمد على الرسوم البيانية لتعلم توصيفات المشاعر عبر الوسائط المختلفة باستخدام خصائص محددة للمشاعر أو الوسائط لتحسين الفهم. ويُستخدم مكون رسم خرائط بصري متعدد الرؤى لتعزيز التصميم التفاعلي المدرك للمشاعر في الوقت الفعلي، كما تم تقدير كفاءته في التعرف على المشاعر. وتظهر النتائج أن الطريقة المقترحة تحسن كلاً من القابلية للتفسير والكفاءة لواجهات المستخدم الذكية المدركة للمشاعر في العالم الحقيقي. يوضح الشكل 1 سير العمل المعماري للعمل المقترح. كما يوضح الشكل 1 سير العمل الكامل لإطار رسم الخرائط البصري المقترح لتعلم سمات المشاعر متعددة الوسائط في سياق أنظمة التفاعل الذكية. يبدأ سير العمل بثلاث وسائط إدخال متزامنة، وهي النص والصوت والفيديو، والتي تلتقط معلومات عاطفية متكاملة من الوسائط اللغوية والعروضية وتعبيرات الوجه، على التوالي. يقوم مشفر محول (transformer encoder) محدد لكل وسيط بمعالجة كل وسيط للحصول على تمثيلات رفيعة المستوى لبيانات الإدخال الخام. ثم يتم تغذية هذه التمثيلات في وحدة تعلم التمثيلات المفككة، حيث يتم فك ارتباط تضمينات المشاعر المحددة عن السمات الخاصة بالوسائط لضمان الاتساق في المشاعر المتعلمة عبر مصادر البيانات غير المتجانسة. بعد ذلك، يتم تجميع التضمينات المحددة للمشاعر من كل وسيط بواسطة شبكة انتباه عبر وسائط تعتمد على الرسوم البيانية، والتي تقوم بنمذجة الاعتمادات العاطفية بين الوسائط وتعيين أوزان أهمية ديناميكية لكل وسيط بناءً على سياق التفاعل. وفي النهاية، يوفر الإطار كلاً من مخرجات تصنيف المشاعر ورؤى التفاعل، مما يسهل عملية اتخاذ القرار الشفافة المدركة للمشاعر وتصميم التفاعل الذكي التكيفي.

الحصول على البيانات متعددة الوسائط

تُعد مجموعتا بيانات CH-SIMS وCMU-MOSEI مجموعتين عامتين موجودتين من البيانات متعددة الوسائط التي جمعت معلومات متعددة الوسائط، مثل الفيديو والصوت والنص المتزامنة. وتضم مجموعة بيانات CH-SIMS فحوصات متعددة الوسائط لأشخاص صينيين، تشمل 2,281 مقطع فيديو، مستمدة من مقاطع فيديو متعددة من الأفلام والدراما التلفزيونية والبرامج الترفيهية. وقد أصبحت الدراسات المتعلقة بالتحليل متعدد الوسائط للعواطف باستخدام البيانات متعددة الوسائط أكثر جاذبية وجدوى من خلال إضافة الصوت والنص المقابلين إلى هذه المقاطع الفيديوية. ومع ذلك، فإن مجموعة بيانات CMU-MOSEI هي واحدة من أكبر مجموعات البيانات متعددة الوسائط لفحص الآراء والمشاعر والعواطف، حيث جُمعت من أكثر من 23,000 مقطع فيديو لعبارات نطق بها أكثر من 1,000 متحدث عبر مجموعة متنوعة من المواضيع. وقد تم تقسيم مجموعة البيانات عشوائياً إلى مجموعات فرعية للتدريب (70%)، والتحقق (15%)، والاختبار (15%) مع الحفاظ على توزيع الفئات.

يتم الحصول على التفريغات النصية، والإشارات الصوتية، وإطارات الفيديو ومزامنتها زمنياً لتتطابق على مستوى زمني دقيق. ويضمن التكامل على مستوى الإطار أن آليات تعلم التمثيل والدمج القائم على الرسوم البيانية المقترحة يمكنها نمذجة واستغلال المحتوى العاطفي الناشئ عن التعبيرات البصرية، ونبرات الصوت، والمحتوى اللغوي بشكل مشترك. وتسمح تقنية الاستحواذ متعدد الوسائط هذه بالاستخراج الفعال للديناميكيات العاطفية بين الوسائط، وهو أمر ضروري لتصميم التفاعل الذكي والرسم الخرائطي البصري المفهوم.

يعرض الجدول 1 الهياكل الأساسية لمجموعات بيانات العواطف متعددة الوسائط المستخدمة في الطريقة المقترحة. وللحصول على نطاق أوسع من المشاعر ذات الصلة، مثل الكلمات المنطوقة، وتنغيمات الصوت، وتعبيرات الوجه، تدمج مجموعتا بيانات CH-SIMS و CMU-MOSEI وسائط الفيديو والصوت والنص من هذه المجموعات. وعلاوة على ذلك، تتوفر مجموعة محدودة من عينات البيانات في CH-SIMS، مما يتيح إجراء فحص دقيق لتفاعلات الوسائط وتباين العواطف في الصين. من ناحية أخرى، تعد مجموعة بيانات CMU-MOSEI أكثر أهمية لتقييم متانة تعلم التمثيل وخوارزميات التصور ذات الصلة التي يتناولها هذا العمل، حيث أنها تحتوي على كمية كبيرة من البيانات عبر لغات وموضوعات ومستويات عواطف مشروحة متنوعة. بالإضافة إلى ذلك، فإنها تقلل من الصعوبات في اختيار المعلومات عند اختبار النماذج مقارنة بالأبحاث السابقة.

المعالجة المسبقة والمزامنة متعددة الأنماط

استُخدمت تعليقات الطوابع الزمنية من مجموعات بيانات CH-SIMS و CMU-MOSEI لمزامنة الأنماط النصية والسمعية والبصرية، مما ضمن تعلم تمثيلات متعددة الأنماط متسقة. عمل كل منطوق كوحدة تحليل أساسية وتم ربطه بمقاطع الصوت والفيديو المطابقة ضمن نفس الفترة الزمنية. أُجريت المحاذاة على مستوى المنطوق؛ حيث قُسّم النص المكتوب إلى مقاطع بناءً على طوابع زمن البداية والنهاية لكل منطوق. وتم إنشاء التوافق بين النص والصوت والبصر من خلال استخراج إطارات الفيديو وإشارات الصوت المقابلة التي وقعت ضمن نفس الفترة الزمنية. وبينما عولجت المقاطع الصوتية باستخدام Wav2Vec 2.0 لإنتاج تمثيلات صوتية، تم أخذ عينات من الإطارات البصرية من مقطع الفيديو بمعدل محدد مسبقاً وتشفيرها باستخدام Vision Transformer (ViT). كما استُخدم مشفر RoBERTa لإنشاء تضمينات نصية من نصوص المنطوقات. وتحققت المزامنة الزمنية من خلال محاذاة جميع سمات الأنماط مع حدود منطوق واحد، نظراً لأن الأنماط الثلاثة أنتجت تسلسلات سمات بأطوال متفاوتة. واستُخدم تنسيق ثابت الطول لتوحيد التسلسلات ذات الأطوال المختلفة؛ حيث قُصرت التسلسلات الأطول إلى أقصى طول تسلسل مسموح به، بينما عُززت التسلسلات الأقصر بحشو أصفار. وأثناء التدريب، استُخدمت أقنعة الانتباه لفصل العناصر المحشوة عن مواضع السمات الفعلية. كما تم إسقاط التضمينات الخاصة بكل نمط في فضاء كامن مشترك قبل الدمج للتغلب على اختلاف أطوال التسلسلات عبر الأنماط، مما ضمن الاتساق البعدي وأتاح لآلية الانتباه القائمة على الرسوم البيانية تسهيل تعلم التفاعل الناجح عبر الأنماط. وللحفاظ على جودة البيانات وسلامة المزامنة، تم استبعاد العينات ذات الملفات التالفة، أو التعليقات المفقودة، أو معلومات الأنماط غير المكتملة من الدراسات.

استخلاص الميزات القائم على المحولات (Transformer)

تُستخدم طريقة للتعلم العميق لتعلم تمثيلات ميزات عالية المستوى مدركة للعواطف من معلومات عبر وسائط متعددة، مثل الرؤية والصوت والنص، بطريقة شاملة (end-to-end) بعد محاذاة البيانات متعددة الوسائط وإجراء أي معالجة مسبقة مطلوبة. ومن خلال استخدام مشفر محول (transformer encoder) لتعلم تمثيلات ميزات تمييزية جوهرية من البيانات الخام متعددة الوسائط، تلغي الطريقة المقترحة الحاجة إلى هندسة الميزات. ولتسهيل الاتساق عبر مجموعات البيانات المستخدمة في النهج المقترح، يتم تعلم تضمين (embedding) ثابت الحجم لكل وسيط. على سبيل المثال، يتم تعلم تضمينات ميزات بأبعاد 768 عبر كل من الوسائط الفردية، بما في ذلك وسائط الصور والصوت والنص، مما يشكل مجتمعاً موحداً من الميزات يُستخدم عبر النهج بأكمله، وتحديداً نهج استخراج الميزات المستخدم عبر مجموعة بيانات CH-SIMS ومجموعة بيانات CMU-MOSEI لتعلم ميزات عالية المستوى عبر بيانات ذات أحجام مختلفة.

النمط البصري: محول الرؤية لتضمينات الإطارات المدركة للعواطف

تم استخدام نموذج Vision Transformer (ViT-Base) لاستخراج المعلومات المرئية من إطارات الفيديو من أجل الحصول على تمثيلات مكانية ذات صلة بالعواطف. وقبل استخراج الميزات، تم تغيير حجم إطارات كل مقطع فيديو إلى (224 × 224) بكسل وأخذ عينات منها على فترات زمنية منتظمة. وباعتماد حجم رقعة يبلغ 16 × 16 بكسل، تنتج بنية ViT-Base سلسلة من الرموز المرئية التي يتم معالجتها بواسطة 12 طبقة من مشفرات transformer. وقد تم إسقاط التمثيلات المستردة على مستوى الإطار في فضاء تضمين ذي 768 بُعدًا باستخدام نموذج ViT مُدرب مسبقًا كعمود فقري مرئي. ثم جُمعت تضمينات مستوى الإطار باستخدام التجميع المتوسط (mean pooling) لإنشاء التمثيل المرئي النهائي لكل مقطع. وخلال مرحلة التدريب، استُخدم تطبيع الصور وطرق تعزيز البيانات الشائعة، مثل الاقتصاص العشوائي والقلب الأفقي، لتحسين القدرة على التعميم. وبعد ذلك، استُخدم إطار دمج الوسائط المتعددة المقترح لدمج هذه التضمينات المرئية مع التمثيلات النصية والسمعية.

للحفاظ على الديناميكيات الزمنية في العاطفة، سيتم أخذ عينات منتظمة من عينات الفيديو من مجموعتي بيانات CH-SIMS و CMU-MOSEI للنمط البصري. يمكن تقسيم إطارات كل فيديو، $صيغة التمثيل المتجهي الرياضي، $x_v \in \mathbb{R}^{H \times W \times C}$، معادلات.$ ، إلى N من الأقسام ثابتة الحجم، والتي يتم بعد ذلك تسطيحها ونقلها عكسيًا إلى فضاء تضمين كامن ببعد $معادلة توضح تعيين متغير: $ d_v = 768 $.$ . ويتم إنشاء سلسلة عن طريق إضافة تضمينات موضعية ورمز تجميع قابل للتعلم:

معادلة تصور مجموع المكونات الموزونة؛ التحليل الرياضي؛ منهجية البحث. (1)

حيث تمثل معادلة E_pos، مفهوم الاتزان الساكن، صيغة تعليمية لتحليل أبحاث الفيزياء الترميز الموضعي، و $صيغة رياضية توضح تمثيل فضاء المتجهات: $ E \in \mathbb{R}^{(P^2C) \times 768} $.$ هي مصفوفة تضمين الرقعة.

تُستخدم طبقات مشفر المحولات المتراكمة، المكونة من شبكات التغذية الأمامية والاهتمام الذاتي متعدد الرؤوس، لمعالجة تسلسل الرقع المضمنة. ويتم وصف التحويل في الطبقة l كما يلي:

معادلة النموذج الرياضي التكراري باستخدام دالتي MSA وLNO، تمثيل رمزي. (2)

معادلة التطبيع الطبقي والشبكة ذات التغذية الأمامية في الحوسبة العصبية. (3)

للحصول على متجه السمات المرئية المدرك للعواطف، يتم استخراج المخرج المكافئ لرمز الفئة (class token) كمتجه السمات $معادلة فضاء المتجهات $ f_v \in \mathbb{R}^{768} $، مفهوم رياضي، تدوين، جبر.$ . ولمعالجة التمثيلات المرئية المتسقة للعواطف رغم الاختلافات في اللغة والمحتوى عبر مجموعات البيانات، يتم دمج تضمينات مستوى الإطار (frame-level embeddings) من كل مقطع فيديو لالتقاط تعبيرات الوجه وتطور العواطف.

النمط الصوتي باستخدام Wav2Vec 2.0 للتنغيم والتضمينات الصوتية الدلالية أُنتجت تضمينات كلامية سياقية باستخدام مشفر Wav2Vec 2.0 مُدرب مسبقاً كعمود فقري صوتي. وتم الحصول على متجه سمات صوتية ثابت الطول لكل عبارة عن طريق تجميع التمثيلات الخفية الناتجة باستخدام التجميع المتوسط (mean pooling). استُخدم نموذج Wav2Vec 2.0 لاستخراج التمثيلات الصوتية من الإشارات الصوتية لالتقاط خصائص الكلام السياقية وذات الصلة بالعواطف. وقبل استخراج السمات، جرى توحيد التسجيلات الصوتية وإعادة أخذ عيناتها بتردد 16 kHz. ولضمان المزامنة بين النمطين النصي والبصري، عُزلت كل قطعة صوتية على مستوى المنطوق باستخدام حدود الطوابع الزمنية المقدمة في تعليقات مجموعة البيانات. كما جرى ضبط المشفر الصوتي المُدرب مسبقاً أثناء تدريب النموذج لتعزيز التكيف مع المهمة المحددة، مما مكن التمثيلات المستمدة من تمثيل الجوانب العاطفية للإشارات الصوتية بدقة أكبر. ثم أُجري دمج الانتباه عبر الأنماط القائم على الرسوم البيانية وتعلم التمثيلات المفككة باستخدام التضمينات الصوتية النهائية.

في نمط الصوت، يُستخدم نموذج Wav2Vec-2.0 لنمذجة إشارات الكلام المستمدة من معلومات الكلام الأولية في مجموعتي بيانات CH-SIMS وCMU-MOSEI، وذلك لاستخراج السمات الصوتية المتعلقة بالعاطفة بشكل مباشر. ويوجد ترميز سمات تلافيفي لكل إشارة كلام مدخلة $تعبير رياضي، رمز: $ x_a \in \mathbb{R}^T $، ويشير إلى عنصر في فضاء متجه حقيقي.$ :

معادلة رياضية، دالة التلفيف، مخطط التحويل الخطي، تحليل بحثي. (4)

حيث يرمز Z إلى السمات العروضية منخفضة المستوى مثل اللحن والنغمة والطاقة. وتعتبر شبكة السياق القائمة على المحول (transformer) مفيدة للهياكل المذكورة سابقاً، حيث تمثل التبعيات الزمنية طويلة المدى:

C تساوي تحويل فورير لـ Z؛ معادلة رياضية لتحليل معالجة الإشارات. (5)

تتضمن هذه التمثيلات الصوتية السياقية بيانات صوتية عروضية ودلالية، وهي ضرورية للتعبير عن العاطفة. ويتم إنشاء تضمين صوتي بطول محدد من خلال إجراء عملية تجميع زمني:

التعبير الرياضي لعملية التجميع في النموذج الحسابي، المعادلة fa=Pool(C),fa∈ℝ⁷⁶⁸. (6)

يتجنب هذا التصميم استخدام السمات الصوتية مثل MFCCs ويحقق المتانة باستخدام بيانات كلام باللغة الإنجليزية من CMU-MOSEI وبيانات كلام باللغة الصينية من CH-SIMS، وذلك ببساطة عن طريق استخراج التمثيلات من أشكال الموجات.

نمط النص باستخدام RoBERTa لاستخراج تضمينات المشاعر السياقية

بالنسبة للنمط النصي، تم تطبيق المحول ثنائي الاتجاه العميق، RoBERTa، على نصوص الكلام المستخرجة من مجموعتي البيانات لتوليد الدلالات السياقية والمعنى العاطفي. واستُخدمت مشفرات المحول القائمة على RoBERTa لاستخراج التمثيلات النصية من بيانات النصوص لالتقاط المعلومات الدلالية والسياقية والعاطفية. كما استُخدم نموذج RoBERTa مسبق التدريب لمجموعة بيانات CMU-MOSEI باللغة الإنجليزية، بينما استُخدم إصدار RoBERTa صيني لمجموعة بيانات CH-SIMS الصينية لمراعاة السمات اللغوية الخاصة بكل لغة بشكل أفضل. وشملت المعالجة المسبقة للنصوص عملية التجزئة (tokenization) باستخدام مجزئ RoBERTa المناسب لكل لغة، بالإضافة إلى تسوية النصوص. ولضمان اتساق معالجة الدفعات، تم تحويل تسلسلات الإدخال إلى تضمينات رمزية (token embeddings)، ثم تمت حشوها أو تقليمها لتصل إلى طول تسلسلي أقصى محدد مسبقاً. ووفقاً لتنسيق إدخال RoBERTa، تم إدراج رموز تصنيف وفاصل خاصة. وتم الحصول على تضمين نصي ثابت الطول عن طريق تجميع تمثيلات الرموز سياقياً التي أنتجها مشفر المحول باستخدام تمثيل الجملة النهائي المكافئ لـ [CLS]. ولتكييف التمثيلات المتعلمة مع مهمة التعرف على العواطف، تم تحسين مشفرات RoBERTa مسبقة التدريب من خلال التدريب متعدد الأنماط. ثم استُخدم إطار الدمج متعدد الأنماط المقترح لدمج التضمينات النصية مع الخصائص الصوتية والبصرية.

يمكن دمج تضمينات الرموز والترميزات الموضعية لكل مدخل تم تقسيم رموزه، تحليل النظام الديناميكي، المعادلة: xt={w1,w2,...,wn}، صيغة رياضية لمتغيرات الحالة. ، لإنشاء تمثيل المدخلات في تقنية التحويل ثنائية الاتجاه العميقة المعروفة باسم

$معادلة هاميلتون، $H_0 = E_{tok}(x_t) + E_{pos}$؛ تمثيل لصيغة ميكانيكا الكم.$ (7)

يتم تمثيل هذا النموذج من خلال طبقات محول L، الذي يستخدم آلية الانتباه الذاتي (self-attention) لاكتشاف الاعتمادات السياقية بين الكلمات:

معادلة طبقات المحول في الشبكات العصبية L، صيغة رياضية. (8)

يتم الحصول على تضمين العاطفة السياقي باستخدام الحالة المخفية النهائية لرمز التصنيف:

معادلة توضح تحويل المتجه، fₜ = Hᴸ[CLS], fₜ ∈ ℝ⁷⁶⁸، ذات صلة بتحليل البيانات. (9)

تُعد قطبية المشاعر، والعواطف القوية، والدلالات المرتبطة بها أمثلة على الخصائص اللغوية المتعلقة بالعواطف التي سيمثلها هذا التضمين. ويسهل نموذج RoBERTa عملية النمذجة المستقلة عن اللغة، مما يُمكّن النظام من استخدام نفس حجم التضمين لكل من النصوص الإنجليزية من مجموعة بيانات CMU-MOSEI والنصوص الصينية من مجموعة بيانات CH-SIMS.

يتم استخراج ثلاثة متجهات سمات خاصة بكل نمط بأبعاد 768، وهي الأنماط المرئية f_v، والصوتية f_a، والنصية f_t ، وذلك من خلال خطوة تعلم تمثيل السمات العميقة المقترحة. وفي تصميم التفاعل الذكي، تُنشئ هذه التمثيلات المتعلمة فضاءً موحداً للسمات متعددة الأنماط، والذي يعمل كأساس لرسم الخرائط المرئية على مستوى السمات، والدمج عبر الأنماط القائم على الرسوم البيانية، وتعلم التمثيلات المفككة.

تعلم التمثيل المفكك

بعد تعلم تمثيل الميزات العميقة، يمكن أن تؤدي المعالجة الإضافية لمتجهات الميزات متعددة الوسائط من الوسائط المرئية والسمعية والنصية إلى وصف منفصل للعاطفة. إذا تم تمثيل تضمينات الميزات الخاصة بكل وسيط للوسائط السمعية والمرئية والنصية المستخدمة في الخطوة السابقة بواسطة f_v، و f_a و f_t، على التوالي، بحيث تكون $رمز رياضي، صيغة فضاء المتجهات، $f_m \in \mathbb{R}^{768}$، لأبعاد البيانات.$ و معادلات لعناصر نظرية المجموعات؛ m ∈ {v, a, t}؛ تدوين رياضي، للاستخدام التعليمي. ، فإن الهدف من هذه الخطوة هو تحليل جميع ميزات الوسائط إلى وصفين كامنين متميزين، يتضمنان أوصاف العاطفة بعد أخذ الدلالات السابقة لكل من الوسائط المختلفة في الاعتبار.

يتم تحقيق ذلك عن طريق تغذية ميزة كل نمط، f_m في شبكتي إسقاط متوازيتين: مشفر عواطف معادلة التوازن الساكن، E_e(.)، التي تمثل ديناميكيات توازن الطاقة في مخطط النظام. ومشفر نمط رمز دالة Em؛ تدوين رياضي؛ يستخدم في المعادلات لأغراض تعليمية. ، حيث يتم إنتاج الترميزين.

معادلات رياضية تصف الميكانيكا الإحصائية؛ توضح المتغيرات عملية التوازن. (10)

حيث أن $معادلة، $ z^e_m \in \mathbb{R}^{d_e} $، تمثيل لرمز رياضي.$ تمثل الميزة الكامنة المرتبطة بالعاطفة، بينما مفهوم رياضي؛ رمز zm ∈ ℝdm؛ فضاء متجهي؛ تحليل الأبعاد؛ معادلة. تمثل ميزة كامنة خاصة بنمط معين. وهذا يسمح للتضمينات الخاصة بالعاطفة بالتواصل مع فضاء بشكل متكرر عبر مدخلات متعددة، بما في ذلك الصوت والمرئيات والنصوص، مع الحفاظ على البيانات الهيكلية الفريدة المرتبطة بكل نمط.

يتم فرض فصل فعال من خلال إعادة البناء باستخدام قيود الاستقلال. وتتم عملية إعادة بناء ميزة النمط الأصلي وفقاً لما يلي:

معادلة للعملية الديناميكية؛ الصيغة: f̂ₘ = D(zₘᵉ, zₘᵐ)؛ مخطط مفاهيمي؛ سياق البحث. (11)

حيث أن $عملية إحصائية؛ صيغة $ D(.) $؛ معادلة رياضية لتحليل البيانات.$ عبارة عن شبكة فك تشفير. وتعمل خسارة إعادة البناء على الحفاظ على البيانات التالية:

صيغة فقدان إعادة البناء، المعادلة الرياضية لتحليل معالجة الإشارات، Σm||fm-f̂m||². (12)

بالإضافة إلى ذلك، غالبًا ما تحد التعامدية، أو عدم الارتباط، بين العاطفة والتصويرات الخاصة بالنمط من تداخل المعلومات:

معادلة التوازن الساكن Σm||(ze^T)zm||2، صيغة رياضية، للاستخدام التعليمي. (13)

من خلال تحقيق هذه الأهداف، قد يتعلم النموذج تمثيلات عاطفية تكون موثوقة ومفهومة ومقاومة للتغيرات في الوسائط. وتعتمد عمليات دمج الوسائط المتقاطعة القائمة على الرسوم البيانية وميزات التخطيط البصري اللاحقة، خاصة في تصميم التفاعل الذكي، بشكل كبير على تمثيلات عاطفية مهيكلة وقابلة للتفسير.

اتساق العاطفة عبر الوسائط

من الواضح أن إضافة اتساق العاطفة تعزز من فعالية الدمج بين أنماط البيانات. ويرجع ذلك إلى أن استراتيجيات الدمج لا تحتاج إلى مراعاة الفجوات الكبيرة بين التمثيلين، بما أن تضمينات العاطفة الخاصة بكل نمط تشترك في فضاء كامن. ويوصف التوضيح المشترك للعاطفتين على النحو التالي معادلات التوازن الكيميائي لرموز Zve، Zae، Zte. . سيكون الدمج الموزون أكثر استقراراً عندما تكون التمثيلات الخاصة بالعاطفة متسقة، لأن التباينات بين الإشارات القادمة من أنماط مختلفة لن يكون لها تأثير على النتيجة.

معادلة الخسارة التباينية، صيغة رياضية، تظهر المجموع ومؤشرات المتغيرات. (14)

من خلال فرض المحاذاة الدلالية للمعلومات العاطفية، يعمل هذا الهدف على تقليل التباينات عبر الوسائط المختلفة ويضمن بقاء إدراك العاطفة متسقاً بغض النظر عن الوسيط المستخدم للتعبير عنها. وبناءً على ذلك، يتم إنشاء مساحة تمثيل وجدانية متماسكة من خلال إسقاط الإشارات العاطفية المستمدة من الإشارات الصوتية، وتعبيرات الوجه، والمحتوى اللغوي.

التأثير على الاندماج عبر الوسائط

يصبح الدمج عبر الوسائط أكثر فعالية عند إدخال اتساق عاطفي عبر هذه الوسائط. وبذلك، لا تعود آليات الدمج مضطرة لتعويض الفجوات الكبيرة في التمثيل بين الوسائط، لأن التضمينات الخاصة بالعواطف تكون متوافقة في فضاء كامن مشترك. ويُعرَّف تمثيل العاطفة المدمج على النحو التالي:

مخطط معادلة التوازن الساكن Σm∈{v,a,t}amzem لتحليل الدمج في البحوث التربوية. (15)

حيث يمثل α_m وزن الاهتمام الممنوح للنمط m. يصبح الدمج الموزون أكثر استقراراً ووضوحاً عندما تكون التمثيلات الخاصة بالعاطفة متسقة، حيث تظهر نتيجة الدمج أدلة عاطفية تكميلية بدلاً من إشارات أنماط متناقضة.

من الناحية الرياضية، فإن خفض معادلة الاتزان الاستاتيكي، ΣFx=0، ميكانيكا المتجهات، صيغة تعليمية. التباين بين الأنواع المختلفة من التمثيلات الخاصة بانفعالات محددة فيما يتعلق بـ معادلة الاتزان الساكن، ΣFx=0، ميكانيكا المتجهات، صيغة تعليمية. يعادل:

صيغة حساب التباين، Var(z^e)، تعبير رياضي، معادلة تحليل إحصائي. (16)

حيث رمز Z^-e، معادلة كيميائية، ذات صلة بدراسات شحنة الأيون، تمثيل الصيغة. يمثل متوسط التعبير العاطفي. يؤدي تقليل التباين إلى وزن أنماط الإدخال وفقاً لأهميتها العاطفية الدقيقة بدلاً من ضجيج النمط، مما يضمن تحسناً في تقارب الشبكة وتقييماً أكثر دقة للانتباه.

يتمثل هدف التعلم النهائي للتصورات المرئية للعواطف المفككة في الجمع بين التجزئة، وإعادة البناء، وتجانس العواطف:

صيغة رياضية، L_total = L_rec + λ1L_dis + λ2L_con، مخطط معادلة، تحسين. (17)

يتحكم المعلمان الفائقان، λ₁ و λ₂، في العلاقة بين موثوقية العاطفة عبر الوسائط والارتباط التفصيلي. ولتحقيق ذلك، يكتسب النموذج المقترح تمثيلات عاطفية قابلة للدمج وتفسيرية وغير متغيرة حسب الوسائط، مع التركيز على توفير أساس متين لعمليات الدمج القائمة على الرسوم البيانية والتمثيل على مستوى الميزات في تصميم الواجهات الذكية.

دمج الانتباه عبر الوسائط القائم على الرسم البياني

تم استخدام شبكة انتباه عبر-نمطية قائمة على الرسوم البيانية لمحاكاة العلاقات العاطفية دقيقة التفاصيل بين الأنماط. ولتسهيل تدفق المعلومات عبر الأنماط، تم بناء رسم بياني متعدد الأنماط متصل بالكامل، حيث يُمثَّل كل تضمين خاص بنمط معين (النص، والصوت، والمرئي) كعقدة في الرسم البياني. واستُخدمت العلاقات بين الأنماط لإنشاء مصفوفة التجاور الخاصة بالرسم البياني، والتي تم تحسينها لاحقاً عبر طريقة انتباه قابلة للتعلم. كما تم إنشاء فضاء كامن مشترك عن طريق دمج وإسقاط المخرجات من عدة رؤوس انتباه. بعد ذلك، تم إنتاج تمثيل موحد للعاطفة متعدد الأنماط من خلال تجميع تمثيلات العقد باستخدام تجميع مرجح بالانتباه. ومن ثم استلمت وحدات التنبؤ والتصور المخصصة للتحليل المدرك للتفاعل والتعرف على العواطف هذا التمثيل المدمج. تميزت وحدة دمج الرسم البياني ببعد تمثيل خفي قدره 256 وطبقتين من انتباه الرسم البياني، تحتوي كل منهما على ثمانية رؤوس انتباه. ولتحديد الأهمية النسبية للأنماط المجاورة، تم حساب معاملات الانتباه بين العقد المتصلة وتوحيدها باستخدام دالة softmax. وأعقب كل طبقة انتباه رسم بياني تسوية للطبقة (layer normalization)، ووصلات متبقية (residual connections)، ومعدل إسقاط (dropout rate) قدره 0.2 لزيادة استقرار التدريب وتقليل الإفراط في التخصيص (overfitting). وبعد دمج وإسقاط مخرجات عدة رؤوس انتباه على فضاء كامن مشترك، تم دمج تمثيلات العقد في تضمين عاطفي واحد متعدد الأنماط باستخدام تجميع مرجح بالانتباه. بعد ذلك، استُخدم التمثيل المدمج لرسم الخرائط المرئية متعددة العروض والتنبؤ بالعواطف.

تم التقاط التفاعلات المتنوعة عبر الأنماط باستخدام آلية الانتباه الرسومي متعدد الرؤوس. وقد استُخدمت دالة softmax لتقييس معاملات الانتباه بين العقد المتصلة لكل عقدة. ولتعزيز استقرار التدريب وتجنب الإفراط في الملاءمة، تلت طبقات الانتباه الرسومي المتراكمة في وحدة دمج الرسوم البيانية وصلات متبقية، وتقييس الطبقات، وتنظيم التسرب (dropout regularization).

لنعتبر أن المصطلحات رموز معادلات التوازن الكيميائي Zve, Zae, Zte. تمثل بشكل فردي التمثيلات المقابلة لعواطف محددة تم جمعها عبر الوسائط المرئية والصوتية والنصية؛ حيث يقع كل مكون ضمن الفضاء الكامن المشترك الرمز الرياضي R^d_e للفضاءات المتجهة؛ مخطط معادلة للتحليل المكاني. . تستخدم نماذج عُقد الوسائط تدوينًا للرسم البياني معادلة نظرية الرسم البياني G=(V,E) التي تمثل الرؤوس والحواف؛ تمثيل رمزي. ، بحيث تتوافق عُقد المجموعة حساب السرعة باستخدام صيغة v={v,a,t}؛ معادلة الكينماتيكا؛ محتوى تعليمي. مع عُقد الوسائط الثلاثة ذاتها، وذلك لتعزيز الارتباطات العاطفية المشتركة بين مختلف تمثيلات الوسائط بشكل صريح.

بعد تعيين متجه سمات خاص بكل عاطفة لكل عقدة في الرسم البياني، يصبح لدينا:

$معادلة التوازن الاستاتيكي $H=[Z_v^e, Z_a^e, Z_t^e]^T \in \mathbb{R}^{3 \times a_e}$.$ (18)

على عكس طرق الدمج التقليدية، التي تستخدم أوزان دمج محددة مسبقاً أو ثابتة، تتعلم الطريقة المقترحة أوزان حواف تكيفية بناءً على أهميتها والاعتمادات المتبادلة بينها، سواء عبر القنوات أو عبر الحالات العاطفية.

يُستخدم نموذج شبكة انتباه الرسوم البيانية (GAT) لدمج البيانات عبر الأنماط. ويتم حساب معامل الانتباه لكل عقدة i والعقد المجاورة لها، أي العقدة j:

معادلة تنشيط الشبكة العصبية: LeakyReLU؛ الصيغة؛ تعبير تعلم الآلة. (19)

يتم قياس التأثير العاطفي للانتقال من النمط j إلى الوسيلة i بواسطة الأوزان المُطبعة α_ij.

بعد ذلك، يتم حساب المظهر المدمج لكل عقدة نمطية كمجموعة مرجحة من جيرانها:

$صيغة الشبكة العصبية الرسومية، $ h'_i = \sigma(\sum_{{j \in N(i)}} \alpha_{ij} W z_j^e) $.$ (20)

حيث تكون دالة التنشيط رمز دالة سيجما (σ)، تدوين رياضي. غير خطية. وفي النهاية، يتم دمج الميزات المحدثة لكل عقدة للحصول على تمثيل مدمج وشامل للعاطفة:

معادلة عملية دمج البيانات، z_fusion = 1/|v| Σ h'_i، صيغة رياضية. (21)

تعد هذه تقنية مفيدة لنمذجة العواطف القابلة للتفسير والمسح البصري اللاحق، لأنها تلتقط معلومات تكميلية من أنماط مختلفة مع الحفاظ على العلاقات المعقدة بين هذه الأنماط.

يوفر الخوارزمية 1 (الملف التكميلي 1) المخطط العام لتنفيذ الدمج عبر الوسائط القائم على الرسوم البيانية. في البداية، يتم إنشاء رسم بياني تتصل فيه الخصائص المحددة للعاطفة بكل من الوسائط المرئية والصوتية والنصية. بعد ذلك، يتم حساب درجات الانتباه لأزواج العقد في كل رسم بياني، والتي تمثل مزيج الاعتماد العاطفي. ثم يتم تطبيع درجات الانتباه للإشارة إلى المساهمة النسبية لكل وسيط في السياق العاطفي المحدد، مما يتيح تعلم أوزان الانتباه. وفي المرحلة الأخيرة، يتم إنتاج التضمين العاطفي العام عن طريق تجميع الميزات المرتبطة بعقد الرسم البياني. وبهذا المعنى، يظهر الدمج العام في الخوارزمية للميزات متعددة الوسائط المرتبطة بالعواطف المحددة إمكانات واعدة من حيث القابلية للتكيف والتفسير والذكاء السياقي.

يوضح الشكل 2 بنية وآلية عمل شبكة الانتباه عبر الوسائط المقترحة لدمج المشاعر متعدد الوسائط. يتم تمرير تضمينات المشاعر المحددة، والمشتقة بشكل مستقل لكل من وسائط النصوص والصوت والفيديو، أولاً عبر آليات انتباه على مستوى الوسائط تتعلم الأهمية النسبية للمعلومات اللغوية والصوتية وتعبيرات الوجه لسياق عاطفي معين. بعد ذلك، يتم دمج التمثيلات المرجحة بالانتباه للوسائط لتكوين تضمين عاطفي موحد، حيث تلتقط مصفوفة الانتباه التبعيات والتفاعلات البينية بين الوسائط. وتعمل مصفوفة الانتباه التي تعلمتها الشبكة على تعديل مساهمات الوسائط ديناميكياً، مما يمكنها من التركيز على أقوى وسيلة إرشادية مع تجاهل الوسائط المشوشة والأقل إفادة. يتيح تمثيل المشاعر المدمج التعرف الدقيق على العاطفة والتحليل التفصيلي للحالات العاطفية مثل الحياد، والعناق، والقلق.

وحدة الخرائط المرئية

بمساعدة قسم الخرائط المرئية، الذي تم إنشاؤه خصيصاً لهذا الغرض، يمكن لمصمم التفاعل الذكي تحويل التمثيل الموحد للحالة العاطفية إلى شكل مرئي مفهوم وسهل الاستيعاب بعد عملية الدمج عبر الوسائط، وذلك استناداً إلى الرسم البياني.

لتسهيل استيعاب التمثيلات العاطفية الكامنة، استُخدمت تقنيات تقليل الأبعاد لتصور تضمينات العواطف متعددة الوسائط المتعلمة. وبعد تقليل أبعاد الميزات مع الحفاظ على معظم التباين باستخدام تحليل المكونات الرئيسية (PCA)، تم إسقاط التضمينات في فضاء ثنائي الأبعاد للعرض باستخدام تقنية تضمين الجيران العشوائي الموزع t (t-SNE). وقد استُخدم في تقنية t-SNE رقم حيرة قدره 30، ومعدل تعلم 200، و1,000 تكرار لتحسين العملية. وتم تصور العناقيد الخاصة بكل عاطفة والعلاقات بين الوسائط باستخدام الإسقاطات التي تم الحصول عليها. كما استُخدمت أوزان الانتباه المتقاطعة بين الوسائط والمعيرة، والتي تم الحصول عليها من شبكة الانتباه القائمة على الرسم البياني، لإنشاء خرائط حرارية للانتباه. وتوضح هذه الخرائط الحرارية المساهمات النسبية للوسائط النصية والصوتية والبصرية أثناء التنبؤ بالعواطف. واستُخدمت معاملات الانتباه المتعلمة كأوزان للحواف لإنشاء رسوم بيانية للتفاعل المتقاطع بين الوسائط، مما سمح بالفحص البصري للعلاقات بين الوسائط وتدفق المعلومات داخل إطار الدمج. كما تم إنشاء مخططات مسار العاطفة من خلال مراقبة تطور تضمينات العواطف الكامنة عبر المنطوقات المتتالية لفحص الديناميات العاطفية الزمنية. وتسلط هذه المسارات الضوء على كيفية تطور الحالات العاطفية ومساهمات الوسائط بمرور الوقت. وقد استُخدمت حزمتان من لغة Python هما Matplotlib وScikit-learn لإنشاء جميع العناصر المرئية. ولتقييم القابلية للتفسير وتكوين العناقيد ومساهمات الوسائط والديناميكيات العاطفية الزمنية، أُجريت تحليلات نوعية لتصورات التضمين والرسوم البيانية للتفاعل والخرائط الحرارية للانتباه.

ليكن المتغير معادلة z_fusion في الفضاء الشعاعي ℝ، صياغة رياضية، تحليل نظري. ممثلاً للتمثيل المدمج للحالة العاطفية بواسطة دالة شبكة الانتباه الرسومية. وبخلاف التصوير المرئي للحالة العاطفية على مستوى المخرجات، فإن الهدف الرئيسي لهذه الوحدة هو تحويل تمثيلات الحالة العاطفية وأوزان آلية الانتباه المقابلة لها إلى شكل بصري مفهوم.

باستخدام α_ji المكتسبة، يتم إنشاء خريطة حرارية للانتباه لفحص مساهمة كل نمط بصرياً. ثم تُجمع أوزان الانتباه الواردة لتحديد درجة أهمية مركبة لكل نمط:

$الاتزان الساكن؛ $ s_i = \frac{1}{|v|} \sum_{j \in v} a_{ji} $؛ مخطط الصيغة الرياضية.$ (22)

حيث تمثل s_i المساهمة العاطفية النسبية للنمط I. وللمساعدة في إنشاء خريطة حرارية للاهتمام، يتم تطبيع القيم التي تم الحصول عليها ورسمها على خريطة ألوان تسهل على المستخدم تحديد النمط البارز في خطوات زمنية أو حالات تفاعلية مختلفة. ومن خلال أنماط إدخال بصرية أو سمعية أو نصية متنوعة، تساعد هذه الواجهة المستخدم على فهم كيفية عمل آلية الانتباه في النظام.

يتم نمذجة الرسم البياني المكتسب تحديداً كـ "رسم بياني للتفاعل الموزون" لتمثيل الاعتمادية عابرة الوسائط للمشاعر البشرية. يتم تمثيل الوسيط نفسه بواسطة كل عقدة في الرسم البياني، ويتم تمثيل قوة التفاعلات المتعلقة بالمشاعر البشرية بواسطة أوزان على شكل α_ji على الحواف التي تربط بينها. يوضح الرسم البياني الموزون أعلاه كثافة التفاعلات العاطفية البشرية. تعريف i و j هو:

معادلة توضح صيغة المتوسطات المرجحة؛ مفهوم رياضي لتحليل البيانات. (23)

تظهر سماكة الخط أو درجة شفافيته في تمثيل الرسم البياني بشكل مناسب بفضل هذه الأوزان، مما يسهل فهم كيفية تفاعل الأنماط. ويمكن للمصمم، بمساعدة الرسوم البيانية للتفاعل عبر الأنماط، فهم كيفية تفاعل المؤشرات العاطفية بشكل أفضل أثناء عملية الدمج.

يتم تقليل تضمينات العواطف المدمجة معادلة توضح المتغير المرتبط بالدمج Ztfusion في سياق رياضي. في خطوات زمنية مختلفة إلى فضاء أقل أبعاداً باستخدام خوارزمية لتقليل الأبعاد مثل PCA أو t-SNE، وذلك لعرض تطور العواطف الزمنية:

معادلة رياضية توضح yt كدالة لاندماج Zt في سياق الفضاءات المتجهة. (24)

حيث يُمثَّل تابع الإسقاط بواسطة رمز تابع Φ، مفهوم إحصائي، تمثيل معادلة. . ويمكن تفسير ظهور مسارات العاطفة ثنائية وثلاثية الأبعاد (2D/3D)، والتي توضح انتقالات العاطفة وشدتها واستقرارها في التفاعلات، على أنها تصوير حدسي لتطور الحالات العاطفية بمرور الوقت. ويمكن استخدام هذه الجوانب في التفاعل الذكي، واتخاذ القرار، والمراقبة في الوقت الفعلي.

على عكس أنظمة العواطف التقليدية التي تكتفي بتقديم خرائط لفئات أو درجات محددة، يركز هذا النظام على توضيح كيفية تشكل العواطف البشرية بداخله. ويكشف النظام عن عملية اتخاذ القرار من خلال تقديم تصورات للميزات الوسيطة، بما في ذلك عوامل الترجيح، والتفاعلات بين النماذج، والمسارات المقابلة لها. وهذا يتيح للمستخدم استيعاب كيف يؤثر كل عامل —سواء كان بصرياً أو صوتياً أو لغوياً— في إنتاج استجاباته تجاه العاطفة البشرية.

وبذلك، يمكن لربط العواطف بأشكال مفهومة من خلال التمثيلات المرئية أن يسد الفجوة بين تحليل العواطف باستخدام طرق التعلم العميق ودمجها في تصميم الواجهات الذكية. ومن ثم يمكن استخدام البيانات التي تم جمعها من كلا النهجين لإنشاء واجهات مستخدم أكثر دقة. وبناءً عليه، يمكن للنهج المقترح أن يوفر لمصممي التفاعل معلومات حيوية لإنشاء واجهات مستخدم أكثر دقة. وبتعبير آخر، يصبح فهم العواطف جزءاً نشطاً للغاية في تصميم التفاعل. ولا يمكن أن تزداد الدقة إلا عندما يتم دمج فهم العواطف بشكل فعال في تصميم التفاعل.

تتيح وحدة الخرائط المرئية إمكانية التفسير عبر عدة طرق مترابطة ومختلفة: حيث يكشف التفسير على مستوى الميزات عن التمثيلات الكامنة للعاطفة التي أنشأتها الشبكة العصبية العميقة (DNN)، مما يمكننا من فهم الدلالات المستخدمة لوصف كل ميزة متعلقة بالعاطفة؛ ويستخدم التفسير على مستوى الوسائط بيانات من الرسوم البيانية للتفاعل وخرائط الحرارة للانتباه المرئي لوصف كيفية مساهمة كل وسيلة—سواء كانت مرئية أو صوتية أو نصية—في القرارات المتخذة للتعبير عن العواطف؛ وأخيراً، تتيح لنا المسارات الناتجة عن تضمين العواطف فهم كيفية تغير كل وسيلة مرئية ونصية بمرور الوقت من منظور التفاعل الديناميكي. يرجى الرجوع إلى الخوارزمية 2 (الملف التكميلي 1).

يتم تعيين السمات العاطفية متعددة الوسائط المدمجة إلى تمثيلات ذات دلالة بصرية لتصميم تفاعل ذكي باستخدام خوارزمية التعيين البصري المقترحة Algorithm 2. وتُستخدم أوزان الانتباه متعددة الوسائط القائمة على الرسم البياني لقياس الاختلافات بين العناصر البصرية والصوتية والنصية المدخلة عند كل خطوة زمنية. ثم يتم تعيين هذه الاختلافات إلى تمثيلات بصرية لإبراز المصادر الرئيسية المؤثرة في العواطف باستخدام عناصر مرئية متمثلة في الخرائط الحرارية. ولتقديم رؤية متعمقة للتفاعل بين العناصر المدخلة ونقل التطور العاطفي الناتج عن العناصر المدخلة متعددة الوسائط، يقوم النظام بعد ذلك بحساب قوة التفاعل الزوجي لإنشاء أوزان التفاعل متعدد الوسائط. وفي الوقت ذاته، يتم إنشاء عرض للتطور العاطفي من خلال تعيين العناصر العاطفية المدمجة التي تم جمعها بمرور الوقت في فضاء منخفض الأبعاد لإنتاج تطور مستمر للعناصر العاطفية.

التنبؤ بالعواطف والتغذية الراجعة للتفاعل

تُستخدم نتيجة تمثيل العاطفة المدمجة، والممثلة بـ معادلة z_fusion في الفضاء المتجهي ℝ، الصيغة الرياضية، التحليل النظري. ، كدالة لكل من تغذية الارتجاع التفاعلية والتنبؤ بالعاطفة. علاوة على ذلك، يوصف التنبؤ بالعاطفة بأنه نموذج متعدد المهام يتكون من مهمة انحدار للتعرف على شدة العاطفة المستمرة ومهمة تصنيف للتعرف على العاطفة المنفصلة. ويُستخدم نموذج التصنيف القائم على softmax التالي للتعرف على العاطفة المنفصلة:

معادلة Softmax للتنبؤ بمخرجات الشبكة العصبية؛ الصيغة: ŷ = softmax(W_cz^fusion + b_c). (25)

حيث تمثل $التنبؤ، معادلة الانحدار، $\hat{y}$؛ الرسم البياني؛ تحليل البيانات؛ تقييم النموذج التنبؤي$ احتمالات فئة العاطفة المتوقعة، بينما W_c و b_c هما قيود قابلة للتعلم. ويُستخدم فقدان الإنتروبيا المتقاطعة (cross-entropy loss) لتعزيز هدف التصنيف:

صيغة خسارة التصنيف، Lcls=-ΣKk=1 yk log(ŷk)، معادلة رياضية. (26)

حيث يمثل y_k علامة الحقيقة الأرضية (ground-truth tag)، و K هو عدد فئات العواطف. يُستخدم فرع الانحدار لتقدير شدة العاطفة بشكل متوازٍ، مما ينتج تنبؤًا بسمات وجدانية مستمرة متنوعة، بما في ذلك التكافؤ (valence) والاستثارة (arousal). يتم تعريفه على النحو التالي:

معادلة التوازن الاستاتيكي، الصيغة Ŝ = WrZ^fusion + br، محتوى تعليمي. (27)

حيث يُشار إلى درجة شدة العاطفة المتوقعة بواسطة مخطط طيفي؛ الصيغة ΣFx=0؛ تجربة تحليل الحمض النووي DNA؛ دراسة استثارة بصرية. . ويُستخدم فقد متوسط مربع الخطأ لتعزيز مهمة الانحدار:

صيغة التسوية: Lreg = ||s - ŝ||²₂، معادلة لتحسين دالة الخسارة. (28)

بشكل عام، يتم دمج المهمتين في هدف التنبؤ:

معادلة دالة الخسارة: Lpred = Lcls + λLreg، توضح التصنيف والانحدار. (29)

حيث يتم موازنة أهداف الانحدار والتصنيف بواسطة λ. ويقترح ذلك تعديلاً ديناميكياً لوحدة التصوير المرئي بناءً على الحالة العاطفية المحددة لتمكين هذا النوع من التغذية الراجعة المدركة للتفاعل. ويتم تمثيل سياق التفاعل في وقت معين t بواسطة c_t. وتتم تقديم استجابة وحدة التصوير المرئي من خلال:

$معادلة تحويل الدمج، $V_t = \Psi(z_t^{fusion}, \hat{y}_t, \hat{s}_t, c_t)$.$ (30)

حيث يتم تمثيل دالة تكيف التصور بواسطة رمز دالة الموجة الكمومية Ψ(x) في معادلة رياضية، متعلقة بدراسة فيزياء الجسيمات. . وهذا يجعل من الممكن ضبط الخرائط الحرارية للأنماط، ورسوم التفاعل البيانية، ومسارات العواطف في الوقت الفعلي بناءً على التغييرات والعواطف المتوقعة. وهذا يشير إلى أن النظام يوفر دعماً جوهرياً للتغذية الراجعة بالإضافة إلى أدائه الجيد في التنبؤ بحالة العاطفة.

النتائج

يتحقق هذا العمل من صحة إطار عمل التخطيط المرئي المقترح لميزات العواطف متعددة الوسائط من حيث القابلية للتفسير المدركة للتفاعل والأداء التنبئي، وذلك باستخدام مجموعتي بيانات مرجعيتين هما CH-SIMS وCMU-MOSEI. ووفقاً للنتائج التجريبية، يتفوق النهج المقترح باستمرار على تقنيات التعرف على العواطف متعددة الوسائط الحالية عبر مجموعة متنوعة من المقاييس، بما في ذلك الارتباط، والدقة، ومقياس F1-score، ومتوسط الخطأ المطلق (MAE). وتساهم كل من تمثيلات العواطف المفككة، وآلية الاندماج عبر الوسائط القائمة على الرسوم البيانية، واستراتيجية تعلم التمثيل العميق من الطرف إلى الطرف في هذا التحسين من خلال تمكين نمذجة عواطف أكثر استقراراً ومحاذاة دلالياً. يوفر النهج المقترح رؤى أعمق على مستوى الميزات من خلال التخطيط المرئي، وهو ما يتجاوز المكاسب الكمية ويسهل فهم مساهمات الوسائط والديناميكيات العاطفية. ورغم الاختلافات في اللغة، والتعبير الثقافي، وحجم مجموعة البيانات، لوحظ اكتساب الأداء المذكور أعلاه باستمرار عبر كلتا مجموعتي البيانات، مما يثبت القدرة القوية لإطار العمل المقترح على التعميم.

تم استخدام مجموعات البيانات العامة CH-SIMS وCMU-MOSEI للعواطف متعددة الوسائط في العمل المقترح. وتضم مجموعة بيانات CH-SIMS عدد 2,281 مقطع فيديو من الأفلام والدراما التلفزيونية والبرامج المنوعة، كما تتوفر في CH-SIMS بيانات نصية وصوتية ومرئية متزامنة. وقد صُنفت تسميات المشاعر أحادية الوسائط ومتعددة الوسائط إلى فئات إيجابية ومحايدة وسلبية. أما مجموعة البيانات الإنجليزية الضخمة متعددة الوسائط المعروفة باسم CMU-MOSEI فهي تحتوي على حوالي 23,453 مقطع فيديو مشروح يظهر فيها أكثر من 1,000 متحدث يناقشون مجموعة واسعة من المواضيع. وتتضمن مجموعة البيانات هذه تسميات العواطف الفئوية بالإضافة إلى تعليقات توضيحية مستمرة لشدة العاطفة، مثل التكافؤ (valence) والاستثارة (arousal). ومن خلال دعم مجموعة متنوعة من الظروف اللغوية والثقافية والعاطفية، فإن إجراء التجارب على هاتين المجموعتين من البيانات باستخدام الإطار المقترح يعزز من المتانة والموثوقية. ويوضح الجدول 2 تفاصيل بيئة المحاكاة.

تتلخص الإعدادات التجريبية والتنفيذية الرئيسية المستخدمة لتقييم الإطار المقترح في بيئة المحاكاة هذه. ولضمان توحيد أبعاد الميزات عبر الوسائط النصية والصوتية والمرئية، تم تطبيق مشفرات قائمة على المحولات (transformer-based encoders) بشكل موحد. كما يوظف النظام آلية انتباه قائمة على الرسوم البيانية (graph-based attention mechanism) لدمج الوسائط المتعددة، مما يتيح التعلم التكيفي للاعتمادات المتبادلة بين الوسائط فيما يتعلق بالحالات العاطفية.

يستخلص الإطار المقترح التمثيلات النصية والسمعية والبصرية باستخدام مشفرات وسائط قائمة على المحولات (transformer). وتقوم طبقات متصلة بالكامل ذات تفعيل ReLU بإسقاط التضمينات الخاصة بكل وسيط في فضاء كامن مشترك. ثم تُستخدم مشفرات منفصلة خاصة بالعاطفة وأخرى خاصة بالوسيط، يتكون كل منها من طبقتين متصلتين بالكامل مع تفعيل غير خطي ومعايرة، لتعلم تمثيلات مفككة. يتم إسقاط التمثيلات الكامنة في فضاء ميزات ذي 256 بُعداً، حيث يتم تعلم المعلومات لكل وسيط وعاطفة بشكل منفصل. وللحفاظ على معلومات الوسائط وتعزيز التفكيك الفعال، تُستخدم مفككات إعادة البناء. وقبل عملية الدمج والتنبؤ متعدد الوسائط، تقوم وحدة الانتباه عبر الوسائط القائمة على الرسم البياني بنمذجة التبعيات العاطفية بين الوسائط باستخدام التمثيلات الكامنة. تم تدريب الشبكة باستخدام محسن Adam بمعدل تعلم أولي قدره 1 × 10⁻⁴ وحجم دفعة يبلغ 32. كما تم تطبيق التوقف المبكر بناءً على خسارة التحقق لمنع الإفراط في التجهيز. وتكونت دالة الهدف الإجمالية من خسائر التصنيف، وإعادة البناء، واتساق التمثيلات، حيث تم وزن كل منها بواسطة معاملات فائقة قابلة للضبط. استمر تدريب النموذج لمدة تصل إلى 100 حقبة، وتم الاحتفاظ بالنموذج الأفضل أداءً على مجموعة التحقق من أجل الاختبار.

تم تقييم الإطار المقترح باستخدام مقاييس التصنيف، بما في ذلك الدقة (Accuracy)، والضبط (Precision)، والاسترجاع (Recall)، ومقياس F1-score، إلى جانب مقاييس الانحدار مثل متوسط الخطأ المطلق (MAE). وقد حُسبت قيم الضبط والاسترجاع ومقياس F1-score باستخدام المتوسط الكلي (macro-averaging) لمراعاة عدم التوازن في الفئات عبر فئات العواطف. وبالنسبة لتجارب التصنيف، استُخدمت تسميات العواطف/المشاعر المحددة مسبقاً والمقدمة من مجموعتي بيانات CH-SIMS و CMU-MOSEI كفئات مرجعية (ground-truth). أما بالنسبة للتنبؤ بالمشاعر القائم على الانحدار، فقد كانت درجات كثافة المشاعر المستمرة في مجموعات البيانات هي المتغيرات المستهدفة. كما تم إنشاء مصفوفات الارتباك (Confusion matrices) لتحليل أداء التنبؤ لكل فئة وأنماط التصنيف الخاطئ مع فاصل ثقة بنسبة 95%. ولضمان المتانة، كُررت كل تجربة 5 مرات باستخدام تهيئات عشوائية مختلفة، وتتوافق النتائج المسجلة مع متوسط الأداء ± الانحراف المعياري عبر جميع التشغيلات. كما تم تقييم الدلالة الإحصائية باستخدام إجراءات اختبار الفرضيات المناسبة، وحُسبت فواصل الثقة حيثما كان ذلك قابلاً للتطبيق. وتم قياس وقت التدريب على أنه إجمالي الوقت المنقضي المطلوب لتقارب النموذج على المنصة العتادية المحددة.

يمكن مقارنة مجموعة من النماذج المرجعية التمثيلية، بما في ذلك الدمج المبكر والدمج المتأخر، مع الطريقة المقترحة. وتشمل هذه النماذج TFN، والطرق القائمة على LSTM، ونماذج الدمج متعدد الوسائط ذات الرتبة المنخفضة، والمحولات متعددة الوسائط التكيفية، والبنى الجديدة القائمة على الانتباه عبر الوسائط. تعكس هذه المراجع الأساسية تقنيات متطورة تركز بشكل أساسي على تحسين دقة التعرف على المشاعر من خلال طرق دمج متنوعة. وبخلاف هذه الطرق التي تركز بشكل أساسي على التنبؤ على مستوى المخرجات، فإن تعلم التمثيل المفكك والدمج القائم على الرسوم البيانية في الإطار المقترح يعززان من القابلية للتفسير والوعي بالتفاعل. وتعد تقنيات LSTM Fusion وTFN وLow-Rank Multimodal Fusion (LMF) وAdaptive-Graph والتقنيات القائمة على المحولات أمثلة على النماذج المرجعية التي تم تنفيذها باستخدام مستودعاتها الرسمية أو التطبيقات المرجعية المتاحة للعموم. وقد تم استخدام إعدادات المعلمات الفائقة الأصلية للمؤلفين عندما كانت متاحة. كما تم تقييم جميع المراجع المرجعية التي تمت إعادة تدريبها باستخدام نفس تقسيمات مجموعة البيانات، وتقنيات المعالجة المسبقة، ومعلمات التحسين، ومعايير التقييم لضمان مقارنة عادلة. وتحدد جداول المقارنة بوضوح المراجع ذات الصلة للبيانات المستمدة مباشرة من المنشورات السابقة.

الدقة

يتم قياس دقة تصنيف العواطف المنفصلة لكل من CH-SIMS وCMU-MOSEI؛ ومع ذلك، يختلف اتجاه الدقة بناءً على خصائص مجموعتي البيانات. ونظراً لأن CH-SIMS هي مجموعة بيانات متوسطة الحجم تحتوي على عدد متساوٍ من فئات المشاعر ومقاطع فيديو تمت معالجتها مسبقاً بعناية، فإن دقتها عالية، مما يشير إلى قدرة النموذج على التقاط المعلومات العاطفية متعددة الوسائط الدقيقة مع وجود قدر ضئيل من الضوضاء. ومع ذلك، فإن التصنيف الدقيق للعواطف يمثل تحدياً لأن CMU-MOSEI هي مجموعة بيانات واسعة النطاق تضم متحدثين من خلفيات متنوعة. لذلك، وبالإضافة إلى قدرة النموذج على تحديد المشاعر، فإن الدقة في مجموعة بيانات CMU-MOSEI تشير إلى قدرته على التعميم ومواجهة سيناريوهات تفاعلية متنوعة. ويظهر التحسن في الدقة عبر مجموعتي البيانات أن النهج المقترح يعمم بشكل جيد عبر مجموعات بيانات ذات لغات وأحجام ومستويات تعقيد عاطفي مختلفة.

تظهر دقة التصنيف للمنهج المقترح والخطوط المرجعية الشائعة الأخرى على مجموعتي بيانات CH-SIMS وCMU-MOSEI في الجدول 3. وكما هو موضح في الجدول 3، حقق الإطار المقترح أعلى دقة في كل من مجموعتي بيانات CH-SIMS وCMU-MOSEI، متفوقاً على أقوى خط مرجعي (Adaptive-Graph) بنسبة 3.3% و3.1 نقطة مئوية تقريباً، على التوالي. كما تشير قيم الانحراف المعياري المنخفضة إلى استقرار أكبر عبر عمليات التشغيل التجريبية المكررة. وتتمتع مناهج دمج LSTM التقليدية بدقة أقل بسبب قدرتها المحدودة على التقاط العلاقات المعقدة عبر الوسائط. بينما يعمل كل من TFN وLMF على تحسين دقة التصنيف من خلال نمذجة العلاقات عبر الوسائط.

مقياس F1 (F1-Score)

في مشكلات تصنيف العواطف، يتم قياس التوازن بين الاستدعاء (recall) والدقة (precision) باستخدام مقياس F1-score. ولذلك، يُعد هذا المقياس أكثر ملاءمة لمجموعات بيانات تصنيف العواطف متعددة الوسائط، والتي من المرجح أن تحتوي على عدد غير متكافئ من الفئات. في مهام تصنيف العواطف، يُستخدم F1-score لقياس التوازن بين الاستدعاء والدقة. ونظراً للتوقعات بأن تكون مجموعات بيانات تصنيف العواطف متعددة الوسائط غير متوازنة، فإن F1-score يكون أكثر ملاءمة. وكلما زادت قدرة النموذج على اكتشاف فئات العواطف، ارتفعت قيمة F1-score.

يوضح الشكل 3 تقييم مقياس F1-score للتقنية المقترحة مقارنة بالنماذج المرجعية على مجموعة بيانات CH-SIMS. وتتجلى قدرة النموذج المرجعي القائم على LSTM في نمذجة العلاقات العاطفية المعقدة عبر الوسائط المختلفة من خلال تسجيله لأدنى F1-score. ويقارن الشكل 3 بين قيم F1-score التي حققتها التقنيات التي تم تقييمها على مجموعة بيانات CH-SIMS. وكما هو موضح، فإن البنى الأكثر تطوراً القائمة على الرسوم البيانية (graph-based) والمحولات (transformer-based) تتفوق عادةً على طرق الدمج التقليدية. وقد سجل نموذج LSTM أدنى قيمة بـ F1-score قدره 0.71، يليه نموذج TFN بـ (0.74) ثم LMF بـ (0.76). وارتفع F1-score بشكل أكبر ليصل إلى 0.79 باستخدام Adaptive-Graph، مما يثبت قيمة نمذجة الروابط بين الوسائط. وبتحقيقه F1-score قدره 0.82، تفوق الإطار المقترح على Adaptive-Graph بنسبة 3.8%، وعلى LMF بنسبة 7.9%، وعلى TFN بنسبة 10.8%، وعلى LSTM بنسبة 15.5%. وتظهر هذه النتائج أن آلية الانتباه عبر الوسائط القائمة على الرسوم البيانية وتعلم التمثيل المفكك المقترحة تلتقط المعلومات العاطفية التكميلية عبر الوسائط النصية والصوتية والبصرية بشكل أكثر فعالية، مما يؤدي إلى أداء تصنيف أفضل.

تعتبر الاتجاهات النسبية متسقة، على الرغم من أن جميع الطرق تظهر انخفاضاً طفيفاً في قيمة F1-score مقارنة بـ CH-SIMS، كما هو موضح في الشكل 4. وتظهر النتائج تحسناً مستمراً في الأداء من طرق الدمج التقليدية إلى استراتيجيات التعلم متعدد الوسائط القائمة على الرسوم البيانية. وكانت النماذج ذات أدنى F1-score هي LSTM (0.69)، وTFN (0.72)، وLMF (0.74). وقد ارتفع أداء نموذج Adaptive-Graph إلى 0.77، مما يوضح مدى كفاءة نمذجة الروابط عبر الوسائط. وتفوق الإطار المقترح على جميع النهج الأخرى، محققاً أعلى F1-score بقيمة 0.80. ويظهر التحسن مقارنة بأقوى خط أساس، وهو Adaptive-Graph، إسهامات تعلم تمثيل العواطف المفكك وآلية الانتباه عبر الوسائط القائمة على الرسوم البيانية المقترحة في التقاط الإشارات العاطفية المتكاملة عبر الوسائط النصية والصوتية والبصرية. وتؤكد هذه النتائج أن الإطار المقترح للتعرف على العواطف متعدد الوسائط موثوق وفعال. كما يظهر النهج المقترح تحسناً ملحوظاً مقارنة بكل من النهج القائم على الرسوم البيانية وطريقة الدمج التقليدية، مما يؤكد بشكل أكبر القدرة القوية للمنهج على التعميم. ويدل التحسن في F1-score على مجموعة بيانات CMU-MOSEI على أن النهج المقترح يمكنه تحقيق أداء متوازن في تصنيف العواطف حتى في البيئات الضوضائية والمتنوعة.

الدقة

في أنظمة الاتصال الذكية، تعد الدقة أمراً بالغ الأهمية لأن الإشارة العاطفية الخاطئة يمكن أن تؤدي إلى تدهور تجربة المستخدم. وتُعرف الدقة بأنها نسبة الحالات المتوقعة بدقة لعاطفة معينة إلى إجمالي عدد الحالات التي تم توقع كونها تلك العاطفة. وبما أن تمثيلات العواطف المفككة تكون أقل ضجيجاً وأقل عرضة لسوء التصنيف في النمط، فإن النموذج المقترح يتفوق على النماذج المرجعية في مجموعة بيانات CH-SIMS كما هو موضح في الشكل 5.

تتم مقارنة الدقة التي حققتها عدة تقنيات لتعرف العواطف متعدد الوسائط على مجموعتي بيانات CH-SIMS وCMU-MOSEI في الشكل 5. ومع انتقال النماذج من التقنيات التقليدية القائمة على الدمج إلى بنيات أكثر تطوراً قائمة على الرسوم البيانية، تزداد الدقة بشكل مطرد. حقق الإطار المقترح أقصى دقة بلغت 0.82 على مجموعة بيانات CH-SIMS، حيث ارتفعت الدقة من 0.71 لنموذج LSTM إلى 0.74 و0.76 و0.79 لنماذج TFN وLMF وAdaptive-Graph على التوالي. وعلى مجموعة بيانات CMU-MOSEI، ارتفعت الدقة من 0.69 لنموذج LSTM إلى 0.72 و0.74 و0.77 لنماذج TFN وLMF وAdaptive-Graph على التوالي، بينما حقق النهج المقترح أعلى دقة بلغت 0.80. وقد أدى الإطار المقترح إلى زيادة الدقة بنسبة 3.8% تقريباً في CH-SIMS وبنسبة 3.9% في CMU-MOSEI عند مقارنته بأقوى نموذج مرجعي (Adaptive-Graph). وتظهر هذه النتائج أن آلية تعلم التمثيل المفكك والانتباه عبر الوسائط القائمة على الرسوم البيانية المقترحة تنجح في تقليل التنبؤات الإيجابية الكاذبة من خلال التقاط المعلومات العاطفية المتكاملة عبر الوسائط النصية والصوتية والبصرية. كما تساهم آلية الانتباه عبر الوسائط القائمة على الرسوم البيانية في التخفيف من تأثير الوسائط غير ذات الصلة. ويؤدي التنوع المتزايد في المتحدثين والتعبيرات اللغوية في مجموعة بيانات CMU-MOSEI إلى انخفاض طفيف في الدقة لجميع النماذج.

تذكير

في مهام التعرف على العواطف، يُعد الاستدعاء (recall)، وهو مقياس لقدرة النموذج على تصنيف الحالات العاطفية التي تنتمي إلى فئة معينة بشكل مناسب، أمراً بالغ الأهمية لأن نقص المعلومات العاطفية يمكن أن يؤثر سلباً على جودة التفاعل. وتشير قيمة الاستدعاء الأعلى إلى أن النموذج يحدد عدداً أقل من السلبيات الكاذبة ومزيداً من التعبيرات العاطفية الفعلية. ويمكن اعتبار الاستدعاء مقياساً لكفاءة استخراج المعلومات العاطفية من الوسائط النصية والصوتية والبصرية في سياق تحليل العواطف متعدد الوسائط.

تظهر ميزة التقنية المقترحة مقارنة بالنهج المرجعية في مجموعتي بيانات CH-SIMS وCMU-MOSEI من خلال مقارنة الاستدعاء (recall) في الشكل 6. ومع تطور النماذج من الطرق التقليدية القائمة على الدمج إلى هياكل متعددة الوسائط أكثر تطوراً قائمة على الرسوم البيانية، أظهرت النتائج باستمرار مكاسب في الاستدعاء. فقد زاد الاستدعاء في مجموعة بيانات CH-SIMS من 0.70 لنموذج LSTM إلى 0.73 و0.75 و0.78 لنماذج TFN وLMF وAdaptive-Graph على التوالي؛ بينما حقق الإطار المقترح أقصى استدعاء بلغ 0.82. وحقق النهج المقترح أفضل استدعاء قدره 0.80 في مجموعة بيانات CMU-MOSEI، حيث ارتفع الاستدعاء من 0.68 لنموذج LSTM إلى 0.71 و0.73 و0.76 لنماذج TFN وLMF وAdaptive-Graph على التوالي. وقد حقق الإطار المقترح تحسينات نسبية بلغت حوالي 5.1% في CH-SIMS و5.3% في CMU-MOSEI مقارنة بأقوى نموذج مرجعي (Adaptive-Graph). وتظهر هذه النتائج أنه من خلال التقاط الإشارات العاطفية المتكاملة عبر الوسائط النصية والصوتية والبصرية، نجحت آلية تعلم التمثيل المفكك والانتباه عبر الوسائط القائم على الرسوم البيانية المقترحة في تقليل التنبؤات السلبية الخاطئة، مما أدى إلى تحسين تحديد فئات المشاعر عبر كلتا مجموعتي البيانات. ونظراً لأن الطرق التقليدية لديها قدرة محدودة على نمذجة العلاقات المعقدة عبر الوسائط، فإنها تميل إلى تسجيل قيم استدعاء أقل. ومن خلال نمذجة علاقات الوسائط بشكل أكثر صراحة، حقق نموذجا TFN وLMF مكاسب متوسطة. وبمحاكاة العلاقات الهيكلية بين الوسائط، عملت طريقة Adaptive-Graph على تحسين الاستدعاء بشكل أكبر. وبالنسبة لكلتا مجموعتي البيانات، حققت الطريقة المقترحة أعلى استدعاء، مما يشير إلى قدرتها الأفضل على اكتشاف الحالات العاطفية عبر سيناريوهات التفاعل المختلفة. ويبدو هذا التحسن أكثر وضوحاً في مجموعة بيانات CMU-MOSEI واسعة النطاق، مما يثبت متانة وقابلية تعميم الإطار المقترح.

متوسط الخطأ المطلق (MAE)

يُستخدم متوسط الخطأ المطلق (MAE) لتقييم أداء مهام التنبؤ المستمر بكثافة العاطفة، مثل التنبؤ بالتكافؤ (valence) أو الاستثارة (arousal). وبخلاف الدقة، يعكس MAE بشكل أفضل مدى قرب كثافة العاطفة المتوقعة من الحالة العاطفية الفعلية. وهذا هو السبب في أن MAE يعد أكثر ملاءمة لمجموعات البيانات مثل CH-SIMS وCMU-MOSEI، التي تحتوي على تسميات عاطفية مستمرة. وتشير قيمة MAE المنخفضة إلى دقة أكبر في التنبؤ بكثافة العاطفة.

يظهر مقارنة متوسط الخطأ المطلق (MAE) بين الإطار المقترح والنهج المرجعية على مجموعتي بيانات CH-SIMS وCMU-MOSEI في الجدول 4. تميل طرق الدمج التقليدية القائمة على LSTM إلى تسجيل قيم MAE أعلى بسبب قدرتها المحدودة على نمذجة الاعتمادات العاطفية متعددة الأنماط والمعقدة. ويمكن لـ TFN وLMF تقليل MAE من خلال نمذجة التفاعلات متعددة الأنماط، بينما يعمل نهج Adaptive-Graph على تقليله بشكل أكبر عبر تعلم علاقات الرسم البياني للأنماط. ويحقق الإطار المقترح أقل قيمة MAE عبر كلتا مجموعتي البيانات، مما يشير إلى تقدير أكثر دقة لشدة العاطفة. ومن الجدير بالذكر أن التحسن كان أكثر وضوحاً في مجموعة بيانات CMU-MOSEI، حيث تجعل التباينات في البيانات واسعة النطاق وظروف المتحدثين مهمة التنبؤ أكثر تحدياً.

مصفوفة الارتباك لمجموعة بيانات CH-SIMS

تظهر مصفوفات الارتباك الخاصة بمجموعة بيانات CH-SIMS أن الطرق المرجعية للدمج المبكر باستخدام LSTM وTFN تعاني من خلط كبير بين فئتي العواطف المحايدة والإيجابية. ويشير ذلك إلى أن هذه الطرق ليست فعالة للغاية في تحديد التعبيرات العاطفية متعددة الوسائط الدقيقة. ومن ناحية أخرى، تُظهر الطريقة المقترحة بوضوح هيمنة قوية على القطر الرئيسي، مع وجود عناصر قليلة جداً خارج القطر، مما يؤدي إلى تحسين القدرة على الفصل بين الفئات. وتضمن آلية تعلم العواطف المفككة في الطريقة المقترحة تمثيلاً متسقاً للعواطف عبر الوسائط المختلفة، كما يعمل نهج دمج الرسوم البيانية على تحسين التمييز بين فئات المشاعر المتقاربة. يوضح الشكل 7A–E مصفوفة الارتباك لمجموعة بيانات CH-SIMS باستخدام طرق مرجعية متنوعة.

مصفوفة الارتباك لمجموعة بيانات CMU-MOSEI

يستخدم الإطار المقترح تضمينات عاطفية غير متغيرة بالنسبة للنمط وأوزان انتباه تكيفية لتقليل معدل التصنيف الخاطئ بشكل كبير، خاصة بالنسبة للمدخلات الغامضة عاطفياً. وهذا يؤكد أن الإطار المقترح يعمل بشكل جيد في مجموعة متنوعة من سيناريوهات التفاعل متعدد الأنماط واسعة النطاق. وبسبب حجم مجموعة البيانات، وتنوع المتحدثين، والطبيعة المستمرة لتصنيفات تحليل المشاعر، تظهر مصفوفات الارتباك لـ CMU-MOSEI معدل تصنيف خاطئ إجمالي أعلى. وتُظهر الطرق المرجعية درجة كبيرة من الارتباك بين فئات العواطف المختلفة. يوضح الشكل 8A–E مصفوفة الارتباك لمجموعة بيانات CMU-MOSEI باستخدام طرق مرجعية مختلفة.

وقت التدريب لكل حقبة

تتضح المقايضات الحسابية لتقنيات دمج الوسائط المتعددة المتقدمة من خلال مقارنة وقت التدريب لكل دورة (epoch). ونظرًا لاستخدام مشفرات المحولات (transformer encoders) وآليات انتباه الرسوم البيانية (graph attention mechanisms)، يتطلب النموذج المقترح وقت تدريب أطول قليلاً مقارنة بطرق الدمج البسيطة، إلا أن هذه الزيادة تظل ضمن النطاق الممكن. وقد أظهر الإطار المقترح أداءً قويًا في مجموعات بيانات تحليل المشاعر متعددة الوسائط المرجعية، كما أبان عن إمكانيات واعدة للتكامل في أنظمة التفاعل الذكي بين الإنسان والآلة. ومع ذلك، لم يتم تقييم مدى ملاءمة النشر في الوقت الفعلي في هذه الدراسة، وهو أمر يتطلب مزيدًا من البحث من خلال تحليلات زمن الاستجابة (latency)، والإنتاجية (throughput)، والذاكرة، وعمليات النشر. والجدير بالذكر أن التحسن في استقرار التقارب (convergence stability) والأداء المتفوق في التنبؤ والقابلية للتفسير يجعل التكلفة الحسابية الإضافية ذات قيمة. يوضح الشكل 9 نتيجة وقت التدريب لكل دورة للطريقة المقترحة.

دراسة الاستئصال

لتحديد تأثير كل عنصر أساسي في الإطار المقترح، مثل وحدة التعيين المرئي، والدمج عبر الوسائط القائم على الرسم البياني، والتمثيل العاطفي المفكك، تم إجراء دراسة استئصال. ولفهم هذا التأثير، تم حذف كل عنصر على حدة. ووفقاً للنتائج التجريبية، تعزز استراتيجية دمج الرسم البياني نمذجة التبعية عبر الوسائط، كما تبين أن مساهمة التمثيل العاطفي المفكك هي الأكثر أهمية لاستقرار الأداء. وقد تم التحقق من الدور المساعد لوحدة التعيين المرئي من خلال التأثير الطفيف الذي أحدثه حذفها على الأداء. تظهر نتائج دراسة الاستئصال تحت نفس ظروف التدريب والتقييم في Table 5. وقد لوحظ أكبر تدهور في الأداء بعد إزالة وحدة الانتباه عبر الوسائط القائمة على الرسم البياني، حيث انخفضت الدقة من 81.72% إلى 77.88% وانخفض مقياس F1-score من 0.823 إلى 0.776. وهذا يؤكد أهمية نمذجة التفاعلات المعقدة بين الوسائط. كما ظهر دور وحدة تعلم التمثيل المفكك في تعلم تمثيلات قوية خاصة بالعواطف من خلال حقيقة أن إزالتها أدت إلى خفض الدقة بمقدار 2.78 نقطة مئوية ومقياس F1-score بمقدار 0.032. وتكمن الميزة الرئيسية لوحدة التعيين المرئي في القابلية للتفسير بدلاً من دقة التصنيف، وهو ما يتضح من الانخفاض الطفيف نسبياً في أداء التنبؤ عند إزالتها. وقد سجل تكوين الدمج الأساسي (Basic Fusion) أسوأ أداء، مما يثبت أن تحقيق أفضل أداء للتعرف على العواطف متعدد الوسائط يتطلب التأثير المشترك لجميع الوحدات المقترحة.

توافر البيانات:

إن مجموعات البيانات المستخدمة في هذه الدراسة هي مجموعات بيانات مرجعية متاحة للعامة. تتوفر مجموعة بيانات CMU-MOSEI من خلال حزمة تطوير البرمجيات متعددة الوسائط (Multimodal SDK) بجامعة كارنيجي ميلون، وهي موصوفة في دراسة Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208)، ويمكن الوصول إليها عبر الرابط https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. أما مجموعة بيانات CH-SIMS فهي موصوفة في دراسة Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) ومتاحة للعامة من خلال الموارد التي وفرها المؤلفون، بما في ذلك https://github.com/thuiar/MMSA. وقد أُجريت جميع التجارب باستخدام النسخ الرسمية من مجموعات البيانات هذه. تتوفر البيانات الخام المستخرجة، وملفات البيانات المعالجة، ومخرجات المعالجة المسبقة، وتقسيمات التدريب/التحقق/الاختبار، وتمثيلات الميزات المشتقة، وتفاصيل التنفيذ الداعمة لنتائج هذه الدراسة للعامة في مستودع Zenodo على الرابط https://doi.org/10.5281/zenodo.21124921.

مخطط للتعلم متعدد الوسائط؛ تصنيف العواطف باستخدام النص والصوت والفيديو عبر شبكة الانتباه.
الشكل 1: مخطط تخطيطي لإطار عمل التعيين المرئي لميزات العواطف متعدد الوسائط المقترح. توضيح مفاهيمي للبنية العامة، يوضح استخراج الميزات متعدد الوسائط، وتعلم التمثيل المفكك، ودمج الانتباه عبر الوسائط القائم على الرسم البياني، ومكونات التعيين المرئي لتحليل العواطف متعدد الوسائط القابل للتفسير. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مخطط تحليل العواطف متعدد الوسائط الذي يتضمن النص والصوت والفيديو؛ مصفوفة الانتباه؛ وتضمينات العواطف.
الشكل 2: مخطط تدفق تخطيطي للبروتوكول الحسابي المقترح.
تمثيل مفاهيمي لخط معالجة متكامل من البداية إلى النهاية، يشمل مراحل الحصول على مجموعة البيانات، والمعالجة المسبقة، واستخراج الميزات الخاصة بكل وسيط، والدمج متعدد الوسائط، والتصور، ومراحل التنبؤ بالعواطف يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

رسم بياني لمقارنة مقياس F1-score للطرق التالية: LSTM وTFN وLMF وAdaptive-Graph والطريقة المقترحة مع أشرطة الخطأ.
الشكل 3: مقارنة أداء مقياس F1-score على مجموعة بيانات CH-SIMS. قيم متوسط F1-score التي تم الحصول عليها من خمس تجارب مستقلة (n = 5) باستخدام تهيئات عشوائية مختلفة للبذور. تمثل أشرطة الخطأ ±± انحراف معياري واحد (SD). تشير قيم F1-score الأعلى إلى أداء أفضل في تصنيف العواطف. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

رسم بياني لمقارنة درجة F1 للطرق (LSTM، TFN، LMF) يوضح الأداء الأعلى للطريقة المقترحة.
الشكل 4: مقارنة لأداء درجة F1 على مجموعة بيانات CMU-MOSEI. قيم متوسط درجة F1 التي تم الحصول عليها من خمس تجارب مستقلة (n = 5) باستخدام تهيئات عشوائية مختلفة للبذور. تمثل أشرطة الخطأ ±± انحرافاً معيارياً واحداً (SD)، وتظهر قيم mean ±± SD المقابلة فوق كل نقطة بيانات. تشير قيم درجة F1 الأعلى إلى أداء أفضل في تصنيف العواطف. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مخطط مقارنة الدقة لـ CH-SIMS و CMU-MOSEI باستخدام طرق LSTM و TFN و LMF و Adaptive-Graph.
الشكل 5: مقارنة الدقة في مجموعتي بيانات CH-SIMS و CMU-MOSEI. متوسط درجات الدقة التي حققتها LSTM و TFN و LMF و Adaptive-Graph والإطار المقترح عبر خمس عمليات تجريبية مستقلة (n = 5). تمثل أشرطة الخطأ ±± انحرافًا معياريًا واحدًا (SD) تم حسابه من عمليات تشغيل متكررة بتجهيزات بذور عشوائية مختلفة. يحقق الإطار المقترح أعلى دقة في كلتا مجموعتي البيانات، مما يظهر تحسنًا في تمييز فئات العواطف من خلال التعلم الفعال للميزات متعددة الوسائط والدمج عبر الوسائط القائم على الرسوم البيانية. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مقارنة لمعدلات الاسترجاع لـ CH-SIMS وCMU-MOSEI عبر الطرق المختلفة في تحليل المخطط الشريطي.
الشكل 6: مقارنة الاسترجاع في مجموعتي بيانات CH-SIMS وCMU-MOSEI. متوسط درجات الاسترجاع التي حصلت عليها LSTM وTFN وLMF وAdaptive-Graph والإطار المقترح عبر خمس تجارب مستقلة (n = 5). تشير أشرطة الخطأ إلى ±± انحراف معياري واحد (SD) مستمد من التجارب المكررة. يحقق الإطار المقترح باستمرار أعلى معدل استرجاع في كلتا مجموعتي البيانات، مما يشير إلى قدرة فائقة في التقاط المعلومات العاطفية متعددة الوسائط وتقليل التنبؤات السلبية الخاطئة. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مخططات مصفوفة الارتباك لدقة التصنيف؛ التسميات المتوقعة: سلبية، محايدة، إيجابية.
الشكل 7: مصفوفة الارتباك لمجموعة بيانات CH-SIMS مع طرق مرجعية مختلفة. تتوافق الصفوف مع فئات العواطف الحقيقية، وتتوافق الأعمدة مع الفئات المتوقعة. تمثل قيم الخلايا النسبة المئوية للعينات التي تم تطبيعها بالنسبة لكل فئة حقيقية. تم حساب مصفوفة الارتباك باستخدام جزء اختبار CH-SIMS المحجوز. تشير النسب المئوية القطرية الأعلى إلى دقة تعرّف أفضل لفئة العاطفة المقابلة. مصفوفات الارتباك لـ (A) نموذج LSTM بالدمج المبكر، و (B) نموذج TFN، و (C) نموذج LMF، و (D) الرسم البياني التكيفي، و (E) الطريقة المقترحة على مجموعة بيانات CH-SIMS. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مخططات مصفوفة الارتباك التي تعرض التسميات المتوقعة مقابل التسميات الحقيقية لنماذج التصنيف.
الشكل 8: مصفوفة الارتباك لمجموعة بيانات CMU-MOSEI باستخدام طرق أساسية متنوعة. تمثل الصفوف تسميات المشاعر الفعلية وتمثل الأعمدة التسميات المتوقعة. يتم تقديم القيم كنسب مئوية معيرة حسب الفئة على مجموعة اختبار CMU-MOSEI. توضح المصفوفة كلاً من العينات المصنفة بشكل صحيح (المدخلات القطرية) والارتباك بين فئات المشاعر (المدخلات خارج القطر). مصفوفة الارتباك على CMU-MOSEI (A) نموذج Early fusion LSTM، و(B) نموذج TFN، و(C) نموذج LMF، و(D) نموذج Adaptive Graph، و(E) الطريقة المقترحة على مجموعة بيانات CMU-MOSEI. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

رسم بياني لمقارنة وقت التدريب لمجموعات بيانات CH-SIMS وCMU-MOSEI على مدار 10 حقب تدريبية.
الشكل 9. مقارنة لوقت التدريب لكل حقبة تدريبية في مجموعات بيانات المشاعر متعددة الوسائط المرجعية.
متوسط وقت التدريب لكل حقبة تدريبية تم الحصول عليه من خمس تجارب مستقلة (n = 5) لمجموعات بيانات CH-SIMS وCMU-MOSEI تحت إعدادات مادية وبرمجية متطابقة. تمثل أشرطة الخطأ ±± انحرافاً معياريًا واحدًا (SD) تم حسابه من تجارب مكررة باستخدام تهيئات عشوائية مختلفة. تشير القيم الأدنى إلى كفاءة حوسبية أعلى، بينما تشير أوقات التدريب المستقرة عبر التجارب إلى تحسن في إمكانية التكرار واتساق التدريب. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مجموعة البيانات	الأساليب العلاجية	عدد العينات	اللغة	تصنيفات العاطفة/المشاعر
CH-SIMS³⁴	فيديو، صوت، نص	٢,٢٨١ مقطع فيديو	صيني	تسميات تحليل المشاعر متعددة الأنماط وأحادية النمط (سلبية، محايدة، إيجابية)
CMU-MOSEI³⁵	فيديو، صوت، نص	~23,453 مقطع مرئي مشروح	يرجى تزويدي بالنص الإنجليزي الذي ترغب في ترجمته.	تسميات شدة العاطفة والانفعال (المستمرة والفئوية)

الجدول 1: وصف مجموعة البيانات. ملخص لمجموعات البيانات المستخدمة في هذه الدراسة، والوسائط، وعدد العينات، واللغة، وتصنيفات العاطفة/المشاعر لمجموعتي بيانات CH-SIMS و CMU-MOSEI.

مكوّن	المواصفات
إطار البرمجة	لغة Python مع PyTorch
مستخرج السمات البصرية	محول الرؤية (ViT)
مستخرج الميزات الصوتية	Wav2Vec 2.0
مستخرج سمات النصوص	RoBERTa
استراتيجية الدمج	شبكة الانتباه عبر الوسائط القائمة على الرسوم البيانية
بعد الميزة	768 لكل نمط
مُحسِّن التدريب	آدم
معدل التعلم	1.00E-04
حجم الدفعة	16
الأجهزة والمعدات	وحدة معالجة الرسوميات NVIDIA (مثل سلسلة RTX)
مجموعات بيانات التقييم	CH-SIMS، CMU-MOSEI
البعد الكامن	2.56E+02
بعد التضمين	768
دالة التنشيط	وحدة التصحيح الخطي الموحد (ReLU)
المُحسِّن	آدم
معدل التعلم	1.00E-04
حجم الدفعة	32
العصور	100
التوقف المبكر	مُفعّل
دالة الخسارة	تصنيف + إعادة بناء + اتساق

الجدول 2: بيئة المحاكاة. تفاصيل إعداد وتنفيذ تجربة بيئة المحاكاة، مثل تفاصيل النموذج، والميزات، والمحسن، والأجهزة المستخدمة.

الطريقة	دقة CH-SIMS (%)	دقة CMU-MOSEI (%)
LSTM (دمج مبكر/متأخر)	72.84 ± 1.12	70.35 ± 1.26
TFN	74.91 ± 0.98	72.68 ± 1.10
LMF	76.23 ± 0.85	74.12 ± 0.94
Adaptive-Graph	78.46 ± 0.73	76.89 ± 0.81
الطريقة المقترحة	81.72 ± 0.61	79.94 ± 0.69

الجدول 3: تقييم دقة الطريقة المقترحة باستخدام التقنيات المرجعية على مجموعتي بيانات CH-SIMS و CMU-MOSEI. تم إيراد النتائج كـ متوسط ±± انحراف معياري تم الحصول عليه من خمس تجارب مستقلة (n = 5) باستخدام تهيئات مختلفة للبذور العشوائية. تم تقييم جميع الطرق باستخدام تقسيمات متطابقة للتدريب والتحقق والاختبار لكل مجموعة بيانات لضمان إجراء مقارنة عادلة.

الطريقة	MAE لـ CH-SIMS ↓	CMU-MOSEI MAE ↓
LSTM (الدمج المبكر/المتأخر)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
الرسم البياني التكيفي	0.334 ± 0.009	0.379 ± 0.010
الطريقة المقترحة	0.298 ± 0.007	0.341 ± 0.008

الجدول 4: نتيجة متوسط الخطأ المطلق. يتم تقديم النتائج في شكل المتوسط ±± الانحراف المعياري الذي تم الحصول عليه من خمس تجارب مستقلة (n = 5) باستخدام تهيئات عشوائية مختلفة للبذور. تم تقييم جميع الطرق باستخدام تقسيمات تدريب وتحقق واختبار متطابقة لمجموعات البيانات الخاصة بها لضمان مقارنة عادلة. مقارنة لـ MAE للتنبؤ المستمر بكثافة العاطفة باستخدام الإطار المقترح والنهج المرجعية على كلتا مجموعتي البيانات.

متغير النموذج	الدقة (%)	مقياس F1-score
النموذج الكامل	81.72 ± 0.61	0.823 ± 0.008
بدون فك التشابك	78.94 ± 0.74	0.791 ± 0.010
بدون دمج الرسوم البيانية	77.88 ± 0.81	0.776 ± 0.011
بدون التعيين البصري	80.11 ± 0.66	0.807 ± 0.009
الدمج الأساسي	74.91 ± 0.98	0.742 ± 0.013

الجدول 5: نتيجة دراسة الاستئصال باستخدام الطرق المرجعية. يتم عرض النتائج على شكل المتوسط ± الانحراف المعياري الذي تم الحصول عليه من خمس تجارب مستقلة (n = 5) باستخدام قيم ابتدائية عشوائية مختلفة. تم تقييم جميع الطرق باستخدام تقسيمات متطابقة للتدريب والتحقق والاختبار لمجموعات البيانات الخاصة بكل منها لضمان مقارنة عادلة. مقارنة الأداء بين متغيرات النموذج، مما يشير إلى فعالية التعلم من التمثيلات المفككة، والدمج القائم على الرسوم البيانية، ووحدة الخرائط المرئية.

الملف التكميلي 1: الخوارزمية 1 والخوارزمية 2.يرجى النقر هنا لتنزيل هذا الملف.

المناقشة

تظهر النتائج التجريبية أنه، عبر مجموعات بيانات CH-SIMS وCMU-MOSEI، يتفوق إطار الربط المرئي المقترح لخصائص العواطف متعددة الوسائط على تقنيات التعرف على العواطف متعددة الوسائط الحالية. ومقارنة بنماذج الدمج المبكر والمتأخر، مثل EF-LSTM وTFN، تحقق التقنية المقترحة دقة أعلى ودرجات F1 Score أعلى، مما يثبت متانتها في التعامل مع المعلومات العاطفية المتنوعة. ويمكن إرجاع التحسن في هذه الطريقة إلى تمثيل العواطف المفكك، والذي يعمل على كبح الضوضاء الخاصة بكل وسيط ويضمن اتساق العواطف عبر الوسائط المرئية والصوتية والنصية³⁶.

مؤخرًا، أظهرت النماذج متعددة الوسائط القائمة على المحولات (transformer-based)، مثل Adaptive Multimodal Transformers³⁷ و MIAR³⁸، نتائج مبهرة في نمذجة التبعيات عبر الوسائط. ومع ذلك، تركز هذه النماذج بشكل أساسي على التنبؤ وتفتقر إلى الآليات التي تدعم القابلية للتفسير على مستوى الميزات. وفي المقابل، يجمع النظام المقترح بين الانتباه عبر الوسائط القائم على الرسوم البيانية ووحدة رسم خرائط بصرية، مما يسمح بالتحليل الشفاف للتفاعلات العاطفية وتفاعلات الوسائط. ويعد هذا جانبًا محوريًا مفقودًا حاليًا في الأدبيات العلمية، حيث يتم التعامل مع الاستدلال العاطفي كعملية "صندوق أسود".

أظهر الإطار المقترح أداءً متسقاً عبر مجموعات بيانات القياس المرجعية CH-SIMS و CMU-MOSEI. وبينما قد يكون لهذا الإطار تطبيقات محتملة في التفاعل الذكي بين الإنسان والآلة، ومراقبة الرعاية الصحية، وبيئات التعلم التكيفية، والأنظمة الأخرى المدركة للعواطف، إلا أن الدراسة الحالية قيمت الطريقة فقط في ظل ظروف قياس مرجعية مضبوطة. لم يتم إجراء أي نشر في العالم الحقيقي، أو تقييم لواجهة المستخدم، أو دراسة لسهولة الاستخدام، أو تقييم للمشاركين البشريين. وبناءً على ذلك، لا تزال الفعالية العملية للإطار في البيئات التشغيلية بحاجة إلى بحث. سيركز العمل المستقبلي على التقييمات الموجهة للنشر، والدراسات المتمحورة حول المستخدم، وتحليل زمن الاستجابة، وتقييم استهلاك الذاكرة، وأداء التفاعل في الوقت الفعلي.

علاوة على ذلك، فإن تحسينات الأداء عبر مختلف مجموعات البيانات المتنوعة ثقافيًا ولغويًا تثبت صحة الإطار المقترح. وبخلاف الأعمال السابقة التي تم التحقق من صحتها باستخدام مجموعة بيانات واحدة أو سيناريو تفاعلي محدد، يُظهر الإطار المقترح أداءً قويًا عبر مختلف اللغات والمتحدثين والتعبيرات العاطفية. وبناءً على ذلك، يعد الإطار المقترح مناسبًا جدًا لأنظمة التفاعل الذكية العملية التي تتطلب تعرّفًا دقيقًا على العواطف واتخاذ قرارات قابلة للتفسير.

تم تقييم قابلية تفسير الإطار المقترح من خلال تحليل قائم على التصور للتمثيلات متعددة الوسائط التي تم تعلمها. وبشكل محدد، تم فحص تضمينات المشاعر الكامنة، وخرائط الانتباه عبر الوسائط، ورسوم التفاعل البيانية بين الوسائط، ومسارات المشاعر الزمنية لتقديم رؤى حول عملية اتخاذ القرار في النموذج ومساهمات كل وسيلة. يهدف نموذج التخطيط البصري إلى تعزيز الشفافية من خلال تمكين مراقبة التفاعلات على مستوى السمات والديناميكيات العاطفية. ومع ذلك، لم يتم تضمين مقاييس قابلية التفسير الرسمية، أو تقييمات دقة الانتباه، أو الدراسات المستخدمة في العمل الحالي. وبناءً على ذلك، يجب تفسير فوائد قابلية التفسير المذكورة على أنها أدلة قائمة على التصور وليست مقاييس قابلية شرح تم التحقق منها كمياً.

من وجهة نظر نظرية، تقدم هذه الدراسة المساهمات التالية في مجال الحوسبة العاطفية متعددة الوسائط: فهي تقترح طريقة منهجية لنمذجة العواطف تفرق بوضوح بين التمثيلات الخاصة بالعاطفة والتمثيلات الخاصة بالوسائط. ومن خلال ضمان الاتساق العاطفي عبر الوسائط المختلفة في فضاء كامن مشترك، يطور الإطار المقترح نظرية تعلم التمثيلات في الأنظمة متعددة الوسائط. كما أن دمج آليات الانتباه القائمة على الرسوم البيانية يساهم في صياغة التبعيات بين الوسائط المختلفة في التعبير عن العواطف بشكل أكثر رسمية.

من منظور عملي، يُعد الإطار المقترح مفيداً جداً لتصميم التفاعل الذكي وواجهات المستخدم المدركة للعواطف. تتيح وحدة التخطيط المرئي في الإطار المقترح لمصممي الأنظمة فهم تأثير الوسائط المتعددة المختلفة على التنبؤ بالعواطف، وهو أمر بالغ الأهمية بالنسبة لمصممي الأنظمة. كما أن الإطار المقترح مفيد جداً في تطبيقات مثل الوكلاء الحواريين العاطفيين، وأنظمة التعلم التكيفية، وواجهات مراقبة الرعاية الصحية، ومنصات تقييم تجربة المستخدم.

ومع ذلك، فإن الإطار المقترح يعاني من بعض القصور؛ حيث يضيف استخدام آليات انتباه الرسوم البيانية ومشفّرات المحوّلات (transformer encoders) تعقيداً قد يشكل عائقاً للأجهزة ذات الإمكانات المحدودة. علاوة على ذلك، تتجاهل الدراسة الحالية الإشارات الفسيولوجية الأخرى، مثل تخطيط كهربية الدماغ (EEG) وتتبع حركة العين، لصالح التركيز على الأنماط المرئية والصوتية والنصية. ولم يتم تقييم الكفاءة الحسابية للإطار المقترح للنشر في الوقت الفعلي بشكل محدد، رغم تحقيقه لأداء تنبؤي تنافسي وقدرة محسنة على التصور. وسوف تبحث الأبحاث المستقبلية في أداء النشر في سياقات التفاعل الذكي في العالم الحقيقي، وتأخير الاستنتاج، ومعدل نقل البيانات، واستهلاك الذاكرة، وتقنيات ضغط النماذج. ولتحسين دقة نمذجة العواطف واستجابة التفاعل بشكل أكبر، ستركز الأبحاث المستقبلية على تطوير نماذج خفيفة الوزن، وتقنيات التحسين في الوقت الفعلي، ودمج أنماط إضافية. كما لم يتم تقييم أداء النشر في الوقت الفعلي، ويؤدي إدراج مشفّرات المحوّلات وطرق الانتباه القائمة على الرسوم البيانية إلى زيادة التعقيد الحسابي. وقد تم استخدام مجموعتي البيانات المرجعين CH-SIMS وCMU-MOSEI فقط للتحقق من صحة المنهجية، مما قد يؤدي إلى تحيزات خاصة بمجموعة البيانات ويقيد إمكانية التعميم على مجالات ولغات ومجموعات مستخدمين أخرى. بالإضافة إلى ذلك، لا تتضمن الدراسة الحالية إشارات فسيولوجية مثل بيانات تخطيط كهربية الدماغ أو تتبع حركة العين، بل تركز بدلاً من ذلك على الأنماط المرئية والصوتية والنصية. وبالرغم من أن التوصيفات الشاملة للتنفيذ وبيئة المحاكاة قد عززت من قابلية التكرار، إلا أن الكود المصدري والنماذج المدربة مسبقاً غير متاحة للعامة حالياً.

يتم استخدام إطار عمل جديد للتخطيط البصري لتعلم سمات العواطف متعددة الوسائط لتصميم التفاعل الذكي في هذا العمل. تدمج الطريقة المقترحة تعلم التمثيل القائم على المحولات (transformer-based) من الطرف إلى الطرف، ونمذجة العواطف المفككة، والانتباه عبر الوسائط القائم على الرسوم البيانية لتحقيق دقة تنبؤية عالية وقابلية للتفسير. وتظهر التجارب على مجموعتي بيانات CH-SIMS وCMU-MOSEI أن إطار العمل المقترح يتفوق على أحدث نماذج التعرف على العواطف متعددة الوسائط من حيث الدقة ومقياس F1-score. والأهم من ذلك، أن حل التخطيط البصري المقترح يسد الفجوة بين التعرف على العواطف واستراتيجية التفاعل، ويقدم اتجاهاً جديداً لتصميم أنظمة الحوسبة العاطفية متعددة الوسائط القابلة للتفسير والواعية بالتفاعل.

لتسهيل تصميم تفاعلي ذكي وقابل للتفسير، قدمت هذه الدراسة إطار عمل جديداً للرسم الخرائطي المرئي لتعلم سمات العواطف متعددة الوسائط. يدمج النظام المقترح بنجاح عملية اكتشاف العواطف وقابلية التفسير ضمن بنية واحدة من خلال الجمع بين استخراج السمات متعددة الوسائط القائمة على المحولات (transformer)، وتعلم تمثيل العواطف المفككة، ودمج الانتباه عبر الوسائط القائم على الرسوم البيانية، وطرق الرسم الخرائطي المرئي. وبالإضافة إلى تقديم تمثيلات مرئية واضحة لمساهمات الوسائط، والتفاعلات عبر الوسائط، وديناميكيات العواطف الزمنية، أظهر التقييم التجريبي على مجموعتي البيانات المرجعيين CH-SIMS و CMU-MOSEI أداءً محسناً مقارنة بطرق الأساس الممثلة عبر عدة مقاييس، بما في ذلك الدقة (Accuracy)، والضبط (Precision)، والاسترجاع (Recall)، ومقياس F1-score، ومتوسط الخطأ المطلق (MAE). ومع ذلك، فإن هذه الدراسة تقتصر على التقييمات بناءً على مجموعتي بيانات مرجعيتين، ولا تشمل دراسات النشر في العالم الحقيقي، أو التقييمات المرتكزة على المستخدم، أو تقييمات القابلية للتفسير الكمية، ودمج الوسائط الفسيولوجية. علاوة على ذلك، قد تواجه البيئات ذات الموارد المحدودة صعوبات بسبب التكلفة الحسابية لمشفرات المحولات وعمليات الانتباه القائمة على الرسوم البيانية. وبينما سيركز العمل المستقبلي على التحقق الموسع عبر مجموعات بيانات متنوعة، ودمج وسائط إضافية، ودراسات سهولة الاستخدام، وإصدار موارد قابلة للتكرار، والتحسين لسيناريوهات النشر في الوقت الفعلي، فإن إطار العمل المقترح يظهر بشكل عام إمكانات تحليل العواطف متعدد الوسائط القابل للتفسير في تطبيقات الحوسبة العاطفية والتفاعل الذكي.

الإفصاحات

يصرح المؤلفون بعدم وجود أي تضارب في المصالح.

شكر وتقدير

يود المؤلفون الإعراب عن امتنانهم للدعم المقدم من كلية الإسكان والبناء والتخطيط بجامعة Sains Malaysia في بينانغ بماليزيا، وكلية فنون التصميم بجامعة Changsha للعلوم. &؛ التكنولوجيا، تشانغشا، الصين. كما يعرب المؤلفون عن تقديرهم لأكاديمية شيامن للفنون والتصميم بجامعة فوتشو، شيامن، الصين، لدعمهم الأكاديمي والبحثي طوال فترة هذا العمل.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسم	الشركة	رقم فهرسي	التعليقات
Adam	مكتبة مُحسِّنات PyTorch	https://pytorch-optimizers.readthedocs.io/en/latest/ (معدل التعلم = 1 × 10^-4)	تحسين المعاملات أثناء تدريب النموذج
CH-SIMS	مستودع مجموعة البيانات الأصلية	أحدث إصدار عام	مجموعة بيانات مرجعية لتحليل المشاعر/العواطف متعدد الوسائط باللغة الصينية
CMU-MOSEI	مستودع CMU Multimodal SDK	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (أحدث إصدار عام)	مجموعة بيانات مرجعية للتعرف على المشاعر والعواطف متعددة الوسائط
Disentangled Emotion Encoder	تنفيذ مخصص	https://pytorch-geometric.readthedocs.io/en/latest/(بنية المشفر المزدوج)	فصل التمثيلات الكامنة الخاصة بالعاطفة وتلك الخاصة بالوسائط
Graph Attention Network (GAT)	PyTorch Geometric	GAT متعدد الرؤوس (https://pytorch-geometric.readthedocs.io/en/latest/)	نمذجة العلاقات العاطفية عبر الوسائط ودمج الميزات التكيفي
Graph-Based Cross-Modal Attention Layer	تنفيذ مخصص	دمج الانتباه متعدد الرؤوس	تعلم الاعتمادات العاطفية دقيقة التفاصيل بين الوسائط
Matplotlib	مشروع Matplotlib	3.7+	إنشاء المخططات والتحليلات المرئية
NetworkX	مشروع NetworkX	3.0+	بناء وتصور رسوم التفاعل عبر الوسائط
NVIDIA GPU	شركة NVIDIA	وحدة معالجة رسومية تدعم CUDA	تسريع تدريب المحولات والشبكات العصبية الرسومية
Principal Component Analysis (PCA)	Scikit-learn	sklearn.decomposition.PCA	الاختزال الأولي لتضمينات العواطف عالية الأبعاد
Python	مؤسسة برمجيات Python	3.8+	لغة البرمجة الأساسية لتنفيذ إطار تحليل العواطف متعدد الوسائط
PyTorch	مؤسسة PyTorch	2.0+	تطوير وتدريب وتحسين الشبكات العصبية العميقة
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base، تضمينات ببعد 768)	استخراج التمثيلات العاطفية اللغوية والدلالية السياقية
Seaborn	مشروع Seaborn	0.12+	إنشاء الخرائط الحرارية للانتباه والتصورات الإحصائية
t-distributed Stochastic Neighbor Embedding (t-SNE)	Scikit-learn	scikit-learn.org (الحيرة = 30، التكرارات = 1000)	تصور عناقيد العواطف الكامنة ومساراتها
Ubuntu Linux	Canonical Ubuntu	20.04 LTS أو إصدار أحدث	بيئة تنفيذ التجارب
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16، تضمينات ببعد 768	استخراج التمثيلات المرئية المدركة للعواطف من إطارات الفيديو
Wav2Vec 2.0	Meta AI Research	النموذج الأساسي، تضمينات ببعد 768	استخراج ميزات العواطف الصوتية والكلامية السياقية

المراجع

Zhu X, et al. EMVAS: End-to-end multimodal emotion visualization analysis system. Complex Intell Syst. 2025;11:1-15.
Zhu X, et al. A client-server based recognition system: Non-contact single/multiple emotional and behavioral state assessment methods. Comput Methods Programs Biomed. 2025;260:108564.
Lasri I, Riadsolh A, Elbelkacemi M. Facial emotion recognition of deaf and hard-of-hearing students for engagement detection using deep learning. Educ Inf Technol. 2023;28:4069-4092.
Saibene A, Assale M, Giltri M. Expert systems: Definitions, advantages and issues in medical field applications. Expert Syst Appl. 2021;177:114900.
Poria S, Cambria E, Bajpai R, Hussain A. A review of affective computing: From unimodal analysis to multimodal fusion. Inf Fusion. 2017;37:98-125.
Chatterjee R, et al. Real-time speech emotion analysis for smart home assistants. IEEE Trans Consum Electron. 2021;67(1):68-76.
Zhu X, Huang Y, Wang X, Wang R. Emotion recognition based on brain-like multimodal hierarchical perception. Multimed Tools Appl. 2024;83:56039-56057.
Khan M, El Saddik A, Alotaibi FS, Pham NT. AAD-Net: Advanced end-to-end signal processing system for human emotion detection and recognition using attention-based deep echo state network. Knowl Based Syst. 2023;270:110525.
Chaturvedi I, Chen Q, Cambria E, McConnell D. Landmark calibration for facial expressions and fish classification. Signal Image Video Process. 2022;16:377-384.
Li D, Liu J, Yang Z, Sun L, Wang Z. Speech emotion recognition using recurrent neural networks with directional self-attention. Expert Syst Appl. 2021;173:114683.
Zhu X, et al. A review of key technologies for emotion analysis using multimodal information. Cogn Comput. 2024;16:1504-1530.
Wang R, et al. Multimodal emotion recognition using tensor decomposition fusion and self-supervised multitasking. Int J Multimed Inf Retr. 2024;13:39.
Fan C, Lin J, Mao R, Cambria E. Fusing pairwise modalities for emotion recognition in conversations. Inf Fusion. 2024;106:102306.
Williams J, Kleinegesse S, Comanescu R, Radu O. Recognizing emotions in video using multimodal DNN feature fusion. Proceedings of Grand Challenge and Workshop on Human Multimodal Language. Melbourne, Australia. 2018;10.18653/v1/W18-3302.
Zhao Z, Wang Y, Wang Y. Multi-level fusion of Wav2Vec 2.0 and BERT for multimodal emotion recognition. arXiv. 2022;arXiv:2207.04697.
Middya AI, Nag B, Roy S. Deep learning based multimodal emotion recognition using model-level fusion of audio-visual modalities. Knowl Based Syst. 2022;244:108580.
Maithri M, et al. Automated emotion recognition: Current trends and future perspectives. Comput Methods Programs Biomed. 2022;215:106646.
Wu Y, Mi Q, Gao T. A comprehensive review of multimodal emotion recognition: Techniques, challenges, and future directions. Biomimetics. 2025;10(4):418.
Zheng S, Zhang X, Liu Y, Li Z. CMFF: A cross-modal multi-layer feature fusion network for multimodal sentiment analysis. Appl Soft Comput. 2025;184(Pt B):113868.
Yan L, Shi Y, Wei M, Wu Y. Multi-feature fusing local directional ternary pattern for facial expressions signal recognition based on video communication system. Alex Eng J. 2023;63:307-320.
Guo X, Zhang Y, Lu S, Lu Z. Facial expression recognition: A review. Multimed Tools Appl. 2024;83(8):23689-23735.
Liu ZT, Han MT, Wu BH, Rehman A. Audio emotion recognition based on convolutional neural network with attention-based bidirectional long short-term memory network and multitask learning. Appl Acoust. 2023;202:109178.
Mirsamadi S, Barsoum E, Zhang C. Automatic audio emotion recognition using recurrent neural networks with local attention. 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), New Orleans, LA, USA. 2017; 10.1109/ICASSP.2017.7952552.
Gu T, He Z, Zhao H, Li M, Ying D. Aspect-based sentiment analysis with multi-granularity information mining and sentiment hint. Expert Syst Appl. 2024;252:124104.
Shen W, Chen J, Quan X, Xie Z. DialogXL: All-in-one XLNet for multi-party conversation emotion recognition. Proc AAAI Conf Artif Intell. 2021;35(15):13789-13797.
Kim T, Vossen P. EmoBERTa: Speaker-aware emotion recognition in conversation with RoBERTa. arXiv. 2021;arXiv:2108.12009.
Li S, Yan H, Qiu X. Contrast and generation make BART a good dialogue emotion recognizer. Proc AAAI Conf Artif Intell. 2022;36(10):11002-11010.
Zhu J, Yu J. MIAR: Modality interaction and alignment representation fusion for multimodal emotion. arXiv. 2026;arXiv:2601.02414.
Praveen RG, Granger E, Cardinal P. Cross attentional audio-visual fusion for dimensional emotion recognition. 2021 16th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2021), Jodhpur, India. 2021;10.1109/FG52635.2021.9667055.
Salas-Cáceres J, López M, Martínez A, Rodríguez P. Multimodal emotion recognition based on a fusion of audio-visual information with temporal dynamics. Multimed Tools Appl. 2025;84:27327-27343.
Fu J, Zhang Y, Wang L, Chen H. TMFN: A text-based multimodal fusion network with multi-scale feature extraction and unsupervised contrastive learning for multimodal sentiment analysis. Complex Intell Syst. 2025;11:133.
Tuerhong G, Fu F, Wushouer M. Adaptive multimodal transformer based on exchanging for multimodal sentiment analysis. Sci Rep. 2025;15:27265.
Gupta C, Sharma R, Patel S, Verma A. A multimodal fusion model for real-time environment emotion recognition using audio-visual-textual features. J Big Data. 2025;12:256.
Yu W, Li X, Zhang H, Wang Z, Liu Z. CH-SIMS: A Chinese multimodal sentiment analysis dataset with fine-grained annotation of modality. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020; 10.18653/v1/2020.acl-main.343.
Zadeh A, et al. Multimodal language analysis in the wild: CMU-MOSEI dataset and interpretable dynamic fusion graph. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, Melbourne, Australia. 2018; 10.18653/v1/P18-1208.
Zadeh A, Chen M, Poria S, Cambria E, Morency LP. Tensor fusion network for multimodal sentiment analysis. arXiv. 2017;arXiv:1707.07250.
Tsai YHH, Bai S, Yamada M, Morency LP, Salakhutdinov R. Multimodal transformer for unaligned multimodal language sequences. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy. 2019; 10.18653/v1/P19-1656.
Moreno M, Rioseco P, Van Den Bosch H. Spectrum of the linearized Vlasov–Poisson equation around steady states from galactic dynamics. arXiv. 2023;arXiv:2305.05749.

الرسم الخرائطي المرئي لسمات العواطف متعددة الوسائط لتصميم التفاعل الذكي

في هذه المقالة

ملخص

الملخص

المقدمة

البروتوكول

النتائج

المناقشة

الإفصاحات

شكر وتقدير

المواد

المراجع

إعادة الطباعة والأذونات

الوسوم