الرسم الخرائطي المرئي لسمات العواطف متعددة الوسائط لتصميم التفاعل الذكي

ملخص

يقترح هذا العمل إطار عمل لتحليل العواطف متعدد الوسائط من الطرف إلى الطرف، والذي يسخر المشفرات التحويلية (transformer encoders)، وتمثيلات العواطف المفككة، والانتباه عبر الوسائط القائم على الرسوم البيانية مع التعيين المرئي لتحسين دقة التعرف على العواطف عبر مجموعتي بيانات.

الملخص

يُعد التخطيط المرئي لسمات العواطف متعددة الوسائط أمراً بالغ الأهمية لتصميم الواجهات الذكية، وذلك من خلال تمكين الآلات من فهم الحالات العاطفية البشرية وتفسيرها والتفاعل معها. ومع ذلك، تركز خوارزميات اكتشاف العواطف متعددة الوسائط الحالية بشكل أساسي على أداء التنبؤ، مما يوفر رؤية محدودة فيما يتعلق بقابلية التفسير، أو الوعي بالتفاعل، أو التفاعلات عبر الوسائط على مستوى السمات. قدم هذا العمل إطار عمل للتخطيط المرئي لجوانب العواطف متعددة الوسائط يجمع بين التصور الموجه نحو التفاعل، وتعلم التمثيلات القابلة للتفسير، والتنبؤ العاطفي. تم استخدام مشفرات قائمة على نماذج transformer لاستخراج تضمينات عاطفية عالية المستوى من الوسائط النصية والصوتية والمرئية، دون الاعتماد على سمات تم إنشاؤها يدوياً. ولتعزيز المتانة، تم فصل المعلومات الخاصة بالعاطفة وتلك الخاصة بالوسائط باستخدام تقنية تعلم التمثيلات المفككة. بالإضافة إلى ذلك، تم إنشاء شبكة انتباه عبر الوسائط قائمة على الرسوم البيانية لاستخدام وزن انتباه تكيفي لمحاكاة العلاقات العاطفية الدقيقة بين الوسائط. كما تم تطوير وحدة تخطيط مرئي متعددة الرؤى لتصوير مسارات العواطف الزمنية، وتوزيعات الانتباه عبر الوسائط، وتضمينات العواطف الكامنة من أجل تعزيز الشفافية. تم تقييم إطار العمل المقترح باستخدام مجموعة بيانات Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) ومجموعة بيانات تحليل المشاعر متعددة الوسائط الصينية (CH-SIMS). ووفقاً للنتائج التجريبية، وفر إطار العمل المقترح قابلية تفسير محسنة على مستوى السمات وتصوراً واعياً بالتفاعل، بينما تفوق باستمرار على التقنيات المرجعية التمثيلية من حيث الدقة، ومقياس F1-score، والارتباط، ومتوسط الخطأ المطلق. علاوة على ذلك، سهلت وحدة التخطيط المرئي التفسير النوعي لتمثيلات العواطف متعددة الوسائط، والتفاعلات عبر الوسائط، والديناميكيات العاطفية الزمنية، مما يدعم التحليل والتصور الواعي بالتفاعل.

المقدمة

لقد أصبحت القدرة على تحديد وفهم المشاعر البشرية بشكل صحيح أمراً بالغ الأهمية لتحسين التفاعل بين البشر والآلات. وبالإضافة إلى كونها ضرورية لتحسين التفاعل بين الإنسان والحاسوب، فإن لتحليل العواطف القدرة على إحداث ثورة في عدد من المجالات، بما في ذلك التشخيص الطبي السابق للتخيص¹، وتحليل السلوك داخل الفصول الدراسية²، والمتابعة النفسية للمرضى³، وتحديد حالة الإجهاد في المركبات⁴، والإدارة الذكية في بيئات المنازل الذكية⁵. وقد أدت التطورات الأخيرة في الحوسبة العاطفية والتعلم العميق⁶ إلى زيادة الاهتمام بإنشاء أنظمة تعمل في الوقت الفعلي ويمكنها استيعاب تعقيد العواطف البشرية.

تعتمد العديد من الطرق الحالية بشكل أساسي على البيانات أحادية النمط، مثل الإشارات النصية أو الرسومية أو السمعية^7,8,9. وتفشل هذه النهج بشكل متكرر في اكتشاف الإشارات الدقيقة مثل السخرية أو الفروق الدقيقة المرتبطة بالسياق. وقد انتقلت الأبحاث إلى تقييم العواطف متعدد الأنماط، والذي يدمج بيانات تكميلية من مصادر متعددة للتغلب على هذه القيود^10,11,12. وقد أثبتت النماذج المرجعية مزايا دمج أنماط متعددة، مثل الذاكرة طويلة قصيرة المدى ذات الدمج المبكر (EF-LSTM)13، والشبكات العصبية العميقة خفيفة وFM (LF-DNN)¹⁴، وشبكات دمج الموتر (TFN)، ونهج الدمج متعدد الأنماط منخفض الرتبة. ومع ذلك، تعتمد معظم هذه النهج على توليد السمات في وضع عدم الاتصال، وهي غير مناسبة للمواقف الديناميكية في العالم الحقيقي.

من أجل استيعاب الحالات العاطفية، شهدت أبحاث وتطبيقات تحديد العواطف متعددة الوسائط نمواً ملحوظاً خلال السنوات العشر الماضية¹⁵. ويعد الرصد المستمر للحالات العاطفية باستخدام مصادر بيانات متنوعة واحداً من أكثر مجالات البحث تحدياً وأهمية في الوقت الحاضر¹⁶. وقد ظهر مفهوم تعدد الوسائط بشكل طبيعي مع ظهور هذا النظام المعرفي المتنوع، مما أدى إلى العديد من التطورات في تطبيق العواطف في مجالات مثل الحوسبة العاطفية، والتفاعل بين الإنسان والحاسوب (HCI)، والتعلم، وألعاب الفيديو، وخدمة العملاء، والرعاية الطبية، وتقييم تجربة المستخدم (UX)، وغيرها. ومع ذلك، لم يكن تطبيق تقنيات التعرف على العواطف في تقييم تجربة المستخدم أمراً بسيطاً دائماً.

إن أحد الأسباب الرئيسية للتركيز على التعرف متعدد الوسائط بدلاً من الطرق أحادية الوسائط هو العيوب المتأصلة في الاعتماد على مصدر معلومات واحد. فقد تعاني أنظمة اكتشاف العواطف أحادية الوسائط من انخفاض الدقة بسبب البيانات المفقودة أو غير الواضحة، بينما تعد مخططات التعرف على العواطف (MER) أكثر موثوقية وتقدم فهماً أكثر شمولاً وتعمقاً للحالات التعبيرية من خلال دمج مصادر بيانات متعددة¹⁷. فعلى سبيل المثال، قد لا تكون لغة الوجه وحدها كافية لتصنيف المشاعر بدقة، خاصة عندما تكون الإيماءات معقدة أو غير واضحة. وبالرغم من ذلك، فإن الجمع بين تعبيرات الوجه وأشكال أخرى من التواصل، مثل اللغة أو الإشارات الجسدية، قد يزيد من دقة التعرف على المشاعر.

أُجريت أبحاث مكثفة حول التعرف على العواطف عبر أنماط متعددة. ركزت الدراسات المبكرة على تحديد السمات المميزة من أنماط مختلفة، مثل المدخلات الرسومية أو الصوتية أو النصية. ومع ذلك، أصبح من الواضح بشكل متزايد أن دمج أنماط متنوعة يمكن أن يوفر معلومات عاطفية متوازنة، مما يؤدي إلى كشف أكثر موثوقية ودقة عن المشاعر. يستعرض هذا القسم التطورات الرئيسية في تحليل العواطف أحادي النمط ومتعدد الأنماط، مع التركيز على النهج الأساسية، وأوجه القصور فيها، والمنطق الذي استندنا إليه في منهجيتنا.

ركزت الدراسات الأولية حول التعرف على العواطف بشكل أساسي على نمط واحد. ففي المجال البصري، أدت الأبحاث الرائدة إلى تصنيف حركات الوجه النموذجية²⁰. وشملت التطورات اللاحقة تقنيات لالتقاط الديناميكيات الزمنية، مثل الحركة البصرية²¹ ونماذج ماركوف المخفية²²، بينما قُسمت استجابات الوجه إلى وحدات عمل باستخدام نظام ترميز تعبيرات الوجه (FACS)²³. وقد استُخدمت شبكات الذاكرة طويلة قصيرة المدى (LSTMs) والشبكات العصبية الالتفافية (CNNs) بنجاح لاستخراج سمات ذات دلالة مباشرة من الإشارات الصوتية الخام؛ كما تطورت منهجيات تحديد العواطف القائمة على الصوت من معالجة الإشارات التقليدية إلى التعلم العميق²⁴. كما تعزز استخراج إشارات المشاعر السياقية في تحليل العواطف القائم على النصوص بشكل كبير بواسطة الشبكات العصبية المتكررة (RNNs) التي تدمج آليات الانتباه، ومؤخراً بواسطة النماذج القائمة على المحولات (transformer-based models). ورغم إنجازاتها، فإن التقنيات أحادية النمط غير قادرة جوهرياً على تمثيل التعقيدات التي يمر بها البشر بدقة نظراً لافتقارها إلى المعلومات التكميلية الموجودة في الأنماط الأخرى.

تم اقتراح بعض النماذج القائمة على آلية الانتباه، مثل نموذج DialogXL25، في عام 2021 لجمع بيانات بيئية طويلة المدى في مجال تحديد المشاعر في المحادثات. وقد قدم Kim et al.²⁶ نموذج EmoBERTa في عام 2021 لزيادة دقة التعرف على المشاعر في المحادثات (ERC). يستخدم هذا النموذج بيانات المتحدث لتحسين سمات المتحدثين في المحادثات وتفاعلاتهم مع بعضهم البعض. وفي عام 2022، عرض Li et al.²⁷ طريقة CoG-BART. وتستخدم هذه البنية التعلم التبايني الخاضع للإشراف لتحسين قدرة النموذج على تفسير البيانات ذات الصلة. وتجدر الإشارة إلى أن التعلم الخاضع للإشراف يتطلب كمية كبيرة من البيانات المصنفة.

ومن الأمثلة النموذجية على هذا العمل إطار التمثيل المدرك للتفاعل متعدد الوسائط (MIAR)²⁸، والذي يستخدم رموز تفاعل الميزات والمحاذاة التباينية لتحسين التعميم عبر الوسائط المختلفة. يعمل MIAR على تحسين محاذاة الوسائط ويحقق أداءً قوياً عبر عدة مجموعات بيانات؛ ومع ذلك، فإنه يركز بشكل أساسي على دقة التنبؤ دون معالجة التخطيط المرئي. وبالمثل، فإن نموذج الاندماج السمعي البصري عبر الانتباه (Cross-Attentional Audio-Visual Fusion)²⁹ يلتقط بفعالية التفاعلات السمعية البصرية دقيقة التفاصيل للتنبؤ بالتكافؤ والاستثارة، ولكنه يقتصر على وسيطين فقط ويفتقر إلى قدرات التصوير المرئي. كما نجحت مناهج النمذجة الزمنية القائمة على شبكات LSTM واندماج المشفِّرات التلقائية في التقاط الديناميكيات الزمنية للعواطف، إلا أنها توفر رؤية محدودة فيما يتعلق بتفاعلات الوسائط والتمثيلات العاطفية المكتسبة. وفي الآونة الأخيرة، أظهرت الطرق القائمة على المحولات، مثل شبكة الاندماج متعدد الوسائط القائمة على المحول (TMFN)³⁰، أداءً قوياً على مجموعات بيانات CMU-MOSI و CMU-MOSEI من خلال تعزيز الاندماج متعدد الوسائط والتعلم التبايني. ومع ذلك، تظل هذه المناهج مدفوعة بالأداء في المقام الأول، وتقدم دعماً محدوداً للقابلية للتفسير، والتأويل على مستوى الميزات، والتصوير المرئي الموجه نحو التفاعل.

بهدف تعزيز تكامل البيانات النصية والصوتية والبصرية، تم اقتراح العديد من تقنيات التعرف على العواطف متعددة الوسائط. وبالرغم من عدم قدرتها على التقاط التفاعلات المعقدة بين الوسائط المختلفة، فقد أظهرت تقنيات الدمج المبكر مثل EF-LSTM وLF-DNN مزايا استخدام المعلومات متعددة الوسائط لتحليل المشاعر والعواطف. ورغم أن TFN قد حسّن الأداء في مجموعات البيانات المرجعية مثل CMU-MOSI وCMU-MOSEI وقدم نمذجة صريحة للتفاعلات بين الوسائط، إلا أن محدودية قابليته للتفسير وتعقيده الحسابي العالي أعاقا فائدته. ولتحسين محاذاة الوسائط ودمج الميزات الديناميكية، استخدمت تقنيات أكثر حداثة مثل MIAR، ونماذج دمج الانتباه المتقاطع، وTMFN، ومحولات الوسائط المتعددة التكيفية، بنيات المحولات (transformer topologies) وآليات الانتباه. ركزت هذه الطرق بشكل أساسي على الأداء التنبؤي، وقدمت رؤى محدودة حول التمثيلات العاطفية على مستوى الميزات والتبعيات عبر الوسائط، رغم تحقيق نتائج تنافسية عبر مقاييس التقييم الشائعة مثل الدقة (accuracy)، وF1-score، ومتوسط الخطأ المطلق (mean absolute error). علاوة على ذلك، فإن الدراسات التي وضعت تقنيات تصور يمكنها الكشف عن تضمينات العواطف الكامنة وتوزيعات الانتباه وديناميكيات العواطف الزمنية، أو التي دمجت نمذجة قائمة على الرسوم البيانية (graph-based modeling) للتفاعلات بين الوسائط، تظل قليلة. يتضمن النهج المقترح رسم خرائط بصرية متعددة العروض، ودمج الانتباه المتقاطع القائم على الرسوم البيانية، وتعلم التمثيلات المفككة للتغلب على هذه العيوب وتعزيز أداء التعرف على العواطف متعدد الوسائط.

وبالمثل، يقترح محول الوسائط المتعددة التكيفي (Adaptive Multimodal Transformer)³² دمجاً قائماً على التبادل للتخفيف التكيفي من المعلومات النمطية المشوشة أو المفقودة، مما يعزز أداء تصنيف المشاعر. ورغم أن هذا النهج يمكن أن يعالج بشكل فعال التباينات في توزيع المعلومات النمطية، إلا أن تصميمه مخصص لمهام تحليل المشاعر ويوفر رؤية محدودة للتمثيلات العاطفية المكتسبة. وثمة مساهمة مهمة أخرى تتمثل في نموذج دمج الوسائط المتعددة (Multimodal Fusion Model)³³، الذي يدمج الشبكات العصبونية التلافيفية (CNNs)، وذاكرات الوحدات القصيرة المدى (LSTMs) الضربية، وآلية الانتباه القائمة على المحولات للتعرف على العواطف متعددة الأنماط في الوقت الفعلي. ويقوم النموذج بدمج كامل لأنماط الفيديو والصوت والنص، ويظهر أداءً قوياً في التعرف. ومع ذلك، وكما هو الحال في النماذج الحالية الأخرى، فإنه يركز بشكل أساسي على دقة التنبؤ ويفتقر إلى ميزات صريحة للتصوير المرئي وقابلية التفسير الموجهة نحو التفاعل.

وفي الختام، بينما حققت مناهج التعرف على العواطف متعددة الوسائط الحديثة نجاحاً ملحوظاً في رصد التفاعلات عبر الوسائط وتعزيز دقة التنبؤ، فإن معظمها يركز على المهام القائمة على التعرف. وقد نالت مجالات قابلية التفسير على مستوى الميزات، وتصوير التمثيلات العاطفية في مساحة الصور، ودمج الإطار المقترح لتصميم التفاعل الذكي اهتماماً ضئيلاً. ومن هذا المنطلق، ومع مراعاة هذه التحديات، تم تقديم الإطار المقترح.

تركز غالبية الطرق الحالية بشكل أساسي على تحسين الأداء التنبئي مع تقديم القليل من القابلية للتفسير للتمثيلات العاطفية المكتسبة والتفاعلات عبر الوسائط، وذلك رغم التقدم الملحوظ في التعرف متعدد الوسائط على العواطف^28,29. وغالباً ما يصعب على استراتيجيات الدمج الحالية نمذجة التفاعلات المعقدة بين الوسائط النصية والصوتية والبصرية، خاصة عند حدوث تباينات في الوسائط ونقص في المعلومات ^28,31. وبينما أدت التصميمات القائمة على المحولات (transformers) وآليات الانتباه إلى تعزيز تعلم التمثيلات، فإن شفافيتها وقابليتها للتفسير غالباً ما تتضاءل بسبب الافتقار إلى الفصل الصريح بين المعلومات الخاصة بالعواطف والمعلومات الخاصة بالوسائط^31,32,33. بالإضافة إلى ذلك، بحث عدد قليل فقط من الدراسات في النمذجة القائمة على الرسوم البيانية للتفاعلات بين الوسائط أو أنشأت أطر تصور يمكنها الكشف عن ديناميكيات العواطف الزمنية وتوزيعات الانتباه وتضمينات العواطف. وتوضح هذه العيوب الضرورة الملحة لإيجاد إطار عمل متعدد الوسائط وقابل للتفسير للتفاعل الذكي بين الإنسان والآلة يجمع بين الخرائط المرئية الموجهة نحو التفاعل والتعلم القوي عبر الوسائط.

يقدم هذا العمل إطار عمل قابل للتفسير لرسم الخرائط المرئية لجوانب العواطف متعددة الوسائط في تصميم الواجهات الذكية. يستخدم النظام التعلم العميق الشامل (end-to-end) لاستخراج تمثيلات عاطفية عالية المستوى من الوسائط النصية والصوتية والبصرية، دون الحاجة إلى ميزات مُعدة يدويًا. كما تم نمذجة التفاعلات العاطفية عبر الوسائط باستخدام آلية دمج قائمة على الانتباه الرسومي (graph-based attention fusion) تعمل على فصل المعلومات الخاصة بالعاطفة عن تلك الخاصة بالوسائط، مما يتيح تعلم التمثيلات المفككة ويحسن من القابلية للتفسير والمتانة. بالإضافة إلى ذلك، تم إنشاء وحدة تصور متعددة العروض لإظهار ديناميكيات العواطف الزمنية، وأنماط الانتباه عبر الوسائط، وتضمينات العواطف (emotion embeddings). وقد تم تقييم فعالية وملاءمة إطار العمل المقترح في أنظمة التفاعل الذكي بين الإنسان والآلة من خلال التحقق من صحته باستخدام مجموعات بيانات مرجعية للتعرف على العواطف متعددة الوسائط.

يقدم هذا العمل إطار عمل فريداً للرسم الخرائطي المرئي لجوانب العواطف متعددة الوسائط، والذي يتجاوز النهج التقليدية الموجهة نحو التنبؤ للتغلب على ضعف نمذجة التفاعلات عبر الوسائط ومحدودية القابلية للتفسير في أنظمة تحديد العواطف متعددة الوسائط الحالية. يدمج النهج المقترح، ضمن بنية واحدة، تعلّم التمثيلات متعددة الوسائط القائم على المحولات (transformer)، ونمذجة الميزات المفككة المدركة للعواطف، ودمج الانتباه عبر الوسائط القائم على الرسوم البيانية، والتصور الموجه نحو التفاعل. ويفصل إطار العمل بوضوح بين التمثيلات الخاصة بالعواطف وتلك الخاصة بالوسائط لتحسين القابلية للتفسير والمتانة والاتساق عبر الوسائط، وذلك على عكس النهج الحالية التي تركز بشكل أساسي على أداء التصنيف. بالإضافة إلى ذلك، تم تقديم آلية انتباه قائمة على الرسوم البيانية لتمكين النمذجة التكيفية للتفاعلات بين الوسائط من خلال التقاط الاعتماد المتبادل العاطفي دقيق التفاصيل بين الوسائط النصية والصوتية والمرئية. كما تم إنشاء وحدة رسم خرائطي مرئي متعدد الرؤى لزيادة الشفافية عن طريق الكشف عن مسارات العواطف الزمنية، وأنماط الانتباه عبر الوسائط، وتضمينات العواطف الكامنة، مما يوفر رؤى بديهية لعملية اتخاذ القرار في النموذج. وبالإضافة إلى توفير تصور وقابلية تفسير محسنة للديناميكيات العاطفية متعددة الوسائط، أظهر التقييم التجريبي على مجموعات بيانات CH-SIMS و CMU-MOSEI المرجعية أداءً تنافسياً من حيث الدقة، ومقياس F1-score، ومتوسط الخطأ المطلق، والارتباط.

البروتوكول

يهدف العمل المقترح إلى تحسين تصميم التفاعل الذكي من خلال تقديم إطار عمل قابل للتفسير لرسم الخرائط المرئية لميزات المشاعر متعددة الوسائط. وقد استُخدمت في هذا العمل قاعدتا بيانات CH-SIMS وCMU-MOSEI المتاحتان للجمهور. تم الحصول على كلتا المجموعتين من مصادرهما الرسمية واستُخدمتا وفقاً لإرشادات الاستخدام، والمعايير البحثية، وشروط الترخيص التي حددها منشئوهما. قام مزودو مجموعات البيانات أولاً بجمع وتدوين المحتوى متعدد الوسائط، بما في ذلك البيانات النصية والصوتية والمرئية، وذلك وفقاً لتصاريح المشاركين المعتمدة وبروتوكولات جمع البيانات الخاصة بهم. لم يتضمن هذا البحث أي تفاعل بشري مباشر، أو استقطاب لمشاركين جدد، أو جمع لمعلومات تحديد الهوية الشخصية. وقد أُجريت جميع التحليلات باستخدام مجموعات بيانات بحثية متاحة للجمهور. وبناءً على ذلك، فإن تحليلنا الثانوي للبيانات لم يتطلب أي موافقة أخلاقية إضافية أو مراجعة من مجلس مراجعة المؤسسية (IRB). كما نُفذت الدراسة وفقاً للمعايير المؤسسية المناسبة التي تحكم استخدام مجموعات البيانات المتاحة للجمهور، وإجراءات البحث الأخلاقية، وسياسات استخدام البيانات المعمول بها.

تَمَّ استخدام آلية انتباه عبر-نمطية قائمة على الرسم البياني لتعلم توصيفات العواطف عبر الأنماط المختلفة باستخدام خصائص محددة للعاطفة أو النمط لتحسين الفهم. ويُستخدم مكون رسم خرائط بصرية متعدد الرؤى لتعزيز التصميم التفاعلي المدرك للعواطف في الوقت الفعلي، كما تم تقدير كفاءته في التعرف على العواطف. وتُظهر النتائج أن الطريقة المقترحة تحسن كلاً من القابلية للتفسير والكفاءة لواجهات المستخدم الذكية المدركة للعواطف في العالم الحقيقي. يوضح الشكل 1 سير العمل المعماري للعمل المقترح. كما يوضح الشكل 1 سير العمل الكامل لإطار رسم الخرائط البصرية المقترح لتعلم سمات العواطف متعددة الأنماط في سياق أنظمة التفاعل الذكية. يبدأ سير العمل بثلاثة أنماط إدخال متزامنة، وهي النص والصوت والفيديو، والتي تلتقط معلومات عاطفية تكميلية من الأنماط اللغوية واللحنية وتعبيرات الوجه، على التوالي. يقوم مشفر محول (transformer encoder) خاص بكل نمط بمعالجة كل نمط للحصول على تمثيلات عالية المستوى لبيانات الإدخال الخام. ثم يتم تغذية هذه التمثيلات في وحدة تعلم التمثيلات المفككة، حيث يتم فك ارتباط التضمينات الخاصة بالعاطفة عن السمات الخاصة بالنمط لضمان الاتساق في العواطف المتعلمة عبر مصادر البيانات غير المتجانسة. بعد ذلك، يتم تجميع التضمينات الخاصة بالعاطفة من كل نمط بواسطة شبكة انتباه عبر-نمطية قائمة على الرسم البياني، والتي تعمل على نمذجة التبعيات العاطفية بين الأنماط وتعيين أوزان أهمية ديناميكية لكل نمط بناءً على سياق التفاعل. وأخيرًا، يوفر الإطار مخرجات تصنيف العواطف ورؤى التفاعل، مما يسهل عملية اتخاذ القرار الشفافة المدركة للعواطف وتصميم التفاعل الذكي التكيفي.

استحصال البيانات متعدد الوسائط

تعد مجموعتا بيانات CH-SIMS وCMU-MOSEI مجموعتين متاحين للنطاق العام من البيانات متعددة الوسائط التي جمعت معلومات متعددة الوسائط، مثل الفيديو والصوت والنصوص المتزامنة. وتضم مجموعة بيانات CH-SIMS فحوصات متعددة الوسائط لأشخاص صينيين، تشمل 2,281 مقطع فيديو، مستمدة من مقاطع فيديو متعددة من الأفلام والدراما التلفزيونية والبرامج المنوعة. وقد أصبحت الدراسات المتعلقة بالتحليل متعدد الوسائط للعواطف باستخدام البيانات متعددة الوسائط أكثر جاذبية وجدوى من خلال إضافة الصوت والنصوص المقابلة إلى هذه المقاطع المرئية. ومن ناحية أخرى، تعد مجموعة بيانات CMU-MOSEI واحدة من أكبر مجموعات البيانات متعددة الوسائط لفحص الآراء والمشاعر والعواطف، حيث جُمعت من أكثر من 23,000 مقطع فيديو لعبارات نطق بها أكثر من 1,000 متحدث عبر مجموعة متنوعة من المواضيع. وقد تم تقسيم مجموعة البيانات عشوائياً إلى مجموعات فرعية للتدريب (70%)، والتحقق (15%)، والاختبار (15%) مع الحفاظ على توزيع الفئات.

يتم الحصول على النصوص المفرغة، والإشارات الصوتية، وإطارات الفيديو ومزامنتها زمنياً لتتطابق على مستوى زمني دقيق. ويضمن التكامل على مستوى الإطار أن آليات تعلم التمثيل والدمج القائم على الرسوم البيانية المقترحة يمكنها نمذجة والاستفادة من المحتوى العاطفي الناشئ عن التعبيرات البصرية، ونبرات الصوت، والمحتوى اللغوي بشكل مشترك. وتتيح تقنية الاستحواذ متعدد الوسائط هذه استخراجاً فعالاً للديناميكيات العاطفية بين الوسائط، وهو أمر أساسي لتصميم التفاعل الذكي ورسم الخرائط البصرية المفهومة.

يوضح الجدول 1 الهياكل الأساسية لمجموعات بيانات العواطف متعددة الوسائط المستخدمة في الطريقة المقترحة. وللحصول على نطاق أوسع من المشاعر ذات الصلة، مثل الكلمات المنطوقة وتنغيمات الصوت وتعبيرات الوجه، تدمج مجموعتا CH-SIMS وCMU-MOSEI وسائط الفيديو والصوت والنص من هذه البيانات. علاوة على ذلك، يتوفر عدد محدود من عينات البيانات في CH-SIMS، مما يسمح بفحص دقيق لتفاعلات الوسائط وتغيرات العواطف في الصين. ومن ناحية أخرى، تُعد مجموعة بيانات CMU-MOSEI أكثر أهمية لتقييم متانة تعلم التمثيل وخوارزميات التصور ذات الصلة التي يتناولها هذا العمل، حيث تحتوي على كمية كبيرة من البيانات عبر لغات وموضوعات ومستويات عواطف مفسرة متنوعة. بالإضافة إلى ذلك، فهي تقلل من الصعوبات في اختيار المعلومات عند اختبار النماذج مقارنة بالأبحاث السابقة.

المعالجة المسبقة والمزامنة متعددة الوسائط

استُخدمت تعليقات الطابع الزمني من مجموعتي بيانات CH-SIMS وCMU-MOSEI لمزامنة الوسائط النصية والسمعية والبصرية، مما يضمن تعلماً متسقاً لتمثيل الوسائط المتعددة. وقد عمل كل ملفظ كوحدة تحليل أساسية، ورُبط بقطاعات صوتية ومرئية مطابقة ضمن نفس الفترة الزمنية. أُجريت عملية المحاذاة على مستوى الملفظ، حيث قُسم النص المكتوب إلى قطاعات بناءً على الطوابع الزمنية لبداية ونهاية كل ملفظ. وتم تحقيق التوافق بين النص والصوت والصورة من خلال استخراج إطارات الفيديو والإشارات الصوتية المقابلة التي وقعت ضمن نفس الفترة الزمنية. وبينما تمت معالجة القطاعات الصوتية باستخدام Wav2Vec 2.0 لإنتاج تمثيلات صوتية، تم أخذ عينات من الإطارات المرئية من قطاع الفيديو بمعدل محدد مسبقاً وتشفيرها باستخدام Vision Transformer (ViT). كما استُخدم مشفر RoBERTa لإنشاء تضمينات نصية من نصوص الملفظات. وتحققت المزامنة الزمنية عن طريق محاذاة جميع سمات الوسائط مع حدود ملفظ واحد، نظراً لأن الوسائط الثلاثة أنتجت تسلسلات سمات ذات أطوال متفاوتة. واستُخدم تنسيق ثابت الطول لتوحيد التسلسلات ذات الأطوال المختلفة؛ حيث قُصرت التسلسلات الأطول إلى أقصى طول تسلسل مسموح به، بينما حُشيت التسلسلات الأقصر بالأصفار. وأثناء التدريب، استُخدمت أقنعة الانتباه لفصل العناصر المحشوة عن مواضع السمات الفعلية. كما تم إسقاط التضمينات الخاصة بكل وسيلة في فضاء كامن مشترك قبل عملية الدمج للتغلب على تفاوت أطوال التسلسلات عبر الوسائط المختلفة. وقد ضمن ذلك الاتساق البعدي وأتاح لآلية الانتباه القائمة على الرسوم البيانية تسهيل تعلم التفاعل الناجح بين الوسائط. وللحفاظ على جودة البيانات وسلامة المزامنة، استُبعدت من الدراسات العينات التي تحتوي على ملفات تالفة، أو تعليقات مفقودة، أو معلومات وسائط غير مكتملة.

استخراج الميزات القائم على المحولات (Transformer)

تُستخدم طريقة للتعلم العميق لتعلم تمثيلات سمات عالية المستوى واعية بالعواطف من معلومات عبر وسائط متعددة، مثل الرؤية والصوت والنص، بأسلوب شامل (end-to-end) بعد محاذاة البيانات متعددة الوسائط وإجراء أي معالجة مسبقة مطلوبة. ومن خلال استخدام مشفر محول (transformer encoder) لتعلم تمثيلات سمات تمييزية جوهرياً من البيانات الخام متعددة الوسائط، تلغي الطريقة المقترحة الحاجة إلى هندسة السمات. ولتسهيل الاتساق عبر مجموعات البيانات المستخدمة في النهج المقترح، يتم تعلم تضمين (embedding) ثابت الحجم لكل وسيط. على سبيل المثال، يتم تعلم تضمينات سمات ذات 768 بُعداً عبر كل وسيط من الوسائط الفردية، بما في ذلك وسائط الصور والصوت والنص، لتشكل مجتمعة فضاء سمات موحداً يُستخدم عبر النهج بأكمله، وتحديداً نهج استخراج السمات المستخدم عبر مجموعة بيانات CH-SIMS ومجموعة بيانات CMU-MOSEI لتعلم سمات عالية المستوى عبر بيانات ذات أحجام مختلفة.

النمط البصري: محول الرؤية لتمثيلات الإطارات المدركة للمشاعر

تم استخدام نموذج محول الرؤية (ViT-Base) لاستخراج المعلومات المرئية من إطارات الفيديو من أجل الحصول على تمثيلات مكانية ذات صلة بالعواطف. وقبل استخراج الميزات، تم تغيير حجم إطارات كل مقطع فيديو إلى (224 × 224) بكسل وأخذ عينات منها على فترات زمنية منتظمة. وباستخدام حجم رقعة يبلغ 16 × 16 بكسل، تنتج بنية ViT-Base سلسلة من الرموز المرئية التي يتم معالجتها بواسطة 12 طبقة من مشفر المحول. وتم إسقاط التمثيلات المستردة على مستوى الإطار في فضاء تضمين ذي 768 بُعداً باستخدام نموذج ViT مدرب مسبقاً كعمود فقري مرئي. كما جُمعت تضمينات مستوى الإطار باستخدام التجميع المتوسط لإنشاء التمثيل المرئي النهائي لكل مقطع. وأثناء التدريب، تم استخدام تطبيع الصور وطرق التعزيز الشائعة، مثل الاقتصاص العشوائي والقلب الأفقي، لتعزيز القدرة على التعميم. بعد ذلك، تم استخدام إطار دمج متعدد الوسائط المقترح لدمج هذه التضمينات المرئية مع التمثيلات النصية والسمعية.

للحفاظ على الديناميكيات الزمنية في العاطفة، سيتم أخذ عينات موحدة من مقاطع الفيديو من مجموعتي بيانات CH-SIMS وCMU-MOSEI للنمط البصري. يمكن تقسيم إطارات كل فيديو، ، إلى N من الأقسام ثابتة الحجم، والتي يتم بعد ذلك تسطيحها ونقلها عكسيًا إلى فضاء تضمين كامن ببعد . يتم إنشاء سلسلة عن طريق إضافة تضمينات موضعية ورمز تجميع قابل للتعلم:

   (1)

حيث يمثل   الترميز الموضعي، و  هي مصفوفة تضمين الرقعة.

تُستخدم طبقات مشفر المحول (transformer encoder) المتراكمة، المكونة من شبكات التغذية الأمامية والاهتمام الذاتي متعدد الرؤوس، لمعالجة تسلسل الرقع المدمجة. وتوصف عملية التحويل في الطبقة l كما يلي:

   (2)

   (3)

للحصول على متجه السمات المرئية المدرك للعاطفة، يتم استخراج المخرج المكافئ لرمز الفئة (class token) كمتجه سمات . ولمعالجة تمثيلات العواطف المرئية المتسقة رغم الاختلافات في اللغة والمحتوى عبر مجموعات البيانات، يتم دمج تضمينات على مستوى الإطار من كل مقطع فيديو لالتقاط تعبيرات الوجه وتطور العاطفة.

النمط السمعي باستخدام Wav2Vec 2.0 للتحليل العروضي والتضمينات الصوتية الدلالية تم إنتاج تضمينات كلامية سياقية باستخدام مشفر Wav2Vec 2.0 مُدرب مسبقاً كركيزة صوتية. وتم الحصول على متجه سمات صوتية ثابت الطول لكل عبارة عن طريق تجميع التمثيلات الخفية المخرجة باستخدام التجميع المتوسط (mean pooling). استُخدم نموذج Wav2Vec 2.0 لاستخراج التمثيلات الصوتية من الإشارات السمعية لالتقاط خصائص الكلام السياقية وذات الصلة بالعواطف. وقبل استخراج السمات، تم توحيد التسجيلات الصوتية وإعادة أخذ عينات منها بتردد 16 kHz. ولضمان التزامن بين النمطين النصي والبصري، تم عزل كل مقطع صوتي على مستوى المنطوق باستخدام حدود الطوابع الزمنية المقدمة في تعليقات مجموعة البيانات. كما تم ضبط المشفر الصوتي المُدرب مسبقاً أثناء تدريب النموذج لتعزيز التكيف مع المهمة المحددة، مما مكن التمثيلات المشتقة من تمثيل الجوانب العاطفية لإشارات الكلام بدقة أكبر. ثم أُجري دمج انتباه عبر الأنماط قائم على الرسوم البيانية وتعلم تمثيل مفكك باستخدام تضمينات الصوت النهائية.

في نمط الصوت، يُستخدم Wav2Vec-2.0 لنمذجة إشارات الكلام المستمدة من معلومات الكلام الأولية في مجموعتي بيانات CH-SIMS و CMU-MOSEI، لاستخراج السمات الصوتية المتعلقة بالعاطفة بشكل مباشر. يوجد ترميز سمات تلافيفي لكل إشارة كلام مدخلة :

   (4)

حيث يرمز Z إلى السمات العروضية منخفضة المستوى مثل اللحن والنغمة والطاقة. وتعتبر شبكة السياق القائمة على المحولات (transformer-based) مفيدة للبنى المذكورة سابقاً، حيث تمثل التبعيات الزمنية طويلة المدى:

   (5)

تتضمن هذه التمثيلات الصوتية السياقية بيانات صوتية عروضية ودلالية، وهي ضرورية للتعبير عن العاطفة. يتم إنشاء تضمين صوتي بطول محدد من خلال تنفيذ إجراء تجميع زمني:

   (6)

يتجنب هذا التصميم استخدام الميزات الصوتية مثل MFCCs، ويحقق المتانة باستخدام بيانات الكلام باللغة الإنجليزية من CMU-MOSEI وبيانات الكلام باللغة الصينية من CH-SIMS عن طريق استخراج التمثيلات من الأشكال الموجية ببساطة.

نمط النص باستخدام RoBERTa لتضمينات العاطفة السياقية

بالنسبة للنمط النصي، تم تطبيق محول ثنائي الاتجاه عميق، RoBERTa، على النصوص المفرغة من مجموعتي البيانات لتوليد الدلالات السياقية والمعنى العاطفي. واستُخدمت مشفرات محولة تعتمد على RoBERTa لاستخراج التمثيلات النصية من بيانات النصوص المفرغة لالتقاط المعلومات الدلالية والسياقية والعاطفية. وقد استُخدم نموذج RoBERTa مدرب مسبقاً لمجموعة بيانات CMU-MOSEI باللغة الإنجليزية، بينما استُخدم متغير RoBERTa صيني لمجموعة بيانات CH-SIMS الصينية لمراعاة السمات اللغوية الخاصة بكل لغة بشكل أفضل. وشملت المعالجة المسبقة للنصوص عملية التجزئة (tokenization) باستخدام مجزئ RoBERTa المناسب لكل لغة وتطبيع النصوص. ولضمان اتساق معالجة الدفعات، تم تحويل تسلسلات الإدخال إلى تضمينات رمزية، ثم حشوها أو تقليمها لتصل إلى طول تسلسل أقصى محدد مسبقاً. ووفقاً لتنسيق إدخال RoBERTa، تم إدراج رموز تصنيف وفصل خاصة. وتم الحصول على تضمين نصي ثابت الطول عن طريق تجميع تمثيلات الرموز السياقية التي أنتجها مشفر المحول باستخدام تمثيل الجملة النهائي المكافئ لـ [CLS]. ولتكييف التمثيلات المكتسبة مع مهمة التعرف على العواطف، تم تحسين مشفرات RoBERTa المدربة مسبقاً من خلال التدريب متعدد الأنماط. ثم استُخدم إطار دمج متعدد الأنماط المقترح لدمج التضمينات النصية مع الخصائص الصوتية والبصرية.

يمكن دمج تضمينات الرموز والترميزات الموضعية لكل مدخل مُرمز، ، لإنشاء تمثيل المدخلات في تقنية التحويل ثنائية الاتجاه العميقة المعروفة باسم

   (7)

يتم تمثيل هذا النموذج من خلال طبقات محول L، الذي يستخدم آلية الانتباه الذاتي (self-attention) لاكتشاف الاعتمادات السياقية بين الكلمات:

  (8)

يتم الحصول على تضمين العاطفة السياقي باستخدام الحالة الخفية النهائية لرمز التصنيف:

   (9)

تعد قطبية المشاعر، والعواطف الشديدة، والدلالات المرتبطة بها أمثلة على الخصائص اللغوية المتعلقة بالعواطف التي سيمثلها هذا التضمين. يسهل نموذج RoBERTa عملية النمذجة غير المرتبطة بلغة معينة، مما يمكن النظام من استخدام نفس حجم التضمين لكل من النصوص الإنجليزية من مجموعة بيانات CMU-MOSEI والنصوص الصينية من مجموعة بيانات CH-SIMS.

يتم استخراج ثلاثة متجهات سمات خاصة بكل نمط بأبعاد تبلغ 768، وهي الأنماط البصرية f_v، والصوتية f_a، والنصية f_t ، وذلك من خلال خطوة تعلم تمثيل السمات العميقة المقترحة. وفي تصميم التفاعل الذكي، تُنشئ هذه التمثيلات المتعلمة فضاءً موحداً للسمات متعددة الأنماط، والذي يعمل كأساس لرسم الخرائط البصرية على مستوى السمات، والدمج عبر الأنماط القائم على الرسوم البيانية، وتعلم التمثيلات المفككة.

تعلم التمثيل المفكك

بعد تعلم تمثيل سمات عميق، يمكن أن تؤدي المعالجة الإضافية لمتجهات السمات متعددة الوسائط من الوسائط المرئية والسمعية والنصية إلى وصف عاطفي منفصل. إذا تم تمثيل تضمينات السمات الخاصة بكل وسيط للوسائط السمعية والمرئية والنصية المستخدمة في الخطوة السابقة بواسطة f_v و f_a و f_t على التوالي، بحيث أن   و ، فإن الهدف من هذه الخطوة هو تحليل جميع سمات الوسائط إلى وصفين كامنين متميزين، يتضمنان أوصاف العاطفة بعد أخذ الدلالات السابقة لكل وسيط من الوسائط المختلفة في الاعتبار.

يتم تحقيق ذلك عن طريق تغذية ميزة كل نمط، f_m ، في شبكتي إسقاط متوازيتين: مشفر عواطف  ومشفر نمط ، حيث يتم إنتاج الترميزين.

  (10)

حيث  تمثل السمة الكامنة المرتبطة بالعاطفة بـ  التي تمثل سمة كامنة خاصة بنمط معين. وهذا يسمح للتضمينات الخاصة بالعاطفة بالتواصل مع مساحة بشكل متكرر عبر مدخلات متعددة، بما في ذلك الصوت والمرئيات والنصوص، مع الحفاظ على البيانات الهيكلية الفريدة المرتبطة بكل نمط.

يتم فرض فصل فعال من خلال إعادة البناء باستخدام قيود الاستقلالية. وتتم عملية إعادة بناء ميزة النمط الأصلي وفقًا لما يلي:

  (11)

حيث  هي شبكة فك تشفير. تحافظ خسارة إعادة البناء على البيانات التالية:

   (12)

بالإضافة إلى ذلك، فإن التعامد، أو عدم الارتباط، بين العواطف والتصويرات الخاصة بنمط معين غالباً ما يحد من تداخل المعلومات:

   (13)

من خلال تحقيق هذه الأهداف، قد يتعلم النموذج تمثيلات عاطفية تكون موثوقة ومفهومة ومقاومة للتباين في الوسائط. وتعتمد عمليات دمج الوسائط المتعددة القائمة على الرسوم البيانية وميزات التخطيط البصري اللاحقة، خاصة فيما يتعلق بتصميم التفاعل الذكي، بشكل كبير على تمثيلات عاطفية مهيكلة وقابلة للتفسير.

اتساق العاطفة عبر أنماط التواصل

من الواضح أن إضافة اتساق المشاعر تعزز من فعالية الدمج بين الوسائط. ويرجع ذلك إلى أن استراتيجيات الدمج لا تحتاج إلى مراعاة الفجوات الكبيرة بين التمثيلين، نظرًا لأن تضمينات المشاعر الخاصة بكل وسيط تشترك في فضاء كامن. ويتم وصف التوضيح المشترك للعاطفتين على النحو التالي . سيكون الدمج الموزون أكثر استقرارًا عندما تكون التمثيلات الخاصة بالمشاعر متسقة، لأن التباينات بين الإشارات من مختلف الوسائط لن يكون لها تأثير على النتيجة.

   (14)

من خلال فرض المحاذاة الدلالية للمعلومات العاطفية، يقلل هذا الهدف من التباينات عبر الوسائط المختلفة، ويضمن بقاء إدراك العاطفة متسقاً بغض النظر عن الوسيلة المستخدمة للتعبير عنها. وبناءً على ذلك، يتم إنشاء مساحة تمثيل وجدانية ومتماسكة عن طريق إسقاط المؤشرات العاطفية المستمدة من إشارات الكلام، وتعبيرات الوجه، والمحتوى اللغوي.

التأثير على الاندماج عبر الوسائط

يصبح دمج الوسائط المتعددة أكثر فعالية عند إدخال اتساق عاطفي عبر هذه الوسائط. فلم تعد آليات الدمج بحاجة إلى تعويض الفجوات الكبيرة في التمثيل بين الوسائط، لأن التضمينات الخاصة بالعواطف تكون متوافقة في فضاء كامن مشترك. ويُعرَّف تمثيل العاطفة المدمج على النحو التالي:

  (15)

حيث يمثل  α_m وزن الاهتمام الممنوح للنمط m. ويصبح الدمج الموزون أكثر استقراراً وقابلية للفهم عندما تكون التمثيلات المحددة للعاطفة متسقة، حيث تُظهر نتيجة الدمج أدلة عاطفية تكميلية بدلاً من إشارات أنماط متناقضة.

من الناحية الرياضية، فإن خفض  التباين بين أنواع التمثيلات المختلفة الخاصة بالعواطف فيما يتعلق بـ  يعادل ما يلي:

   (16)

حيث يمثل   متوسط التعبير العاطفي. ويؤدي تقليل التباين إلى ترجيح أنماط الإدخال وفقاً لأهميتها العاطفية الدقيقة بدلاً من ضوضاء النمط، مما يضمن تحسناً في تقارب الشبكة وتقييماً أكثر دقة للانتباه.

يكمن الهدف التعليمي النهائي من التصورات المرئية للعواطف المفككة في الجمع بين التجزئة، وإعادة البناء، وتوحيد العواطف:

   (17)

يتحكم المعلمان المفرطان، λ₁ و λ₂، في العلاقة بين موثوقية العواطف عبر الوسائط والانفصال بينها. ولتحقيق ذلك، يكتسب النموذج المقترح تمثيلات عاطفية قابلة للدمج، وتفسيرية، وغير متغيرة حسب الوسيط، مع التركيز على توفير أساس متين لعمليات الدمج القائمة على الرسوم البيانية لاحقاً، والتمثيل على مستوى السمات في تصميم الواجهات الذكية.

دمج الانتباه عبر الوسائط القائم على الرسم البياني

تم استخدام شبكة انتباه عبر وسائط قائمة على الرسوم البيانية لمحاكاة العلاقات العاطفية دقيقة التفاصيل بين الوسائط. ولتسهيل تدفق المعلومات عبر الوسائط، تم بناء رسم بياني متعدد الوسائط متصل بالكامل، حيث يتم تمثيل كل تضمين خاص بالوسائط (النص، والصوت، والمرئي) كعقدة في الرسم البياني. استُخدمت علاقات الوسائط لإنشاء مصفوفة المجاورة للرسم البياني، والتي تم تحسينها لاحقاً عبر طريقة انتباه قابلة للتعلم. كما تم إنشاء مساحة كامنة مشتركة عن طريق دمج وإسقاط المخرجات من رؤوس انتباه متعددة. ثم أُنتج تمثيل موحد للعاطفة متعدد الوسائط من خلال تجميع تمثيلات العقد باستخدام تجميع موزون بالانتباه. بعد ذلك، تلقت وحدات التنبؤ والتصور المخصصة للتحليل المدرك للتفاعل والتعرف على العواطف هذا التمثيل المدمج. تميزت وحدة دمج الرسوم البيانية ببعد تمثيل خفي قدره 256 وطبقتين من انتباه الرسوم البيانية، تحتوي كل منهما على ثمانية رؤوس انتباه. ولتحديد الأهمية النسبية للوسائط المجاورة، تم حساب معاملات الانتباه بين العقد المتصلة وتوحيدها باستخدام دالة softmax. وقد تلت كل طبقة انتباه للرسوم البيانية عملية تطبيع للطبقة، واتصالات متبقية، ومعدل إسقاط قدره 0.2 لزيادة استقرار التدريب وتقليل الإفراط في التخصيص. وبعد دمج وإسقاط مخرجات رؤوس الانتباه المتعددة في مساحة كامنة مشتركة، تم دمج تمثيلات العقد في تضمين عاطفي واحد متعدد الوسائط باستخدام تجميع موزون بالانتباه. بعد ذلك، استُخدم التمثيل المدمج لرسم الخرائط المرئية متعددة العرض والتنبؤ بالعواطف.

تم رصد التفاعلات المتنوعة عابرة الوسائط باستخدام آلية انتباه الرسوم البيانية متعددة الرؤوس. واستُخدمت دالة softmax لتقييس معاملات الانتباه بين العقد المتصلة لكل عقدة. ولتعزيز استقرار التدريب وتجنب الإفراط في التخصيص، تلت طبقات انتباه الرسوم البيانية المتراكمة في وحدة دمج الرسوم البيانية وصلات متبقية، وتسوية للطبقات، وتنظيم عن طريق الإسقاط (dropout regularization).

لنعتبر أن المصطلحات  تمثل فردياً التمثيلات المقابلة لعواطف محددة تم جمعها بواسطة الوسائط البصرية والصوتية والنصية؛ حيث يقع كل مكون ضمن الفضاء الكامن المشترك . وتستخدم نماذج عقد الوسائط تدوينًا للرسم البياني ، بحيث تكون عقد المجموعة  مقابلة لعقد الوسائط الثلاث نفسها، وذلك لتعزيز التبعيات العاطفية المشتركة بين تمثيلات الوسائط المختلفة بشكل صريح.

بعد تعيين متجه سمات محدد لكل عاطفة لكل عقدة في الرسم البياني، يصبح لدينا:

   (18)

على عكس طرق الدمج التقليدية، التي تستخدم أوزان دمج محددة مسبقاً أو ثابتة، تتعلم الطريقة المقترحة أوزان حواف تكيفية بناءً على أهميتها والاعتمادات المتبادلة بينها، سواء عبر القنوات أو عبر الحالات العاطفية.

تُستخدم شبكة انتباه الرسوم البيانية (GAT) لدمج الأنماط المتقاطعة. حيث يتم حساب معامل انتباه لكل عقدة i والعقد المجاورة لها، أي العقدة j:

   (19)

يتم قياس التأثير العاطفي للانتقال من النمط j إلى النمط i بواسطة الأوزان المعيرة α_ij.

بعد ذلك، يتم حساب المظهر المدمج لكل عقدة نمط كـتجميع موزون لجيرانها:

   (20)

حيث تكون دالة التنشيط  غير خطية. وفي النهاية، يتم دمج الميزات المحدثة لكل عقدة للحصول على تمثيل عالمي مدمج للعاطفة:

   (21)

تعد هذه تقنية مفيدة لنمذجة العواطف القابلة للتفسير والتعيين البصري اللاحق، لأنها تلتقط معلومات تكميلية من أنماط مختلفة مع الحفاظ على العلاقات المعقدة بين هذه الأنماط.

يوضح الخوارزمية 1 (الملف التكميلي 1) المخطط العام لتنفيذ عملية الدمج عبر الوسائط القائم على الرسوم البيانية. في البداية، يتم إنشاء رسم بياني تربط فيه الخصائص المحددة للعاطفة بكل من الوسائط المرئية والصوتية والنصية. بعد ذلك، يتم حساب درجات الانتباه لأزواج العقد في كل رسم بياني، والتي تمثل مزيج الاعتماد العاطفي. ثم يتم تطبيع درجات الانتباه للإشارة إلى المساهمة النسبية لكل وسيط في السياق العاطفي المحدد، مما يسمح بتعلم أوزان الانتباه. وفي المرحلة الأخيرة، يتم إنتاج تضمين عاطفي عام من خلال تجميع الميزات المرتبطة بعقد الرسم البياني. وبهذا المعنى، يُظهر الدمج العام للميزات متعددة الوسائط المرتبطة بعواطف محددة في هذه الخوارزمية إمكانات واعدة من حيث القابلية للتكيف والتفسير والذكاء السياقي.

الشكل 2 يوضح بنية وآلية عمل شبكة الانتباه عبر الوسائط المقترحة لدمج المشاعر متعدد الوسائط. يتم تمرير التضمينات الخاصة بالعواطف، والمشتقة بشكل مستقل لكل من وسائط النص والصوت والفيديو، أولاً عبر آليات انتباه على مستوى الوسائط تتعلم الأهمية النسبية للمعلومات اللغوية والصوتية وتعبيرات الوجه لسياق عاطفي معين. ثم يتم دمج التمثيلات الموزونة بالانتباه لهذه الوسائط لتكوين تضمين عاطفي موحد، حيث تلتقط مصفوفة الانتباه التبعيات المتبادلة بين الوسائط وقوة التفاعل بينها. تقوم مصفوفة الانتباه التي تعلمتها الشبكة بتعديل مساهمات الوسائط ديناميكيًا، مما يمكنها من التركيز على الوسيط التعليمي الأقوى مع تجاهل الوسائط المشوشة أو الأقل إفادة. يتيح تمثيل العاطفة المدمج التعرف الدقيق على العواطف والتحليل التفصيلي للحالات العاطفية مثل الحياد، والعناق، والقلق.

وحدة المخططات المرئية

بمساعدة قسم الخرائط المرئية، الذي تم إنشاؤه خصيصاً لهذا الغرض، يمكن لمصمم التفاعل الذكي تحويل التمثيل الموحد للحالة العاطفية إلى شكل مرئي يكون مفهوماً وسهل الاستيعاب بعد عملية الدمج عبر الوسائط، وذلك استناداً إلى الرسم البياني.

لتسهيل استيعاب التمثيلات العاطفية الكامنة، استُخدمت تقنيات تقليل الأبعاد لتصوير تضمينات العواطف متعددة الوسائط المتعلمة. وبعد تقليل أبعاد الميزات مع الحفاظ على معظم التباين باستخدام تحليل المكونات الرئيسية (PCA)، تم إسقاط التضمينات في فضاء ثنائي الأبعاد للعرض باستخدام تقنية تضمين الجيران العشوائية الموزعة t (t-SNE). واستُخدم في t-SNE رقم حيرة (perplexity) قدره 30، ومعدل تعلم 200، و1,000 تكرار للتحسين. وتم تصوير العناقيد الخاصة بالعواطف وعلاقات الوسائط باستخدام الإسقاطات التي تم الحصول عليها. كما استُخدمت أوزان الانتباه المتقاطعة بين الوسائط المعيرة، والتي تم الحصول عليها من شبكة الانتباه القائمة على الرسوم البيانية، لإنشاء خرائط حرارية للانتباه. وتوضح هذه الخرائط الحرارية المساهمات النسبية للوسائط النصية والصوتية والمرئية أثناء التنبؤ بالعاطفة. واستُخدمت معاملات الانتباه المتعلمة كأوزان للحواف لإنشاء رسوم بيانية للتفاعل المتقاطع بين الوسائط، مما سمح بالفحص البصري للعلاقات بين الوسائط وتدفق المعلومات داخل إطار الدمج. كما تم إنشاء مخططات مسار العاطفة عن طريق مراقبة تطور تضمينات العواطف الكامنة عبر التعبيرات المتتالية لفحص الديناميكيات العاطفية الزمنية. وتسلط هذه المسارات الضوء على كيفية تطور الحالات العاطفية ومساهمات الوسائط بمرور الوقت. وقد استُخدمت حزمتي Python، وهما Matplotlib وScikit-learn، لإنشاء جميع الرسوم التوضيحية. ولتقييم القابلية للتفسير، وتكوين العناقيد، ومساهمات الوسائط، والديناميكيات العاطفية الزمنية، أُجريت تحليلات نوعية لتصويرات التضمين، ورسوم التفاعل البيانية، والخرائط الحرارية للانتباه.

ليكن المتغير   يمثل التمثيل المدمج للحالة العاطفية بواسطة دالة شبكة الانتباه الرسومية. وبخلاف التصوير المرئي للحالة العاطفية على مستوى المخرجات، فإن الهدف الرئيسي للوحدة هو تحويل تمثيلات الحالة العاطفية والأوزان المقابلة لآلية الانتباه إلى شكل مرئي مفهوم.

باستخدام α_ji المكتسبة، يتم إنشاء خريطة حرارية للانتباه لفحص مساهمة كل نمط بصرياً. ثم تُجمع أوزان الانتباه الواردة لتحديد درجة أهمية مركبة لكل نمط:

    (22)

حيث تمثل s_i المساهمة العاطفية النسبية للنمط I. وللمساعدة في إنشاء خريطة حرارية للانتباه، يتم تطبيع القيم التي تم الحصول عليها وتعيينها إلى خريطة ألوان تسهل على المستخدم تحديد النمط البارز في الخطوات الزمنية المختلفة أو الحالات التفاعلية. ومن خلال أنماط إدخال بصرية أو سمعية أو نصية متنوعة، تساعد هذه الواجهة المستخدم على فهم كيفية عمل آلية الانتباه في النظام.

تم نمذجة الرسم البياني المكتسب تحديداً كـ "رسم بياني للتفاعل الموزون" لتمثيل التبعية عبر الوسائط للعواطف البشرية. ويتم تمثيل الوسيط نفسه بواسطة كل عقدة في الرسم البياني، بينما يتم تمثيل قوة التفاعلات التي تشمل العواطف البشرية بواسطة أوزان على شكل α_ji على الحواف التي تربط بينها. ويوضح الرسم البياني الموزون أعلاه كثافة التفاعلات العاطفية البشرية. وتعريف i و j هو:

   (23)

يتم عرض سمك الخط أو درجة الشفافية في التصور البياني بشكل مناسب بفضل هذه الأوزان، مما يسهل فهم كيفية تفاعل الوسائط. وبمساعدة رسوم التفاعل عبر الوسائط، يمكن للمصمم استيعاب كيفية تفاعل المؤشرات العاطفية أثناء عملية الدمج بشكل أفضل.

يتم تقليل تضمينات العواطف المدمجة  عند خطوات زمنية مختلفة إلى فضاء منخفض الأبعاد باستخدام خوارزمية لتقليل الأبعاد مثل PCA أو t-SNE، وذلك لعرض تطور العواطف الزمنية:

   (24)

حيث تُمثَّل دالة الإسقاط بواسطة . ويمكن تفسير ظهور مسارات المشاعر ثنائية أو ثلاثية الأبعاد، والتي توضح انتقالات المشاعر وكثافتها واستقرارها في التفاعلات، على أنها تصوير بديهي لتطور الحالات العاطفية بمرور الوقت. ويمكن استخدام هذه الجوانب في التفاعل الذكي، واتخاذ القرار، والمراقبة في الوقت الفعلي.

على عكس أنظمة العواطف التقليدية التي تكتفي بتقديم خرائط لفئات أو درجات معينة، يركز هذا النظام على توضيح كيفية تشكل العواطف البشرية بداخله. وهو يكشف عن عملية صنع القرار من خلال تقديم تصورات للميزات الوسيطة، بما في ذلك عوامل الترجيح، والتفاعلات بين النماذج، والمسارات المقابلة لها. وهذا يتيح للمستخدم استيعاب كيفية تأثير كل عامل —سواء كان بصرياً أو صوتياً أو لغوياً— في إنتاج استجاباته تجاه العاطفة البشرية.

وبالتالي، فإن ربط العواطف بأشكال مفهومة من خلال التمثيلات المرئية يمكن أن يسد الفجوة بين تحليل العواطف باستخدام طرق التعلم العميق ودمجها في تصميم الواجهات الذكية. ومن ثم، يمكن استخدام البيانات التي تم جمعها من كلا النهجين لإنشاء واجهات مستخدم أكثر دقة. وبناءً على ذلك، يمكن للنهج المقترح أن يزود مصممي التفاعل بمعلومات حيوية لابتكار واجهات مستخدم أكثر دقة. وبتعبير آخر، يصبح استيعاب العواطف جزءًا نشطًا للغاية في تصميم التفاعل. ولا يمكن أن تزداد الدقة إلا عندما يتم دمج استيعاب العواطف بشكل فعال في تصميم التفاعل.

تتيح وحدة الخرائط المرئية إمكانية التفسير بعدة طرق مترابطة ولكنها مختلفة: حيث يكشف التفسير على مستوى الميزات عن التمثيلات الأساسية للعاطفة التي أنشأتها الشبكة العصبية العميقة (DNN)، مما يمكننا من فهم الدلالات المستخدمة لوصف كل ميزة مرتبطة بالعاطفة؛ ويستخدم التفسير على مستوى النمط بيانات من رسوم التفاعل البيانية وخرائط الحرارة للانتباه المرئي لوصف كيفية مساهمة كل نمط -سواء كان مرئياً أو صوتياً أو نصياً- في القرارات المتخذة للتعبير عن العواطف؛ وأخيراً، تسمح المسارات الناتجة عن تضمين العواطف بفهم كيفية تغير كل نمط مرئي ونصي بمرور الوقت من منظور التفاعل الديناميكي. يرجى الرجوع إلى الخوارزمية 2 (الملحق 1).

يتم تعيين السمات العاطفية متعددة الوسائط المدمجة إلى تمثيلات ذات دلالة بصرية لتصميم التفاعل الذكي باستخدام خوارزمية التعيين البصري المقترحة Algorithm 2. وتُستخدم أوزان الانتباه متعددة الوسائط القائمة على الرسوم البيانية لتحديد الاختلافات عبر العناصر البصرية والصوتية والنصية المدخلة عند كل خطوة زمنية. ثم يتم تعيين هذه الاختلافات إلى تمثيلات بصرية لتسليط الضوء على المصادر الرئيسية المؤثرة في العواطف باستخدام عناصر بصرية من الخرائط الحرارية. ولتوفير رؤية متعمقة للتفاعل بين العناصر المدخلة ونقل التطور العاطفي الناتج عن العناصر المدخلة متعددة الوسائط، يقوم النظام بعد ذلك بحساب قوى التفاعل الزوجية لإنشاء أوزان التفاعل متعدد الوسائط. وفي الوقت ذاته، يتم إنشاء رؤية للتطور العاطفي عن طريق تعيين العناصر العاطفية المدمجة التي تم جمعها بمرور الوقت في فضاء منخفض الأبعاد لإنتاج تطور مستمر للعناصر العاطفية.

التنبؤ بالعواطف والتغذية الراجعة للتفاعل

تُستخدم نتيجة تمثيل العاطفة المدمجة، المتمثلة في ، كدالة لكل من التغذية الراجعة للتفاعل والتنبؤ بالعاطفة. علاوة على ذلك، يوصف التنبؤ بالعاطفة بأنه نموذج متعدد المهام يتكون من مهمة انحدار للتعرف المستمر على شدة العاطفة ومهمة تصنيف للتعرف على العاطفة المنفصلة. ويُستخدم نموذج التصنيف القائم على softmax التالي للتعرف على العاطفة المنفصلة:

   (25)

حيث   تمثل احتمالات فئة المشاعر المتوقعة، و W_c  و b_c هما قيود قابلة للتعلم. ويُستخدم فقدان الإنتروبيا المتقاطعة (cross-entropy loss) لتعزيز هدف التصنيف:

  (26)

حيث تمثل y_k علامة الحقيقة الأرضية، وK هي عدد فئات العواطف. ويُستخدم فرع انحدار لتقدير كثافة العاطفة بالتوازي، مما ينتج تنبؤاً بمختلف السمات الوجدانية المستمرة، بما في ذلك التكافؤ والاستثارة. وله التعريف التالي:

   (27)

حيث يُشار إلى درجة كثافة العاطفة المتوقعة بواسطة . ويُستخدم فقدان متوسط مربع الخطأ لتحسين مهمة الانحدار:

   (28)

بشكل عام، يتم دمج المهمتين في هدف التنبؤ:

   (29)

حيث يتم موازنة أهداف الانحدار والتصنيف بواسطة λ. ويقترح ذلك تعديلاً ديناميكياً لوحدة التصوير المرئي بناءً على حالة العاطفة المحددة لتمكين هذا النوع من التغذية الراجعة الواعية بالتفاعل. يتم تمثيل سياق التفاعل في وقت معين t بواسطة c_t. وتتم توفير استجابة وحدة التصوير المرئي من خلال:

    (30)

حيث يتم تمثيل دالة تكيف التصور بواسطة . وهذا يجعل من الممكن تعديل الخرائط الحرارية للأنماط، ورسوم التفاعل البيانية، ومسارات العواطف في الوقت الفعلي بناءً على التغيرات والعواطف المتوقعة. ويشير هذا إلى أن النظام يوفر دعماً كبيراً للتغذية الراجعة بالإضافة إلى أدائه الجيد في التنبؤ بحالة العاطفة.

النتائج

يصادق هذا العمل على إطار عمل الخرائط المرئية المقترح لميزات العواطف متعددة الوسائط من حيث القابلية للتفسير الواعية بالتفاعل والأداء التنبؤي، وذلك باستخدام مجموعتي بيانات مرجعيتين هما CH-SIMS وCMU-MOSEI. ووفقاً للنتائج التجريبية، يتفوق النهج المقترح باستمرار على تقنيات التعرف على العواطف متعددة الوسائط الحالية عبر مجموعة متنوعة من المقاييس، بما في ذلك الارتباط، والدقة، وF1-score، ومتوسط الخطأ المطلق (MAE). وتساهم كل من تمثيل العواطف المفكك، وآلية دمج الوسائط المتقاطعة القائمة على الرسم البياني، واستراتيجية تعلم التمثيل العميق من الطرف إلى الطرف في هذا التحسن من خلال تمكين نمذجة عواطف أكثر استقراراً ومواءمة دلالياً. ويوفر النهج المقترح رؤى أعمق على مستوى الميزات من خلال الخرائط المرئية، وهو ما يتجاوز المكاسب الكمية ويسهل فهم مساهمات الوسائط والديناميكيات العاطفية. وعلى الرغم من الاختلافات في اللغة والتعبير الثقافي وحجم مجموعة البيانات، فقد لوحظ مكسب الأداء المذكور باستمرار في كلتا مجموعتي البيانات، مما يثبت قدرة التعميم القوية لإطار العمل المقترح.

تم استخدام مجموعات البيانات العامة CH-SIMS و CMU-MOSEI للعواطف متعددة الوسائط في العمل المقترح. تضم مجموعة بيانات CH-SIMS عدد 2,281 مقطع فيديو من الأفلام والدراما التلفزيونية والبرامج الترفيهية، وتتوفر فيها بيانات نصية وصوتية وبصرية متزامنة. كما صُنفت تسميات المشاعر أحادية الوسائط ومتعددة الوسائط إلى فئات إيجابية ومحايدة وسلبية. أما مجموعة البيانات الإنجليزية الضخمة متعددة الوسائط المعروفة باسم CMU-MOSEI، فهي تحتوي على حوالي 23,453 مقطع فيديو مشروحاً يظهر فيها أكثر من 1,000 متحدث يناقشون مجموعة واسعة من المواضيع. وتتضمن مجموعة البيانات هذه تسميات كثافة العواطف المستمرة، مثل التكافؤ (valence) والاستثارة (arousal)، بالإضافة إلى تسميات العواطف الفئوية. ومن خلال دعم مجموعة متنوعة من الظروف اللغوية والثقافية والعاطفية، فإن إجراء التجارب على هاتين المجموعتين من البيانات باستخدام الإطار المقترح يعزز من المتانة والموثوقية. يوضح الجدول 2 تفاصيل بيئة المحاكاة.

تتلخص الإعدادات التجريبية والتنفيذية الرئيسية المستخدمة لتقييم الإطار المقترح في بيئة المحاكاة هذه. ولضمان توحيد أبعاد السمات عبر الوسائط النصية والصوتية والبصرية، يتم تطبيق مشفرات قائمة على المحولات (transformer-based encoders) بشكل موحد. كما يستخدم النظام آلية انتباه قائمة على الرسوم البيانية (graph-based attention mechanism) لدمج الوسائط المتعددة، مما يتيح التعلم التكيفي للاعتمادات المتبادلة بين الوسائط فيما يتعلق بالحالات العاطفية.

يستخلص الإطار المقترح التمثيلات النصية والسمعية والبصرية باستخدام مشفرات أنماط تعتمد على المحولات (transformer). وتعمل طبقات متصلة بالكامل مع تفعيل ReLU على إسقاط التضمينات الخاصة بكل نمط في فضاء كامن مشترك. ثم تُستخدم مشفرات منفصلة خاصة بالعواطف وأخرى خاصة بالأنماط، تتكون كل منها من طبقتين متصلتين بالكامل مع تفعيل غير خطي ومعايرة، لتعلم تمثيلات مفككة. يتم إسقاط التمثيلات الكامنة في فضاء سمات ذي 256 بُعداً، حيث يتم تعلم المعلومات الخاصة بكل نمط وعاطفة بشكل منفصل. وللحفاظ على معلومات النمط وتعزيز عملية التفكيك الفعال، تُستخدم مفكات إعادة البناء. وقبل عملية الدمج متعدد الأنماط والتنبؤ، تقوم وحدة الانتباه عبر الأنماط القائمة على الرسوم البيانية بنمذجة التبعيات العاطفية بين الأنماط باستخدام التمثيلات الكامنة. تم تدريب الشبكة باستخدام مُحسن Adam بمعدل تعلم أولي قدره 1 × 10⁻⁴ وحجم دفعة قدره 32. كما تم تطبيق التوقف المبكر بناءً على خسارة التحقق لمنع فرط التخصيص. وتكونت دالة الهدف الإجمالية من خسائر التصنيف، وإعادة البناء، واتساق التمثيلات، حيث تم وزن كل منها بواسطة معاملات فائقة قابلة للضبط. استمر تدريب النموذج لمدة تصل إلى 100 دورة (epochs)، وتم الاحتفاظ بالنموذج الأفضل أداءً على مجموعة التحقق من أجل الاختبار.

تم تقييم الإطار المقترح باستخدام مقاييس التصنيف، بما في ذلك الدقة (Accuracy)، والدقة المحددة (Precision)، والاستدعاء (Recall)، ومقياس F1-score، إلى جانب مقاييس الانحدار مثل متوسط الخطأ المطلق (MAE). وقد حُسبت قيم الدقة المحددة، والاستدعاء، ومقياس F1-score باستخدام المتوسط الكلي (macro-averaging) لمراعاة عدم التوازن بين الفئات عبر فئات العواطف. وبالنسبة لتجارب التصنيف، استُخدمت تسميات العواطف/المشاعر المحددة مسبقاً والموجودة في مجموعتي بيانات CH-SIMS وCMU-MOSEI كفئات الحقيقة الأرضية (ground-truth classes). أما بالنسبة للتنبؤ بالمشاعر القائم على الانحدار، فقد كانت درجات كثافة المشاعر المستمرة في مجموعات البيانات بمثابة المتغيرات المستهدفة. كما تم إنشاء مصفوفات الارتباك (Confusion matrices) لتحليل أداء التنبؤ لكل فئة وأنماط التصنيف الخاطئ بفاصل ثقة قدره 95%. ولضمان المتانة، كُررت كل تجربة 5 مرات باستخدام تهيئات عشوائية مختلفة، وتتوافق النتائج المذكورة مع المتوسط ±± الانحراف المعياري للأداء عبر جميع عمليات التشغيل. وتم تقييم الدلالة الإحصائية باستخدام إجراءات اختبار الفرضيات المناسبة، وحُسبت فواصل الثقة حيثما كان ذلك قابلاً للتطبيق. كما قيست مدة التدريب على أنها إجمالي الوقت المنقضي المطلوب لتقارب النموذج على المنصة العتادية المحددة.

يمكن مقارنة عدد من النماذج المرجعية التمثيلية، بما في ذلك الدمج المبكر والدمج المتأخر، مع الطريقة المقترحة. وتشمل هذه النماذج TFN، والطرق القائمة على LSTM، ونماذج الدمج متعدد الوسائط منخفضة الرتبة، والمحولات متعددة الوسائط التكيفية، والبنيات الجديدة القائمة على الانتباه عبر الوسائط. تعكس هذه المراجع التقنيات الأكثر تطوراً التي تركز بشكل أساسي على تحسين دقة التعرف على العواطف من خلال طرق دمج متنوعة. وعلى عكس هذه الطرق التي تركز بشكل أساسي على التنبؤ على مستوى المخرجات، فإن تعلم التمثيل المفكك والدمج القائم على الرسوم البيانية في الإطار المقترح يعززان من قابلية التفسير والوعي بالتفاعل. ومن الأمثلة على النماذج المرجعية التي تم تنفيذها باستخدام مستودعاتها الرسمية أو التطبيقات المرجعية المتاحة علناً: LSTM Fusion، وTFN، والدمج متعدد الوسائط منخفض الرتبة (LMF)، وAdaptive-Graph، والتقنيات القائمة على المحولات. وقد تم استخدام إعدادات المعلمات الفائقة الأصلية للمؤلفين عندما كانت متاحة. ولضمان إجراء مقارنة عادلة، تم تقييم جميع النماذج المرجعية التي أعيد تدريبها باستخدام نفس تقسيمات مجموعة البيانات، وتقنيات المعالجة المسبقة، ومعلمات التحسين، ومعايير التقييم. وتحدد جداول المقارنة بوضوح المراجع ذات الصلة للبيانات المستمدة مباشرة من المنشورات السابقة.

الدقة

تم قياس دقة تصنيف العواطف المنفصلة لكل من CH-SIMS و CMU-MOSEI؛ ومع ذلك، يختلف اتجاه الدقة اعتماداً على خصائص مجموعتي البيانات. وبما أن CH-SIMS هي مجموعة بيانات متوسطة الحجم تحتوي على عدد متساوٍ من فئات المشاعر ومقاطع فيديو تمت معالجتها مسبقاً بعناية، فإن دقتها مرتفعة، مما يشير إلى قدرة النموذج على التقاط المعلومات العاطفية متعددة الوسائط الدقيقة مع وجود قدر ضئيل من الضجيج. ومع ذلك، فإن التصنيف الدقيق للعواطف يمثل تحدياً لأن CMU-MOSEI هي مجموعة بيانات واسعة النطاق تضم متحدثين من خلفيات متنوعة. لذا، وبالإضافة إلى قدرة النموذج على تحديد المشاعر، فإن الدقة في مجموعة بيانات CMU-MOSEI تشير إلى قدرته على التعميم والصمود أمام سيناريوهات تفاعل متنوعة. ويظهر التحسن في الدقة عبر مجموعتي البيانات أن المنهج المقترح يعمم بشكل جيد عبر مجموعات بيانات تختلف في اللغات والأحجام ومستويات التعقيد العاطفي.

تظهر دقة التصنيف للمنهج المقترح والقواعد المرجعية الشائعة الأخرى على مجموعتي بيانات CH-SIMS وCMU-MOSEI في الجدول 3. وكما هو موضح في الجدول 3، حقق الإطار المقترح أعلى دقة في كل من مجموعتي بيانات CH-SIMS وCMU-MOSEI، متفوقاً على أقوى قاعدة مرجعية (Adaptive-Graph) بنسبة 3.3% و3.1 نقطة مئوية تقريباً، على التوالي. كما تشير قيم الانحراف المعياري المنخفضة إلى استقرار أكبر عبر عمليات التشغيل التجريبية المتكررة. وتتميز مناهج دمج LSTM التقليدية بدقة أقل بسبب قدرتها المحدودة على التقاط العلاقات المعقدة عبر الوسائط. بينما يعمل كل من TFN وLMF على تحسين دقة التصنيف من خلال نمذجة العلاقات عبر الوسائط.

مقياس F1 (F1-Score)

في مشكلات تصنيف العواطف، يتم قياس التوازن بين الاستدعاء (recall) والدقة (precision) باستخدام مقياس F1-score. ولذلك، يعد هذا المقياس أكثر ملاءمة لمجموعات بيانات تصنيف العواطف متعددة الوسائط، والتي من المرجح أن تحتوي على عدد غير متساوٍ من الفئات. في مهام تصنيف العواطف، يتم قياس التوازن بين الاستدعاء والدقة باستخدام F1-score. وبما أنه من المتوقع أن تكون مجموعات بيانات تصنيف العواطف متعددة الوسائط غير متوازنة، فإن F1-score يكون أكثر ملاءمة. وكلما زادت قدرة النموذج على اكتشاف فئات العواطف، ارتفعت قيمة F1-score.

الشكل 3 يوضح تقييم مقياس F1-score للتقنية المقترحة مقارنة بالنماذج المرجعية على مجموعة بيانات CH-SIMS. وتكشف أدنى قيمة لـ F1-score للنموذج المرجعي القائم على LSTM عن محدودية قدرته على نمذجة العلاقات العاطفية المعقدة عبر الوسائط المختلفة. ويقارن الشكل 3 قيم F1-score التي حققتها التقنيات التي تم تقييمها على مجموعة بيانات CH-SIMS. وكما هو موضح، فإن الهياكل الأكثر تطوراً القائمة على الرسوم البيانية والمحولات (transformers) تفوقت بشكل روتيني على طرق الدمج التقليدية. وقد سجل نموذج LSTM أدنى قيمة بمعدل F1-score بلغ 0.71، يليه نموذج TFN (0.74) ثم نموذج LMF (0.76). وارتفع مقياس F1-score بشكل أكبر ليصل إلى 0.79 باستخدام Adaptive-Graph، مما يثبت قيمة نمذجة الروابط بين الوسائط. وتفوقت الإطارية المقترحة بتحقيقها قيمة F1-score بلغت 0.82، متجاوزةً Adaptive-Graph بنسبة 3.8%، وLMF بنسبة 7.9%، وTFN بنسبة 10.8%، وLSTM بنسبة 15.5%. وتظهر هذه النتائج أن آلية الانتباه عبر الوسائط القائمة على الرسوم البيانية وتعلم التمثيلات المفككة المقترحة تلتقط المعلومات العاطفية التكاملية عبر الوسائط النصية والصوتية والبصرية بشكل أكثر فعالية، مما يؤدي إلى أداء تصنيف أفضل.

تعد الاتجاهات النسبية متسقة، على الرغم من أن جميع الطرق تظهر انخفاضاً طفيفاً في قيمة F1-score مقارنةً بـ CH-SIMS، كما هو موضح في الشكل 4. وتظهر النتائج تحسناً مستمراً في الأداء من طرق الدمج التقليدية إلى استراتيجيات التعلم متعدد الوسائط القائمة على الرسوم البيانية. وكانت النماذج ذات أدنى قيمة F1-score هي LSTM (0.69)، وTFN (0.72)، وLMF (0.74). وارتفع أداء نموذج Adaptive-Graph إلى 0.77، مما يوضح مدى كفاءة نمذجة الاتصالات عبر الوسائط. وقد تفوق الإطار المقترح على جميع النهج الأخرى، محققاً أعلى قيمة F1-score بلغت 0.80. ويبرهن التحسن مقارنةً بأقوى خط أساس، وهو Adaptive-Graph، على مساهمات آلية الانتباه عبر الوسائط القائمة على الرسوم البيانية وتعلم تمثيل العواطف المفكك المقترحة في التقاط الإشارات العاطفية التكميلية عبر الوسائط النصية والصوتية والبصرية. وتؤكد هذه النتائج أن الإطار المقترح للتعرف على العواطف متعدد الوسائط موثوق وفعال. كما يظهر النهج المقترح تحسناً ملحوظاً مقارنةً بكل من النهج القائم على الرسوم البيانية وطريقة الدمج التقليدية، مما يؤكد مجدداً القدرة القوية للمنهج على التعميم. ويدل التحسن في قيمة F1-score على مجموعة بيانات CMU-MOSEI على أن النهج المقترح يمكنه تحقيق أداء متوازن في تصنيف العواطف حتى في البيئات الصاخبة والمتنوعة.

الدقة

تعد الدقة أمراً بالغ الأهمية في أنظمة الاتصالات الذكية، لأن أي إشارة عاطفية خاطئة قد تؤدي إلى تدهور تجربة المستخدم. تُعرف الدقة بأنها نسبة الحالات التي تم توقعها بدقة لعاطفة معينة إلى إجمالي عدد الحالات التي تم توقع أنها تلك العاطفة. وبما أن تمثيلات العواطف المفككة تكون أقل ضجيجاً وأقل عرضة للتصنيف الخاطئ في الوسائط، فإن النموذج المقترح يتفوق على النماذج المرجعية في مجموعة بيانات CH-SIMS الموضحة في الشكل 5.

تتم مقارنة الدقة التي حققتها عدة تقنيات للتعرف على العواطف متعددة الوسائط في مجموعتي بيانات CH-SIMS و CMU-MOSEI في الشكل 5. ومع انتقال النماذج من التقنيات التقليدية القائمة على الدمج إلى بنى أكثر تطوراً قائمة على الرسوم البيانية، تزداد الدقة بشكل مطرد. حقق الإطار المقترح أقصى دقة بلغت 0.82 في مجموعة بيانات CH-SIMS، حيث ارتفعت الدقة من 0.71 لنموذج LSTM إلى 0.74 و 0.76 و 0.79 لنماذج TFN و LMF و Adaptive-Graph، على التوالي. وفي مجموعة بيانات CMU-MOSEI، زادت الدقة من 0.69 لنموذج LSTM إلى 0.72 و 0.74 و 0.77 لنماذج TFN و LMF و Adaptive-Graph، على التوالي. وحقق النهج المقترح أعلى دقة بلغت 0.80. وقد زاد الإطار المقترح من الدقة بنسبة 3.8% تقريباً في CH-SIMS و 3.9% في CMU-MOSEI مقارنة بأقوى نموذج أساسي (Adaptive-Graph). وتظهر هذه النتائج أنه من خلال التقاط المعلومات العاطفية المكملة عبر الوسائط النصية والصوتية والبصرية، نجحت آلية تعلم التمثيلات المفككة والانتباه عبر الوسائط القائم على الرسوم البيانية المقترحة في تقليل التنبؤات الإيجابية الكاذبة. كما يتم تخفيف تأثير الوسائط غير ذات الصلة بشكل أكبر بواسطة الانتباه عبر الوسائط القائم على الرسوم البيانية. ويؤدي التنوع المتزايد في المتحدثين والتعبيرات اللغوية في مجموعة بيانات CMU-MOSEI إلى انخفاض طفيف في الدقة لجميع النماذج.

تذكير

في مهام التعرف على العواطف، تُعد الاستعادة (recall)، وهي مقياس لقدرة النموذج على تصنيف الحالات العاطفية التي تنتمي إلى فئة معينة بشكل صحيح، أمراً بالغ الأهمية لأن نقص المعلومات العاطفية يمكن أن يؤثر سلباً على جودة التفاعل. تشير قيمة الاستعادة الأعلى إلى أن النموذج يحدد عدداً أقل من السلبيات الكاذبة والمزيد من التعبيرات العاطفية الفعلية. ويمكن اعتبار الاستعادة مقياساً لكفاءة استخراج المعلومات العاطفية من النصوص والتسجيلات الصوتية والوسائط المرئية في سياق تحليل العواطف متعدد الوسائط.

تظهر ميزة التقنية المقترحة مقارنة بالنهج المرجعية على مجموعتي بيانات CH-SIMS وCMU-MOSEI في مقارنة الاستدعاء (recall) الموضحة في الشكل 6. ومع تطور النماذج من طرق الدمج التقليدية إلى هياكل متعددة الوسائط قائمة على الرسوم البيانية أكثر تطوراً، أظهرت النتائج باستمرار زيادة في قيم الاستدعاء. فقد ارتفع الاستدعاء في مجموعة بيانات CH-SIMS من 0.70 لنموذج LSTM إلى 0.73 و0.75 و0.78 لنماذج TFN وLMF وAdaptive-Graph على التوالي؛ بينما حقق الإطار المقترح أقصى قيمة استدعاء بلغت 0.82. كما حقق النهج المقترح أفضل قيمة استدعاء بلغت 0.80 في مجموعة بيانات CMU-MOSEI، حيث ارتفع الاستدعاء من 0.68 لنموذج LSTM إلى 0.71 و0.73 و0.76 لنماذج TFN وLMF وAdaptive-Graph على التوالي. وقد حقق الإطار المقترح تحسينات نسبية تقارب 5.1% في CH-SIMS و5.3% في CMU-MOSEI عند مقارنته بأقوى نموذج مرجعي (Adaptive-Graph). وتوضح هذه النتائج أنه من خلال التقاط الإشارات العاطفية المتكاملة عبر الوسائط النصية والصوتية والبصرية، نجح تعلم التمثيل المفكك وآلية الانتباه عبر الوسائط القائمة على الرسوم البيانية في تقليل التنبؤات السلبية الكاذبة، مما أدى إلى تحسين تحديد فئات العواطف في كلتا مجموعتي البيانات. وبسبب القدرة المحدودة للطرق التقليدية على نمذجة العلاقات المعقدة عبر الوسائط، فإنها تميل إلى تسجيل قيم استدعاء أقل. ومن خلال نمذجة علاقات الوسائط بشكل أكثر صراحة، حقق نموذجا TFN وLMF مكاسب متوسطة. وبمحاكاة العلاقات الهيكلية بين الوسائط، نجحت طريقة Adaptive-Graph في تحسين الاستدعاء بشكل أكبر. وبالنسبة لكلتا مجموعتي البيانات، حققت الطريقة المقترحة أعلى قيمة استدعاء، مما يشير إلى قدرتها الفائقة على اكتشاف الحالات العاطفية عبر سيناريوهات التفاعل المختلفة. ويظهر هذا التحسن بشكل أكثر جلاءً في مجموعة بيانات CMU-MOSEI واسعة النطاق، مما يثبت قوة الإطار المقترح وقدرته على التعميم.

متوسط الخطأ المطلق (MAE)

يُستخدم متوسط الخطأ المطلق (MAE) لتقييم أداء مهام التنبؤ المستمر بكثافة العواطف، مثل التنبؤ بالتكافؤ (valence) أو الاستثارة (arousal). وعلى عكس الدقة (accuracy)، يعكس MAE بشكل أفضل مدى قرب كثافة العاطفة المتوقعة من الحالة العاطفية الفعلية. وهذا هو السبب في أن MAE أكثر ملاءمة لمجموعات البيانات مثل CH-SIMS و CMU-MOSEI، التي تحتوي على تسميات عاطفية مستمرة. وتشير القيمة المنخفضة لـ MAE إلى دقة أكبر في التنبؤ بكثافة العاطفة.

يظهر متوسط الخطأ المطلق (MAE) للمقارنة بين الإطار المقترح والمنهجيات المرجعية في مجموعتي بيانات CH-SIMS وCMU-MOSEI في الجدول 4. وتميل طرق الدمج التقليدية القائمة على LSTM إلى تسجيل قيم MAE أعلى نظراً لقدرتها المحدودة على نمذجة الاعتمادات العاطفية متعددة الوسائط المعقدة. ويمكن لـ TFN وLMF تقليل قيمة MAE من خلال نمذجة التفاعلات متعددة الوسائط، كما يعمل نهج Adaptive-Graph على تقليلها بشكل أكبر عبر تعلم علاقات الرسم البياني للوسائط. ويحقق الإطار المقترح أصغر قيمة MAE في كلتا مجموعتي البيانات، مما يشير إلى تقدير أكثر دقة لشدة العاطفة. ومن الجدير بالذكر أن التحسن كان أكثر وضوحاً في مجموعة بيانات CMU-MOSEI، حيث تجعل تباينات البيانات واسعة النطاق وظروف المتحدثين مهمة التنبؤ أكثر تحدياً.

مصفوفة الارتباك لمجموعة بيانات CH-SIMS

وفقًا لمصفوفات الارتباك الخاصة بمجموعة بيانات CH-SIMS، فإن الطرق المرجعية المعتمدة على LSTM للدمج المبكر وTFN تعاني من تداخل كبير بين فئتي المشاعر المحايدة والإيجابية. ويشير هذا إلى أن هذه الطرق ليست فعالة للغاية في تحديد التعبيرات العاطفية متعددة الوسائط الدقيقة. من ناحية أخرى، تظهر الطريقة المقترحة بوضوح سيطرة قطرية قوية، مع وجود عناصر قليلة جدًا خارج القطر، مما يؤدي إلى تحسين القدرة على الفصل بين الفئات. وتضمن آلية تعلم المشاعر المفككة في الطريقة المقترحة تمثيلاً متسقًا للمشاعر عبر مختلف الوسائط، كما يعمل نهج دمج الرسوم البيانية على تحسين التمييز بين فئات المشاعر ذات الصلة الوثيقة. يوضح الشكل 7A–E مصفوفة الارتباك لمجموعة بيانات CH-SIMS باستخدام طرق مرجعية مختلفة.

مصفوفة الارتباك لمجموعة بيانات CMU-MOSEI

يستخدم الإطار المقترح تضمينات عاطفية غير متغيرة النمط وأوزان انتباه تكيُّفية لتقليل معدل التصنيف الخاطئ بشكل كبير، خاصة بالنسبة للمدخلات الغامضة عاطفياً. وهذا يؤكد أن الإطار المقترح يعمل بشكل جيد في مجموعة متنوعة من سيناريوهات التفاعل متعدد الوسائط واسعة النطاق. ونظراً لحجم مجموعة البيانات، والتباين بين المتحدثين، والطبيعة المستمرة لتصنيفات المشاعر، تظهر مصفوفات الارتباك لـ CMU-MOSEI معدل تصنيف خاطئ إجمالي أعلى. كما تُظهر الطرق المرجعية درجة كبيرة من الارتباك بين فئات العواطف المختلفة. يوضح الشكل 8A–E مصفوفة الارتباك لمجموعة بيانات CMU-MOSEI باستخدام طرق مرجعية مختلفة.

وقت التدريب لكل حقبة

تتجلى المقايضات الحسابية لتقنيات الدمج متعدد الوسائط المتقدمة من خلال مقارنة وقت التدريب لكل حقبة (epoch). وبسبب استخدام مشفرات المحولات (transformer encoders) وآليات انتباه الرسم البياني (graph attention mechanisms)، يتطلب النموذج المقترح وقت تدريب أطول قليلاً من أساليب الدمج البسيطة، إلا أن هذه الزيادة ليست غير ممكنة التطبيق. وقد أظهر الإطار المقترح أداءً قوياً في مجموعات بيانات تحليل المشاعر متعددة الوسائط المرجعية، كما أظهر إمكانية للتكامل في أنظمة التفاعل الذكية بين الإنسان والآلة. ومع ذلك، لم يتم تقييم مدى ملاءمة النشر في الوقت الفعلي في هذه الدراسة، وهو أمر يتطلب مزيداً من البحث من خلال تحليلات زمن الاستجابة (latency)، ومعدل النقل (throughput)، والذاكرة، وعمليات النشر. ومن الجدير بالذكر أن الاستقرار المحسن في التقارب والأداء المتفوق في التنبؤ والقابلية للتفسير يجعل التكلفة الحسابية الإضافية ذات قيمة. يوضح الشكل 9 نتيجة وقت التدريب لكل حقبة للطريقة المقترحة.

دراسة الاستئصال

لتقييم تأثير كل عنصر أساسي في الإطار المقترح، مثل وحدة الخرائط المرئية، والدمج عبر الوسائط القائم على الرسوم البيانية، والتمثيل العاطفي المفكك، تم إجراء دراسة استئصال (ablation study). وفهمًا لهذا التأثير، تم استبعاد كل عنصر على حدة. ووفقًا للنتائج التجريبية، تعمل استراتيجية دمج الرسوم البيانية على تحسين نمذجة الاعتمادية عبر الوسائط، كما تبين أن مساهمة التمثيل العاطفي المفكك هي الأكثر أهمية لاستقرار الأداء. وقد تم التحقق من الدور المساعد لوحدة الخرائط المرئية من خلال التأثير الطفيف الذي أحدثه إزالتها على الأداء. وتظهر نتائج دراسة الاستئصال تحت نفس ظروف التدريب والتقييم في Table 5. وقد لوحظ أكبر تدهور في الأداء بعد إزالة وحدة الانتباه عبر الوسائط القائمة على الرسوم البيانية، مما أدى إلى انخفاض الدقة من 81.72% إلى 77.88% وانخفاض مقياس F1-score من 0.823 إلى 0.776. وهذا يؤكد أهمية نمذجة التفاعلات المعقدة بين الوسائط. كما ظهر دور وحدة تعلم التمثيل المفكك في تعلم تمثيلات قوية خاصة بالعواطف من خلال حقيقة أن إزالتها قللت الدقة بمقدار 2.78 نقطة مئوية ومقياس F1-score بمقدار 0.032. وتكمن الميزة الرئيسية لوحدة الخرائط المرئية في القابلية للتفسير بدلاً من دقة التصنيف، كما يتضح من الانخفاض الطفيف نسبيًا في أداء التنبؤ عند إزالتها. وقد سجل تكوين الدمج الأساسي (Basic Fusion) أسوأ أداء، مما يثبت أن تحقيق أفضل أداء للتعرف على العواطف متعدد الوسائط يتطلب التأثير المجتمِع لكل الوحدات المقترحة.

توافر البيانات:

تعد مجموعات البيانات المستخدمة في هذه الدراسة من مجموعات البيانات المرجعية المتاحة علنًا. تم توفير مجموعة بيانات CMU-MOSEI بواسطة حزمة تطوير البرمجيات متعددة الوسائط (Multimodal SDK) في جامعة كارنيجي ميلون، ووصفها Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208)، ويمكن الوصول إليها عبر الرابط https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. أما مجموعة بيانات CH-SIMS فقد وصفها Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343)، وهي متاحة علنًا من خلال الموارد التي وفرها المؤلفون، بما في ذلك https://github.com/thuiar/MMSA. وقد أُجريت جميع التجارب باستخدام الإصدارات الرسمية من مجموعات البيانات هذه. تتوفر البيانات المستخرجة الخام، وملفات البيانات المعالجة، ومخرجات المعالجة المسبقة، وتقسيمات التدريب/التحقق/الاختبار، وتمثيلات الميزات المشتقة، وتفاصيل التنفيذ الداعمة لنتائج هذه الدراسة علنًا في مستودع Zenodo عبر الرابط https://doi.org/10.5281/zenodo.21124921.

الشكل 1: مخطط تخطيطي لإطار عمل رسم الخرائط المرئية لميزات العواطف متعددة الوسائط المقترح.توضيح مفاهيمي للبنية العامة، يوضح مكونات استخراج الميزات متعددة الوسائط، وتعلم التمثيلات المفككة، ودمج الانتباه عبر الوسائط القائم على الرسوم البيانية، ومكونات رسم الخرائط المرئية لتحليل العواطف متعدد الوسائط القابل للتفسير. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 2: مخطط تدفق تخطيطي للبروتوكول الحسابي المقترح.
تمثيل مفاهيمي لمسار المعالجة المتكامل، بما في ذلك مراحل الحصول على مجموعة البيانات، والمعالجة المسبقة، واستخراج الميزات الخاصة بكل نمط، والدمج متعدد الأنماط، والتصور، ومراحل التنبؤ بالعواطف يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 3: مقارنة لأداء مقياس F1-score على مجموعة بيانات CH-SIMS. تمثل قيم متوسط F1-score التي تم الحصول عليها من خمس تجارب مستقلة (n = 5) باستخدام تهيئات عشوائية مختلفة للبذور. تمثل أشرطة الخطأ ±± انحرافاً معيارياً واحداً (SD). تشير قيم F1-score الأعلى إلى أداء أفضل في تصنيف العواطف. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 4: مقارنة لأداء مقياس F1-score على مجموعة بيانات CMU-MOSEI. قيم متوسط F1-score التي تم الحصول عليها من خمس تجارب مستقلة (n = 5) باستخدام تهيئات بذور عشوائية مختلفة. تمثل أشرطة الخطأ ±± انحرافاً معيارياً واحداً (SD)، وتظهر قيم المتوسط ±± SD المقابلة فوق كل نقطة بيانات. تشير قيم F1-score الأعلى إلى أداء أفضل في تصنيف المشاعر. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 5: مقارنة الدقة على مجموعتي بيانات CH-SIMS وCMU-MOSEI. متوسط درجات الدقة التي حققتها نماذج LSTM وTFN وLMF وAdaptive-Graph والإطار المقترح عبر خمس تجارب مستقلة (n = 5). تمثل أشرطة الخطأ ±± انحرافًا معياريًا واحدًا (SD) تم حسابه من التجارب المكررة باستخدام تهيئات عشوائية مختلفة. يحقق الإطار المقترح أعلى دقة في كلتا مجموعتي البيانات، مما يدل على تحسن في تمييز فئات العواطف من خلال التعلم الفعال للميزات متعددة الوسائط والدمج عبر الوسائط القائم على الرسوم البيانية. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 6: مقارنة الاستدعاء (Recall) على مجموعتي بيانات CH-SIMS وCMU-MOSEI. متوسط درجات الاستدعاء التي حققتها نماذج LSTM وTFN وLMF وAdaptive-Graph والإطار المقترح عبر خمس تجارب مستقلة (n = 5). تشير أشرطة الخطأ إلى ±± انحراف معياري واحد (SD) مستمد من التجارب المتكررة. يحقق الإطار المقترح باستمرار أعلى معدل استدعاء في كلتا مجموعتي البيانات، مما يشير إلى قدرة فائقة على التقاط المعلومات العاطفية متعددة الأنماط وتقليل التنبؤات السلبية الكاذبة. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 7: مصفوفة الارتباك لمجموعة بيانات CH-SIMS مع طرق مرجعية مختلفة. تمثل الصفوف فئات العواطف الحقيقية، وتمثل الأعمدة الفئات المتوقعة. تمثل قيم الخلايا النسبة المئوية للعينات التي تمت معايرتها بالنسبة لكل فئة حقيقية. تم حساب مصفوفة الارتباك باستخدام قسم الاختبار المستبعد من CH-SIMS. تشير النسب المئوية الأعلى في القطر إلى دقة تعرّف أفضل لفئة العاطفة المقابلة. مصفوفات الارتباك لـ (A) Early fusion LSTM، و(B) TFN، و(C) LMF، و(D) Adaptive Graph، و(E) الطريقة المقترحة على مجموعة بيانات CH-SIMS. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 8: مصفوفة الارتباك لمجموعة بيانات CMU-MOSEI باستخدام طرق مرجعية متنوعة. تمثل الصفوف تسميات العواطف الفعلية وتمثل الأعمدة التسميات المتوقعة. تم تسجيل القيم كنسب مئوية موزعة حسب الفئة في مجموعة اختبار CMU-MOSEI. توضح المصفوفة كلًا من العينات المصنفة بشكل صحيح (المدخلات القطرية) والارتباك بين فئات العواطف (المدخلات خارج القطر). مصفوفة الارتباك في CMU-MOSEI لـ (A) LSTM بالدمج المبكر، و (B) TFN، و (C) LMF، و (D) Adaptive Graph، و (E) الطريقة المقترحة في مجموعة بيانات CMU-MOSEI. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 9. مقارنة وقت التدريب لكل حقبة (epoch) في مجموعات بيانات العواطف متعددة الوسائط المرجعية.
متوسط وقت التدريب لكل حقبة تم الحصول عليه من خمس تجارب مستقلة (n = 5) لمجموعات بيانات CH-SIMS و CMU-MOSEI تحت إعدادات برمجية ومادية متطابقة. تمثل أشرطة الخطأ ±± انحرافاً معياريًا واحدًا (SD) تم حسابه من التجارب المتكررة باستخدام تهيئات أولية عشوائية مختلفة. تشير القيم المنخفضة إلى كفاءة حاسوبية أعلى، بينما تشير أوقات التدريب المستقرة عبر التجارب إلى تحسن في قابلية التكرار واتساق التدريب. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مجموعة البيانات	الوسائط	عدد العينات	اللغة	تسميات العاطفة/المشاعر
CH-SIMS34	فيديو، صوت، نص	2,281 مقطع فيديو	الصينية	تسميات مشاعر متعددة الوسائط وأحادية الوسائط (سلبية، محايدة، إيجابية)
CMU-MOSEI35	فيديو، صوت، نص	~23,453 مقطع مُصنف	الإنجليزية	تسميات شدة المشاعر والعاطفة (مستمرة وفئوية)

الجدول 1: وصف مجموعة البيانات. ملخص لمجموعات البيانات المستخدمة في هذه الدراسة، والأنماط، وعدد العينات، واللغة، وتصنيفات العاطفة/المشاعر لمجموعتي بيانات CH-SIMS وCMU-MOSEI.

المكوّن	المواصفات
إطار البرمجة	Python مع PyTorch
مستخرج السمات البصرية	Vision Transformer (ViT)
مستخرج السمات الصوتية	Wav2Vec 2.0
مستخرج سمات النصوص	RoBERTa
استراتيجية الدمج	شبكة انتباه عبر الوسائط قائمة على الرسوم البيانية
بعد السمات	768 لكل وسيط
مُحسِّن التدريب	Adam
معدل التعلم	1.00E-04
حجم الدفعة	16
الأجهزة	NVIDIA GPU (على سبيل المثال، سلسلة RTX)
مجموعات بيانات التقييم	CH-SIMS، CMU-MOSEI
البعد الكامن	2.56E+02
بعد التضمين	768
دالة التنشيط	ReLU
المُحسِّن	Adam
معدل التعلم	1.00E-04
حجم الدفعة	32
عدد الدورات (Epochs)	100
التوقف المبكر	مفعّل
دالة الخسارة	التصنيف + إعادة البناء + الاتساق

الجدول 2: بيئة المحاكاة. تفاصيل إعداد وتنفيذ تجربة بيئة المحاكاة، مثل تفاصيل النموذج، والميزات، والمحسن، والأجهزة المستخدمة.

الطريقة	دقة CH-SIMS (%)	دقة CMU-MOSEI (%)
LSTM (الدمج المبكر/المتأخر)	72.84 ± 1.12	70.35 ± 1.26
TFN	74.91 ± 0.98	72.68 ± 1.10
LMF	76.23 ± 0.85	74.12 ± 0.94
Adaptive-Graph	78.46 ± 0.73	76.89 ± 0.81
الطريقة المقترحة	81.72 ± 0.61	79.94 ± 0.69

الجدول 3: تقييم دقة الطريقة المقترحة باستخدام التقنيات المرجعية على مجموعتي بيانات CH-SIMS وCMU-MOSEI. تم تسجيل النتائج في صورة المتوسط ±± الانحراف المعياري المستمد من خمس عمليات تجريبية مستقلة (n = 5) باستخدام تهيئات مختلفة للبذور العشوائية. تم تقييم جميع الطرق باستخدام تقسيمات متطابقة للتدريب والتحقق والاختبار لكل مجموعة بيانات لضمان إجراء مقارنة عادلة.

الطريقة	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (دمج مبكر/متأخر)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
الطريقة المقترحة	0.298 ± 0.007	0.341 ± 0.008

الجدول 4: نتيجة متوسط الخطأ المطلق. تم تقديم النتائج كـ متوسط ±± الانحراف المعياري الذي تم الحصول عليه من خمس تجارب مستقلة (n = 5) باستخدام تهيئات عشوائية مختلفة للبذور. تم تقييم جميع الطرق باستخدام تقسيمات متماثلة للتدريب والتحقق والاختبار من مجموعات البيانات الخاصة بها لضمان إجراء مقارنة عادلة. مقارنة لـ MAE للتنبؤ المستمر بكثافة العاطفة باستخدام الإطار المقترح والأساليب المرجعية على كلتا مجموعتي البيانات.

تنويعة النموذج	الدقة (%)	مقياس F1-score
النموذج الكامل	81.72 ± 0.61	0.823 ± 0.008
بدون فك التشابك	78.94 ± 0.74	0.791 ± 0.010
بدون دمج الرسم البياني	77.88 ± 0.81	0.776 ± 0.011
بدون التعيين المرئي	80.11 ± 0.66	0.807 ± 0.009
الدمج الأساسي	74.91 ± 0.98	0.742 ± 0.013

الجدول 5: نتيجة دراسة الاستئصال مع الطرق المرجعية. يتم عرض النتائج على شكل المتوسط ±± الانحراف المعياري الذي تم الحصول عليه من خمس تجارب مستقلة (n = 5) باستخدام تهيئات عشوائية مختلفة. تم تقييم جميع الطرق باستخدام تقسيمات متطابقة للتدريب والتحقق والاختبار لمجموعات البيانات الخاصة بها لضمان مقارنة عادلة. مقارنة الأداء بين متغيرات النموذج، مما يشير إلى فعالية التعلم من التمثيلات المفككة، والدمج القائم على الرسوم البيانية، ووحدة التعيين المرئي.

الملف التكميلي 1: الخوارزمية 1 والخوارزمية 2.يرجى النقر هنا لتحميل هذا الملف.

المناقشة

تظهر النتائج التجريبية أنه، عبر مجموعات بيانات CH-SIMS وCMU-MOSEI، يتفوق إطار الربط المرئي المقترح لخصائص العواطف متعددة الوسائط على تقنيات التعرف على العواطف متعددة الوسائط الحالية. ومقارنة بنماذج الدمج المبكر والمتأخر، مثل EF-LSTM وTFN، تحقق التقنية المقترحة دقة أعلى ودرجات F1 Score أعلى، مما يثبت متانتها في التعامل مع المعلومات العاطفية المتنوعة. ويمكن إرجاع التحسن في هذه الطريقة إلى تمثيل العواطف المفكك، والذي يعمل على كبح الضوضاء الخاصة بكل وسيط ويضمن اتساق العواطف عبر الوسائط المرئية والصوتية والنصية³⁶.

مؤخرًا، أظهرت النماذج متعددة الوسائط القائمة على المحولات (transformer-based)، مثل Adaptive Multimodal Transformers³⁷ و MIAR³⁸، نتائج مبهرة في نمذجة التبعيات عبر الوسائط. ومع ذلك، تركز هذه النماذج بشكل أساسي على التنبؤ وتفتقر إلى الآليات التي تدعم القابلية للتفسير على مستوى الميزات. وفي المقابل، يجمع النظام المقترح بين الانتباه عبر الوسائط القائم على الرسوم البيانية ووحدة رسم خرائط بصرية، مما يسمح بالتحليل الشفاف للتفاعلات العاطفية وتفاعلات الوسائط. ويعد هذا جانبًا محوريًا مفقودًا حاليًا في الأدبيات العلمية، حيث يتم التعامل مع الاستدلال العاطفي كعملية "صندوق أسود".

أظهر الإطار المقترح أداءً متسقاً عبر مجموعات بيانات القياس المرجعية CH-SIMS و CMU-MOSEI. وبينما قد يكون لهذا الإطار تطبيقات محتملة في التفاعل الذكي بين الإنسان والآلة، ومراقبة الرعاية الصحية، وبيئات التعلم التكيفية، والأنظمة الأخرى المدركة للعواطف، إلا أن الدراسة الحالية قيمت الطريقة فقط في ظل ظروف قياس مرجعية مضبوطة. لم يتم إجراء أي نشر في العالم الحقيقي، أو تقييم لواجهة المستخدم، أو دراسة لسهولة الاستخدام، أو تقييم للمشاركين البشريين. وبناءً على ذلك، لا تزال الفعالية العملية للإطار في البيئات التشغيلية بحاجة إلى بحث. سيركز العمل المستقبلي على التقييمات الموجهة للنشر، والدراسات المتمحورة حول المستخدم، وتحليل زمن الاستجابة، وتقييم استهلاك الذاكرة، وأداء التفاعل في الوقت الفعلي.

علاوة على ذلك، فإن تحسينات الأداء عبر مختلف مجموعات البيانات المتنوعة ثقافيًا ولغويًا تثبت صحة الإطار المقترح. وبخلاف الأعمال السابقة التي تم التحقق من صحتها باستخدام مجموعة بيانات واحدة أو سيناريو تفاعلي محدد، يُظهر الإطار المقترح أداءً قويًا عبر مختلف اللغات والمتحدثين والتعبيرات العاطفية. وبناءً على ذلك، يعد الإطار المقترح مناسبًا جدًا لأنظمة التفاعل الذكية العملية التي تتطلب تعرّفًا دقيقًا على العواطف واتخاذ قرارات قابلة للتفسير.

تم تقييم قابلية تفسير الإطار المقترح من خلال تحليل قائم على التصور للتمثيلات متعددة الوسائط التي تم تعلمها. وبشكل محدد، تم فحص تضمينات المشاعر الكامنة، وخرائط الانتباه عبر الوسائط، ورسوم التفاعل البيانية بين الوسائط، ومسارات المشاعر الزمنية لتقديم رؤى حول عملية اتخاذ القرار في النموذج ومساهمات كل وسيلة. يهدف نموذج التخطيط البصري إلى تعزيز الشفافية من خلال تمكين مراقبة التفاعلات على مستوى السمات والديناميكيات العاطفية. ومع ذلك، لم يتم تضمين مقاييس قابلية التفسير الرسمية، أو تقييمات دقة الانتباه، أو الدراسات المستخدمة في العمل الحالي. وبناءً على ذلك، يجب تفسير فوائد قابلية التفسير المذكورة على أنها أدلة قائمة على التصور وليست مقاييس قابلية شرح تم التحقق منها كمياً.

من وجهة نظر نظرية، تقدم هذه الدراسة المساهمات التالية في مجال الحوسبة العاطفية متعددة الوسائط: فهي تقترح طريقة منهجية لنمذجة العواطف تفرق بوضوح بين التمثيلات الخاصة بالعاطفة والتمثيلات الخاصة بالوسائط. ومن خلال ضمان الاتساق العاطفي عبر الوسائط المختلفة في فضاء كامن مشترك، يطور الإطار المقترح نظرية تعلم التمثيلات في الأنظمة متعددة الوسائط. كما أن دمج آليات الانتباه القائمة على الرسوم البيانية يساهم في صياغة التبعيات بين الوسائط المختلفة في التعبير عن العواطف بشكل أكثر رسمية.

من منظور عملي، يُعد الإطار المقترح مفيداً جداً لتصميم التفاعل الذكي وواجهات المستخدم المدركة للعواطف. تتيح وحدة التخطيط المرئي في الإطار المقترح لمصممي الأنظمة فهم تأثير الوسائط المتعددة المختلفة على التنبؤ بالعواطف، وهو أمر بالغ الأهمية بالنسبة لمصممي الأنظمة. كما أن الإطار المقترح مفيد جداً في تطبيقات مثل الوكلاء الحواريين العاطفيين، وأنظمة التعلم التكيفية، وواجهات مراقبة الرعاية الصحية، ومنصات تقييم تجربة المستخدم.

ومع ذلك، فإن الإطار المقترح يعاني من بعض القصور؛ حيث يضيف استخدام آليات انتباه الرسوم البيانية ومشفّرات المحوّلات (transformer encoders) تعقيداً قد يشكل عائقاً للأجهزة ذات الإمكانات المحدودة. علاوة على ذلك، تتجاهل الدراسة الحالية الإشارات الفسيولوجية الأخرى، مثل تخطيط كهربية الدماغ (EEG) وتتبع حركة العين، لصالح التركيز على الأنماط المرئية والصوتية والنصية. ولم يتم تقييم الكفاءة الحسابية للإطار المقترح للنشر في الوقت الفعلي بشكل محدد، رغم تحقيقه لأداء تنبؤي تنافسي وقدرة محسنة على التصور. وسوف تبحث الأبحاث المستقبلية في أداء النشر في سياقات التفاعل الذكي في العالم الحقيقي، وتأخير الاستنتاج، ومعدل نقل البيانات، واستهلاك الذاكرة، وتقنيات ضغط النماذج. ولتحسين دقة نمذجة العواطف واستجابة التفاعل بشكل أكبر، ستركز الأبحاث المستقبلية على تطوير نماذج خفيفة الوزن، وتقنيات التحسين في الوقت الفعلي، ودمج أنماط إضافية. كما لم يتم تقييم أداء النشر في الوقت الفعلي، ويؤدي إدراج مشفّرات المحوّلات وطرق الانتباه القائمة على الرسوم البيانية إلى زيادة التعقيد الحسابي. وقد تم استخدام مجموعتي البيانات المرجعين CH-SIMS وCMU-MOSEI فقط للتحقق من صحة المنهجية، مما قد يؤدي إلى تحيزات خاصة بمجموعة البيانات ويقيد إمكانية التعميم على مجالات ولغات ومجموعات مستخدمين أخرى. بالإضافة إلى ذلك، لا تتضمن الدراسة الحالية إشارات فسيولوجية مثل بيانات تخطيط كهربية الدماغ أو تتبع حركة العين، بل تركز بدلاً من ذلك على الأنماط المرئية والصوتية والنصية. وبالرغم من أن التوصيفات الشاملة للتنفيذ وبيئة المحاكاة قد عززت من قابلية التكرار، إلا أن الكود المصدري والنماذج المدربة مسبقاً غير متاحة للعامة حالياً.

يتم استخدام إطار عمل جديد للتخطيط البصري لتعلم سمات العواطف متعددة الوسائط لتصميم التفاعل الذكي في هذا العمل. تدمج الطريقة المقترحة تعلم التمثيل القائم على المحولات (transformer-based) من الطرف إلى الطرف، ونمذجة العواطف المفككة، والانتباه عبر الوسائط القائم على الرسوم البيانية لتحقيق دقة تنبؤية عالية وقابلية للتفسير. وتظهر التجارب على مجموعتي بيانات CH-SIMS وCMU-MOSEI أن إطار العمل المقترح يتفوق على أحدث نماذج التعرف على العواطف متعددة الوسائط من حيث الدقة ومقياس F1-score. والأهم من ذلك، أن حل التخطيط البصري المقترح يسد الفجوة بين التعرف على العواطف واستراتيجية التفاعل، ويقدم اتجاهاً جديداً لتصميم أنظمة الحوسبة العاطفية متعددة الوسائط القابلة للتفسير والواعية بالتفاعل.

لتسهيل تصميم تفاعلي ذكي وقابل للتفسير، قدمت هذه الدراسة إطار عمل جديداً للرسم الخرائطي المرئي لتعلم سمات العواطف متعددة الوسائط. يدمج النظام المقترح بنجاح عملية اكتشاف العواطف وقابلية التفسير ضمن بنية واحدة من خلال الجمع بين استخراج السمات متعددة الوسائط القائمة على المحولات (transformer)، وتعلم تمثيل العواطف المفككة، ودمج الانتباه عبر الوسائط القائم على الرسوم البيانية، وطرق الرسم الخرائطي المرئي. وبالإضافة إلى تقديم تمثيلات مرئية واضحة لمساهمات الوسائط، والتفاعلات عبر الوسائط، وديناميكيات العواطف الزمنية، أظهر التقييم التجريبي على مجموعتي البيانات المرجعيين CH-SIMS و CMU-MOSEI أداءً محسناً مقارنة بطرق الأساس الممثلة عبر عدة مقاييس، بما في ذلك الدقة (Accuracy)، والضبط (Precision)، والاسترجاع (Recall)، ومقياس F1-score، ومتوسط الخطأ المطلق (MAE). ومع ذلك، فإن هذه الدراسة تقتصر على التقييمات بناءً على مجموعتي بيانات مرجعيتين، ولا تشمل دراسات النشر في العالم الحقيقي، أو التقييمات المرتكزة على المستخدم، أو تقييمات القابلية للتفسير الكمية، ودمج الوسائط الفسيولوجية. علاوة على ذلك، قد تواجه البيئات ذات الموارد المحدودة صعوبات بسبب التكلفة الحسابية لمشفرات المحولات وعمليات الانتباه القائمة على الرسوم البيانية. وبينما سيركز العمل المستقبلي على التحقق الموسع عبر مجموعات بيانات متنوعة، ودمج وسائط إضافية، ودراسات سهولة الاستخدام، وإصدار موارد قابلة للتكرار، والتحسين لسيناريوهات النشر في الوقت الفعلي، فإن إطار العمل المقترح يظهر بشكل عام إمكانات تحليل العواطف متعدد الوسائط القابل للتفسير في تطبيقات الحوسبة العاطفية والتفاعل الذكي.

المواد

قائمة المواد المستخدمة في هذه المقالة

الاسم	الشركة	رقم فهرسي	التعليقات
Adam	مكتبة مُحسِّنات PyTorch	https://pytorch-optimizers.readthedocs.io/en/latest/ (معدل التعلم = 1 × 10-4)	تحسين المعاملات أثناء تدريب النموذج
CH-SIMS	مستودع مجموعة البيانات الأصلية	أحدث إصدار عام	مجموعة بيانات مرجعية لتحليل المشاعر/العواطف متعدد الوسائط باللغة الصينية
CMU-MOSEI	مستودع CMU Multimodal SDK	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (أحدث إصدار عام)	مجموعة بيانات مرجعية للتعرف على المشاعر والعواطف متعددة الوسائط
Disentangled Emotion Encoder	تنفيذ مخصص	https://pytorch-geometric.readthedocs.io/en/latest/(بنية المشفر المزدوج)	فصل التمثيلات الكامنة الخاصة بالعاطفة وتلك الخاصة بالوسائط
Graph Attention Network (GAT)	PyTorch Geometric	GAT متعدد الرؤوس (https://pytorch-geometric.readthedocs.io/en/latest/)	نمذجة العلاقات العاطفية عبر الوسائط ودمج الميزات التكيفي
Graph-Based Cross-Modal Attention Layer	تنفيذ مخصص	دمج الانتباه متعدد الرؤوس	تعلم الاعتمادات العاطفية دقيقة التفاصيل بين الوسائط
Matplotlib	مشروع Matplotlib	3.7+	إنشاء المخططات والتحليلات المرئية
NetworkX	مشروع NetworkX	3.0+	بناء وتصور رسوم التفاعل عبر الوسائط
NVIDIA GPU	شركة NVIDIA	وحدة معالجة رسومية تدعم CUDA	تسريع تدريب المحولات والشبكات العصبية الرسومية
Principal Component Analysis (PCA)	Scikit-learn	sklearn.decomposition.PCA	الاختزال الأولي لتضمينات العواطف عالية الأبعاد
Python	مؤسسة برمجيات Python	3.8+	لغة البرمجة الأساسية لتنفيذ إطار تحليل العواطف متعدد الوسائط
PyTorch	مؤسسة PyTorch	2.0+	تطوير وتدريب وتحسين الشبكات العصبية العميقة
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base، تضمينات ببعد 768)	استخراج التمثيلات العاطفية اللغوية والدلالية السياقية
Seaborn	مشروع Seaborn	0.12+	إنشاء الخرائط الحرارية للانتباه والتصورات الإحصائية
t-distributed Stochastic Neighbor Embedding (t-SNE)	Scikit-learn	scikit-learn.org (الحيرة = 30، التكرارات = 1000)	تصور عناقيد العواطف الكامنة ومساراتها
Ubuntu Linux	Canonical Ubuntu	20.04 LTS أو إصدار أحدث	بيئة تنفيذ التجارب
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16، تضمينات ببعد 768	استخراج التمثيلات المرئية المدركة للعواطف من إطارات الفيديو
Wav2Vec 2.0	Meta AI Research	النموذج الأساسي، تضمينات ببعد 768	استخراج ميزات العواطف الصوتية والكلامية السياقية