التعلم الآلي والتعليق التوضيحي المشاعر القائم على القواعد المعجمية والفعال من حيث التكلفة لأقوال Hinglish

Summary

تجمع هذه الدراسة بين الإستراتيجية القائمة على القواعد والتعلم الآلي ومساعدة الخبراء للتعليق على النص Hinglish والإنجليزية. يتم اختبار البيانات على 19,000 تغريدة بدقة 81٪ ، وهي أرخص بكثير من القيام بذلك يدويا. قد يكون مفيدا لتتبع العواطف أثناء الأزمات.

Abstract

يمثل التعليق التوضيحي للعاطفة في اللغات المختلطة مثل Hinglish (الهندية والإنجليزية) تحديات فريدة بسبب التعقيد اللغوي وقيود الموارد. تقدم هذه الدراسة إطارا هجينا للتعلم النشط يجمع بين القواعد المعجمية والتعلم الآلي وتعليقات الخبراء التكرارية لتحقيق تعليق توضيحي عالي التكلفة وعالي الدقة. يرتكز الإطار على النظريات النفسية للعاطفة ، بما في ذلك نظرية العواطف المنفصلة ونظرية التقييم المعرفي ، ويستخدم الإطار قواميس عاطفية ثنائية اللغة (على سبيل المثال ، رسم خرائط gussa والغضب إلى الغضب) ، وترميز الكلمات الفرعية للمصطلحات المركبة (على سبيل المثال ، الانقسام إلى ) ، والتعلم النشط لتحديد أولويات العينات الغامضة. تم تقييمه بناء على 19,000 مجموعة بيانات تغريدة Hinglish المتعلقة بالحرب والنزاع ، حقق إطار العمل دقة بنسبة 81٪ (F-score: 0.76) مع تقليل التكاليف التشغيلية بنسبة 40٪ مقارنة بالتعليق التوضيحي اليدوي. حلت القواعد المعجمية 89٪ من الغموض في تبديل التعليمات البرمجية ، ومكنت التحسينات التكرارية من مكاسب الدقة المتزايدة من 72٪ إلى 81٪. تنبع كفاءة النظام من الحد من الجهد البشري إلى 73٪ من مجموعة البيانات ، مع المعالجة المسبقة الآلية للرموز التعبيرية وعلامات التصنيف والعامية. تستند هذه الدراسة إلى فرضية مفادها أن دمج الأساليب المعجمية القائمة على القواعد مع التعلم النشط والتعلم الآلي يمكن أن يعزز دقة التعليق التوضيحي للعاطفة في نص Hinglish ، مع تقليل الملصقات اليدوية وجهود التعليقات التوضيحية الإجمالية في نفس الوقت.

Introduction

عندما يتم خلط لغتين أو أكثر معا في سطر واحد أو كلام واحد ، يسمى هذا لغة مختلطة بالتعليمات البرمجية. إنه شائع في الحوار غير الرسمي مثل Hinglish. هناك طرق متعددة يمكن من خلالها فهم المشاعر البشرية ، ونمذجة سلسلة من العبارات العاطفية حسابيا هي التعليق عليها من قبل الأشخاص الذين نطقوا بهذه الجمل. يمكن فهمه من حيث المستويات البيولوجية والفسيولوجية والنفسية وما إلى ذلك. وفقا لعلماء مثل روجر بنروز ، فإن العديد من الظواهر في عالمنا غير حسابية ، ويعتبر علماء مثل ولفرام أن كل شيء (كل ظاهرة) يمكن نمذجته حسابيا¹. يعتقد بنروز أن الوعي ينطوي على عمليات (ربما تتعلق بميكانيكا الكم داخل الدماغ) تتجاوز ما يمكن أن يحققه أي إجراء خوارزمي خطوة بخطوة. غالبا ما يستشهد بنظريات عدم الاكتمال لجودل لدعم فكرة أن البصيرة الرياضية البشرية ، على سبيل المثال ، تتجاوز الأنظمة الرسمية². إذا كان الوعي غير حسابي ، فإن العواطف ، كجانب رئيسي من جوانب التجربة الواعية ، قد تحتوي أيضا على عناصر غير حسابية. يقترح ستيفن ولفرام ، المعروف ب Mathematica وعمله على الأتمتة الخلوية ، "مبدأ التكافؤ الحسابي". يشير هذا إلى أنه حتى الأنظمة المعقدة للغاية ، بما في ذلك الكون نفسه والظواهر الموجودة فيه (مثل العواطف) ، يمكن وصفها ونمذجتها في النهاية من خلال القواعد الحسابية ، حتى لو كانت هذه القواعد بسيطة للغاية ، مما يولد سلوكا معقدا. لكن من الناحية العملية ، هذا غير ممكن ، ونحن بحاجة إلى شخص يشار إليه إما على أنه خبير أو مجرد معلق يمكنه إجراء تحليل المشاعر³.

في هذا البحث ، ننشر فكرة بناء النماذج الحسابية. لكن هذا النموذج سيكون شبه حسابي. يهدف بحثنا في هذا السياق إلى أن يكون حسابيا في الشكل ولكنه قد لا يلتقط جميع الجوانب بشكل مثالي ، وربما يترك مجالا للتعقيدات التي يصعب أو يستحيل حسابها بالكامل. يصعب نمذجة العواطف حسابيا لأنها تعتمد على التجارب الذاتية والسياق الثقافي والتعبيرات الدقيقة التي لا يمكن التقاطها بالكامل من خلال خوارزميات ثابتة.

لذلك ، لنمذجة المشاعر البشرية باستخدام مناهج حسابية قائمة على متغيرة ، من الضروري التعليق على الأقوال العاطفية البشرية. يجب أن يتم تنفيذ هذا التعليق التوضيحي بواسطة خبير أو معلق ماهر في تحليل العاطفة¹. إن فهم تعقيدات المشاعر الإنسانية ليس بالمهمة السهلة ، خاصة عند التعامل مع اللغات المختلطة. علاوة على ذلك ، فإن المشكلات المتعلقة بالمقياس تعني أن الاعتماد فقط على التعليقات التوضيحية اليدوية من قبل البشر ليس خيارا قابلا للتطبيق. تشير الأبحاث الحديثة إلى الحاجة المستمرة إلى نهج الإنسان في الحلقة عند بناء أنظمة لمثل هذه المهام المعقدة. وبالتالي ، فإن النهج شبه التلقائي ، الذي يتضمن أتمتة الأجزاء الأكثر وضوحا مع حجز المهام التي تتطلب فروق دقيقة بشرية للمعلقين ، يبدو الأنسب لتطوير أنظمة اللغة الطبيعية في هذا المجال.

بالطبع ، سيقوم المعلق البشري بالعمل يدويا ، وفي عصر الحساب ، ليس هذا ما هو متوقع من العلماء المعاصرين. إذا كان المعلق (يدوي أو شبه آلي أو أوتوماتيكي بالكامل) قادرا على تخمين نوع المشاعر المتجسدة في الأقوال بذكاء ، والأقوال التي تتكون من أنواع متعددة من المشاعر المعبر عنها كرموز ، بالعامية أو مختلطة بالتعليمات البرمجية وباستخدام طرائق متعددة ، فإن المهمة صعبة وسهلة في نفس الوقت. يعتمد تعقيد التعليق التوضيحي للعاطفة في أقوال Hinglish على طبيعة التعبير. عندما يتم نقل المشاعر بوضوح باستخدام كلمات أو رموز تعبيرية مألوفة ، يكون التعليق التوضيحي بسيطا نسبيا. ومع ذلك ، تصبح المهمة صعبة عندما تنطوي الأقوال على مشاعر متعددة أو خلط شفرة أو تعبيرات رمزية غامضة. لذلك ، يمكن أن يكون التعليق التوضيحي سهلا وصعبا ، اعتمادا على مدى التعبير المباشر عن العاطفة.

تتعامل الأساليب المعاصرة في تحديد العواطف والمشاعر مع هذه التحديات ، بما في ذلك الطبيعة الذاتية للعواطف ، والغموض في التعبيرات البشرية ، وتعقيد اللغات المختلطة مثل Hinglish ، والطبيعة التي تستغرق وقتا طويلا وغير متسقة للتعليق التوضيحي اليدوي. المرتبطة ببناء النماذج الحسابية وإدارة مهام التعليقات التوضيحية المملة. تشير الأبحاث الحديثة إلى أن الباحثين يستخدمون مجموعة متنوعة من الأساليب لتحقيق هذا الهدف ، بما في ذلك التعلم الآلي والتعلم العميق والأساليب الهجينة المختلفة. تظهر الأبحاث الحديثة أنه للتغلب على هذه المشكلات ، يستخدم الباحثون مجموعة متنوعة من التقنيات ، مثل التعلم الآلي والتعلم العميق والنماذج الهجينة.

تظهر الأبحاث الحديثة أن الباحثين يستخدمون جميع أنواع الأساليب ، بما في ذلك التعلم الآلي والتعلم العميق³ والأساليب الهجينة. يشير مصطلح تحليل المشاعر إلى إجراء يستخدم عندما يعتقد أن قطبية العواطف هي علامة لفهم المشاعر الخام^{للبشر 3،4}. ساعد تطوير هذه التكنولوجيا في التعرف على الحالة المزاجية والمشاعر والكلام وعواطف الوجه والإشارات غير اللفظية ، وقد حقق بالفعل نجاحات في التطبيقات التي تسمح بالترجمة في الوقت^{الفعلي 2}. يمكن استخدام نهج متعدد الوسائط لترجمة Hinglish إلى اللغة الإنجليزية وقد يكون مفيدا في المستقبل لجعل السينما الهندية في متناول المجتمعات النائية^5،6. على سبيل المثال ، في الهند ، غالبا ما تكون اللغة الإنجليزية هي اللغة الثانية. تظهر الأبحاث في هذا السياق أن هذا قد حسن جودة تدريس اللغة الإنجليزية من خلال تحليل الكلام الهندي (لغة الرمز المختلط) للتعبير ، أو درجة الشعور والعاطفة ، لكل كلمة.

في سياق البحث هذا ، ثبت أن استخدام لغة التعليمات البرمجية المختلطة جنبا إلى جنب مع الترجمة يعزز جودة تدريس اللغة الإنجليزية. يتم تحقيق ذلك من خلال تحليل الكلام الهندي (لغة التعليمات البرمجية المختلطة) لتحديد التعبير أو التكافؤ العاطفي لكل كلمة. من خلال تطبيق التعلم العميق لتدريب أجهزة الكمبيوتر على تفسير الكلام ، أدى هذا البحث بالفعل إلى تحسين دقة تحليل الكلام المحوسب وتسهيل فهم أكبر للاتصال^4،5. وفقا لنتائج التعداد السكاني لعام 2001 ، فإن لغة Hinglish ، وهي لغة مزيجة من الهندية والإنجليزية ، يستخدمها حاليا ما يقدر بنحو 120 مليون شخص في الهند⁶.

من المشهد المعاصر لخوارزميات التعلم ، من الواضح أن التعلم النشط قد ظهر كأداة قوية لتقليل الجهد البشري بشكل كبير في التعليق على مجموعات البيانات الكبيرة ، لا سيما في مجال تحديد المشاعر والتعرف عليها. هذا النهج التكراري ، الذي يعلق بشكل انتقائي على التعليقات التوضيحية المؤثرة (مع المقاييس المناسبة) ، لا يعزز دقة التعليقات التوضيحية فحسب ، بل يحسن أيضا الكفاءة⁵. أثبتت الدراسات السابقة فعاليتها في تحقيق تخفيضات كبيرة في عبء عمل التعليقات التوضيحية اليدوية مع الحفاظ على الأداء أو حتى تحسينه باستخدام مجموعات بيانات التدريب الأصغر واقتراح طريقة قائمة على تحليل الكتلة لاختيار المثيل الإعلامي^7،8. في السياق المحدد للتعرف على عاطفة Hinglish ، قدم الباحثون مساهمات قيمة من خلال نماذج التعلم العميق ومجموعة بيانات مشروحة متعددة التسميات^9،10،11. أدخلت الدراسات السابقة^12،13 طرقا للتعلم النشط وشبه الإشراف لتقليل الاعتماد على البيانات المصنفة من قبل الإنسان ، مما يزيد من تعزيز الكفاءة ويقلل من تكاليف التعليقات التوضيحية. علاوة على ذلك ، تم إثبات التعلم النشط في العديد من المشاريع لتعزيز أداء التصنيف ، لا سيما في تصنيف المشاعر متعدد التسميات¹⁴.

تم التعرف على فعالية التعلم النشط في تحسين أداء المصنف عبر تطبيقات التعلم الآلي المختلفة. سلطت الدراسات^{15 ، 16} الضوء على دورها الحاسم في تحسين الأداء من خلال التركيز على التطبيقات التعليمية. وبالمثل ، قدمت دراسة مبكرة خوارزمية جديدة للتعلم النشط باستخدام آلات ناقلات الدعم ، مما قلل بشكل كبير من الحاجة إلى المثيلات المسماة¹⁷. استكشف عمل آخر أيضا تطبيقه في المهام التي تنطوي على مثيلات منظمة ، مثل تصنيف النص¹⁸. يمتد تأثير التعلم النشط على مهام التعرف على المشاعر إلى ما هو أبعد من مكاسب الكفاءة ، لا سيما في تقليل الاعتماد على البيانات التي يصنفها الإنسان. قدمت إحدى الدراسات إطارا متعدد المهام لتصنيف المشاعر والانحدار ، متجاوزا أداء طرق المهمة الواحدة¹⁰.

علاوة على ذلك ، قطع الباحثون¹⁹ خطوات كبيرة في التعرف على مشاعر الكلام والنص باستخدام التعلم النشط ، مع إظهار²⁰ فعاليته في تصنيف المشاعر الموسيقية الشخصية. ومع ذلك ، فإن عملية تصنيف العواطف وتصنيفها تمثل تحديا كبيرا ، كما هو موضح^21،22 ، لا سيما في سياقات تحليل المشاعر. يلاحظ أن استخدام الملصق يمكن أن يؤثر بشكل كبير على تصنيف المشاعر ، خاصة بالنسبة للفئات التي تم تعلمها^{لاحقا 23}. لمواجهة هذه التحديات ، تم تطوير خوارزميات مختلفة ، بما في ذلك الأساليب القائمة على الكلمات الرئيسية والقائمة على التعلم ، وحققت معدلات دقة^{ملحوظة 24}. تم استكشاف البحث عن العواطف بناء على الأقوال والنصوص المكتوبة في العديد من النماذج ، ونفذت الأساليب نموذجا للأبعاد باستخدام قواعد البيانات المعيارية للكشف الفعال عن المشاعر²⁵. في دراسة أخرى²⁶ ، عزز نموذج العاطفة المعرفية طريقة متسلسلة تستخدم لتحديد سبب المشاعر الاجتماعية. قدم المؤلف تفسيرا لغويا حسابيا لنموذج عاطفة OCC ، بينما اقترحت دراسة مماثلة²⁷نظاما يستخدم الأنطولوجيا لتمثيل علاقات تبعية الكلمات والعواطف. ناقش مؤلفو إحدى الدراسات²⁸الإشارات التي ترتبط بمعالجة الكلمات العاطفية ، مما يسلط الضوء على تكيف الدماغ في التعبير عن المشاعر بلغة مكتوبة. يعد التعليق التوضيحي لمصفوفات متعددة من المشاعر الخام ، بما في ذلك البيانات متعددة النماذج ، أمرا صعبا. ومع ذلك ، فإن التحقيق في العواطف المتعلقة بالحرب والصراع يوفر نافذة علمية ومنهجية على النفس البشرية في ظل الظروف القاسية ، مما يسمح لنا بفهم أفضل لكيفية تعامل الأفراد والمجتمعات مع الصدمة والخسارة وعدم اليقين⁵. وجدت دراسة أخرى أن تقنية التعليقات التوضيحية عززت بشكل فعال تصنيف النوع ، حيث لعبت ميزة العنوان دورا مهما في العملية²⁹. أنشأت إحدى الدراسات مجموعة بيانات تعمل باللمس بدقة 44K مع خبير و GPT-4V لتدريب جهاز تشفير لمسي ونموذج TVL لتوليد النص³⁰. استكشفت دراسة أخرى التنقيب عن الرأي والاتجاهات في التغريدات السياسية ، مع التركيز على عملية التعلم النشط للتعليق التلقائي على التغريدات باللغة الفرنسية حول السياسيين⁴¹. قدمت دراسة أخرى CloudFlows ، وهي منصة سير عمل علمية قائمة على السحابة مصممة للتحليل المركزي التكيفي الديناميكي في تدفقات البيانات. إنه يتيح التعلم النشط لتحسين تصنيف المشاعر ، مما يسمح للخوارزمية بالتكيف مع التغييرات في البيانات في الوقت الفعلي⁴².

هناك توتر واضح بين تعقيد المشاعر البشرية والرغبة في تحليل المشاعر الآلي. يوجد توتر متأصل بين تعقيد المشاعر البشرية والهدف من تحليل المشاعر الآلي. يعترف معظم العمل المعاصر بقيود التعليقات التوضيحية اليدوية ويؤكد على الحاجة إلى أساليب حسابية متطورة لمواجهة تحديات فهم العواطف في أشكال مختلفة من الاتصال. هذا السيناريو المثالي غير عملي إلى حد كبير ، أي الحصول على تعليقات توضيحية من الأشخاص الذين كتبوا أو تحدثوا الجمل⁴³. السيناريو المثالي للحصول على البيانات ، وتحديدا الحصول على التعليقات التوضيحية مباشرة من الأفراد الذين كتبوا الجمل أو تحدثوا بها ، غير عملي إلى حد كبير. ينبع هذا عدم التطبيق العملي من استحالة جمع ومعالجة مثل هذه التعليقات التوضيحية الشخصية على نطاق واسع. لذلك ، يجب أن تعتمد الجهود الحالية على المعلقين الخبراء أو خوارزميات الكشف الآلي عن المشاعر لتحليل وتصنيف المشاعر المعبر عنها في النص. في هذا العمل البحثي ، حاولنا التغلب على بعض جوانب تحديات المجال هذه. وترد فيما يلي المساهمات الرئيسية في مجال المشكلة^{هذه 44}.

لذلك ، نحتاج إلى الاعتماد على الخبراء أو المعلقين وخوارزميات الكشف عن المشاعر لتحليل وتصنيف المشاعر المعبر عنها في النص. من المستحيل جمع مثل هذه التعليقات التوضيحية الشخصية ومعالجتها على نطاق واسع. ومن ثم ، في هذا العمل البحثي ، حاولنا التغلب على بعض جوانب معرفة هذا المجال. وفيما يلي المساهمات الرئيسية في مجال المشاكل هذا.

يعمل إطار العمل جنبا إلى جنب مع الأساليب القائمة على القواعد مثل وضع العلامات على المشاعر واكتشاف مزيج التعليمات البرمجية وتفسير الرموز التعبيرية باستخدام تقنيات التعلم الآلي مثل Random Forest وتضمين الكلمات ، مما يحسن دقة التعليقات التوضيحية مع تقليل الجهد اليدوي. يستخدم التعلم التكراري للمصنف التعلم النشط بالإضافة إلى نقل التعلم لتحديد أولويات عينات الميزات الغامضة ، مما يقلل من الحاجة إلى العمل الشاق. أدى هذا النهج إلى خفض تكاليف التشغيل بنسبة 40٪ مقارنة بوضع العلامات اليدوية الصلبة.

للتعامل مع الفروق الدقيقة في Hinglish على المستوى الدقيق ، تم تطوير طريقة ترميز مخصصة حساسة للسياق. يعالج هذا النهج النص المختلط بالتعليمات البرمجية من خلال حساب تبديل اللغة وعلامات الترقيم والرموز التعبيرية وتجزئة الكلمات الفرعية ، مما يتيح تعليقا توضيحيا أكثر دقة للعاطفة في النص الهندي والإنجليزي المختلط. على المستوى الدقيق ، قمنا بتطوير ترميز مخصص حساس للسياق لنص Hinglish. يعالج إطار العمل تعقيدات النص المختلط بالتعليمات البرمجية من خلال دمج قواميس المشاعر ثنائية اللغة ، وترميز الكلمات الفرعية ، والترميز المخصص الحساس للسياق. حلت القواعد المعجمية 89٪ من الغموض في تبديل التعليمات البرمجية.

يرتكز عملنا على النظريات النفسية الراسخة للعاطفة ، مثل نظرية العواطف المنفصلة ونظرية التقييم المعرفي. يوضح البحث قابلية التوسع في نهج الاستجابة للأزمات ومراقبة وسائل التواصل الاجتماعي ، مما يوفر مخططا لتطبيقات البرمجة اللغوية العصبية متعددة اللغات منخفضة الموارد.

يشرح الجدول 1 الدراسات المتاحة لنفس مجال المشكلة. من مسح الأدبيات والملخص المجدول، يمكن استنتاج أن معظم الدراسات لا يمكنها الهروب من القيام ببعض الأعمال الأولية على التعليقات التوضيحية باستخدام الطرق اليدوية. قلة من الباحثين يتبعون الأساليب شبه الآلية⁴¹. ومع ذلك ، فإن الاختلاف الحقيقي في الأداء يأتي من استخدام نموذج تعليمي فعال يمكنه أتمتة عملية التعليقات التوضيحية. يجب أن يتطابق المحتوى العاطفي للتغريدات مع النظريات التي تشرح مسارات عواطف البشر وتنظيم المشاعر. يحدد القسم التالي المشكلة بناء على قيود النهج الحالية والنتائج التجريبية للأوراق.

درس	مجموعة البيانات	وجدان	أساليب	المجال	عملية وضع العلامات	الفجوات			النطاق المستقبلي
[31]	9,000,000 تغريدة	التوتر والاكتئاب والغضب والحيوية والتعب ،	ملف تعريف الارتباك للحالات المزاجية	الإنكليزية	لا يوجد وضع العلامات	تتجاهل الدراسة الاختلافات العاطفية الدقيقة مثل المفاجأة أو الفرح أو الخوف ، مما يشير إلى أن تصنيف المشاعر يمكن أن يعزز قابلية تفسير ودقة اتجاهات المشاعر ، لا سيما فيما يتعلق بالأحداث الاجتماعية والاقتصادية.			يمكنه التحقيق في كيفية التقاط وفحص مجموعة من التعبيرات العاطفية بشكل أفضل في بيانات وسائل التواصل الاجتماعي من خلال استخدام طرق التصنيف الآلي وتصنيفات المشاعر الراسخة.
[32]	7000 تغريدة	الغضب ، الاشمئزاز ، الخوف ، الفرح ، الحب ، الحزن ،	دعم آلة ناقلات	الإنكليزية	يدوي	قابلية تعميم مجموعة البيانات محدودة بسبب خصوصية موضوعها وعدم تمثيل استخدام Twitter بشكل عام.  نظرا للتفسير الذاتي والحد الأدنى من السياق ، والذي يظهر في اتفاق متواضع بين المعلقين ، من الصعب التعليق على المشاعر في تغريدات موجزة وغير رسمية.			سيركز العمل المستقبلي على تطوير نماذج محسنة للكشف عن المشاعر من خلال دمج الفروق بين الأنماط اللغوية الخاصة بالموضوع والأنماط اللغوية الخاصة بالعاطفة، مما يتيح تصنيفا أكثر دقة في سياقات التغريدات المتنوعة.
[33]	21,000 تغريدة	الغضب ، الاشمئزاز ، الخوف ، الفرح ، الحزن ، المفاجأة	دعم آلة ناقلات	------	استخدام الهاشتاج	المجموعات الحالية المسماة بالعاطفة محدودة الحجم والمجال ، وتفتقر إلى مجموعات بيانات كبيرة ومتنوعة للمدونات الصغيرة. التغريدات قصيرة وصاخبة ومحدودة السياق، مما يجعل اكتشاف المشاعر بدقة والتعليقات التوضيحية أمرا صعبا.			في العمل المستقبلي ، قد تتضمن الدراسة توسيع معجم المشاعر بمرادفات وعلامات تصنيف إضافية لتحسين التغطية ودقة الكشف.
[34]	16485 تغريدات	الغضب ، الاشمئزاز ، الخوف ، الفرح ، الحزن ، المفاجأة	دعم انحدار ناقلات	الصينية	يدوي	غالبا ما تتجاهل طرق تصنيف المشاعر التقليدية السبب الكامن وراء العواطف ، مما يحد من جودة الميزات. يتطلب استخراج أسباب المشاعر بدقة من منشورات المدونات الصغيرة القصيرة وغير الرسمية أنظمة قوية قائمة على القواعد ومعرفة بالمجال.			يمكن أن يؤدي الاستكشاف الإضافي لتحليل سبب المشاعر إلى تعزيز نماذج الكشف عن المشاعر وفتح اتجاهات جديدة في فهم المشاعر النصية.
[35]	10,040 تغريدة	الخوف ، الأمل ، الفرح ، الغضب ، المفاجأة ، الحزن ، الاشمئزاز	LDA ، اتفاق بين المقيمين	هينغلش	يدوي	هناك نقص في مجموعات البيانات المنظمة المتاحة للجمهور ل Hinglish ، خاصة تلك التي تلتقط الفروق الدقيقة العملية والعاطفية في المحتوى المتعلق بالأزمات. Hinglish هي لغة غير قياسية مختلطة بالتعليمات البرمجية ، وتعقد الاختلافات الإقليمية تحليل المشاعر الدقيقة والتعليقات التوضيحية.			لتوسيع مجموعات البيانات متعددة الوسائط ، ودمج التحليل العملي العميق مع نماذج التعلم الآلي ، ومعالجة قابلية التوسع لتتبع المشاعر في الوقت الفعلي في خطاب الصراع.
[36]	134,000 تغريدة	نشط ، غير نشط سعيد ، غير سعيد	دعم آلة ناقلات وأقرب الجيران K	هينغلش	استخدام علامات التصنيف	إن وضع العلامات اليدوية على المشاعر للتغريدات يتطلب عمالة كثيفة وغير متسق، مما يحد من جهود تصنيف المشاعر على نطاق واسع تفتقر التعليقات التوضيحية الجماعية إلى الموثوقية ، لا سيما في تحديد مستويات إثارة المشاعر ، مما يسلط الضوء على الذاتية في تفسير العاطفة.			ركز على تحسين الملصقات المستندة إلى الهاشتاج وتوسيع نماذج الكشف عن المشاعر لتحسين الدقة وقابلية التعميم عبر السياقات العاطفية المتنوعة.
[37]	3,000 طالب وعالم نفس وغير علماء نفس من 37 دولة	الفرح والخوف والغضب والحزن والاشمئزاز والعار والذنب.	--	-----	يدوي	استكشاف محدود لكيفية تأثير العوامل الثقافية على تنظيم والتعبير عن مشاعر معينة عبر المجتمعات المتنوعة. يظل تحقيق التوازن بين الأدلة على الأنماط العاطفية العالمية والاختلافات المحددة ثقافيا في إثارة المشاعر وتفسيرها أمرا معقدا.			يجب أن تبحث المزيد من الدراسات في التفاعل بين العالمية البيولوجية والسياق الثقافي في تشكيل التجربة العاطفية والتواصل
[38]	12000	السعادة والحزن والغضب	اتفاقية بين المقيمين	الهندية + الإنجليزية	يدوي	يفتقر البحث الحالي إلى مجموعة بيانات شاملة ومشروحة ونماذج موحدة للكشف عن مشاعر Hinglish. تجعل القواعد غير المنتظمة والطبيعة المختلطة لنصوص وسائل التواصل الاجتماعي التصنيف الدقيق للمشاعر أمرا صعبا.			سيركز العمل المستقبلي على توسيع فئات المشاعر وتطوير مجموعات بيانات أكبر ومتعددة اللغات مختلطة من التعليمات البرمجية.
[39]	2866	السعادة والحزن والغضب والمفاجأة والحزن	دعم آلة ناقلات	Hinglish (الهندية + الإنجليزية)	يدوي	عدم وجود مجموعات بيانات مختلطة بالتعليمات البرمجية المشروحة بالعاطفة.  يختلف التعبير عن المشاعر في النص المختلط بالتعليمات البرمجية باختلاف اللغات والنصوص ، مما يجعل التعليقات التوضيحية والتصنيف معقدين.			يمكن أن يوسع العمل المستقبلي المجموعة ليشمل المزيد من التنوع العاطفي ، ودمج وضع علامات على جزء من الكلام ، واستكشاف المحتوى المختلط متعدد اللغات.
[40]	13738	---	الترجمة الآلية مترجم جوجل	هينغلش	يدوي	تفتقر أنظمة الترجمة الآلية الحالية إلى الدقة في بيانات الوسائط الاجتماعية المختلطة بالتعليمات البرمجية بسبب عدم وجود مجموعات متوازية كبيرة خاصة بالمجال. يؤدي الاختلاف الإملائي العالي والبنية غير الرسمية والغموض في تحديد اللغة إلى تعقيد ترجمة النص الهندي الإنجليزي بالحروف اللاتينية.			يمكن أن تدعم المجموعة تطوير أنظمة الترجمة المختلطة بالتعليمات البرمجية وتمتد إلى لغات أخرى منخفضة الموارد ومهام البرمجة اللغوية العصبية مثل التعرف على الكيانات المسماة
[41]	11527	إيجابي ، إيجابي جدا وسلبي ، سلبي للغاية	التصنيف القائم على kNN ، تمثيل BOW	السياسيون الفرنسيون	يدوي	التوافر المحدود لمجموعات البيانات المشروحة عالية الجودة للتنقيب عن الرأي السياسي باللغات غير الإنجليزية. تعد الموازنة بين تقليل ضوضاء التعليقات التوضيحية والاحتفاظ بالمعلومات والتعامل مع التوزيع غير المتكافئ للملصقات في مجموعات بيانات التغريدات واسعة النطاق من الصعوبات الرئيسية.			قد يعمل العمل المستقبلي على تحسين أساليب التعلم النشط للحفاظ على المحتوى النقدي بشكل أفضل مع تقليل ضوضاء التعليقات التوضيحية في الخطاب السياسي متعدد اللغات.
[42]	764,416	---	Kmeans Clustering ، SVM	الإنكليزية	شبه خاضع للإشراف	يتم تقييد وضع العلامات في الوقت الفعلي وتحديث النموذج في تحليل المشاعر بسبب تباين تدفق البيانات وتكلفة الملصقات وقابلية توسع النظام.			سيستكشف العمل المستقبلي تصنيف المشاعر متعددة الفئات ، ودمج استراتيجيات وضع العلامات الإضافية ، وتوسيع التحكم في إنشاء النموذج الأولي

الجدول 1: الدراسات المتاحة مع طرق وضع العلامات المقابلة. يقدم الجدول نظرة عامة مقارنة كاملة على الدراسات الحالية ، وتناول التعليقات التوضيحية للعاطفة وإنشاء المشهد المنهجي وتصور مساهمة العمل الحالي في الأدبيات الموجودة.

بيان المشكلة
تتأثر المشاعر الأكثر دراسة في التعليقات التوضيحية بشكل كبير بالنماذج النفسية التأسيسية مثل Ekman's و Plutchik ، مع التركيز بشكل أساسي على الفئات الأساسية مثل الغضب والخوف والسعادة والحزن والمفاجأة وما إلى ذلك⁴⁴ . ومن ثم ، في هذا العمل البحثي ، نعتزم العمل على دلالات راسخة للعواطف. يكمن التحدي في تطوير إطار حسابي ديناميكي ، F ، قادر على التعليق بدقة على مثيلات نص Hinglish (ti) من مجموعة T تركز على الحروب والصراعات مع تسميات العاطفة (ei) من مجموعة محددة مسبقا E = {e₁ ، e₂ ، ... ، e₈}. يجب أن يجمع هذا الإطار مبادئ من النظرية البنائية للعاطفة ، ونظرية الأحداث العاطفية (AET) ، ونظرية العواطف المنفصلة ، ونظرية التقييم المعرفي لنمذجة المشهد العاطفي متعدد الأوجه للخطاب المرتبط بالصراع. كل مثيل نصي ti في T معقد لغويا ، ويمزج بين الهندية (بالخط الروماني) والإنجليزية والرموز التعبيرية والرموز ، مما يستلزم نهجا متعدد الطبقات لالتقاط التعبيرات العاطفية الدقيقة.

قد يتضمن النموذج الحسابي للعواطف المتعلقة بالحرب (كدراسة حالة) نهجا متعدد الأوجه ، بدءا من القواعد المعجمية التي تتناول الفروق الدقيقة القائمة على Hinglish. يشمل الترميز ، الذي يشار إليه باسم T ، النصوص الرومانية (الهندية المكتوبة بالخط الروماني) ، جنبا إلى جنب مع الرموز التعبيرية وعلامات الترقيم ، مما يشكل أساس معالجة اللغة. قواميس المشاعر ، الممثلة في D ، ترسم الكلمات عبر اللغات إلى مشاعر محددة ، مثل الغضب والفرح وغيرها ، حيث يرتبط كل emotion_i words_j في language_k. يقسم تحلل الكلمات الفرعية ، S ، المصطلحات المركبة إلى كلمات فرعية مكونة لها ، مما يتيح فهما أعمق للتعبيرات المعقدة. بعد ذلك ، تستخدم تقنيات التعلم الآلي ، M ، التضمينات ، E ، مثل Word2Vec / fastText ، لتحويل الرموز المميزة إلى تمثيلات متجهة ، vector_v ، مما يسهل التحليل العددي. ثم تتنبأ مصنفات الفرقة ، C ، مثل Random Forest ، بتسميات المشاعر ، emotion_label_p ، من مجموعات المتجهات هذه. لتحسين نموذج تعلم التعليقات التوضيحية بشكل متكرر ، يتم استخدام آلية تعلم نشطة ، AL. ملاحظات الخبراء ، F ، تنقيح الحالات الغامضة ، ambiguous_sample_q ، من خلال تعيين refined_label_r ، وتقديم تصحيحات حاسمة. يركز تحديد أولويات العينة ، P ، على العينات منخفضة الثقة ، low_confidence_sample_s ، وتعيينها annotation_priority_t ، وبالتالي تحسين عملية التعليقات التوضيحية.

من خلال دمج هذه المكونات والنظريات ، يهدف هذا الإطار إلى معالجة نص Hinglish ديناميكيا ، وربط الفروق اللغوية والثقافية الدقيقة ، وصقل التعليقات التوضيحية للعاطفة بشكل تكيفي ، مما يوفر حلا قابلا للتطوير لتحليل الأبعاد العاطفية في خطاب الصراع.

Protocol

يشرح هذا القسم أيضا كيفية إنشاء إطار العمل متعدد الوسائط للتعليق التوضيحي العاطفي 8. يبدأ القسم بمناقشة خصائص مجموعة البيانات ، متبوعة بالإجراءات اللاحقة. لفهم أفضل لإجراءات البحث ، راجع الشكل 1.

الشكل 1: الإطار المنهجي للتعليق التوضيحي للعاطفة. يشرح الشكل العاطفة الفعالة ، والتعليق التوضيحي للنص التفصيلي الذي يجمع بين التعلم الآلي ، والتعلم النشط ، وقواعد المعجم الديناميكي من خلال مدخلات الخبراء ، ويتم تحسين الأمثلة المصنفة بشكل خاطئ تدريجيا لزيادة الدقة وخفض تكلفة التعليقات التوضيحية. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

إعداد مجموعة البيانات
يبدأ جمع البيانات بتحديد قائمة شاملة من الكلمات الرئيسية وعلامات التصنيف المتعلقة بالحرب والصراع والعواطف المرتبطة به. تم استخدام موارد مثل الأدبيات الأكاديمية والمقالات الإخبارية واتجاهات وسائل التواصل الاجتماعي لتجميع القوائم ذات الصلة والقائمة.

وفقا للشكل 1 ، بعد جمع التغريدات والمعالجة المسبقة للبيانات ، يشارك الخبراء البشريون في وضع العلامات اليدوية ووضع القواعد المعجمية التي يجب دمجها لتحسين عملية التعليقات التوضيحية. باستخدام هذه الكلمات الرئيسية (الصراع ، الحرب ، الأزمة ، الحماس ، إلخ) ، تم جمع مجموعة بيانات أولية من 10,040 تغريدة وعملت كأساس للوسم اليدوي حيث تم تعليق كل تغريدة بثمانية مشاعر محددة مسبقا (الغضب ، الخوف ، السعادة ، الحزن ، الإحباط ، التعاطف ، المختلط ، أخرى ذات صلة بمجال الحرب والصراع. تم إجراء عملية وضع العلامات اليدوية من قبل فريق من الخبراء يتقنون اللغتين الهندية والإنجليزية ، مما يضمن التقاط الفروق الدقيقة في اللغة الإنجليزية بدقة.

يتم وصف مثال على المعالجة أدناه.

الترميز والمعالجة المسبقة:
تغريدة الإدخال: "Mujhe Bhayanak lag raha hai "
الإخراج الرمزي: ["Mujhe" ، "Bhayanak" ، "lag" ، "raha" ، "hai" ، """]
التعامل مع النص الروماني: يتم الاحتفاظ بالكلمات الهندية ("Mujhe" ، "Bhayanak") بالخط الروماني.
اكتشاف الرموز التعبيرية / الرمز: "" معزول كرمز رمزي.

رسم خرائط قاموس المشاعر (D):
قم بتعيين رموز المعالم للعواطف في E باستخدام معاجم العاطفة ثنائية اللغة (الهندية / الإنجليزية): "Bhayanak" (الهندية لكلمة "رهيب") → Fear; "lag raha hai" (عبارة سياقية تشير إلى العاطفة المستمرة) → الخوف. "" → الغضب

تحلل الكلمات الفرعية (S):
تحلل المصطلحات المعقدة لتحليل أعمق: "Bhayanak" → ["Bhay" (خوف) ، "anak" (لاحقة)] لتوضيح جذرها الدلالي في الخوف.

تضمين الجيل (E):
قم بإنشاء تضمينات الرمز المميز باستخدام Word2Vec/fastText: تضمينات ل ["Mujhe" و "Bhayanak" و "lag" و "raha" و "hai" و ""] → المتجهات v₁ و v₂ و v₃ و v₄ و v₅ و_{v 6}.
قاعدة التجميع: متوسط تضمينات الرمز المميز لإنشاء متجه دلالي عالمي:
V_avg = (الخامس₁ + الخامس₂ +_{الخامس 3} +_{الخامس 4} + الخامس₅ +_{الخامس 6}) / 6

استخراج الميزات المستندة إلى القواعد:
استخراج الميزات المساعدة للتسلسل. تهم علامات العاطفة: الخوف: 2 حالات ("Bhayanak" ، "lag raha hai") ؛ الغضب: مثيل واحد ("").
علم تبديل الرمز: العلم الثنائي = 1 (الرموز الهندية والإنجليزية المختلطة: "Mujhe" [الهندية] ، "lag" ، "raha" ، "hai" [مشتق من الهندية]).

ميزة الانصهار:
اجمع بين التضمينات المجمعة والميزات المستندة إلى القواعد في متجه إدخال موحد: المتجه الدلالي العالمي = V_avg (متوسط التضمينات) ، Emotion Counts = [الخوف: 2 ، الغضب: 1 ، آخرون: 0] ، علامة تبديل الرمز = 1
متجه الإدخال النهائي لقاعدة التسلسل = V_avg [الخوف: 2 ، الغضب: 1 ، آخرون: 0] [1]
تعالج خوارزمية التعلم الآلي هذا المتجه النهائي ، وتبدأ العملية التكرارية لتحسين التعليقات التوضيحية. في القسم التالي ، نناقش أداء طريقة التعلم النشط المعتمدة لهذا الغرض.

بعد ذلك ، تم توسيع مجموعة البيانات إلى 19,000 تغريدة. تم تنسيق مجموعة البيانات هذه باستخدام مجموعة من التقنيات الآلية وشبه الآلية ، والاستفادة من البصيرة المكتسبة من التعليقات التوضيحية اليدوية الأولية. تم تحسين مجموعة البيانات الموسعة بشكل أكبر من عملية التعلم التكرارية ، حيث تضمنت تحديد البيانات / التغريدات الغامضة وتحديد أولوياتها بشكل انتقائي للتعليقات التوضيحية للخبراء والتعليقات التعبيرية من خبراء المجال لتحسين دقة التعليق التوضيحي واتساقه وكفاءته. وخلال عملية جمع البيانات، أولي اهتمام خاص للحفاظ على التوازن بين المشاعر المختلفة، وضمان أن تكون مجموعة البيانات ممثلة للمشاعر المتنوعة التي تم التعبير عنها بشأن الحرب والصراع. تعد مجموعة البيانات الناتجة مصدرا قيما لتحليل نص Hinglish. لفهم أفضل ، يمكن الرجوع إلى الشكل 2 .

الشكل 2: إجراء جمع مجموعات البيانات. يصور الشكل تطور مجموعة البيانات من تحديد الكلمة الأولية إلى وضع العلامات اليدوية ، متبوعا بالتعلم النشط ، إلى مجموعة البيانات المشروحة النهائية. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

يتم الإعداد النهائي لمجموعة البيانات بعد الانتهاء من عملية التحسين التكراري بمساعدة التعلم النشط. تم استخدام التعلم النشط في إطار عمل هجين تضمن القواعد المعجمية والتعلم الآلي ومدخلات الخبراء التكرارية للتعليق على مشاعر أقوال Hinglish. وكانت الخطوات على النحو التالي:

تبدأ العملية بمجموعة بيانات مصنفة يدويا. استخدام مصنف الغابة العشوائية ، والذي تم استخدامه لتحديد التغريدات الغامضة التي كان نموذج التعلم الآلي غير متأكد بشأنها. أرسل هذه العينات الغامضة للتصنيف إلى خبراء بشريين. تم تحديث النموذج بشكل متكرر باستخدام البيانات المشروحة مؤخرا ، والتي حسنت الدقة تدريجيا وقللت من التصنيفات الخاطئة. وضع اللمسات الأخيرة على مجموعة البيانات ومراجعة التعليقات التوضيحية لضمان الدقة. إعداد مجموعة البيانات للتحليل ، والتأكد من توثيقها وتنسيقها بشكل صحيح لاستخدامها في المستقبل لتنفيذها في الحالات النهائية ومع ذلك ، من المهم التحقيق في أنماط العواطف المضمنة في الأقوال حتى تصبح الخطوات المستقبلية أكثر وضوحا من حيث التنفيذ. ومن ثم ، في الخطوة التالية ، سيتم إجراء تحليل الكتلة للعثور على المشاعر السائدة المضمنة في مجموعة البيانات. يساعد هذا أيضا في تحديد المشاعر التي نبحث عنها.

اختيار مجموعات المشاعر
يوضح الجدول 2 مجموعات المشاعر ومعادلاتها Hinglish ، جنبا إلى جنب مع سبب اختيار المشاعر المعنية. من كل مجموعة من العواطف ، تم اختيار عاطفة مهيمنة لمزيد من المعالجة. يتم اختيار هذه المشاعر المهيمنة من التحليل العنقودي.

مجموعة العاطفة	ما يعادل Hinglish	تبرير الاختيار
الخوف (يشمل القلق والذعر)	دار، الخوف، أساهاج، بيكابو، أنغاداي، شينتا، توتر، فكر، أشانكا، أوداسي، بيشيني، غبرهات	الخوف هو عاطفة شائعة في الحرب والنزاعات، حيث يواجه الأفراد تهديدات لسلامتهم ورفاههم. يمكن أن يظهر هذا الخوف بطرق مختلفة ، مثل القلق ونوبات الهلع واليقظة المفرطة.
الغضب (يشمل التهيج والعداء والإحباط والأذى)	جوسا ، راغ ، براكوب ، راودرا ، تشيدهان ، شاتروتا ، كرود ، جوسا ديلانا ، أباتا ، أتیاشار ، خوشفهمي ، هيراني ، بهاياناك ، شاكر كاثيناي	الغضب هو عاطفة أخرى سائدة في الحرب والصراع ، وغالبا ما تنشأ من مشاعر الظلم أو الخيانة أو الخسارة. يمكن لهذا الغضب أن يغذي العدوان والعنف، مما يساهم في الطبيعة المدمرة لهذه الصراعات.
الحزن (يشمل الحزن واليأس واليأس)	أوداسي ، غام ، شوك ، بهافوك ، دوخي ، أوداس ، فيسماي ، نيراشا ، شوك ، دوخي ، فيراغيا ، أشانك ، فيشادا ، بهافوك ، دوخي ، أوداس ، فينامراتا ، بهافوك ، هريدايتودا ، بومار ، نيراشا ، فيناش ، باير ، نيراشا ، أسامبهاف ، هار	الحزن هو استجابة طبيعية للخسارة والحزن ، وهما للأسف تجارب شائعة في الحرب والصراع. قد يشعر الجنود بالحزن لفقدان الرفاق، وقد يحزن المدنيون على أحبائهم الذين قتلوا أو نزحوا، وقد تحزن مجتمعات بأكملها على فقدان منازلهم وأسلوب حياتهم. ويمكن أن تنشأ أيضا مشاعر اليأس واليأس بسبب الطبيعة المطولة للصراع ودورة العنف التي لا نهاية لها على ما يبدو.
العار والذنب	شرم ، لجاباري ، شرم ، لاج ، زيلات ، أفسوس ، جونا ، أفسوس ، باششاتاب ، لاج ، بيتشيني ، آتماساماماربان ، شارمينداجي ، عاشرو ، باششاتاب ، أنتاراتما ، كاسور ، جوناه ، خودكو دوشي مانا ، نيندا ، دوشا	الخجل والذنب من المشاعر المعقدة التي يمكن أن تنشأ من مشاعر المخالفات الشخصية أو الجماعية أو عدم الكفاءة أو الإذلال. في الحرب والنزاعات ، قد يشعر الأفراد بالعار أو الذنب بسبب أفعالهم ، أو عدم قدرتهم على منع إلحاق الأذى بالآخرين ، أو بقائهم على قيد الحياة بينما يموت الآخرون.
كراهية	غين ، نفرات ، أساهاياك ، براتيكول ، غرينا ، فيراغيا ، دفيشا ، ناكاراتماك ، فيبهافسو ، فيراغيا ، فيراغيا ، نيراشا	الاشمئزاز هو شعور بالاشمئزاز أو النفور من شيء ينظر إليه على أنه بغيض أو مسيء. في الحرب والنزاعات ، قد يشعر الأفراد بالاشمئزاز ردا على أعمال القسوة والعنف والهمجية.
التعاطف والرحمة	Sahaaanubhuti ، hamderdari ، Samajhdari ، Daan Sahabhooti ، الحساسية ، الدعم ، الاعتبار ، اللطف ، الرعاية ، الدفء ، الحنان ، دايا ، رهام ، Sahaaanubhuti ، Sahyog ، Dayalu ، Samajh ، Pyar ، Daya ، Narami ، Paropkari	التعاطف والرحمة أمران حيويان لفهم مشاعر الآخرين ومشاركتها. في الحرب والنزاع ، يمكن أن يكون التعاطف أداة قوية للتواصل مع الآخرين الذين عانوا من تجارب مماثلة ، وتعزيز التعاطف ، وتعزيز المصالحة. يمكن أن يحفز التعاطف الأفراد على مساعدة المحتاجين والمساهمة في جهود الشفاء وإعادة البناء.
الأمل والامتنان	أوميد ، آشا ، تشاه ، إيتشا ، سابنا ، أوناتي ، أشفاسان ، خوشي ، أوتساه ، أشيرواد ، سامفيدانشيلاتا ، فيشواس ، بهاروسا ، شوكراغوزار ، إيشاناناند ، شوكرانا ، أبهار ، نامراتا ، سامانيا ، نامان ، أشيرواد ، بادهاي ، دانيافاد ، أبهيفادن ، مانوبهاف ، بهاكتي	الأمل هو شعور بالتفاؤل والتوقع بأن شيئا جيدا سيحدث على الرغم من التحديات والصعوبات التي تواجهها. الامتنان هو شعور بالامتنان والتقدير للأشياء الجيدة في حياة المرء. في الحرب والنزاعات، يمكن أن يكون الأمل مصدرا للقوة والتحفيز، مما يمكن الأفراد من المثابرة والعمل من أجل مستقبل أفضل. يمكن أن يساعد الامتنان الأفراد على التركيز على الجوانب الإيجابية لحياتهم ، وتعزيز المرونة ، وتنمية الشعور بالسلام وسط الاضطرابات.
المرونه	جيلانيك ، هيمات ، ساهاسي ، ساهاس ، ديريا ، ماجبوتي ، سامفيدانشيل ، سامارثيا ، ماجبوتي ، لاشاري	المرونة هي القدرة على التكيف والتعامل مع المواقف الصعبة أو الصعبة. في الحرب والنزاعات، تعد القدرة على الصمود ضرورية للأفراد والمجتمعات للبقاء على قيد الحياة والمثابرة في مواجهة الشدائد.

الجدول 2: تبرير اختيار العاطفة. يرسم الجدول مجموعات المشاعر إلى نظيراتها من Hinglish ويشرح أهميتها في سياقات الحرب والصراع.

ومع ذلك ، تجدر الإشارة إلى أن اختيار هذه المشاعر لا يعتمد فقط على التحليل العنقودي ولكنه يرتكز أيضا على نظريات العواطف ، بما في ذلك نظرية التقييم المعرفي (CAT) ، ونظرية العواطف المنفصلة (DET) ، والنظرية العملية الموجهة (POT) للعاطفة⁴³.

تفاصيل المجموعة
تتكون مجموعة البيانات من مجال خاص (الحروب والصراعات والأزمات) ومجموعات بيانات تغريدات إضافية تحتوي على مزيج من التغريدات الهندية والإنجليزية. الشكل 3 هو لقطة لمجموعات بيانات التغريدات المتاحة للجمهور والتي تتم معالجتها لهذا العمل البحثي. مجموعة البيانات الأساسية متاحة للجمهور في https://data.mendeley.com/datasets/y63frd6pmf/7.

الشكل 3: تفاصيل المجموعة. يتم شرح توفر مجموعة البيانات هنا. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

التعليق التوضيحي لتسميات المشاعر
تم شرح مجموعة أولية من 10,040 تغريدة Hinglish تتعلق بالحرب والصراع يدويا بثمانية ملصقات عاطفية من قبل خبراء ثنائيي اللغة. لمعالجة التعقيد اللغوي للنص المختلط بالتعليمات البرمجية ، تم تطوير إطار معجمي قائم على القواعد ، يتضمن عدة مكونات. يتضمن إطار العمل قواميس خاصة بالعاطفة ترسم المصطلحات الهندية / الإنجليزية للعواطف ، مثل fear_words = {الخوف ، الرهبة ، بهاياناك ، الإرهاب ، } و anger_words = {gussa ، الغضب ، التهيج ، }. ربطت قواعد التكافؤ عبر اللغات المصطلحات (على سبيل المثال ، إذا كان (Ae == Ah): الغضب = gussa | ). يتم استخدام القواعد المعجمية مثل قواميس المشاعر والترميز للغات المختلطة وتحليل الكلمات الفرعية. من أجل التعليق على العواطف ، تقوم هذه القواعد بمعالجة النص مسبقا واستخراج الميزات ، والتي يتم دمجها بعد ذلك مع تضمين التعلم الآلي⁴⁵.

بالنسبة للترميز ، استخدم إطار العمل قواعد مخصصة لتبديل اللغة وعلامات الترقيم والرموز التعبيرية وترميز الكلمات الفرعية. تم ترميز النص الهندي (ديفاناجاري) على مستوى الأحرف ، بينما استخدمت اللغة الإنجليزية (الرومانية) المسافات البيضاء. مثال: Mujhe frustration hai → [Mujhe ، frustation ، hai]. تم عزل الأحرف الخاصة مثل علامات التصنيف (#) والإشارات (@) كرموز فردية (على سبيل المثال ، #WarCrimes → [# ، WarCrimes]) ، بينما تم تقسيم علامات الترقيم مثل الفواصل (،) وعلامات التعجب (!) إلى رموز منفصلة (على سبيل المثال ، → ، !]).

تم التعامل مع الرموز التعبيرية أيضا على أنها رموز قائمة بذاتها وتم تعيينها للعواطف (على سبيل المثال ، الغضب → والحزن →). تم ترميز الكلمات الفرعية باستخدام نص Devanagari حيث تم تقسيم الكلمات المركبة باستخدام أنماط regex لقواعد Sandhi (على سبيل المثال ، ] [المملكة + العالم]) وتم تقسيم بادئات / لواحق النصوص الرومانية (على سبيل المثال ، لا يصدق → [un ، believable]). للتوسع الخاص بالمجال، تم استبدال الرموز المميزة بتصنيفات عاطفية إذا تمت مطابقتها في القواميس. على سبيل المثال: بهاياناك → الخوف ، داهاد " → الخوف ، غوسا → الغضب. Tweet Mujhe Bhayanak lag raha hai → Tokens [Mujhe ، الخوف ، lag ، raha ، hai].

بعد التوجيه ، تم تحويل الرموز المميزة المعالجة (الكلمات والكلمات الفرعية والرموز التعبيرية) إلى تضمينات 300 بعد باستخدام Word2Vec / fastText. التمثيلات العددية في متجهات الأعمدة للرموز المميزة ، مصفوفة من المتجهات المقابلة للرموز المميزة. يتوافق كل صف مع متجه تضمين مرتبط برمز مميز في النص ، يمثل ترتيب الرمز المميز. تشير الأعمدة الموجودة في صف إلى الأبعاد في مساحة التضمين. تحتوي المتجهات على أرقام حقيقية محسوبة باستخدام Word2Vec و FastText. قد تشير الرموز المميزة ذات المتجهات الصفرية ، والتي تم تصويرها بواسطة صفوف ذات جميع القيم الصفرية ، إلى مسافات أو أحرف خاصة تفتقر إلى معلومات ذات مغزى في هذا التمثيل. تهدف عمليات التضمين إلى التقاط علاقات الكلمات السياقية لتحسين التعليقات التوضيحية. تشير المتجهات غير الصفرية إلى تمثيلات ذات مغزى للكلمات أو الرموز. تقوم القيم الموجودة في هذه المتجهات بتشفير العديد من الميزات الدلالية والنحوية. تمثل المتجهات الصفرية عادة الرموز المميزة أو المساحة أو الرموز غير المعروفة. يعكس التباين في القيم ثراء الميزات التي تم التقاطها بواسطة نموذج التضمين. تلتقط أبعاد المتجهات المختلفة جوانب متنوعة من معنى الكلمة وسياقها واستخدامها. يوضح الشكل 4 كيفية تمثيل المتجهات ، ومن الشكل 5 ، يمكن فهم الآثار المترتبة على استخدام عملية التوجيه.

الشكل 4: الترميز المخصص. يوضح الشكل كيفية تمثيل المتجهات في مساحة التضمين ويوضح كيف يتم نقل كل رمز مميز إلى تنسيق رقمي الرجاء النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 5: عملية توجيه الرمز المميز وآثارها. يوضح الشكل الآثار المترتبة على هذه العمليات والمكونات ، ويسلط الضوء على كيفية التقاط هذه التضمينات دلالات العواطف من أجل تصنيف عاطفي دقيق. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

وفقا لتدفق البحث ، تبدأ العملية بتحليل نص الإدخال ، وتوسيع الرموز المميزة باستخدام القواميس المستندة إلى القواعد ، ثم تقسيم هذه الرموز إلى كلمات فرعية. يوفر هذا النهج فهما للمحتوى العاطفي للنص والسياق الثقافي ، ويرد أدناه المنطق الزائف للبحث.

تهيئة قواميس المشاعر (على سبيل المثال ، fear_words = {"الخوف" ، "الرهبة" ، "Bhayanak" ، ...}): تعيين Ae = Ah
SubwordRules(رمز مميز ، نص): إذا → تقسيم Devanagari باستخدام التعبير العادي (مركب / ساندي) ، إذا كان → الروماني تقسيم البادئات / اللواحق باستخدام التعبير العادي ، فقم بإرجاع الكلمات الفرعية
DomainSpecificExpansion (token): إذا كان الرمز المميز في القواميس العاطفية / اللغوية → يعيد العاطفة
وإلا → إرجاع رمز مميز
ProcessTweet (text): تحديد التعبير العادي ل Devanagari و Roman و others ؛ استخراج الرموز باستخدام التعبير العادي ؛ تطبيق DomainSpecificExpansion وSubwordRules على الرموز المميزة؛ إرجاع الكلمات الفرعية التي تمت معالجتها
توجيه الرموز المميزة إلى تضمينات رقمية
تطبيق التعلم النشط مع التغذية الراجعة البشرية

Results

تشير نتائج هذا البحث إلى أن دمج القواعد المعجمية مع التعلم الآلي وتقنيات التعلم النشط يوفر مسارا قابلا للتطبيق لتعزيز كفاءة ودقة التعليق التوضيحي للعاطفة في النص المختلط بالتعليمات البرمجية. من خلال التحسين التكراري واقتراح الخبراء ، تمكن الإطار المقترح من تحقيق تخفيضات ملحوظة في الجهد اليدوي مع الحفاظ على الأداء العالي عبر مصفوفات التطور. تشير النتائج إلى إمكانية تطبيق أوسع في المجالات التي تتطلب حلا قابلا للتطوير للتعرف على المشاعر ، لا سيما في البيئات متعددة اللغات ومحدودة الموارد مثل ...

Discussion

تم تنسيق مجموعة البيانات لهذه الدراسة باستخدام مزيج من التعليقات التوضيحية اليدوية والتعلم النشط. في البداية ، تم تصنيف 10,040 تغريدة Hinglish المتعلقة بالحرب والصراع يدويا بثمانية مشاعر محددة مسبقا. ثم تم توسيع مجموعة البيانات إلى 19,000 تغريدة باستخدام نهج شبه آلي. مكن التعلم النشط من تدخل الخبراء الانتقائي ، مما قلل من الجهد اليدوي بنسبة 40٪ مع الحفاظ على دقة تعليق توضيحي عالية بنسبة 81٪ مع درجة F تبلغ 0.76. لعبت القواعد المعجمية والقواميس الخاصة بالعاطفة دورا حاسما في حل 89٪ من أوجه الغموض في تبديل التعليمات البرمجية...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
النص السريع	فيسبوك الذكاء الاصطناعي	غير متاح	تمثيل الكلمات وتصنيفها
جوجل كولاب	جوجل	غير متاح	بيئة Jupyter Notebook المستندة إلى السحابة
Google Colab GPU / TPU	جوجل	غير متاح	تسريع الأجهزة المستندة إلى السحابة
إنتل كور i5 / i7 أو AMD Ryzen 5/7	إنتل / AMD	غير متاح	معالج للتنفيذ المحلي (إذا لزم الأمر)
ماتبلوتليب	مفتوح المصدر	غير متاح	مكتبة تصور البيانات
NLTK	مفتوح المصدر	غير متاح	مجموعة أدوات اللغة الطبيعية لمعالجة النصوص
رقم	مفتوح المصدر	غير متاح	مكتبة الحوسبة العددية
بطاقة الرسومات NVIDIA GTX 1650 أو أعلى (اختيارية)	نفيديا	غير متاح	وحدة معالجة الرسومات لمهام التعلم العميق
الباندا	مفتوح المصدر	غير متاح	مكتبة معالجة البيانات
بايثون	مؤسسة برامج بايثون	غير متاح	لغة برمجة التعلم الآلي والبرمجة اللغوية العصبية
باي تورش	ميتا الذكاء الاصطناعي	غير متاح	إطار عمل التعلم العميق
ذاكرة الوصول العشوائي (8 جيجابايت كحد أدنى، يوصى ب 16 جيجابايت)	مختلف	غير متاح	متطلبات الذاكرة لمهام التعلم الآلي
تعلم العلوم	مفتوح المصدر	غير متاح	مكتبة التعلم الآلي
سيبورن	مفتوح المصدر	غير متاح	تصور البيانات الإحصائية
سبابسي	انفجار الذكاء الاصطناعي	غير متاح	مكتبة البرمجة اللغوية العصبية ذات القوة الصناعية
تخزين SSD (256 جيجابايت كحد أدنى ، يوصى ب 512 جيجابايت)	مختلف	غير متاح	تخزين لمعالجة مجموعة البيانات
TensorFlow	جوجل	غير متاح	إطار عمل التعلم العميق