الوكيل الافتراضي للمقابلات التحفيزية في الوقت الحقيقي من خلال دمج السلوك غير اللفظي التكيفي ونماذج اللغة

تبحث أبحاثنا في التفاعل متعدد الوسائط مع التركيز على تكييف السلوك اللفظي وغير اللفظي للوكيل الافتراضي، مثل تعبيرات الوجه أثناء التفاعل. التحليلات الحديثة في تعلم الآلة، وخاصة نموذج اللغة الكبير، تتيح تفاعلا أكثر طبيعية ومرونة بين الإنسان والحاسب. للبدء، جهز جهاز كمبيوتر يعمل بنظام ويندوز للتجربة.

قم بتثبيت Java SE Development Kit 8 من المصدر الرسمي للتوزيعة. ثم قم بتثبيت Visual C+Redistributable للعبة Visual Studio 2013. اطلب ترخيص CereProc من خلال بوابة التقديم الإلكترونية.

قم بتثبيت OpenFace من المستودع المقدم. احصل على كاميرا ويب لالتقاط الفيديو. بعد ذلك، قم بتنزيل إصدار برنامج Greta من المستودع المحدد.

قم بتجميع البرنامج باستخدام NetBeans وفقا للتعليمات المرفقة. احصل على مفتاح واجهة برمجة تطبيقات Mistral من وحدة التحكم الإلكترونية. أنشئ الملف، ثم قم بلصق مفتاح واجهة برمجة التطبيقات في الملف الذي تم إنشاؤه.

الآن، احصل على مفتاح واجهة برمجة تطبيقات Deepgram من وحدة التحكم الإلكترونية. أنشئ مسار الملف والصق مفتاح واجهة برمجة التطبيقات في الملف الذي تم إنشاؤه. لاستيراد موديل MoDiff، قم أولا بتحميل أوزان موديل MoDiff من المصدر المقدم.

ضع الملف المحمل في مجلد بيانات MoDiff. في المرة القادمة، أطلق Modular JAR. انقر على ملف، فتح، غريتا، متقدم، واختر 20250128 Greta Expe Lucie_full.xml.

تأكد من أن التكوين المعروض يطابق الإعداد المتوقع. الآن ابدأ برنامج ZeroMQ عبر الإنترنت من OpenFace. في تبويب التسجيل، قم بإلغاء تحديد جميع الخيارات باستثناء البث باستخدام ZeroMQ.

في تبويب الملفات، اضغط على فتح كاميرا الويب. تفوض استخراج الميزات الحية باستخدام كاميرا الويب المتاحة. اختر كاميرا الويب التي ستستخدمها.

انتظر حتى يتم تحميل كاميرا الويب وبدء استخراج الميزات الحية تلقائيا. بعد ذلك، في قارئ تدفق الإخراج في OpenFace2، اضغط على الاتصال. انتظر حتى تظهر قائمة الميزات المتاحة.

انقر على اختيار الجميع ثم قم بالتحقق من الميزات المحددة. تحت MoDiff، اضغط على التشغيل وانتظر رسالة تأكيد الاتصال. ثم اضغط على Connect لتفعيل الاتصال بين MoDiff وجهاز استقبال البيانات.

تحت التصفية، انقر على الأداء للسماح بتنفيذ البيانات المولدة. في نافذة MoDiff، اضغط على تفعيل. انتظر 90 ثانية حتى يستقر النموذج.

لتشغيل ASR، في نافذة Dee gram، اضغط على تفعيل. ثم اختر الشرط RL لاستخدام dream أو Baseline لاستخدام نموذج لغوي كبير عادي. في نافذة MI Counselor RL، اضغط على تفعيل.

انتظر 30 ثانية حتى يبدأ النموذج. ضع شاشة كبيرة على الطاولة مع كرسي موضوع أمامها. ضع كاميرا ويب فوق الشاشة المواجهة للكرسي.

ضع ميكروفونا اتجاها على الطاولة أمام الكرسي. اطلب من المشارك إكمال استبيان مقياس توازن القرار أو DBS باستخدام مقياس ليكيرت المكون من خمس خطوات. ثم اطلب من المشارك أن يتحدث عبر الميكروفون.

للبدء، حدد ملف المشارك وقيم درجة DBS. صنف المشارك على أنه مقاوم أو متردد أو معرض للتغيير بناء على الدرجة. في نافذة MI Counselor RL، اختر موضوع النقاش الذي يختاره المشارك.

انقر على زر البدء للسماح للوكيل ببدء النقاش مع المشارك. راقب قسم الإجابات في نافذة مستشار MI بحثا عن مخرجات ضارة. في نافذة ديبغرام، اضغط على الاستماع بعد أن ينهي الوكيل دوره.

إذا لم يتم التعرف على الكلام، أدخل خطاب المشارك في حقل الطلب واضغط على إرسال. انتظر إجابة المشارك. اطلب من المشارك تعبئة استبيانات ما بعد التدخل.

ثم قم بإحاطة المشاركين باستخدام الخطاب المعد معده. أما المستخدمون الذين يتفاعلون مع الوكيل من خلال تعبيرات وجه تكيفية فقد عبروا عن عاطفية إيجابية أكبر في الإفصاح عن الآخرين مقارنة بالمستخدمين في حالات السلوك الأخرى. لم تلاحظ فروق ذات دلالة إحصائية بين ثلاث حالات تعبير في درجات الاستبيان الذاتي لتقييم الموقف، والعلاقة الاجتماعية، وجودة المقابلة التحفيزية.

حالة تعبيرات الوجه غير المتطابقة، أي عندما لا يتم احترام الاحتمال بين الأشخاص، كانت عادة أقل تقييما من حالة غير التعبيرية، أي عندما لا يظهر الوكيل أي تعبير، وتعبير الوكيل التكيفي، أي تعبير الوكيل الذي يدفعه النموذج عبر المقاييس الذاتية. كان للموقف المدرك تأثير مباشر قوي على جودة المقابلة المتصورة. تم التوسط جزئيا بين الموقف المدرك وجودة المقابلة التحفيزية من خلال العلاقة الاجتماعية، حيث شكلت 43٪ من التأثير.

أفاد المشاركون الذين تفاعلوا مع مدير حوار الحلم التكيفي عن علاقة أعلى بكثير مقارنة بأولئك الذين تفاعلوا مع خط الأساس لنموذج اللغة الكبير العادي. أظهر مدير حوار الأحلام تكيفا أفضل مع ملفات المشاركين المختلفة مقارنة بالنموذج الأساسي في درجات الدافع المقاسة بمقياس التوازن القراري. كل من الحالات الأساسية والحالة الحلمية أدت إلى تقييم للعملاء لدرجات المقابلة التحفيزية فوق الحد العلاجي.

تظهر نتائجنا أن تكييف السلوك اللفظي وغير اللفظي حسن بشكل كبير فعالية الوكيل وحسن إدراك الوكلاء الاجتماعيين التفاعليين. تمكن منصتنا من تقييم مكونات تكيفية أخرى، مثل توليد الإيماءات والتعبير عن مواضيع حوار أخرى. سيركز البحث المستقبلي على التفاعل طويل الأمد والتكيف المستمر عبر جلسات حوار متعددة.