التواصل السلس متعدد الوسائط بين الإنسان والروبوت: تقنيات التكامل في التفاعل بين الإنسان والحاسوب

Summary

تجمع هذه المراجعة بين التطورات الحديثة في التعلم العميق، والاستشعار متعدد الوسائل، واستراتيجيات التكامل التي تمكن من التواصل السلس والتكيفي والمتمحور حول الإنسان بين البشر والروبوتات.

Abstract

أصبح التواصل متعدد الوسائط السلس بين الإنسان والروبوت أمرا أساسيا مع انتقال الروبوتات الاجتماعية والمساعدة والتعليمية إلى بيئات يومية مثل المنازل والمرافق الصحية والفصول الدراسية، حيث تحتاج إلى دمج الكلام، والإشارات، والنظرات، وتعبيرات الوجه، والإشارات اللمسية بدقة عالية، وتأخير منخفض، ومتانة واقعية. تفحص هذه المراجعة بشكل منهجي كيف تحقق التقنيات الحالية تفاعلا متعدد الوسائط متبادلا في الوقت الحقيقي بين الإنسان والروبوت (HRI)، مع التركيز على استراتيجيات الاندماج، وبنى الأنظمة، والتطبيقات في مجالات محددة. بحثنا في مجموعة Web of Science الأساسية للدراسات التجريبية باللغة الإنجليزية من 2015 إلى 2025، واخترنا 148 ورقة بحثية تتناول التكامل التواصلي. تشمل أهم الرؤى تحولا واضحا نحو الاندماج الهجين والقائم على الانتباه منذ عام 2022 (حوالي 43٪ من الأساليب)، والتي تتعامل بشكل أفضل مع عدم التزامن الزمني والتفاعلات المتجسدة مقارنة بالطرق السابقة؛ عدم الاتساق الواسع في مقاييس التقييم الذي يعيق المقارنات بين الدراسات؛ وفجوة مستمرة بين الأداء القوي للمختبر وضعف المتانة الواقعية تحت الضوضاء أو الإخفاء أو تغير المستخدم. تشمل التحديات الرئيسية المعالجة في الوقت الحقيقي، والمحاذاة الدلالية، وكفاءة البيانات، ومتانة النشر، والتكامل غير المستكشف للإشارات اللمسية مع التأثير. بالنظر إلى المستقبل، تقترح المراجعة إعطاء الأولوية لسياسات الاندماج التكيفي، ومعايير موحدة للمزامنة والطلاقة، والتعلم المستمر لتمكين التكيف المخصص للمستخدم. في النهاية، يهدف إلى توجيه تطوير عوامل روبوتية أكثر تركيزا على الإنسان يمكنها التفاعل بشكل تعاوني وذو معنى ومقبول اجتماعيا في الحياة اليومية.

Introduction

تطورت الروبوتات من أدوات صناعية في بيئات منظمة إلى عوامل متأصلة اجتماعيا في المنازل والمستشفيات والفصول الدراسية. الآن يساعدون في التعليم والعلاج والرفقة، مما يعكس تحولا من الأتمتة الموجهة نحو التفاعل التكيفي المرتكز على المستخدم. في صميم هذا الانتقال يكمن التواصل متعدد الوسائط، مما يمكن الروبوتات من إدراك والاستجابة للإشارات البشرية—الكلام، النظرة، الإيماءات، تعابير الوجه، واللمس—بدقة زمنية ضرورية للتبادل الطبيعي في البيئات الديناميكية. يتماشى هذا التركيز على التنسيق والاستجابة مع الاهتمامات المركزية في التفاعل بين الإنسان والحاسوب وعلوم الإدراك. في هذه المراجعة، يشير التواصل متعدد الوسائط السلس إلى التفاعلات التي تبدو سلسة وبديهية للمستخدمين، وتتميز بأوقات استجابة أقل من الثانية (عادة أقل من 300 مللي ثانية)، وتأخيرات أو عدم تطابقات ملحوظة قليلة، وتكيف قوي مع التغيرات الواقعية. وهذا يميزه عن الأنظمة التقليدية المعتمدة على الأوامر أو أحادية الوضع، حيث تعطل أخطاء التوقيت أو فشل الأساليب أو الاستجابات الصلبة التدفق الطبيعي.

ضمن تفاعل الإنسان والروبوت (HRI)، يركز هذا الاستعراض على التواصل بين الإنسان والروبوت، والذي يعرف بأنه التبادل المتبادل في الوقت الحقيقي للإشارات متعددة الوسائط بين البشر والروبوتات. بينما يشمل HRI أيضا التخطيط والسيطرة والسلامة، يتعلق التواصل بتزامن الإدراك والفعل عبر القنوات الحسية. كانت الأنظمة المعتمدة على القيادة المبكرة تعطي الأولوية للكفاءة على الاشتباك، وغالبا ما تنتج سلوكا جامدا أو متأخرا. يتبع العمل المعاصر نماذج تكيفية وواعية للسياق تستوعب حالة المستخدم والمشاعر ^1,2. يؤكد هذا التطور الحاجة إلى أطر تفاعل دقيقة وبديهية وشخصية.

كانت الروبوتات الاجتماعية والمساعدة في البداية تعتمد عادة على روتينات مكتوبة أو مدخلات ذات طريقة واحدة مثل الصوت أو اللمس، مما حد من المرونة³. غالبا ما أدى المنطق القائم على القواعد وبطء المعالجة إلى عدم تطابق التوقيت بين الإيماءات والكلام، أو إلى ضعف التكيف مع سلوك المستخدم. لمعالجة هذه القضايا، يستخدم الباحثون الاندماج منخفض التأخير، والتكامل الحسي متعدد الوسائط، والتعلم التكيفي للمستخدم ^4,5. يمكن فهم هذه الاستراتيجيات من خلال ثلاثة مبادئ أساسية للتواصل معترف بها على نطاق واسع في HRI: التكامل (الأساليب تعوض بعضها البعض)، التكرار (التداخل يحسن المتانة)، والتآزر (التقارب يعزز الطبيعية).

أسفرت التطورات في الاستشعار والتعلم عن روبوتات اجتماعية متجاوبة تدمج المدخلات البصرية والسمعية واللمسية والفسيولوجية في الوقت الحقيقي ^5,6. بدلا من السكربتات الثابتة، تتكيف هذه الأنظمة باستمرار مع إشارات المستخدم. تسمح واجهات البرمجة السهلة وطرق التعلم من خلال العرض التوضيحي للمعلمين والمعالجين بتخصيص السلوكيات للرعاية والتعليم، حيث تكون الدقة والاستجابة والقدرة على التكيف ضرورية.

يمكن تصنيف أنماط التواصل في مؤشر HRI الاجتماعي إلى أنماط متوازية، مكملة، وتفاعلية (الشكل 1). في التفاعل المتوازي، يتصرف البشر والروبوتات بشكل مستقل مع تبادل محدود جدا. التفاعل التكميلي يقدم محفزات منظمة أو دعم قائم على الأحداث. الوضع الأكثر تقدما وتفاعليا يتضمن التعديل ثنائي الاتجاه المستمر عبر قنوات مثل الكلام، والحركة، والنظرة⁷.

اختيار الأدبيات وتحليلها

منهجية المراجعة المنهجية: أجرينا بحثا منهائيا في الأدبيات في مجموعة Web of Science الأساسية، مستهدفا مقالات علمية محكمة ومواد كاملة من المؤتمرات من ناشرين كبار (IEEE، ACM، Springer، Elsevier، Wiley، Taylor & Francis). كان الاستعلام البولياني هو: (("تفاعل الإنسان والروبوت" أو HRI) و (متعدد الوسائط أو "دمج المستشعر" أو الإيماءة أو النظرة أو الكلام أو اللمس) و ("الوقت الحقيقي" أو "الكمون المنخفض" أو التكيف أو المتين)). كانت معايير الإدراج هي: منشورات باللغة الإنجليزية من يناير 2015 إلى 2025—وهي فترة تعكس التحول من أنظمة أحادية النمط القائمة على القواعد إلى هياكل التعلم العميق التي تركز على التفاعل منخفض الكمون والتكيف، والقوي—مع التركيز على تقنيات التكامل متعدد الوسائط لمؤشر HRI التواصلي والتحقق التجريبي (الكمي أو النوعي). استبعدنا الدراسات التي اقتصرت على التفاعل أحادي الطريقة، وتلك التي تناولت التحكم في الروبوتات دون نية تواصلية، والأعمال غير التجريبية (مثل النظرية البحتة أو المحاكاة فقط). أظهر البحث الأولي مجموعة كبيرة من المجموعات. بعد إزالة التكرارات، قمنا بفحص العناوين والملخصات مقابل معايير الإدراج، ثم أجرينا مراجعات نصية كاملة لتقييم الصلة والمساهمة في الدمج متعدد الوسائط الموثوق. وقد أسفرت هذه العملية متعددة المراحل، الملخصة في مخطط تدفق بأسلوب PRISMA (الشكل 2)، عن مجموعة نهائية من 148 ورقة بحثية تشكل الأساس التجريبي لهذه المراجعة.

نظرة عامة على الأدبيات المختارة: يوضح الشكل 3 اتجاهات النشر وتوزيع التخصصات، مع سيطرة علوم الحاسوب والأتمتة والروبوتات، إلى جانب مساهمات متزايدة من العلوم السلوكية وعلوم الأعصاب، مما يبرز المسار متعدد التخصصات لهذا المجال. قمنا بتجميع الأدبيات موضوعيا بناء على المساهمة الفنية في التكامل متعدد الوسائط (الجدول 1). شمل هذا التركيب الأساليب وطرق الاندماج، والتعامل مع التأخير، واستراتيجيات المتانة، والقدرة على التكيف، والمقاييس. استخدمت الدراسات من 2019 إلى 2021 بشكل رئيسي الاندماج المبكر أو المتأخر، وغالبا ما ركزت على الإيماءات والمدخلات اللمسية. منذ عام 2022، حظيت الهياكل الهجينة والمعتمدة على الانتباه بشعبية، خاصة في التفاعل العاطفي والمجسد. في هذا المجموعة، يمثل الاندماج الهجين حوالي 43٪ من الأساليب، والاندماج المبكر 29٪، والاندماج المتأخر 28٪ — وهو توزيع يشير إلى تحسن التحمل لعدم التزامن الزمني.

على الرغم من أن القدرة في الوقت الحقيقي تدعي عادة في الأدبيات الأوسع التي تم فحصها في البداية، إلا أن عددا محدودا فقط من الدراسات تفصل استراتيجيات التخفيف المحددة (مثل المعالجة المخزنة، النماذج التنبؤية، أو تحسين مستوى المستشعرات). عادة ما تعتمد المتانة على التصفية، أو التكرار، أو البدائل القائمة على القواعد، بينما يبقى التكيف التنبؤي نادرا. ممارسات التقييم غير متسقة، وتظل التقييمات الموحدة للالتزامن الزمني أو طلاقة التفاعل نادرة. تختلف المقاييس بشكل كبير بين الدراسات لدرجة أن المقارنات المباشرة غالبا ما تكون صعبة. الدقة، ودرجات F1، وأرقام الكمون شائعة، لكنها تنبع من مجموعات بيانات ومهام وظروف بيئية مختلفة؛ قليل من الأوراق تعتمد معايير مشتركة للمحاذاة الزمنية أو متانة الضوضاء. وبالتالي، غالبا ما يبالغ الأداء القوي في إعدادات المختبر النظيفة في تقدير ما يمكن أن تحققه الطرق خارج البيئات المحكمة. تطوير أطر تقييم متسقة — ربما تضمين اختبارات زمن استجابة موحدة تحت التغيرات الواقعية — سيجعل من الأسهل بكثير الحكم على الأساليب التي تطور المجال حقا.

لا تزال الفجوات الرئيسية في التكامل اللمسي-العاطفي (ست دراسات^فقط 8,9,10,11,12,13 تعالج هذا) والتعديل الديناميكي للزمن تحت عدم اليقين الزمني الذي يقوده المستخدم. تظهر عدة توترات مثيرة للاهتمام من الأدبيات. غالبا ما يشاد بالاندماج الهجين لتعامله^مع الانحراف الزمني بشكل جيد، ومع ذلك تبقى السلوكيات التنبؤية أو التكيفية نادرة، مما يثير التساؤلات حول مدى سلاسة الأداء المزعوم في الوقت الحقيقي. وفي الوقت نفسه، فإن التقدم الملحوظ في التعرف على الرؤية والتأثير القائم على الكلام يتناقض بشكل واضح مع العمل البسيط الذي يدمج الإشارات اللمسية مع فهم المشاعر. الدقة العالية في التجارب المسيطر عليها تميل أيضا إلى التدهور في الظروف الواقعية، مما يبرز التحديات المستمرة في التعميم عبر البيئات والمستخدمين. يلخص الجدول 2 الاتجاهات المعمارية التمثيلية وأساليب التقييم، مع توجيه التحديات التي نوقشت في الأقسام التالية.

تقدم هذه المراجعة مساهمة مميزة في الأدبيات متعددة الوسائط حول مؤشر الموارد البشرية. توفر استطلاعات حديثة، مثل Zhao وآخرون ¹⁴، نظرة عامة عامة على اتخاذ القرار القائم على الإدراك، ^{بينما يركز} وانغ وآخرون على النقل البصري اللمسي الممكن. كلاهما يركز على الأطر العامة أو بروتوكولات الاتصال، مع مناقشة محدودة للمقايضة في الاندماج في الوقت الحقيقي، أو قابلية المقارنة بين المقاييس، أو تحديات النشر. وعلى النقيض من ذلك، نقدم تحليلا أكثر استهدافا: مقارنة استراتيجيات الاندماج تحت قيود محددة، ونقد التناقضات في مقاييس الدراسات المشتركة، وتسليط الضوء على الفجوات العملية — لا سيما الفجوة بين المختبر والميدان التي تجاهلتها الدراسات السابقة إلى حد كبير.