نظام واقع افتراضي يتم التحكم فيه بالإيماءات والصوت لتصميم المنازل الغامر: تصميم النظام وتحليل تجربة المستخدم

ملخص

تقدم هذه الورقة نظام واقع افتراضي يتحكم فيه الإيماءات والصوت لتصميم المنازل الغامر، مما يحسن الدقة وسهولة الاستخدام وسهولة الوصول من خلال الدمج متعدد الوسائط بين الإيماءات والمدخلات الكلامية. تشير النتائج التجريبية إلى أوقات مهام أقصر، ودقة موضعية أفضل، وتحسن رضا المستخدمين مقارنة بالممارسة التقليدية.

الملخص

أظهر التفاعل القائم على الإيماءات والصوت في الواقع الافتراضي وعدا في تطبيقات متعددة؛ ومع ذلك، تعيق الأنظمة الحالية تركيزها على مهام الملاحة، والاعتماد على الإيماءات ذات اليدين، ونقص الدقة الدقيقة، والاختبار على مجموعات صغيرة متجانسة. تحد هذه القيود من قابلية التطبيق على سير العمل المعقدة التي تركز على التصميم. لمعالجة هذه القيود، نقدم نظام الواقع الافتراضي الذي يتم التحكم فيه بالإيماءات والصوت لتصميم المنازل الغامر، والذي يدمج دمج متعدد الوسائط بين إدخال الإيماءات المتتبعة يدويا وتعليمات اللغة الطبيعية لوضع الأثاث بدقة، واختيار المواد، والضبط المكاني. ثلاثة جوانب من الجدة في النظام هي: (1) أنماط تفاعل تكيفية لدعم الاستخدام بيد واحدة، أوامر صوتية رقمية، وضبط الدقة من الخشن إلى الدقيق؛ (2) هندسة دمج متعددة الوسائط تدمج الإيماءات والكلام والمعلومات السياقية لتحقيق دقة أقل من السنتيمتر؛ و(3) إطار تقييم تجربة المستخدم الواعي بالمهام المصمم خصيصا لعمليات تصميم المنازل. تتبع عملية التطوير خط أنابيب منهجي، من تحليل المتطلبات وتصميم معجم الإيماءات والصوت، إلى التعرف على النية متعددة الوسائط، وتجميع مشاهد الواقع الافتراضي مع التثبيت والمحاذاة، والاختبار التكراري. تظهر النتائج التجريبية على مجموعة واسعة من الفئات المشاركة انخفاضا بنسبة 30٪ في خطأ التوزيع وتحسنات كبيرة في قابلية الاستخدام وتقييمات عبء العمل مقارنة بالتفاعل القائم على وحدات التحكم. تشير النتائج إلى إمكانات الواقع الافتراضي متعدد الوسائط في خلق تجارب تصميم منازل سهلة الوصول وجذابة.

المقدمة

الواقع الافتراضي (VR) هو بيئة تفاعلية مولدة بالحاسوب تنتج تجربة ثلاثية الأبعاد يمكن للمستخدمين من خلالها رؤية التكنولوجيا والتفاعل معها والتواصل معها كما لو كانوا حاضرين فعلا. في سياق هذه الدراسة، يعتبر الواقع الافتراضي بيئة تفاعل متعددة الوسائط، وليس مجرد تقنية عرض بصري. تدمج أحدث أنظمة الواقع الافتراضي التفاعل البصري مع التعرف على الإيماءات، والحواس المكانية، والإدخال الصوتي الطبيعي، مما يسمح للمستخدمين بتشغيل العناصر المحاكاة بدقة عالية. هذا الفهم يتوافق مع أبحاث الواقع الافتراضي الحالية التي تعطي الأولوية للانغماس والتفاعل وتجارب المستخدم الطبيعية. تشمل مجالات تطبيقه الأداء، والتعليم²، والعلاج الطبي³، والسفر⁴. يتيح الواقع الافتراضي للناس التفاعل والتواصل مع عوالم لا يمكن تحقيقها في الحياة الواقعية من خلال محاكاة بيئات العالم الحقيقي. بالنسبة لعمليات تصميم المنازل، حيث يجب على المستخدمين إدراك التخطيطات المكانية، والتحكم في الأشياء، وتلقي تغذية راجعة في الوقت الحقيقي دون الحاجة إلى حركة مادية، فإن ميزات الغمر هذه مفيدة بشكل خاص. هذه الميزات يمكن أن توفر إمكانيات جديدة، خاصة للمستخدمين الذين لديهم حركة جسدية غير مكتملة. أعضاء الفئات غير المحرومة، خاصة كبار السن وأولئك الذين لديهم معرفة بالقراءة والأرقام الأبجدية القليلة، ستقيد أنشطتهم الخارجية بسبب عدة عوامل، مثل القيود الجسدية، ومشاكل الحركة، وصعوبات الوصول إلى التكنولوجيا الرقمية بسبب قيود العمر. لذلك، من الضروري توفير اهتمام دائم للأبحاث التي ستجعل العالم الخارجي متاحا لهؤلاء الأشخاص بشكل غير مباشر من خلال خبرتهم في الواقع الافتراضي. هذه الحاجة إلى استمرار الاهتمام البحثي لا تدعم فقط إنشاء تجارب واقع افتراضي موجهة نحو الوصول، بل تدفع أيضا تطوير أنظمة تتجاوز مهام التنقل الأساسية. في الواقع، يمكن لبيئات تصميم المنازل الغامرة — عند التحكم بها عبر الإيماءات الطبيعية والصوت — أن توفر للمستخدمين كبار السن، والأشخاص ذوي الإعاقات الحركية، والسكان المعرضين للخطر رقميا وسائل بديهية للتفاعل مع بيئات مكانية معقدة. من خلال السماح بالوصول غير المباشر إلى المساحات الخارجية والمهام الإبداعية، تساهم هذه الأنظمة في كل من الاستقلالية الوظيفية والرفاهية العاطفية. وبناء على هذا الأساس، ستقدم هذه الدراسة نظام تصميم منازل متعدد الوسائط لواقع افتراضي. وبالتالي، فإن الرغبة في الاهتمام المستمر بالبحث هي التي ستساعد في جعل العالم الخارجي متاحا بشكل غير مباشر لهؤلاء الأشخاص الذين يستخدمون خبرة الواقع الافتراضي. أظهرت الدراسات أن التدخلات القائمة على الواقع الافتراضي التي تم إنشاؤها لكبار السن يمكن أن يكون لها عدة مزايا، مثل تقليل خطر السقوط من خلال تعزيز التحكم في الوضعية والمرونة، بالإضافة إلى تحسين تنظيم الوضعية العامة والتماسك. بالإضافة إلى ذلك، هناك توفر متزايد لمواد الواقع الافتراضي المخصصة خصيصا لكبار السن ^8,9. حتى مع تقدم التفاعل مع الواقع الافتراضي، تعتمد معظم الأنظمة الحالية بشكل أساسي على وحدات التحكم والإيماءات ذات اليدين، مما يحد من سهولة الوصول والدقة للمهام التي تتطلب تصميما. من خلال توسيع هذه الميزات التنقلية، يمتد عملنا إلى ما هو أبعد من مجرد الملاحظة من خلال السماح بإدارة نشطة ودقيقة وواقعية لعناصر التصميم الداخلي باستخدام طرق الإيماءات والكلام

للواقع الافتراضي ثلاث خصائص مرتبطة: التواصل، المشاركة، والأفكار¹⁰. يؤثر مستوى التفاعل وقوة التفاعل مع الأشياء المحاكاة بشكل مباشر على خيال المستخدمين في الجو الافتراضي. اعتمادا على مراحل الانغماس، تصنف مخططات الواقع الافتراضي إلى واقع افتراضي غير غامر، وواقع واقع شبه غامر، وواقع افتراضي غامر بالكامل، ويستخدم كل منها تركيبات مختلفة من طرق التواصل والاستراتيجيات والحدود. 11 يسمح الواقع الافتراضي غير الغامر بالتواصل مع البيئة الافتراضية على سطح المكتب أو شاشات اللمس على الأجهزة المحمولة عبر الفأرة، والإشارات^{12، 13، 14}. عادة ما يتكون الواقع الافتراضي شبه الغامر من شاشة كبيرة، وتنظيم، وشاشات، مما يوفر تجربة سينمائية، لكنه غالبا ما يفتقر إلى تتبع المواقع عند استخدامه في مجموعات. تم البحث في الروابط القائمة على الإيماءات منذ بداية VR¹⁵ لجعل استخدام تقنية الواقع الافتراضي مريحا ومألفا. في واجهة تعتمد على الإيماءات، تستخدم إشارات جسدية جسدية مثل حركات اليد للتواصل مع نظام الحاسوب.

إطار الإيماءة هو تحقيق شائع للمبدأ العام لواجهة المستخدم الطبيعية (NUI)، والذي يمكن تطبيقه لتحقيق شفافية الواجهة في الواقع الافتراضي القائم على HMD. تم التحقيق في الجوانب التي تعزز الظهور في الواقع الافتراضي سابقا ^16,17; ومع ذلك، هناك دراسات قليلة حول حدوث ذلك في خلفية واجهة المستخدم القائمة على الإيماءات. فهم التأثيرات التي يمكن أن تؤثر على ظهور الواقع الافتراضي باستخدام واجهة مستخدم تعتمد على الإيماءات يمكن أن يكون مفيدا أثناء تصميم التقنيات الغامرة القادمة. لذلك، من منظور التواصل القائم على الحدث والإيماءات، درسنا تجربة المستخدم للتفاعل الافتراضي الغامر بناء على واجهة المستخدم القائمة على الإيماءات. بالنسبة لمن هم اجتماعيون ضعفاء، حيث يمكن لتقييم الطرق السريعة بزاوية 360°، أن يكون قسم من الواقع الافتراضي (VR) أداة فعالة. مع هذه التقنية، يمكن للمستخدمين استكشاف العالم افتراضيا دون حركة مادية، والسفر إلى أماكن مختلفة، والمشاركة في التواصل الاجتماعي مع مستخدمين آخرين، مع وظائف متعددة الأطراف. بالنسبة لذوي الإعاقات الجسدية والبيئية، يمكن أن يكون هذا المشاركة مكملا مفيدا للنشاط الخارجي. بعيدا عن التنقل البسيط، تمتد الإمكانيات التعليمية التي تمكنها تقنية الرأي 360° إلى مجالات متعددة من التعليم.

أكدت مراجعة منهجية للأدبيات التي فحصت 64 جلسة تدريبية على الاستخدامات المعلوماتية، والفوائد، وخصائص التواصل لمقاطع الفيديو الواقع الافتراضي بزاوية 360° والواقع الافتراضي الفعلي. تشير النتائج إلى أن الواقع الافتراضي بزاوية 360° يمكن أن يعزز العرض التقديمي والتحفيز والاحتفاظ بالمعلومات لدى المتعلمين، مما يعزز الانغماس الأكبر. ربط الباحث²¹ واجهتي مستخدم بيد واحدة وبيدين في نظام حركة قائم على النقل الآني. تظهر النتائج أن الإشارات ذات اليد الواحدة كانت تعتبر أسرع في البداية من قبل من يفضلونها، بينما كانت إشارات اليدين تعتبر أكثر موثوقية، رغم أن العنصر يناقش الانتقال الفوري وحده وليس الحركة المستمرة، كما هو مستخدم في هذا العمل.

تم تأسيس افتراض وجود اتساق أعلى للإشارات ذات اليدين والسرعة الأولية الأعلى للإشارات ذات اليد الواحدة واستخدامه كأساس لهذه الدراسة. كما يتطلب الأمر مواصفات أكثر تفصيلا لقيود تقييم التكنولوجيا، إلى جانب العرض وقابلية الخدمة، فيما يتعلق بتدريب المشغلين للوفاء بالمسؤوليات في VR²². في هذا الوضع التدريبي، تقوم اللجان بتوجيه المشغلين خلال الأنشطة، مع اعتبار تقييم التكنولوجيا عنصرا أساسيا. علاوة على ذلك، الفرضية الأساسية هي أن تقنية HT، إذا تم تطبيقها بشكل صحيح، يمكن أن تحقق تقدما أيضا في مجال التكنولوجيا^23,24. لقد أظهرت أبحاث حديثة أن البيئات الافتراضية ليست مفيدة فقط لتقييم خدمات توجيه الكراسي المتحركة، بل لها أيضا استخدامات مفيدة، بما في ذلك التدريب على خدمات مرنة قد تكون صعبة أو مكلفة في إعادة إنشائها في الحياة الواقعية. على سبيل المثال، يشير المؤلف²⁵ إلى أن محاكيات الواقع الافتراضي يمكن أن تسهل تعميم خدمات التوجيه إلى الإعدادات الفيزيائية من خلال توفير بيئة تقنية ماهرة وغير ضارة.

كما يسلط الباحث الضوء على تطبيق المهارات الافتراضية كبرنامج تدخل في تدريب خدمات الكراسي المتحركة، مؤكدا على فائدته وقيمته المفيدة في تخصيص التمارين الفردية وتعزيز خدمات المرونة. ومع ذلك، لأسباب تتعلق بالسلامة، يتم تأكيد المستخدمين وفحصهم مسبقا، خاصة في بيئة الواقع الافتراضي^26,27. يتيح هذا التطبيق للأشخاص ذوي الإعاقات الجسدية ممارسة وصقل مهاراتهم في القيادة على الكرسي المتحرك في بيئة آمنة ومتحكم بها²⁸. يستطيعون تجربة اختبارات وسيناريوهات افتراضية متنوعة، بما في ذلك التغلب على المشكلات الصعبة، والتنقل في الأماكن الضيقة، أو تنفيذ مناورات معقدة. وفي الوقت نفسه، يمكن للمستخدمين الحصول على ملاحظات فورية حول أدائهم واكتساب استراتيجيات حركة جديدة²⁹. بالإضافة إلى كونه وسيلة تدريبية، فإن الواقع الافتراضي له تطبيقات علاجية³⁰. تقديم تقنية تصويرية غامرة يمكن أن يساهم في تعزيز الثقة بالنفس، والتنظيم، وإعادة الاندماج الجسدي. يمكن للأفراد تطوير مهاراتهم الحركية وتحسين استقرارهم وثباتهم. بيئات الواقع الافتراضي هي تمثيلات مولدة بالحاسوب تمكن المستخدمين من الشعور وكأنهم^{جزء منهم}.

يتم تصور هذا الموقف من خلال سماعات الواقع الافتراضي أو استراتيجيات أخرى. يمكن للنماذج التجريبية محاكاة ظروف خطر أو مواقف تحدية قبل تنفيذها، مثل الأحداث الطبية أو تشغيل استراتيجيات معينة ^32,33,34. ومع ذلك، هناك فائدة إضافية وهي القدرة على تركيب معدات الجهاز، مثل أدوات التحكم أو الزخارف الكاشفة للحركة أو الميكروفونات أو السترات، للحصول على اتصال فعال بين صاحب العمل والآلية³⁵ في بيئة غير ضارة ومكررة بعناية قبل استخدامها في البيئات الفعلية. يمكن تشغيل المواد الافتراضية بطرق مختلفة، مثل استخدام عصي التحكم أو تعليمات الكلام أو المقاطع المصورة، كما في دراسة كينكت³⁶. جميع البدائل تتطلب التعلم للمستخدمين، لذا فإن تجربة المستخدم تعتبر أمرا حاسما عند اختيار نهج التحكم³⁷.

على الرغم من أن الإيماءات والتفاعل الصوتي في الفضاءات الافتراضية قد تم التحقيق في مهام التنقل، بما في ذلك نظام عرض الشارع الذي نوقش في الورقة الأساسية، إلا أن هناك فجوة كبيرة في تطبيق هذه الأساليب على مجالات العمل المدفوعة بالدقة والإبداعية، مثل تصميم المنازل الغامر. أثبتت الدراسة الأساسية أن المدخلات متعددة الوسائط فعالة لتسهيل الوصول، لكنها شملت فقط التنقل وفحص المشاهد، مستخدمة إيماءات بكلتا اليدين، وإصدار أوامر مباشرة، وعدد قليل من المشاركين فقط. لم يشمل صعوبات التلاعب بدقة عالية، أو تحديد المواقع المكانية الدقيقة، أو تحرير المواد، أو سير العمل التعاوني الذي يحدد أنشطة التصميم الداخلي والمعماري. بالإضافة إلى ذلك، استهدف الاختبار مجموعة ضيقة ومتجانسة من المستخدمين، مما حد من الملاحظات حول قابلية الاستخدام للفئات الأوسع واحتياجات الوصول المختلفة. تعتمد أدوات تصميم الواقع الافتراضي الحالية بشكل أساسي على وحدات التحكم التي تقيد التفاعل الطبيعي وتستبعد المستخدمين ذوي الإعاقات الحركية أو التعلمية. نتيجة لذلك، هناك نقص في تصميم واختبار نظام يدمج الإيماءات والكلام لمعالجة الأجسام الخشنة والدقيقة، ويوفر تغييرات رقمية يتم التحكم بها بالصوت، ويتكيف مع أنماط التفاعل بيد واحدة وتساعد في الوصول، ويتم اختباره بتحليل تجربة مستخدم مكثف في مهام التصميم الفعلية^38,39. سد هذه الفجوة يمكن أن يخلق نهجا جديدا يركز على المستخدم في تصميم المنازل الغامر، يستند إلى الأبحاث السابقة في التنقل متعدد الوسائط عبر الواقع الافتراضي.

استكشفت التطورات الحديثة في واجهات الإنسان والآلة متعددة الوسائط آليات استشعار وتفاعل متقدمة لتعزيز سهولة الاستخدام والاندماج في VR⁴⁰. قدم المؤلف⁴¹ مستشعر تريبوكهربائي يعتمد على ألياف النانو الإلكتريت للتعرف على الإيماءات ثلاثية الأبعاد غير التلامسية، موضحا أن تفسيرا عالي الدقة للإيماءات يمكن تحقيقه دون تتبع الرؤية التقليدي، مما يتيح تحكما طبيعيا أكثر في الواقع الافتراضي بدون لمس. من ناحية أخرى، قدم الباحث⁴² إجراء تدريب سلوكي قوي لأنظمة الواقع الافتراضي المثبت على الرأس في الفئران. أظهرت الدراسة كيف يمكن لبيئات الواقع الافتراضي المسيطر عليها أن تدعم القياس السلوكي الدقيق وبروتوكولات التفاعل المستقرة، كما أوضحت أهمية التكرار والتصميم المنهجي في سير عمل الواقع الافتراضي. في الوقت نفسه، اقترح المؤلف⁴³ قطبا كهربائيا قابلا للتمدد ولاصقا بموصل أيوني مع مقاومة جلدية منخفضة جدا لتحسين اكتساب الإشارات الكهربائية؛ وهذا يفتح الطريق للاستشعار المتكامل الحيوي الذي يمكن أن يزيد من دقة التفاعل بين XR والواقع الافتراضي. في الواقع، تظهر كل هذه الدراسات مدى سرعة تطور تكنولوجيا المستشعرات، وبروتوكولات التدريب، والواجهات الفسيولوجية - وكل ذلك بسبب الحاجة إلى أطر تفاعل أكثر مرونة ومتعددة الوسائط، مثل نظام الإيماءات والصوت المقترح في هذه الدراسة.

يقدم هذا البروتوكول مسارا متعدد الوسائط للإيماءات والصوت يتيح الإيماءات المتاحة بيد واحدة، وتحسينات رقمية قائمة على الصوت، وتصميم منازل يعتمد على الدقة، على عكس نماذج التفاعل الحالية في الواقع الافتراضي التي تدعم بشكل أساسي الملاحة أو التلاعب المعتمد على وحدة التحكم. حسب فهمنا، هذا هو أول بروتوكول يجمع بين دمج الإيماءة والصوت، المضبوط خصيصا للدقة المكانية، وتعديل المواد، وعمليات التصميم الشاملة.

الأهداف الأساسية لهذا العمل هي إنشاء نظام واقع افتراضي (VR) مدعوم بالإيماءات والصوت، مصمم خصيصا لأنشطة تصميم المنازل الجذابة، وتوسيع قدرات الإدخال متعددة الوسائط لدعم وضع الأثاث بدقة، ودورانه، وتكبيره، وتحرير المواد أو الإضاءة بالإضافة إلى وظائف التنقل المعتادة. الهدف المركزي هو تطوير محرك دمج متعدد الوسائط يدمج الإيماءات والصوت والمدخلات السياقية لتحقيق تحكم خشن ودقيق أثناء مهام التصميم الداخلي. يقدم النظام أيضا أوضاع تفاعل تكيفية، مثل الإيماءات بيد واحدة، وميزات تركز على سهولة الوصول، والأوامر الدقيقة الصوتية، لدعم مجموعة واسعة من مجموعات المستخدمين.

يسعى هذا العمل أيضا إلى إجراء تقييم شامل لتجربة المستخدم (UX) يمزج بين المقاييس الكمية، بما في ذلك وقت إكمال المهمة، ودقة الوضع، ومعدل الخطأ، مع تقييمات نوعية لسهولة الاستخدام، وعبء العمل، ورضا المستخدمين. تم تحقيق تقدم كبير مقارنة بالدراسات السابقة من خلال التحول من أنظمة الملاحة القائمة على الرؤية الشارعية إلى إطار تصميم داخلي موجه نحو المهام والدقة. تكمن المساهمة الرئيسية في تطوير بيئة واقع افتراضي يتم التحكم بها بالإيماءات والصوت لتصميم المنازل الغامر، مما يوسع نطاق الأبحاث السابقة التي ركزت بشكل أساسي على دمج الإيماءات والصوت في التنقل في الشارع.

ومن المهم أنه لم يجمع أي نظام سابق بين التواصل متعدد الوسائط بين الإيماءة والصوت بشكل فعال خصيصا لعمليات تصميم المنازل المعتمدة على الدقة، مثل تحديد مواقع الأشياء، والتكبير، والدوران، وتحرير المواد. كما تفتقر الأساليب الحالية إلى بدائل التفاعل التكيفي، بما في ذلك إدخال الإيماءات بيد واحدة أو تحسين رقمي قائم على الصوت. يقدم النظام المقترح نموذجا شاملا للتفاعل متعدد الوسائط يدمج التعرف على الإيماءات — الذي يتم تحقيقه عبر MediaPipe Hands أو تتبع اليد المعتمد على سماعات الواقع الافتراضي — مع مصنفات الشبكة الالتفافية الزمنية، بالإضافة إلى التعرف على الكلام وتفسير اللغة الطبيعية المدفوعة بنماذج تصنيف النية المعتمدة على Whisper ASR ونماذج التصنيف النية القائمة على المحول.

لضمان تشغيل قوي، يتم تنفيذ آلية دمج متعددة الوسائط على مستوى القرار مع التحكيم القائم على الثقة، حيث تربط الإيماءات بمهام الاختيار المكاني والأوامر الصوتية إلى تحسينات دقيقة. يتيح هذا التصميم وضعا دقيقا، وتحجيما، ودورانا، وتغييرات مادية للأشياء في بيئات تصميم المنازل الافتراضية. يتبع سير العمل خط أنابيب منظم يبدأ بتحديد متطلبات النظام، وتصميم معجم الإيماءات والصوت، وتطوير تقنيات دمج متعددة الوسائط، وبناء بيئة واقع افتراضي غامرة في Unity 3D مزودة بأدوات الالتقاط والتراكبات للقياس، ومعاينات المواد. يتبع ذلك تكامل النظام، والاختبار التجريبي، وتقييم تجربة المستخدم من خلال دراسات مقارنة.

يقدم النظام تفاعلا متعدد الوسائط منخفض التأخير (أقل من 200 مللي ثانية)، ودعم إمكانية الوصول التكيفي، وسهولة استخدام محسنة مقارنة بأنظمة الواقع الافتراضي التقليدية المعتمدة على وحدات التحكم. سيقوم التقييم التجريبي بقياس وقت إكمال المهمة، ودقة الوضع، ومعدلات الأخطاء، ودرجات SUS، ومقاييس عبء العمل في ناسا-TLX، وتقييمات التواجد في IPQ. تظهر النتائج المتوقعة أن التفاعل متعدد الوسائط يعزز بشكل كبير الدقة والكفاءة ورضا المستخدمين في تصميم المنازل القائم على الواقع الافتراضي.

البروتوكول

تمت الموافقة على هذه الدراسة من قبل لجنة أخلاقيات البحث في جامعة تايلور، سوبانغ جايا، ماليزيا. جميع الإجراءات التزمت بالإرشادات الأخلاقية التي وضعتها لجنة البحث المؤسسي ومتوافقة مع إعلان هلسنكي. قبل جمع البيانات، كان يتم الحصول على موافقة مستنيرة من كل مشارك. تم إطلاعهم بوضوح على أهداف الدراسة، وتم تأكيدهم أن المشاركة كانت طوعية، وأن ردودهم ستظل سرية، وأنه يمكنهم الانسحاب في أي وقت دون أي عواقب. كما تم الحصول على موافقة مكتوبة مستنيرة لاستخدام بيانات التفاعل المجهول وبيانات الاستطلاعات في المنشورات الأكاديمية. لا توجد معلومات شخصية أو صور أو بيانات شخصية حساسة في هذا المخطوط.

يضع العمل المقترح نظام واقع افتراضي قائم على الإيماءات والصوت (VR) مصمم لتصميم المنازل الغامر، متجاوزا الطرق الحالية الموجهة نحو مهام الملاحة. يبدأ النهج بتحديد احتياجات المستخدمين وأنشطة التصميم، بما في ذلك نشر الأثاث، وتحجيم وتدوير الأشياء، وتحرير المواد، وقياسات الغرفة بدقة. ثم يتم تطوير نظام تفاعل الإيماءات، حيث يتم اكتشاف إيماءات اليد غير المقيدة (مثل القرص، الإمساك، والدوران) عبر تتبع السماعات أو MediaPipe Hands وتحدد بواسطة نماذج تعلم آلي خفيفة الوزن، بما في ذلك الشبكات الالفافية الزمنية (TCN). لتكمل الإيماءات، يتم إنشاء قواعد أوامر صوتية منظمة، مدمجة مع التعرف التلقائي على الكلام (ASR) وفهم اللغة الطبيعية (NLU) المعتمد على الهمس، لاستخلاص نوايا ومعايير للتحكم الدلالي عالي المستوى. يتم دمج الطريقتين في استراتيجية دمج متعددة الوسائط، حيث تستخدم الإيماءات لإدارة الاختيار المكاني والتلاعب، وتستخدم الأوامر الصوتية لتقديم تحسينات دقيقة، مدعومة بآلية تحكيم قائمة على الثقة واستعادة الأخطاء من خلال أوامر التراجع.

يتم نشر بيئة التصميم الغامر في Unity 3D، وتتميز بتقنية الاصطدام، والاستجابة للتصادم، وطبقات القياس، ومكتبة تفاعلية للأثاث والمواد لتمكين سير عمل تصميم واقعي. تجرى الاختبارات التجريبية لضمان طبيعية التفاعل، والثبات، وانخفاض التأخير (<200 مللي ثانية) قبل التقييم الرسمي.

المشاركون واستراتيجية أخذ العينات
تم تجنيد 48 مشاركا في دراسة المستخدمين لضمان التنوع وقابلية تعميم النتائج. تراوحت أعمار المشاركين بين 19 و62 سنة (ذكر = 32.4، SD = 10.7)، وكان من بينهم 26 ذكرا و22 أنثى. لالتقاط التفاوت في الألفة مع التقنيات الغامرة، تم تقسيم المشاركين إلى ثلاث مجموعات من خبرات الواقع الافتراضي: مستخدمون مبتدئون (n = 18) لديهم تعرضون سابقا قليل أو معدوم للواقع الافتراضي، مستخدمون متوسطون (n = 17) الذين لم يستخدموا VR بشكل متكرر، ومستخدمون ذوو خبرة (n = 13) يستخدمون الواقع الافتراضي بانتظام، وبشكل احترافي في الغالب. لضمان سهولة الوصول وشمولية العينة، شمل أيضا 6 مشاركين يعانون من قيود خفيفة في الحركة و4 مشاركين يفضلون التفاعل بيد واحدة بسبب القيود الحركية. جميع المشاركين كان لديهم رؤية طبيعية أو مصححة إلى طبيعية، ولم يبلغ أي منهم عن حالات دهليزية أو عصبية قد تعيق استخدامهم للواقع الافتراضي.

تم تعيين المشاركين عشوائيا لثلاث شروط تفاعل باستخدام استراتيجية توزيع متوازنة: الإيماءة+الصوت (n = 16)، وحدة التحكم فقط (n = 16)، والهجينة (n = 16). تم توزيع مستويات خبرتهم بالتساوي بين المجموعات الثلاث لتجنب التحيز وضمان صعوبة المهام المتقاربة عبر الظروف. قدم جميع المشاركين موافقة مكتوبة مستنيرة قبل بدء التجربة.

ثم تجرى دراسة مستخدم عبر ثلاث ظروف تفاعل، مثل الصوت الإيماءي، ووحدة التحكم فقط، والهجينة، لتقييم الدقة والكفاءة وتجربة المستخدم. تشمل المقاييس الكمية دقة الوضع، مدة المهمة، ومعدلات الخطأ، بينما يستخدم التقييم الذاتي أنظمة SUS وNASA-TLX وIPQ، مدعومة بمقابلات نوعية. يقدم هذا النظام، المعروض هنا، ثلاث ابتكارات رئيسية: استخدام دمج الإيماءات والصوت متعددة الوسائط لمعالجة الكائنات بدقة في الواقع الافتراضي، وأنماط التفاعل التكيفية والمتاحة مثل الإيماءات باليد الواحدة والصوت الاحتياطي، وتوفير مجموعة قابلة لإعادة إنتاج من أوامر الإيماءات والصوت المشروحة. معا، تضمن هذه الخطوات دقة وفعالية وتجربة مستخدم محسنة، معالجة أوجه القصور في الورقة الأساسية بشكل مباشر وتعزيز البحث في التفاعل التفاعلي الغامر في الواقع الافتراضي لاستخدام التصميم. يوضح الشكل 1 هيكلية الطريقة المقترحة.

تبدأ بنية النظام للطريقة المقترحة، كما هو موضح في الشكل 1، بأنماط الإدخال، حيث يتم تسجيل الإيماءات باستخدام مجموعات بيانات مثل EgoGesture وIPN Hand، وتعليمات صوتية من مجموعة بيانات أوامر الكلام السليم. تتم معالجة هذه المدخلات بشكل مستقل باستخدام وحدات التعرف على الإيماءات والتعرف على الصوت لإنتاج بيانات مكانية ودلالية. يتم دمج التيارين داخل طبقة دمج متعددة الوسائط، تقوم بمحاذاة الإيماءات والصوت لإنتاج أوامر متسقة. تستخدم هذه البيانات المدمجة في طبقة تفاعل الواقع الافتراضي لتسهيل المستخدمين في التعامل مع الأشياء من خلال الوضع، والدوران، والتكبير، وتعديل المواد في الوقت الحقيقي. وأخيرا، يتم توفير التفاعلات المعالجة في طبقة الإخراج، مما يخلق مساحة تصميم منزل غامرة تركز على سهولة الوصول والدقة والتفاعل الطبيعي.

متطلبات النظام وتعريف المهام
يعزز النظام المتصور نماذج الملاحة في الواقع الافتراضي مع توجيه الوصول لتسهيل التخطيط المنازل القائم على الدقة. نحدد مجال المستخدم كأنه ، حيث هم أصحاب المنازل، والمحترفون في التصميم، وهم مستخدمون في إمكانية الوصول (كبار السن أو ذوي الإعاقة الحركية). يقوم كل مستخدم بأداء مجموعة من المهام الأساسية T = {وضع، دوران، مقياس، مادة، ضوء، قياس}. يتم تنفيذ مهمة t ∈ T عبر مدخلات متعددة الوسائط: تدفق الإيماءات G_t (التلاعب المكاني) وأمر الصوت V_t (المعلمات الدلالية). يربط النظام هذه النقاط بإجراء من خلال سياسة اندماج:

(1)

حيث π هي الدالة متعددة الوسائط على مستوى القرار.

تتطلب احتياجات النظام تفاعلا منخفض التأخير: ليكن التعرف على الإيماءات، وفهم الكلام، وأوقات الدمج.

(2)

توفر الاستجابة المجمعة استجابة فورية تتوافق مع عتبات سهولة الاستخدام الغامرة في الواقع الافتراضي.

لدقة المهمة، لتكن حالة الكائن الحقيقة الأرضية هي (x, R, s, M, L) (الموقع، الدوران، المقياس، المادة، الطول) وتكون الحالة المحققة للنظام . مقاييس الخطأ هي كما يلي:

(3)

(4)

(5)

(6)

مع لعدم تطابق المادة.

كلتا الطريقتين تولدان درجات ثقة c_g (إيماءة) و c_v (صوت)، موحدة بحيث c_g + _{c v} = 1. يقلل التحكيم الاندماجي من الخطأ المرجح:

(7)

حيث l_g و l_v هي خسائر خاصة بالنمط. إذا كان ، يطلب النظام تنبيه توضيح، مما يجعله قويا للأوامر غير الواضحة.

أخيرا، تشمل مقاييس التقييم وقت إكمال المهام T_t، معدلات الخطأ E_t، ودرجات عبء العمل من NASA-TLX وSUS وIPQ. نقدم مؤشر أداء المهام المركب:

(8)

ليتم تقليلها عبر المستخدمين، مع حدود تتطلب درجة SUS ≥70 وتقليل NASA-TLX مقارنة بالواقع الافتراضي القائم على وحدة التحكم الأساسية.

جمع مجموعات البيانات والمعالجة المسبقة
يعتمد النظام المقترح على بيانات الإيماءات (للتعرف المعتمد على TCN) وبيانات أوامر الصوت (ل NLU/ASR). لهذا الغرض، نستخدم ثلاث مجموعات بيانات رئيسية: إيماءة الذات للإيماءات الديناميكية المستمرة في بيئات شبيهة بالواقع الافتراضي، وIPN Hand لدعم الإيماءات الطبيعية قصيرة المدى، وأوامر الكلام^{السليمة 44} لتدريب الفهم الدلالي القائم على الصوت لكلمات التصميم. مجموعات البيانات الاختيارية هي HaGRID للتدريب المسبق على كاشف الإيماءات الثابتة، وMozilla Common Voice للتدريب المسبق العام على ASR، لكن لا أحد منهما ضروري. يسمح هذا الخيار بتغطية كلا الطريقتين مع الحفاظ على نطاق مجموعات البيانات معقولا وقابلا للتكرار قدر الإمكان. يوضح الجدول 1 تفاصيل مجموعة البيانات للعمل المقترح.

اختيار مجموعة البيانات في هذه الورقة أمر بالغ الأهمية، حيث تم تصميم كل مجموعة بيانات لمعالجة سيناريو مميز لتفاعل الواقع الافتراضي متعدد الوسائط. توفر مجموعة بيانات إيجوجيستس مجموعة كبيرة وطبيعية من الإيماءات اليدوية، مما يضمن أداء تعرف عاليا رغم اختلاف ظروف الإضاءة والبيئة. نظرا لأن مجموعة بيانات يد IPN مصممة لحركات اليد المستمرة وغير المقيدة، فإنها مناسبة بشكل خاص لعمليات التحكم عالية الدقة وتقسيم الإيماءات في الوقت الحقيقي. بالإضافة إلى ذلك، توفر مجموعة بيانات أوامر الكلام السليم أوامر صوتية معنونة مع تعليقات دلالية لاكتشاف النية، وهو أمر حاسم لتمكين تنفيذ الأوامر بدقة وطبيعية في الواقع الافتراضي. مجتمعة، توفر هذه المجموعات تغطية متكاملة لكل من أساليب الإيماءات والكلام، مما يوفر تنوعا ومتانة وأداء يوميا يحسن تقييم النظام المقترح. بالإضافة إلى مجموعات البيانات العامة، قمنا أيضا بالتحقق من البروتوكول باستخدام مجموعة بيانات مستقلة داخلية تتكون من 312 عينة إيماءة و128 أمرا صوتيا من 10 مشاركين جدد. أكد هذا التحقق المستقل قابلية تكرار البروتوكول ومتانته.

معالجة البيانات المسبقة
يتم تطبيع المعلومات المجمعة بشكل منهجي وأخذ عينات منها وتعزيز قبل تدريب النماذج:

تطبيع تسلسل الإيماءات
يتم تمثيل تسلسل الفيديو الإيمائي كسلسلة زمنية متعددة المتغيرات من ميزات المفاصل الهيكلية:

(9)

حيث T_i هو طول الإيماءة i و d هو بعد الميزة (مثل مواقع مفاصل اليدين). وبما أن الإيماءات المختلفة يمكن أن تكون بأطوال مختلفة Ti، فإننا نعيد أخذ عينات منها إلى تسلسل ثابت بطول T:

(10)

وهذا يجعل جميع عينات الإيماءات، بغض النظر عن طول التسجيل، قابلة للمقارنة مع طول زمني قياسي يمكن استخدامه في تدريب TCN.

توحيد الميزات
لإزالة اختلافات المقياس بين المستخدمين وظروف التسجيل، يتم توحيد كل مساحة ميزة:

(11)

حيث هو متوسط الميزة j، و σ_j هو انحرافها المعياري. يضمن التطبيع بهذه الطريقة أن تكون الميزات مركزة مع تباين الوحدة، وتقليل الفروق الفردية في أداء الإيماءات.

تعزيز البيانات
إضافة الاضطرابات الصناعية تحسن من المتانة إلى التغير. يبدأ التذبذب الزمني أولا بتعويض محاذاة التسلسل:

(12)

حيث δ هو الحد الأقصى للاهتزاز في الإطارات. تضيف ثانية حقن الضوضاء اضطرابات غاوسية إلى الميزات:

(13)

تمكن هذه التحسينات النموذج من أن يكون قويا أمام اضطرابات التوقيت وضوضاء المستشعرات في تفاعلات الواقع الافتراضي الفعلية.

معالجة الصوت المسبقة
يتم تعيين كل عبارة منطوقة في البداية إلى تمثيل مطيافي لوغاريتم-ميل:

(14)

حيث F هي كمية صناديق التردد و T′ كمية الإطارات الزمنية. لتعويض التغير في التسجيل، يتم تطبيع ميزات الطيف كما يلي:

(15)

حيث μ_V σ_{V هما} المتوسط العالمي والانحراف المعياري فوق الجسم. يوفر هذا مساحة ميزات صوتية مستقرة لنماذج ASR وNLU.

ترميز فتحة النية
بالإضافة إلى الميزات الصوتية، يحمل كل أمر صوتي علامات على فتحات دلالية منظمة:

(16)

حيث، على سبيل المثال، "تدوير الكرسي 15 درجة" يتوافق مع (الفعل = دوران، الكائن = الكرسي، الموقع = الصفر). يتيح هذا الترميز المنهجي للنظام اشتقاق معلمات خاصة بالتصميم وتحويلها إلى عمليات واقع افتراضي تنفيذية.

تصميم تفاعل الإيماءات مع الشبكة الالتفافية الزمنية (TCN)
يحدد تصميم تفاعل الإيماءات كيفية تفاعل المستخدمين مع الأشياء الافتراضية في نظام تصميم المنزل الواقع الافتراضي باستخدام إيماءات اليد الطبيعية. يبدأ التصميم بتطوير معجم الإيماءات - وهو ارتباط بين إيماءات اليد ووظائف النظام. على سبيل المثال، يمكن لإيماءة الإمساك أن تتحكم في وضع الأشياء، وإيماءة القرص يمكن أن تتحكم في التكبير، وإيماءة الدوران يمكنها تدوير الأجسام حول محور محدد.

في النظام قيد الدراسة، تعمل EgoGesture وIPN Hand كمجموعات بيانات الإيماءات الأساسية لتدريب شبكة الالتفاف الزمنية (TCN)، بينما تكمل أوامر الكلام السليمة التصميم بقدرات تفاعل صوتية. معا، توفر تفاعلا متعدد الوسائط في الواقع الافتراضي.

تمثيلات الإيماءات من مجموعة البيانات
تسلسل الإيماءات سواء من إيجوستة أو IPN Hand هو سلسلة زمنية متعددة المتغيرات:

(17)

(18)

هنا، T هو العدد المحدد مسبقا من الإطارات (بعد إعادة العينة)، وd هو عدد أبعاد الميزات الهيكلية (مثل مواقع الوصلات ثلاثية الأبعاد). تحتوي مجموعة البيانات على تسميات y⁽ⁱ⁾ ∈ y تشير إلى إحدى فئات الإيماءات C.

الترميز الالتفافي الزمني
نستخدم شبكة الالتفاف الزمني (TCN) لتصنيف الإيماءات في الوقت الحقيقي. تلتقط TCN الاعتماديات قصيرة وطويلة الأمد في تسلسلات الإيماءات. تستخدم شبكات TCN، على عكس شبكات RNN، التفافيات سببية متوسعة، مما يتيح الحوسبة المتوازية الفعالة.

يطبق TCN هذه التسلسلات من خلال الالتفافات السببية المتوسعة لتعلم التبعيات قصيرة وطويلة المدى:

(19)

حيث d_L هو عامل التمدد في الطبقة l، وK هو حجم النواة، و σ هو التنشيط غير الخطي (ReLU). يعتمد المجال المستقبلي على:

(20)

مما يتطلب من TCN أن يمتد على إيماءات بأطوال زمنية مختلفة.

تصنيف الإيماءات
يتم تمرير الحالة المخفية الأخيرة عبر مصنف سوفت ماكس:

(21)

مع هدف التدريب المحدد بواسطة الإنتروبيا المتقاطعة:

(22)

التكامل مع أوامر الصوت
بينما يتم معالجة العمليات المكانية (التحريك، الدوران، التوسع) بواسطة التعرف على الإيماءات عبر إيغاثيكت وIPN Hand، يتم تطبيق مجموعة بيانات أوامر الكلام السليمة للأوامر الدلالية. يتم ترجمة كل عبارة إلى تمثيل خانة منظم: يعزز إدخال الإيماءة بتقديم معلمات (مثل "تدوير الكرسي بمقدار 15°").

ثم يتم دمج كلا المخرجتين:

(23)

حيث o⁽ⁱ⁾ هو بدائي التحكم في VR (الوضع، التحجيم، الدوران).

تعد شبكة الالتفاف الزمني (TCN) فعالة في التعامل مع البيانات التسلسلية من خلال استخدام الالتفافات الطولية الواحدة الأبعاد الموسعة على تسلسلات الإدخال، مثل إشارات الإيماءات أو الكلام، كما هو موضح في الشكل 2. على عكس النماذج المتكررة، تستخدم شبكات TCN مرشحات الالتفافية لتعلم العلاقات الزمنية قصيرة وطويلة الأمد. تستخدم الكتل المتبقية ذات اتصالات التخطي لتوفير الاستقرار أثناء التدريب ومنع اختفاء التدرجات المنخفضة، بينما يمكن استخدام طبقات TCN المكدسة الشبكة من تعلم أنماط زمنية متعددة المقاييس. في النهاية، تقوم طبقة التصنيف المتصلة بالكامل بإسقاط الميزات الزمنية المتعلمة إلى تسميات إخراج، مثل فئات الإيماءات أو النيات المنطوقة. هذا التصميم مناسب بشكل خاص للتعرف المستمر على الإيماءات وفهم أوامر الصوت، حيث يجمع بين الكفاءة الحاسوبية وقدرات النمذجة الزمنية القوية.

يلخص الجدول 2 التصميم المعماري العام وتكوين التدريب لشبكة الالتفاف الزمنية المستخدمة في النظام المقترح للتعرف على الإيماءات. يتميز النموذج بأربع كتل TCN متبقية، كل منها يعتمد على التفافيات سببية متوسعة، مما يسمح للشبكة بنمذجة التبعيات الزمنية قصيرة وطويلة المدى. تعد هذه التبعيات ضرورية للتمييز بين الإيماءات الديناميكية، مثل الإمساك والدوران والقرص. مع حجم النواة 3، وعوامل التوسع، فإن عوامل التمدد ل [1,2,4,8] توسع المجال الاستقبالي الزمني بكفاءة دون زيادة التكلفة الحاسوبية. لتحسين التعميم بين المستخدمين وظروف التسجيل، تم استخدام تطبيع الطبقة ومعدل انقطاع 0.25 داخل كل كتلة. للتدريب، يستخدم محسن آدم بمعدل تعلم 1 × ^10-3، وحجم دفعة 32، وطول تسلسل 64 إطارا، مما يوازن بشكل مثالي بين الدقة والاستجابة الفورية. أثناء الاستدلال، تجعل استراتيجية نافذة الانزلاق التنبؤ بالإيماءات كل 20-25 مللي ثانية ممكنا، مع الحفاظ على زمن الاستجابة من الطرف إلى الطرف تحت 120 مللي ثانية. هذا المزيج من البنية والمعلمات الفائقة ينتج دقة عالية في تصنيف الإيماءات (دقة تحديد المواقع ∼94٪) مع الحفاظ على التفاعل في الوقت الحقيقي، مما يمكن TCN من أداء مهام معالجة الواقع الافتراضي الغامرة.

تصميم التفاعل الصوتي (ASR+NLU)
يكمل مكون التفاعل الصوتي التحكم المكاني القائم على الإيماءات من خلال أوامر صوتية دلالية ومعلمية لنظام تصميم المنزل الواقع الافتراضي. يتم تسجيل المدخل المنطوق a⁽ⁱ⁾ أولا كصوت خام ثم تحويله إلى مخطط طيفي لوغاريتم-ميل:

(24)

حيث F هو عدد الترددات التي تربط T بطول الفترات الزمنية. يحافظ التمثيل على أنماط الكلام الطيفية والزمانية ويتم تطبيعه ليكون ثابتا مع تغير المتحدث والبيئة:

(25)

يتم تغذية الطيف المعياري إلى نموذج التعرف التلقائي على الكلام (ASR) مثل Whisper، الذي يحول الميزات الصوتية إلى تسلسل رمزي:

(26)

حيث كل منها رمز لكلمة أو وحدة كلمة فرعية. يتم تغذية هذا النسخ في نموذج فهم اللغة الطبيعية (NLU)، الذي يلتقط المعنى المنظم. بشكل أكثر دقة، تقوم NLU بتنبؤات لفئات النية والفترات الدلالية:

(27)

حيث، على سبيل المثال، عبارة "تدوير الكرسي خمسة عشر درجة" تتناسب إلى (الفعل = دوران، الكائن = الكرسي، الموقع/المعلمة = 15°).

ثم يترجم إطار عمل فتحة النية المحددة إلى أمر رياضي يمكن تنفيذه داخل نظام الواقع الافتراضي:

(28)

حيث يمكن أن يكون u⁽ⁱ⁾ تحويلا عدديا (مثل دوران 15°) أو تغييرا تصنيفيا (مثل تبادل المواد).

يتم تحقيق القوة أخيرا من خلال آلية تحكيم قائمة على الثقة. إذا كانت درجة الثقة في ASR p(z) أو درجة الثقة p(s) في NLU أقل من عتبة τ، فإن النظام إما يطلب توضيحا أو يلجأ افتراضيا إلى التحكم القائم على الإيماءات. هذا يضمن أن تكون الأوامر الصوتية دقيقة وواضحة، مما يحسن سهولة الاستخدام لمهام التصميم التي تتطلب دقة.

تصميم الاندماج متعدد الوسائط
ميزة الدمج متعدد الوسائط في نظام الواقع الافتراضي المقترح هي أن فهم الصوت واكتشاف الإيماءات مدمجان في عملية اتخاذ قرار واحدة بدلا من التعامل معها بشكل منفصل. تعطي وحدة الإيماءات مخرجا تصنيفيا من TCN، بينما تقدم وحدة الصوت تمثيلا لفتحة النية s^(i). لدمج هذه الصور، ينفذ النظام دمج على مستوى القرار مع التحكيم القائم على الثقة.

اجعل مصنف الإيماءات يوفر توزيعا احتماليا على فئات الإيماءات:

(29)

وليكن نموذج NLU يعطي احتمالات فتحة النية:

(30)

حيث تشير a وo وp إلى خانات الفعل والكائن والمعاملات المشتقة من إدخال الكلام. تحسب خطوة الاندماج قرارا مشتركا بدمج الطريقتين وفقا لدرجات الثقة الخاصة بهما:

(31)

حيث يتم تعيين α∈[0,1] ديناميكيا بناء على ثقة النظام (مثلا، أعلى عندما تكون الإيماءات أكثر يقينا، وأقل عندما يكون الكلام واضحا).

خوارزمية 1: Multimodal_Fusion (X, a):

المدخلات:

X = تسلسل الإيماءات المعالجة مسبقا، a = أمر صوتي

المخرج:

O = أمر الفعل في الواقع الافتراضي

الخطوة 1: التعرف على الإيماءات

 

الخطوة 2: فهم الصوت

 

 

الخطوة 3: قرار الاندماج

 

 

 

 

 

غير ذلك:

 

الخطوة 4: التعامل مع الأخطاء

):

طلب توضيح المستخدم

غير ذلك:

إرسال O إلى نظام الواقع الافتراضي

العودة O

تنتقل هذه الخوارزمية 1 بين إدخال الإيماءات والصوت لصياغة أمر قوي لتصميم الواقع الافتراضي. تفسر وحدة الإيماءات (TCN) أولا حركات اليد مثل الدوران أو التكبير وتمنح درجة ثقة بناء على يقين النموذج. وبالتوازي مع ذلك، تقوم وحدة الصوت أيضا بتحويل الكلام إلى نص باستخدام ASR (مثل Whisper) وتطبق NLU لتحديد النية الدلالية، مثل "تدوير الكرسي بمقدار 15°". كلتا الوحدتين تعيدان توقعاتهما مع درجات الثقة. ثم توازن خطوة الجمع بين المخرجين. إذا كان كلا المدخلين محددين، يقوم النظام بجمعهما بشكل متناسب مع مستويات الثقة الخاصة بهما. إذا كان أحد المدخلات غامضا (مثل الضوضاء في الصوت أو الإيماءة غير المؤكدة)، فإن النظام يعطي الأولوية للآخر أكثر. وأخيرا، إذا لم يكن أي منهما محددا، يطلب النظام توضيحا لمنع الأخطاء. هذا يجعل الاندماج متكيفا (تتغير الأوزان بناء على جودة الإدخال)، وقويا (يستوعب البيانات الضوضاء أو المفقودة)، ودقيقا (باستخدام أفضل نقاط القوة في الإيماءة والصوت).

المشاركون
تشمل هذه الدراسة مجموعة من المتطوعين تم اختيارهم من طلاب الجامعات والمتخصصين في التصميم لجمع آراء متنوعة حول قابلية استخدام الواقع الافتراضي. تراوحت أعمار المشاركين من سن البلوغ المبكرة إلى منتصف العمر، مما يمثل مزيجا من مستويات الخبرة السابقة في الواقع الافتراضي، بما في ذلك المبتدئين، والمستخدمين العرضيين، والمتقدمين. كان لدى جميع المشاركين رؤية طبيعية أو مصححة ولم يتم الإبلاغ عن إعاقات حركية قد تتداخل بشكل كبير مع التفاعل القائم على الإيماءات. استبعدت اضطرابات النطق الشديدة، أو القيود الكبيرة في حركة الذراع، أو أي تاريخ سابق من دوار الحركة الناتج عن الواقع الافتراضي الأشخاص من حيث السلامة والاستمرار في المشاركة. قدم جميع المشاركين موافقة مستنيرة، وتمت الموافقة على إجراءات التقييم من قبل لجنة المراجعة المؤسسية. يحدد هذا القسم بوضوح من شارك في التقييم، مما يسمح بإمكانية تكرار الدراسة.

الإعداد التجريبي
يتميز الإعداد التجريبي المقترح بنظام الواقع الافتراضي متعدد الوسائط المطور، والذي يتم نشره على سماعة واقع افتراضي مخصصة للمستهلك مزودة بقدرات تتبع اليد المدمجة وكاميرا RGB لالتقاط الإيماءات. يتميز بسطح مكتب عالي الأداء، مما يتيح معالجة تقنيات التعرف على الإيماءات، وASR، وتقنيات الدمج متعددة الوسائط في الوقت الحقيقي. بيئة الواقع الافتراضي مبنية بتقنية Unity 3D وتحتوي على غرفة تصميم منزلي يمكن تهيئتها بأثاث ومواد وعناصر إضاءة. يشمل الإعداد ASR المعتمد على Whisper لنسخ الكلام، كما يتضمن وحدة NLU تعتمد على المحول لاكتشاف النية. تم نقل هذا الوصف من داخل قسم النتائج ليقدم نظرة عامة مناسبة على البيئة التقنية قبل مناقشة النتائج.

سيناريوهات الاختبار الذاتي
تفاعل المشاركون مع بيئة تصميم منزلية محاكاة تتكون من غرفة معيشة مفروشة، وغرفة نوم، ومساحة عمل صغيرة. في كل سيناريو، طلب من المستخدمين تغيير الكائنات الافتراضية والمتغيرات البيئية في البيئة المحيطة وفقا لظروف التصميم الواقعية. على سبيل المثال، طلب من المشاركين وضع الأريكة بالنسبة لنقطة مرجعية، أو تدوير الكرسي في اتجاه معين، أو تغيير حجم الطاولة إلى بعد مستهدف، أو تعديل شكل مادة الجدار/الضوء السطحي. تم اختيار هذه السيناريوهات لأنها تمثل مهام التصميم الداخلي النموذجية التي تتحدى كل من التحكم القائم على الإيماءات (من حيث الدقة المكانية) والتحكم الصوتي (من حيث الأوامر الدلالية). هذا القسم الفرعي يتناول مباشرة سؤال المراجع حول ظروف الاختبار الذاتية التي يقيم فيها المستخدمون النظام.

تصميم المهام
قام المشاركون بمجموعة منظمة من التمارين التي تناولت مجالات مختلفة من معالجة العناصر وتفاعل التصميم. كانت المهام الرئيسية كما يلي: 1) وضع الأثاث: وضع المشاركون الأشياء عند إحداثيات الهدف. 2) مهمة الدوران: في هذه المهمة، كان على المستخدمين تغيير الاتجاه ليتناسب مع زاوية المرجع. 3) مهمة التكبير: تضمنت هذه المهمة تغيير حجم الأثاث إلى أبعاد محددة مسبقا. علاوة على ذلك، 4) تحرير المواد/الألوان: استخدم المشاركون أوامر صوتية لتغيير الخامات أو تعديل الإضاءة. تم توفير مهام تنقل اختيارية لالتقاط قدرة الوعي المكاني داخل الغرفة الافتراضية. تم تحديد كل عمل بأهداف واضحة، ونتائج قابلة للقياس، وحد زمني محدد، لضمان تقييم الدقة والكفاءة بشكل صحيح.

الإجراءات
لضمان التوحيد بين المشاركين، تم إجراء التقييم بتسلسل مخطط له. تم شرح النظام للمستخدمين أولا وعرض موجز لطرق الإيماءات والتفاعل مع الكلام. سمحت مرحلة المعايرة الأولية بالتكيف مع وضعيات اليد الفردية وخصائص الكلام. ثم أجرى المستخدمون جلسة تدريب قصيرة للتعود على الطريقتين. تطلب التقييم الفعلي أداء جميع المهام في ثلاث ظروف تفاعل: استخدام وحدة تحكم فقط، واستخدام الإيماءات فقط، واستخدام الإيماءات بالإضافة إلى الصوت كمدخل متعدد الوسائط. تم موازنة ترتيب الشروط لتقليل تأثيرات التعلم. في النهاية، أكمل المشاركون أدوات تقييم موحدة مثل SUS وناسا-TLX وIPQ، وشاركوا في مقابلة تغذية راجعة نوعية قصيرة.

مقاييس التقييم
تؤسس هذه العملية المنظمة شفافية منهجية، مما يمكن من دراسات التكرار. تم دمج المقاييس الموضوعية والذاتية لتقييم أداء النظام بشكل شامل. شملت المقاييس الموضوعية وقت إكمال المهمة، وهو مقياس للكفاءة؛ دقة الوضع، التي تقاسها كانحراف عن موقع الهدف أو دورانه؛ ومعدل الخطأ، المعرف بأنه عدد التصنيفات الخاطئة أو الإجراءات غير المقصودة التي يقوم بها النظام. تم جمع المقاييس الذاتية باستخدام استبيانات موثقة: مقياس قابلية الاستخدام للنظام لقياس القدرة على الاستخدام المدركة، مقياس ناسا-TLX لتقييم عبء العمل الذهني والجسدي، واستبيان الحضور للمجموعة الأولى لقياس الانغماس والحضور في الواقع الافتراضي. تم نقل هذه النقاط بشكل مناسب من قسم النتائج لوصف كيفية قياس الأداء قبل عرض أي نتائج.

بيئة الواقع الافتراضي، تكامل الأنظمة، والتقييم
المنصة الأساسية لأوامر الكلام والإيماءات هي بيئة واقع افتراضي تفاعلية يتم فيها نشر النظام. تستخدم مكتبات متكاملة من الأثاث والملمس وعناصر الإضاءة لإنشاء غرف افتراضية في Unity 3D. يتيح للمستخدمين تنظيم العناصر وتخصيصها وتعديلها في الوقت الحقيقي. تزداد الدقة من خلال قدرات الالتقاط (snaping)، واكتشاف التصادم، وطبقات القياس، مما يسمح للأجسام بالمحاذاة بشكل طبيعي. الرسم الفوري للإضاءة والمواد يعزز تجربة التصميم من خلال تقديم تغذية راجعة فورية على كل تفاعل.

بعد التحقق من صحة الوحدات الفردية للتعرف على الإيماءات، وفهم الصوت، والدمج متعدد الوسائط، يتم دمجها في خط أنابيب موحد. تم تصميم النظام ليكون منخفض التأخير، لذا تظهر أوامر المستخدم تقريبا فورا في بيئة الواقع الافتراضي. تجرى الاختبارات التجريبية مع عدد قليل من الأعضاء لصقل تدفق التفاعل. تشمل النسخة مفردات الإيماءات، والتحقق من قواعد أوامر الصوت، وضمان شعور النظام بأنه طبيعي وموثوق أثناء الاستخدام المستمر.

سيتم استخدام دراسة شاملة تقارن بين ثلاث أنماط تفاعل، مثل دمج الإيماءات والصوت متعدد الوسائط، ومدخلات وحدة التحكم فقط، والوضع الهجين، لتقييم تجربة المستخدم. تتطلب المهام، بما في ذلك تبديل المواد، والدوران، ووضع الأشياء، من المشاركين. لتقييم الأداء، يتم جمع مقاييس موضوعية مثل وقت الإنجاز الوظيفي، وصحة الوظيفة، ورسوم الخطأ. يتم استخلاص تقييمات ذاتية من المشاركين باستخدام استبيانات موحدة، مثل مقياس قابلية الاستخدام للنظام (SUS)، وعبء العمل المعرفي من ناسا-TLX، واستبيان IPQ للانغماس، مع تقديم مقابلات المشاركين دعما إضافيا. يرمز هذا التقييم المزدوج لكل من مقاييس الأداء القابلة للقياس وتجربة المستخدم الذاتية.

تقدم هذا النظام هو تطبيق الاندماج متعدد الوسائط على مهام التصميم الدقيقة التي تتجاوز الملاحة الأساسية أو التفاعل. تقدم هذه التقنية طريقة أكثر عضوية ودقة وسهولة للتفاعل من خلال دمج القيمة الدلالية لتعليمات الصوت مع المزايا المكانية للإيماءات. من خلال تقديم ميزات وصول قابلة للتكيف، مثل البديل الصوتي فقط والتعرف على الإيماءات بيد واحدة، يعزز النظام أيضا الشمولية. أخيرا، تقدم الدراسة مجموعة بيانات منهجية ومشروحة متعددة الوسائط لتفاعلات الصوت والإيماءات، مما يعزز الدراسات المستقبلية في تصميم الواجهات الغامر ويعزز قابلية إعادة الإنتاج.

يعرض الشكل 3 لقطات شاشة نموذجية للبرنامج المنفذ، مما يوفر تمثيلا أكثر حيوية لنظام التصميم الداخلي الواقع الافتراضي المبنى. يتم تصوير بيئة الواقع الافتراضي الغامرة، حيث يمكن للمستخدمين استكشاف ومشاهدة تخطيط الغرفة، في الشكل 3A. يوضح الشكل 3B كيف يمكن استخدام التفاعلات اليدوية الطبيعية لاختيار وتحريك وتدوير عناصر الأثاث الافتراضي في عملية معالجة الأشياء القائمة على الإيماءات. يوضح الشكل 3C واجهة الصوت المدمجة، حيث تقوم رموز الميكروفون وردود الفعل الكلامية بالتحقق من صحة أوامر الصوت التي يصدرها المستخدم للتعديلات المكانية أو وضع الأشياء. مجتمعة، تظهر هذه اللقطات لنظام الواقع الافتراضي متعدد الوسائط المقترح أنه تم تنفيذه بالكامل، مما يسمح بالإيماءات والتفاعل الصوتي في الوقت الحقيقي.

النتائج

تم التحقق من صحة نظام تصميم المنزل متعدد الوسائط الواقع الافتراضي باستخدام ثلاث مجموعات بيانات أساسية: إيماءات إيغو (الإيماءات الديناميكية)، IPN Hand (إيماءات اليد المستمرة)، وأوامر الكلام السليمة (أوامر صوتية مع تسميات فتحات النية). وبشكل مجتمع، قدمت مجموعات البيانات الثلاث قاعدة تدريب وتقييم شاملة، تعالج كل من التعرف على الإيماءات والفهم الدلالي القائم على الصوت. يثبت التحقق أن التكامل بين الإيماءة والصوت يعزز دقة المهام بشكل كبير ويقلل من عبء العمل مقارنة بأساليب التحكم فقط والإدخال الهجين.

المناقشة

تقدمت نتائج هذا البحث في تطوير تقنية الورقة الأساسية، التي أظهرت بشكل رئيسي مزايا التنقل الافتراضي الغامر لسهولة الوصول من خلال دمج أنماط الإيماءات والصوت لمهام التصميم. أدى النظام متعدد الوسائط أداء أفضل في جميع مقاييس الأداء الموضوعية والذاتية، مع أوقات إنجاز أقصر وزيادة دقة التموضع ومعدلات خطأ أقل مقارنة بالأساليب المعتمدة على وحدة التحكم والهجناء. علاوة على ذلك، أشارت مقاييس قابلية الاستخدام مثل SUS وNASA-TLX وIPQ إلى رضا أكبر للمستخدمين، وانخفاض عبء العمل، وزيادة الانغماس. على عكس ا...

المواد

قائمة المواد المستخدمة في هذه المقالة

الاسم	الشركة	رقم فهرسي	التعليقات
مجموعة بيانات إيجوجيستس	جامعة نانيانغ التكنولوجية	DOI: 10.1109/TMM.2018.2808769	مجموعة بيانات واسعة النطاق لإيماءات اليد الأنانية لتدريب التعرف الديناميكي على الإيماءات.
مجموعة بيانات أوامر الكلام السليم	Fluent.ai / جامعة ألبرتا	DOI: 10.48550/arXiv.1804.04363	مجموعة بيانات لفهم النية الصوتية والدلالية المعتمدة على الفتحات لتدريب ASR/NLU.
مجموعة بيانات HaGRID (اختياري)	Sber AI / المصادر المفتوحة	v1.1	مجموعة بيانات اختيارية تستخدم للتدريب المسبق على كاشف إيماءات اليد الثابتة.
استبيان حضور مجموعة آي (IPQ)	igroup.org	لا يوجد	يستخدم لقياس الانغماس والحضور في بيئة الواقع الافتراضي.
مجموعة بيانات IPN اليدوية	جامعة فيراكروزانا	DOI: 10.1109/CVPRW50498.2020.00241	مجموعة بيانات لمهام التعرف على إيماءات اليد والمهام المباشرة والطبيعية للتقسيم.
ماتبلوتليب / سيبورن	المصدر المفتوح	أحدث إصدار من الإسطبل	يستخدم لتصوير مقاييس الأداء ونتائج التقييم.
ميديابايب هاند	أبحاث جوجل	المصدر المفتوح (GitHub)	يستخدم لتتبع اليد والإيماءات في الوقت الحقيقي للتعرف على إدخال الإيماءات.
موزيلا كومون فويس (اختياري)	مؤسسة موزيلا	الإصدار 17	مجموعة بيانات اختيارية للتدريب المسبق لنموذج ASR على بيانات الكلام العامة.
طبقة الاندماج متعددة الوسائط	خوارزمية مخصصة	لا يوجد	يدمج تدفقات الإيماءات والصوت بناء على التحكيم المرجح بالثقة.
تقييم عبء العمل في ناسا-TLX	عوامل الإنسان في ناسا	لا يوجد	يستخدم لتحليل عبء العمل المعرفي للمشاركين.
وحدة فهم اللغة الطبيعية (NLU)	المخصص (مبني على BERT / RoBERTa)	لا يوجد	يستخدم لاستخراج النوايا والفتحات الدلالية (الفعل، الكائن، المعامل) من مدخلات الصوت المنسوخة.
NumPy / Pandas / OpenCV	المصدر المفتوح	أحدث إصدار من الإسطبل	يستخدم للعمليات الرقمية، والمعالجة المسبقة للبيانات، ومعالجة إطارات الفيديو.
لغة البرمجة بايثون	مؤسسة بايثون للبرمجيات	الإصدار 3.10+	يستخدم لتنفيذ نماذج التعلم الآلي (TCN، ASR، NLU، الاندماج).
إطار عمل التعلم العميق PyTorch	الذكاء الاصطناعي الضخم	الإصدار 2.0+	يستخدم لبناء وتدريب نماذج التعرف على الإيماءات (TCN) وNLU.
كاميرا RGB	لوجيتك / ريال سينس	لوجيتك C920 أو إنتل ريالسينس D435	يستخدم لالتقاط الإيماءات اليدوية ومدخلات التعرف على الحركة.
استبيان مقياس قابلية استخدام النظام (SUS)	أداة التقييم القياسية	لا يوجد	يستخدم لتقييم قابلية الاستخدام الذاتية لنظام الواقع الافتراضي.
الشبكة الالفافية الزمنية (TCN)	تنفيذ مخصص (PyTorch / TensorFlow)	لا يوجد	يستخدم للتعرف الديناميكي على الإيماءات من بيانات الهيكل العظمي في السلاسل الزمنية.
محرك يونيتي ثلاثي الأبعاد	تقنيات يونيتي	الإصدار 2022.3 LTS	يستخدم لتطوير بيئة واقع افتراضي غامرة مع أثاث تفاعلي، وتحرير المواد، وعرض في الوقت الحقيقي.
نظارة الواقع الافتراضي	Oculus (ميتا) / HTC Vive	Oculus Quest 2 أو HTC Vive Pro	يستخدم للتصوير الغامر والتتبع المكاني أثناء تفاعل الواقع الافتراضي.
نموذج ويسبر ASR	OpenAI	ويسبر (النموذج الأساسي)	محرك التعرف التلقائي على الكلام لتحويل الكلام إلى نص.
محطة العمل	حاسوب مخصص	Intel Core i7 / NVIDIA RTX 3070 / ذاكرة RAM بسعة 32 جيجابايت	يستخدم للمعالجة الفورية، والتدريب، والاستدلال على نماذج الإيماءات والصوت.