أصبحت القدرة على إعادة إنشاء المناظر الطبيعية ثلاثية الأبعاد والتفاعل معها أمرا بالغ الأهمية في العديد من المجالات المختلفة لتطبيقات التكنولوجيا الحديثة. تعتمد التقنيات التقليدية لإنشاء تمثيلات افتراضية للمواقع الحقيقية أحيانا على نماذج جامدة كثيفة العمالة وقياسات يدوية1. ظهرت تقنيات الرؤية الحاسوبية المتقدمة كخيارات قابلة للتطبيق لإعادة البناء والتفاعل ثلاثي الأبعاد الآلي من أجل التغلب على هذهالقيود 2.
يعد تطوير نماذج ثلاثية الأبعاد معقدة من الصور الفوتوغرافية بزاوية 360 درجة سمة بارزة لهذا التقدم. يمكن الحصول على معلومات مكانية دقيقة من خلال تحديد المناطق الدقيقة التي التقطت فيها الصور باستخدام أحدث الأدوات مثل COLMAP3. تم تعزيز العملية بشكل أكبر من خلال Gaussian Splatting4 ، مما يسمح بإعادة إنشاء الإعدادات المعقدة ثلاثية الأبعاد بجودة جيدة.
إن دمج هذه النماذج ثلاثية الأبعاد في أنظمة الواقع الافتراضي (VR) يفتح طرقا جديدة للاستكشاف والمشاركة بما يتجاوز إعادة الإعمار. لزيادة المشاركة ، يمكن للمستخدمين قياس كائنات العالم الحقيقي مثل الأبواب والطاولات ، والتحرك في الفضاء الافتراضي ، وحتى إضافة كائنات رقمية وصور رمزية. يمكن أن تنتج هذه الصور الرمزية استجابات ديناميكية وتفاعلية باستخدام نماذج اللغة الكبيرة (LLMs) ، مما يؤدي إلى تجارب غامرة5.
يقدم هذا العمل منهجية لإنشاء تمثيلات ثلاثية الأبعاد لبيئة العالم الحقيقي باستخدام صور ملونة عادية وعرضها ضمن إعداد الواقع الافتراضي. يعتمد النظام على الهيكل للأغراض العامة من الحركة وخطوط أنابيب الطلاء الغوسية. النظام مناسب لإنشاء المزيد من التطبيقات في البناء أو الرعاية الصحية.
ينتج خط الأنابيب المقترح تمثيلات ثلاثية الأبعاد واقعية بصريا وجذابة للبيئات الحقيقية ، وهي ميزته الرئيسية. بالإضافة إلى ذلك ، فإنه يستخدم صورا ملونة ، وهي مريحة للغاية مقارنة بالأساليب الأخرى التي تتطلب أجهزة استشعار باهظة الثمن مثل LiDARs أو كاميرات الإضاءة الهيكلية6. الأساس المنطقي وراء الاقتراح هو أن القدرة على إنشاء تمثيلات ثلاثية الأبعاد جذابة بصريا بسهولة لها العديد من التطبيقات. يمكن استخدامه في البناء لمراقبة الجودة ، أو في الرعاية الصحية لعلاج المصابين بالتوحد في بيئة معروفة وخاضعة للرقابة ، أو في الترفيه لتضمين تمثيل دقيق لموقع حقيقي في لعبة فيديو.
تقدم تطوير أنظمة إعادة بناء 3D والتفاعل مع البيئات الافتراضية بشكل كبير في السنوات الأخيرة ، مدفوعا بتكامل رؤية الكمبيوتر والتعلم الآلي وتقنيات الواقعالافتراضي 2. وترد أدناه موجز للمكونات والمنهجيات الرئيسية ذات الصلة بهذا العمل.
تعتمد إعادة البناء ثلاثية الأبعاد الدقيقة على معالجة الصور لاستخراج المعلومات المكانية والهندسية. تم استخدام الطرق التقليدية مثل الهيكل من الحركة (SfM) 7 و Multi-View Stereo (MVS) على نطاق واسع لتقدير أوضاع الكاميرا وتوليد سحب نقطية كثيفة. يتم التعرف على أدوات مثل COLMAP لقوتها في أداء هذه المهام ، حيث تجمع بين SfM و MVS لإنتاج نماذج ثلاثية الأبعاد عالية الدقة من مجموعات بيانات الصور. ومع ذلك ، لا تزال هناك قيود في التعامل مع الإضاءة المعقدة والقوام والبيئات الديناميكية للغاية.
تشمل التطورات الحديثة Gaussian Splatting9 ، والتي تستخدم تمثيلا قائما على النقاط لإنتاج عمليات إعادة بناء واقعية بكفاءة أكبر من الطرق التقليدية القائمة على الشبكة. يتيح Gaussian Splatting تصورا أكثر سلاسة وتمثيلا مكانيا أكثر دقة ، لا سيما في المشاهد ذات التفاصيل المعقدة.
بمجرد إعادة بناء النماذج ثلاثية الأبعاد ، يعد تحويلها إلى تنسيقات متوافقة مع الواقع الافتراضي أمرا بالغ الأهمية للتفاعل الغامر. توسع استخدام أنظمة الواقع الافتراضي إلى ما هو أبعد من الترفيه ليشمل مجالات مثل التعليم والرعاية الصحية10 والتصميم الصناعي. تتيح أطر عمل الواقع الافتراضي الحديثة التنقل السلس والتفاعل مع الكائنات الرقمية والواقعية المحسنة ، مما يجعلها مناسبة للتطبيقات التي تتطلب تفاعلا عاليا من المستخدم.
يعمل دمج الميزات التفاعلية مثل الكائنات الافتراضية والصور الرمزية على تحسين وظائف وعمق أنظمة الواقع الافتراضي (VR) بشكل كبير. تسهل الصور الرمزية المدعومة بنماذج اللغات الكبيرة (LLMs) تفاعلات محادثة واقعية ، مما يتيح تجارب مستخدم ديناميكية وتكيفية. على وجه الخصوص ، أظهرت هذه التقنيات إمكانات في السياقات العلاجية ، مما يتيح تفاعلات مصممة خصيصا بناء على سلوك المستخدم أو الحالة العاطفية. على سبيل المثال ، طورت هذه الدراسة11 تطبيقا للواقع الافتراضي باستخدام الصور الرمزية كروبوتات محادثة مدعومة من LLMs لتدريب الأفراد المصابين بالتوحد على مهارات الاتصال المهني ، مما يسلط الضوء على قدرة الصور الرمزية التي تعمل بنظام LLM على التكيف في العلاج. بالإضافة إلى ذلك ، تم تضمين LLMs في بيئات الواقع المعزز لتعزيز الإدماج والمشاركة ، مما يدعم الإمكانات العلاجية للصور الرمزية التي يحركها LLM.
يتم استخدام البيئات الافتراضية بشكل متزايد في البيئات العلاجية ، خاصة للأفراد الذين يعانون من اضطراب طيف التوحد (ASD). تشير الدراسات إلى أن المساحات الافتراضية المألوفة والخاضعة للرقابة يمكن أن تقلل من القلق وتزيد من المشاركة أثناء جلسات العلاج11. يمكن أن تعمل الصور الرمزية في هذه البيئات كميسرين ، وتقديم العلاج بطريقة تشعر بالأمان وفي متناول المريض.
على الرغم من التقدم المحرز، لا تزال هناك تحديات، بما في ذلك التكلفة الحسابية لإعادة البناء ثلاثي الأبعاد، والحفاظ على الدقة العالية في البيئات الافتراضية، وضمان التكامل السلس بين الأنظمة. ومع ذلك ، فإن التطوير المستمر لخوارزميات وأجهزة أكثر كفاءة ، فضلا عن التقدم في الأدوات القائمة على الذكاء الاصطناعي ، يوفر فرصا لمزيد من الابتكار في هذا المجال. تقدم هذه الورقة نظاما جديدا لإعادة بناء 3D والتفاعل مع البيئات الافتراضية باستخدام صور 360 درجة. يدمج هذا النهج تقنيات مثل توطين الصور باستخدام COLMAP ، وإعادة البناء عالية الجودة باستخدام الطلاء الغوسي ، وتوافق الواقع الافتراضي للاستكشاف الغامر. من خلال دمج الكائنات الرقمية والصور الرمزية التفاعلية المدعومة من LLMs ، يتيح النظام التطبيقات في العلاج الشخصي للأفراد الذين يعانون من ASD والتحقق من مشروع البناء. توفر هذه الأدوات إطارا شاملا لإنشاء بيئات افتراضية قابلة للتكيف تعزز الممارسات العلاجية والصناعية. يوضح الشكل 1 خط أنابيب الاقتراح.

الشكل 1: خط أنابيب النظام. رسم تخطيطي لخط الأنابيب المقترح لإعادة بناء واقعية للبيئة المكونة من البيئة الحقيقية ، والصور بزاوية 360 درجة ، والإسقاطات التي تم الحصول عليها ، وعملية SfM ، وعملية Splatting Gaussian ، والتكامل مع الواقع الافتراضي. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.