$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
يقترح هذا القسم أولا طريقة مطابقة FP لصور السياحة تجمع بين SURF وخوارزمية ORB محسنة لتحسين متانة مطابقة FP. ثم تقترح الدراسة تقنية تسجيل ثلاثية الأبعاد لسياحة الواقع المعزز تعتمد على تحسين الذاكرة السمعية لتعزيز تأثير الاندماج بين المعلومات الافتراضية والعالم الحقيقي. أجريت التجارب باستخدام مجموعات بيانات صور متاحة للجمهور. على وجه التحديد، تم استخدام مجموعة بيانات مجموعة الهندسة البصرية في أكسفورد (VGG)، والتي تشمل تسلسلات الصور مع اختلافات في الحجم والضبابية والإضاءة، ووجهة النظر، ويتم اعتمادها على نطاق واسع لتقييم خوارزميات مطابقة وتسجيل الميزات في رؤية الحاسوب. لم تكن هناك حاجة لموافقة لجنة أخلاقية لاستخدام هذه المجموعة المتاحة للعامة.
دمج SURF وخوارزمية ORB محسنة لمطابقة FP في صور السياحة
مع التطور السريع لصناعة السياحة، يزداد الطلب على تقنية الواقع المعزز في خدمات السياحة الآلية. خوارزمية ORB هي خوارزمية فعالة لاكتشاف ووصف FP. لقد تم استخدام تقنية الواقع المعزز على نطاق واسع19. ومع ذلك، في عملية مطابقة صور السياحة ب FP، تعاني خوارزمية ORB الحالية من عيوب مثل ضعف المتانة في تغييرات المقياس، وانخفاض دقة مطابقة الميزات، واستهلاك الوقتلخوارزمية 20. لزيادة دقة ومتانة المطابقة، تقترح هذه الدراسة طريقة مطابقة ميزات قوية تدمج SURF مع خوارزمية ORB محسنة. لتحقيق ثبات المقياس، تخضع الصورة المدخلة لترشيح غاوسي وبناء هرمي. تكتشف خوارزمية SURF القيم الثابتة للمقياس، مع تحديد الاتجاهات عبر استجابات المويجات. يتم تحسين جودة الميزات من خلال تحسين النقاط الأولية باستخدام معيار زاوية هاريس والاحتفاظ بأكثرها تميزا. طريقة تدفق البصر لوكاس-كانادي تتبع الميزات عبر الإطارات، وخوارزمية RANSAC تلغي النقاط غير المتطابقة. الفجوة المنهجية التي تم تناولها هنا ليست فقط التطبيق المتسلسل ل SURF وORB، بل استراتيجية هجينة جديدة تهدف إلى تجاوز القيود الخاصة بالهجناء القياسية في بيئات سياحية معقدة. على عكس الطرق التقليدية ل SURF-ORB التي تستخدم SURF للكشف ثم تطبق واصف ORB مباشرة، تقدم الطريقة الحالية تحسينين حاسمين. أولا، يتم إعادة حساب اتجاه كل FP موضعه بواسطة SURF باستخدام استجابة المويجات الخاصة بها. يوفر هذا تقديرا اتجاهايا أكثر متانة من SURF وحده باستخدام طريقة هار-موويلت القياسية. ثانيا، والأهم من ذلك، لا تستخدم نقاط SURF الأولية بشكل مباشر. بدلا من ذلك، يتم تحسينها بدقة باستخدام معيار زاوية هاريس لتصفية النقاط غير المميزة ذات الاستجابات المنخفضة الموجودة في مناطق مسطحة أو على طول الحواف.
معالجة الصور مسبقة
في مرحلة المعالجة المبدئية لصور السياحة، تستخرج الدراسة الميزات من الصور الرمادية. لتوصيف الميزات المحلية للصورة بشكل أكبر، تستخدم الدراسة مكون التدرج لتحديد وتصنيف الصورة21. أظهرت المعادلة (1) تعبيرها.
(1)
في المعادلة (1) يشير I(x,y) إلى قيمة بكسل الصورة عند الإحداثي (x,y).
يرمز إلى متجه التدرج للصورة عند (x,y).
ويعرض
المشتقات الجزئية للصورة في اتجاهين x و y على التوالي. T يرمز إلى الانتقال لمتجه التدرج.
اكتشاف نقاط الميزة
بعد التعرف على الصورة بواسطة مكونات التدرج، تستخدم الدراسة ميزات من اختبار المقاطع المسرعة (FAST) في خوارزمية ORB لاكتشاف FPs للصورة. علاوة على ذلك، يتم مطابقة الخصائص الأولية بشكل عنيف باستخدام خوارزمية الوصف الثنائية القوية والمستقلة (BRIEF)22. يظهر مخطط اكتشاف الميزات ومطابقتها في هذه الخوارزمية في الشكل 1.

الشكل 1: مخطط تخطيطي لمطابقة الميزات بين اكتشاف ميزات خوارزمية FAST وخوارزمية وصف BRIEF. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يوضح الشكل 1 عملية اكتشاف الميزات في خوارزميات FAST و BRIEF. الشكل 1A هو مخطط تخطيطي لاكتشاف الميزات باستخدام خوارزمية FAST. يستخدم قالب دائري بحجم 16 بكسل لمقارنة السطوع حول البكسل المركزي للكشف السريع عن ميزات الزوايا في الصورة. الشكل 1B هو مخطط تخطيطي لمطابقة الميزات في خوارزمية BRIEF. من خلال اختيار عدة أزواج من البكسلات حول نقاط الميزة للمقارنة بالتدرج الرمادي، يتم توليد أوصاف ثنائية، ويستخدم المطابقة بالقوة الغاشمة لتحقيق مطابقة نقاط الميزات بين صورتين. يتضمن التعزيز الاستخدام الأولي لطريقة الترشيح الغاوسية، التي تعمل على تنعيم الصورة وتقليل الضوضاء عالية التردد. لاحقا، تستخدم طريقة تقليل العينة لتقليل الدقة المكانية للصورة، مما يقلل من تعقيد الحساب مع الحفاظ على الميزات الأساسية للصورة. تستخدم الدراسة طريقة بناء هرم الصورة، مستفيدة من التقنيتين المذكورتين أعلاه لضمان أن نماذج التصوير السطحية تظهر خصائص ثبات المقياس23. التعبير الخاص بتنعم الصورة بواسطة مرشح غاوسي منخفض التمرير موضح في المعادلة (2).
(2)
في المعادلة (2)، ge(x,y) يرمز إلى دالة مرشح غاوسية. e هو الانحراف المعياري (SD) للدالة الغاوسية. exp تدل على الدالة الأسية. يظهر هرم الصور المنشأ بواسطة الترشيح الغاوسي بشكل تخطيطي في الشكل 2.

الشكل 2: مخطط تخطيطي لهرم الصورة الذي تم إنشاؤه بواسطة ترشيح غاوسي. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يوضح الشكل 2 بنية هرم الصورة، حيث يتم توليد عدة صور منخفضة الدقة تدريجيا عن طريق الترشيح الغاوسي وتقليل العينة. من بينها، يقلل مرشح غاوسيان الضوضاء عالية التردد في الصورة عن طريق ضبابها عبر عملية الالتفاف. كنقطة تحقق بصرية خلال مرحلة المعالجة المسبقة هذه، يمكن عرض هرم الصورة المولد. يجدر بالذكر أن كل مستوى من مستويات الهرم يقدم دقة أقل تدريجيا من الصورة الأصلية. هناك زيادة ملحوظة في الضبابية وانخفاض في التفاصيل الدقيقة بسبب تطبيق الترشيح الغاوسي وتقليل العينة. لتعزيز فعالية تحديد الإطارات الدقيقة في الصورة، تستخدم الدراسة خوارزمية SURF لتحديد موقع هذه الإطارات في الصورة. تتضمن هذه الطريقة قياس المنطقة المحيطة ب FP والاستفادة من استجابة المويجات لتحديد اتجاه FP. نظرا لوجود FPs مكررة وغير صالحة يتم استخراجها بواسطة SURF، فإن عددها الزائد يقلل من سرعة التعرف على ميزات صورة الهدف (TI). لذلك، تستخدم الدراسة خوارزمية هاريس لاكتشاف نقاط الزاوية لتحديد الصورة المثلىFPs 24. المعادلة (3) تعرض قيمة الاستجابة الزاوية للخوارزمية.
(3)
في المعادلة (3)، تشير H إلى مصفوفة هاريس. u(x,y) تشير إلى دالة الوزن في النافذة. ix و iy يدلان على حجم القيمة الرمادية (GV) لنقطة البكسل. A تدل على قيمة الاستجابة لزاوية هاريس. تشير det H وtraceH إلى المحدد والأثر في مصفوفة هاريس على التوالي. k تشير إلى قيمة معامل. يوضح الشكل 3 مخطط اتجاه النقاط الزائدة المختارة بواسطة خوارزمية SURF والنافذة المنزلقة لخوارزمية هاريس لكشف الزوايا.

الشكل 3: مخطط تخطيطي لخوارزمية SURF، اختيار FP، ونافذة الانزلاق لخوارزمية هاريس لاكتشاف الزوايا. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يوضح الشكل 3 تركيب خوارزمية SURF لاكتشاف FPs في الصورة. يوضح الشكل 3A المخطط التخطيطي لاختيار اتجاه نقطة الميزة في خوارزمية SURF. عن طريق حساب الاتجاه الرئيسي لاستجابة مويجات هار في حي نقطة الميزة، يتم تحديد اتجاه الدوران الثابت لنقطة الميزة، والذي يمثل عادة بشكل حدسي بالأسهم أو مقاطع الخط الاتجاهية. الشكل 3B هو مخطط تخطيطي لنافذة الانزلاق في خوارزمية كشف الزوايا هاريس، يوضح عملية حركة النافذة داخل منطقة الصورة. يتم اكتشاف نقاط الزوايا عن طريق حساب تغيرات البكسل الرمادية داخل النافذة، ويتم تحديد المناطق ذات القيم العالية للاستجابة كنقاط زاوية.
مطابقة الميزات
بعد اكتشاف FPs الصورة، تستخدم الدراسة طريقة LK OF لتتبع FPs الصور المكتشفة. تحسب هذه الطريقة الحركة بين إطارات الصور المجاورة عن طريق تتبع حركة إطارات الإطارات في الصورة لتحقيق مطابقة الإطارات في تسلسل الفيديو. تحتاج طريقة LK OF إلى تلبية افتراضات ثبات GV للبكسل، والحركة الصغيرة، وثبات حركة المنطقة عند حساب الحركة بين إطارات الصورةالمجاورة 25. تم اعتماد طريقة لوكاس-كانادي بشكل استراتيجي نظرا لكفاءتها الحسابية، وهي ضرورية لتطبيقات السياحة الواقعية في الوقت الحقيقي. يتم تخفيف افتراضاته ضمن السياق المحدد. معدل الإطارات العالي لالتقاط الفيديو يضمن عموما إزاحات صغيرة بين الإطارات، مما يلبي متطلبات الحركة الصغيرة. بينما ثبات السطوع المطلق مثالي، فإن نافذة التتبع القصيرة بين الإطارات المتتالية تقلل من الانتهاكات الجسيمة. والأهم من ذلك، أن خوارزمية RANSAC اللاحقة تتعامل بقوة مع أخطاء التتبع المحتملة الناتجة عن انتهاكات الافتراضات عن طريق تصفية القيم الشاذة. لذا، يعمل LK كمتتبع أولي فعال يتم التحقق من مخرجه بدقة، مما يجعله مناسبا لنظام الوقت الحقيقي حيث يكون تحقيق التوازن بين السرعة والمتانة. وفقا لافتراض البكسل الثابت GV، يظهر التعبير في المعادلة (4).
(4)
في المعادلة (4)، يرمز I(x,y,t) إلى البكسل GV للصورة في الموضع (x,y) عند اللحظة t . ix و ix يشيران إلى إزاحة البكسل في اتجاهين x و y على التوالي. i و j تدلان على مكونات OF لنقطة البكسل. ix وi y و it تشير إلى الفرق في الصورة في اتجاهات x و y و t على التوالي. يحسب افتراض اتساق الحركة الإقليمية في المعادلة (5).
(5)
في المعادلة (5)، يرمز itb إلى المشتقة الجزئية لنقطة البكسل b في المجال في اتجاه الزمن t . v x v تشير إلى حجم مساحة المجال المختارة. B تشير إلى جميع نقاط البكسل داخل المجال. في الختام، تستخدم هذه الدراسة واصف BRIEF لمطابقة الإطارات المتتبعة وخوارزمية RANSAC لرفض المعالجات التي يخطئ في تتبعها من قبل ORB. هذا المزيج من الطرق يعزز متانة مطابقة الميزات26. يوضح الشكل 4 المخطط التخطيطي لطريقة LK OF.

الشكل 4: مخطط تخطيطي لطريقة LK OF. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يوضح الشكل 4 عملية تنفيذ تدفق LK للشعر البصري، والتي تستخدم طريقة تحسين تكرارية لإزاحة FP بين الإطارات المجاورة. للتحقق النوعي من خوارزمية مطابقة الميزات، يمكن تراكب الإطارات المطابقة بين القالب وصور الاختبار بصريا. عادة ما تكون أزواج النقاط المتطابقة بشكل صحيح متصلة بخطوط خضراء أو معلمة بمؤشرات خضراء. وعلى العكس، يمكن لخوارزمية RANSAC عرض القيم الشاذة ذات العلامات الحمراء. يوفر هذا تقييما بصريا فوريا لمتانة ودقة المطابقة قبل التحليل الكمي. تستخدم الدراسة خوارزمية RANSAC لحساب معدل القيم المعدل للنقاط المقابلة في الصورة، مما يلغي تلك التي لا يتم تطابقها بشكل صحيح. يتم الاحتفاظ ب FPs التي يتم مطابقتها بدقة. في هذه الحالة، يتم عرض HM وتعبير معامل المقياس في خوارزمية RANSAC في المعادلة (6).
(6)
في المعادلة (6)، M تشير إلى HM. m تشير إلى العنصر في المصفوفة M. S تمثل معامل المقياس. (x,y) و (x',y') تدلان على مواقع FP لصورة القالب وصورة الاختبار على التوالي. بعد الحصول على إحداثيات FPs في صورة الاختبار، تجري الدراسة تحليلا مقارنا للمسافات بينها وبين FPs المتطابقة. توضح المعادلة (7) أنها تحدث أيضا عدد التكرارات وتحدد عدد النقاط الداخلية.
E = log(1 - c)/log(1 - ηn) (7)
في المعادلة (7)، E هي التكرارات. c تشير إلى مستوى الثقة. η تشير إلى نسبة النقاط الداخلية. n هو كمية العينات. ثم يظهر التعبير الخاص ب SD للتكرار E في المعادلة (8).
(8)
في المعادلة (8)، تشير Sd(E) إلى SD. يظهر تحسين خوارزمية ORB الموصوفة أعلاه كأساس مطابقة ميزات عالية الجودة لتقنية التسجيل ثلاثي الأبعاد اللاحقة. يظهر هذا التحسن دقة وقوة أعلى في المشاهد المعقدة. بعض هذه المشاهد تشمل تغيير الحجم، تغير الضوء، والاحتجاز.
الرمز الزائف لتحسين ORB مع SURF وتحسين الهوموغرافيا للسياحة الواقعية هو كما يلي.
الخوارزمية 1: تحسين ORB مع SURF وتحسين التجانس لسياحة الواقع المعزز
الإدخال: تسلسل صورة السياحة الأول، نموذج افتراضي ثلاثي الأبعاد M
المخرج: مشهد AR تم تصييره مع تسجيل كائن افتراضي
الخطوة 1: معالجة الصور مسبقا
1: I_gray ← تحويل إلى الرمادي (I)
2: I_smooth ← GaussianBlur (I_gray، النواة=5×5، σ=1.2)
3: هرم ← BuildImagePyramid(I_smooth، المستويات=4، المقياس=1.2)
الخطوة 2: اكتشاف نقاط الميزة
4: keypoints_SURF ← SURF_Detect(هرم، عتبة هيسيان=1000)
5: لكل نقطة في المهمة keypoints_SURF قم ب
6: التوجيه ← ComputeWaveletResponse(kp)
7: نهاية ل
8: keypoints_Harris ← HarrisCornerFilter (keypoints_SURF، k=0.04)
9: الأوصاف ← ImprovedORB_Describe(keypoints_Harris)
الخطوة 3: مطابقة الميزات
10: keypoints_tracked ← لوكاس كانادي OpticalFlow (keypoints_Harris، نافذة = 15×15)
11: المباريات ← BruteForceMatcher (الأوصاف)
12: inliers، H ← RANSAC (مطابقات، maxIterations=2000، reprojThreshold=3.0)
الخطوة 4: التسجيل ثلاثي الأبعاد مع تحسين الهوموغرافيا
13: H_improved ← ComputeImprovedHomography (inliers, camera_intrinsics)
14: R, t ← DecompiseHomography (H_improved)
15: الوضعية ← ComposeCameraPose(R, t)// الخطوة 5: تصيير الواقع المعزز
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object، وضعية، خلفية=I)
18: العودة scene_rendered
تقنية تسجيل السياحة ثلاثية الأبعاد في الواقع المعزز تعتمد على تحسين إدارة السياحة
بعد مطابقة ميزات صور السياحة بدقة من خلال طريقة مطابقة FP، يجب تطبيقها بشكل أكبر على تقنية الواقع المعزز. تقنية التسجيل ثلاثي الأبعاد هي تقنية أساسية لتحقيق أنظمة الواقع المعزز. يحسب معلومات وضعية الكاميرا في العالم الحقيقي من خلال عرض صورة سياحية مستهدفة. هذا يتيح مطابقة دقيقة ودمج الكائنات الافتراضية والمشاهد الحقيقية27. يمكن لجهاز HM ربط الكائن الافتراضي بالعالم الحقيقي من منظور المستخدم، مما يعزز تأثير الاندماج بين المعلومات الافتراضية والعالم الحقيقي. علاوة على ذلك، يمكنه حل مشكلة تسجيل الواقع الافتراضي عندما يكون الشعار مخفيا جزئيا. ومع ذلك، فإن كفاءة تسجيل الكائنات الافتراضية في تقنية التسجيل ثلاثي الأبعاد الفعلية منخفضة، مما يؤدي إلى عدم محاذاة الكائنات الافتراضية، مما يؤدي إلى عدم استقرار الكائنات الافتراضية28. لذلك، تقترح هذه الدراسة تقنية تسجيل ثلاثية الأبعاد تعتمد على معدل القياس الهوائي المحسن. باستخدام أزواج FP دقيقة من المرحلة الأولى، يتم حساب الذاكرة الهوائية المحسنة عبر طريقة حساب الكائنات الافتراضية إلى الحقيقية التي تدمج الخصائص الجوهرية للكاميرا. تعالج هذه الطريقة بشكل فعال انخفاض كفاءة التسجيل وعدم محاذاة الكائنات الافتراضية في الطرق التقليدية في المشاهد الديناميكية. يتم تحليل المصفوفة إلى مصفوفة دوران ومتجه ترجمة لتحديد وضعية الكاميرا. يقوم محرك العرض OpenGL بعرض نماذج افتراضية ثلاثية الأبعاد بدقة في تدفق فيديو حي بناء على معلمات الوضعية. تضمن نماذج رسم الخرائط والإضاءة الدمج المتسق من الناحية الفيزيائية.
التسجيل والتصوير ثلاثي الأبعاد
لتحقيق تقنية التسجيل ثلاثي الأبعاد، تحتاج الدراسة أولا إلى بناء نموذج تصوير ثقب صغير لتحويل العالم الحقيقي ثلاثي الأبعاد إلى صورة ثنائية الأبعاد. يظهر تعبير هذا النموذج في المعادلة (9).
(9)
في المعادلة (9)، X و Y و O ترمز إلى المحاور الثلاثة للكاميرا CS. (x,y,f) تشير إلى متجه الإحداثيات. f تشير إلى البعد البؤري (FL). λ يرمز إلى عامل الحجم. كما هو موضح في الشكل 5، تفحص الدراسة الحالية خصائص التصوير لكاميرا الثقب الدبوس باستخدام علاقة التحويل بين CS الصورة وCS الكاميرا.

الشكل 5: نموذج تصوير الثقب الدبوس والعلاقة بين النقاط المكانية ونقاط الإسقاط المستوية. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
يوضح الشكل 5 البنية الأساسية لتصوير الثقب الدبوس. الشكل 5A هو مخطط تخطيطي لنموذج التصوير الثقبي، يصف البنية الهندسية الأساسية لعرض مشهد ثلاثي الأبعاد على مستوى تصوير ثنائي الأبعاد عبر ثقب صغير في مركز الكاميرا، معكسا مبادئ انتشار الأشعة والإسقاط من منظور النظر. يوضح الشكل 5B بشكل أكبر عملية إسقاط النقاط المكانية على النقاط المقابلة على مستوى التصوير عبر مركز الكاميرا، موضحا العلاقة النسبية بين البعد البؤري، وإحداثيات نقاط الصورة، وإحداثيات نقاط الجسم. بعد بناء نموذج التصوير بالثقوب الدبوسية، تستخدم الدراسة أيضا نموذج التصوير الثقبي لبناء العلاقة بين القالب وصور المشهد الحقيقية تحت التقاط الكاميرا. يفترض أن نقاط تطابق الميزة في صورتين I1 و I2 تقع في نفس المستوى. يحتاج المستوى إلى تحقيق التعبير الموضح في المعادلة (10).
NZ P + d = 0 (10)
في المعادلة (10)، P يرمز إلى المستوى. N يرمز إلى المتجه العمودي للمستوى P. d يرمز إلى المسافة من المستوى P إلى الأصل. Z يرمز إلى متجه الترجمة. بالنسبة للدورانات والترجمات، تستخدم الدراسة طريقة تفكيك القيمة المفردة لاستخراجها. التعبير موضح في المعادلة (11)29.
(11)
في المعادلة (11)، تشير p1 وp 2 إلى إحداثيات البكسل لأزواج الظلال المطابقة للميزات في الصور I1 و I2 ، على التوالي. r1 و r2 تشير إلى عوامل التحجيم لنقاط البكسل في الصور I1 و I2 على التوالي. K يرمز إلى المصفوفة المرجعية الداخلية للكاميرا. R تشير إلى مصفوفة الدوران. يتميز جهاز HM بتعقيد حسابي عالي وهو عرضة لمشكلة خطأ مطابقة FP. لذلك، تحسن الدراسة ذلك باستخدام طريقة الحساب العكسي للكائنات الافتراضية والحقيقية30. يتم عرض التعبير المحسن لHM في المعادلة (12).
(12)
في المعادلة (12)، يشير M' إلى HM المحسن. fx و fy يرمزان إلى ال FLs للكاميرا على محور X و Y على التوالي. U و V ترمزان إلى إحداثيات النقطة الرئيسية. γ يرمز إلى معامل الانحراف. يتم عرض التحويل الفيزيائي للطريقة في المعادلة (13).
(13)
في المعادلة (13)، تشير T' إلى مصفوفة التحويل الفيزيائي. tx وt y وto تدل على مكونات دوران المحاور الثلاثة للإحداثيات. [R|Z] تشير إلى مصفوفة التحول للعالم والكاميرا CS. في تطبيق تقنية الواقع المعزز، يظهر تعبير الربط بين القالب وصورة المشهد المسافر الحقيقي في المعادلة (14).
(14)
في المعادلة (14)، يرمز is و i إلى النقاط على المرجع وTI على التوالي. تحسب الدراسة أيضا دقة محاذاة ال HM المحسنة لدراسة فعالية المحاذاة للطريقة، كما هو موضح في المعادلة (15).
(15)
في المعادلة (15)، Pre(M') تشير إلى دقة محاذاة HM المحسنة. (xa,y a,o a) تشير إلى FPs الفعلية. (xb,y b,o b) تشير إلى FPs المحاذفات. n تشير إلى عدد مجموعات النقاط المتطابقة. يعرض الشكل 6 التعيين بين المخطط التخطيطي وصور النموذج الهوائي المطور.

الشكل 6: علاقة رسم الخرائط بين الصور والمخطط التخطيطي للنموذج المحسن HM. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
كما هو موضح في الشكل 6، هناك تطابق واضح بين صورة القالب والصورة النقدية (TI). بعد تطبيق HM المحسن، تتضمن نقطة التحقق البصرية الرئيسية تشويه ومحاذاة صورة القالب على صورة المشهد المستهدف. يجب أن تتوافق حواف القالب المسقط بشكل وثيق مع الميزات المقابلة في TI. خلال العرض النهائي بالواقع المعزز، قم بفحص النموذج ثلاثي الأبعاد الافتراضي بصريا للتأكد من أنه مثبت بدقة وثبات في الموضع والاتجاه الصحيحين في المشهد الواقعي. يجب ألا يكون هناك اهتزاز أو انحراف ملحوظ عند تغير منظور الكاميرا.
تظهر الدراسة تعيين صورة القالب من خلال مصفوفة تأثير محسنة. لتحقيق تفاعل فوري بين الأشياء الافتراضية والمشاهد السياحية الفعلية، تستخدم الدراسة تقنية OpenGL لعرض نماذج ثلاثية الأبعاد لبناء نظام السياحة الواقع المعزز. تقوم التقنية أولا بإعداد سياق OpenGL، وتحميل النموذج ثلاثي الأبعاد للعناصر السياحية الافتراضية، وحسابها باستخدام رسم الخرائط الخامية والإضاءة. ثم يستخدم تدفق الفيديو في الوقت الحقيقي الذي تلتقطه الكاميرا كخلفية لتوفير مرجع لعرض الكائنات الافتراضية. يتم تراكب الكائنات الافتراضية بدقة في العالم الحقيقي باستخدام جهاز HM، الذي يعرض الكائنات الافتراضية في الموضع والاتجاه الصحيحين لدمجها مع المشهد الحقيقي. في نظام السياحة المعزز، حيث يتم التقاط الفيديو عبر مكتبة OpenCV لفيديو الجولة31 في الوقت الحقيقي. تستخدم معالجة الصور خوارزمية ORB محسنة لتحديد ومطابقة الميزات في إطارات الفيديو. في وحدة التسجيل ثلاثي الأبعاد، تستخدم الدراسة تقنية HM محسنة لدمج الواقع الافتراضي والواقعي. يتم عرض المخرج النهائي والتفاعل عبر تقنية OpenGL. يتم توضيح عملية تنفيذ تقنية جولات الواقع المعزز في الشكل 7، الذي يوضح العملية التنفيذية العامة لتقنية جولات الواقع المعزز. يعرض الشكل 7 مخطط تنفيذ النظام لتقنية السياحة في الواقع. بعد بدء تشغيل النظام، يتم أولا التقاط تدفق الفيديو في الوقت الحقيقي عبر الكاميرا، حيث يتم استخراج الصورة المستهدفة. ثم تدخل العملية مرحلة معالجة الميزات، حيث تقوم بعملية استخراج نقاط الميزة ووصفها بشكل متسلسل لبناء ميزات الصورة. إذا نجح مطابقة نقاط الميزة، ينتقل النظام إلى مرحلة تسجيل تتبع ثلاثي الأبعاد، حيث يتم حساب معلمات وضعية الكاميرا. يتم دمج ذلك مع نماذج ثلاثية الأبعاد من مكتبة المواد الافتراضية لتحقيق دمج افتراضي وحقيقي، ويتم عرض تأثير الواقع المعزز النهائي المدمج للمستخدم في الوقت الحقيقي. إذا فشل المطابقة، يتم استخدام خوارزمية RANSAC لإزالة نقاط عدم المطابقة، ويتم إعادة إدخال مرحلة معالجة الميزات لضمان استقرار النظام ومتانته. تشكل العملية بأكملها حلقة مغلقة كاملة من اكتساب الصور ومعالجة الميزات إلى التسجيل ثلاثي الأبعاد، والاندماج الافتراضي-الحقيقي، والعرض التفاعلي، مما يوضح المسار التقني لأنظمة السياحة الواقع المعزز لتحقيق اندماج افتراضي وواقعي مستقر في مشاهد ديناميكية.

الشكل 7: مخطط تخطيطي لعملية تنفيذ تقنية السياحة المعززة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
الإعداد التجريبي والمواد
لضمان قابلية تكرار التجارب، تم ذكر مواصفات العتاد، وبيئة البرمجيات، ومجموعات البيانات المستخدمة في هذه الدراسة بشكل صريح في الجدول 1.
| الفئة | العنصر | المواصفة / الإصدار |
| الأجهزة | الكاميرا | كاميرا لوجيتك C920 HD Pro |
| معالج الحاسوب | معالج AMD Ryzen 7 3700X بثماني أنوية |
| ذاكرة الحاسوب | ذاكرة 32 جيجابايت رام |
| نظام التشغيل | ويندوز 10 (64-بت) |
| البرمجيات والمكتبات | لغة البرمجة | C++ |
| بيئة التنمية | مايكروسوفت فيجوال ستوديو 2019 |
| مكتبة رؤية الحاسوب | OpenCV 4.5.1 |
| واجهة برمجة تطبيقات الرسومات | OpenGL 4.6 |
| منصة المحاكاة | أدوات محاكاة فيجوال ستوديو |
| مجموعة البيانات | مجموعة البيانات الأساسية | مجموعة بيانات أكسفورد |
الجدول 1: إعداد التجريب: مواصفات الأجهزة، البرمجيات، ومجموعات البيانات.
في OpenCV، يتم تطبيق الضباب الغاوسي باستخدام دالة GaussianBlur(). يتم بناء هرم الصورة باستخدام buildPyramid(). يتم تهيئة كاشف SURF باستخدام SURF.create()، مما يضبط عتبة هيسي إلى 400. يتم حساب استجابة زاوية هاريس باستخدام cornerHarris()، ويتم تطبيق كبت غير أقصى لتصفية نقاط المفتاح. يتم حساب تدفق LK البصري باستخدام دالة calcOpticalFlowPyrLK() التي تطبق طريقة لوكاس-كانادي الهرمية. تستخدم دالة findHomography() لتقدير الهوموغرافيا، مع تعيين علم الطريقة على RANSAC للاستفادة من عتبة إعادة الإسقاط المحددة. يتم استخدام HM الناتج بعد ذلك مع perspectiveTransform() للتحقق من صحة نقاط الإدخال (inlier). في خط أنابيب العرض OpenGL، يتم تحويل HM إلى وضعية كاميرا وضبطها باستخدام glLoadMatrix(). يتم تحميل النماذج الافتراضية ثلاثية الأبعاد كملفات .obj ويتم عرضها باستخدام أوامر تحويل OpenGL القياسية (glTranslate، glRotate). يتم تمرير تغذية الفيديو في الوقت الحقيقي من OpenCV إلى OpenGL كنسيج باستخدام glTexImage2D() لتحقيق التراكب النهائي ل AR. تم تعريف المعلمات الرئيسية للخوارزميات المستخدمة في هذه الدراسة بشكل صريح في الجدول 2.
| الخوارزمية / المكون | المعلمة | القيمة |
| مرشح غاوسي | حجم النواة | 5 × 5 بكسل |
| الانحراف المعياري | 1.2 |
| LK التدفق البصري | حجم النافذة | 15 × 15 بكسل |
| RANSAC | أقصى تكرارات | 2000 |
| عتبة إعادة الإسقاط | 3.0 بكسل |
| كاشف ميزات ORB | الحد الأقصى لعدد الميزات | 1000 |
| عامل المقياس (الهرم) | 1.2 |
| عدد مستويات الهرم | 4 |
| كاشف ميزات SURF | عتبة هيسن | 1000 |
| كاشف زاوية هاريس | حجم الفتحة | 3 |
| قيمة k | 0.04 |
الجدول 2: معلمات الخوارزميات الرئيسية لقابلية التكرار.