מאמר מחקר

טכנולוגיית תיירות מציאות רבודה המבוססת על אלגוריתם ORB משופר ומטריצת הומוגרפיה

DOI:

10.3791/69514

⸱

14 באפריל 2026

 , 
1Business School, Xianning Polytechnic

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציג שיטת התאמה משופרת לנקודות תכונות ורישום תלת-ממדי לתיירות מציאות רבודה, המשפרת את היישור, היציבות והדיוק בהתאמה. בשילוב ORB משופר, זרימת LK אופטית ומטריצת הומוגרפיה משופרת, הגישה משיגה שיעורי התאמה נכונים ודיוק רישום גבוהים יותר, ומשפרת מיזוג סצנות וירטואליות-ריאלי ביישומי תיירות.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציע שיטת התאמת נקודות תכונה משופרת ורישום תלת-ממדי עבור יישומי תיירות מציאות רבודה. שיטה זו מתמודדת עם בעיות כמו יישור לקוי, יציבות נמוכה בסביבות מורכבות, ודיוק נמוך בהתאמת תכונות. שיטת התאמת נקודות תכונות משופרת לתמונות תיירות מוצגת, המשלבת את אלגוריתם Speeded Up Robust Features (SURF) עם אלגוריתם משופר Oriented FAST and Rotated BRIEF. בשיטה זו, נקודות תכונה מזוהות תחילה באמצעות אלגוריתם SURF, וכיוונן נקבע באמצעות ניתוח תגובת גלים. שיטת הזרימה האופטית לוקאס-קנאדה משמשת למעקב אחר נקודות תכונות. אלגוריתם הקונצנזוס של הדגימה האקראית משמש אז להסרת נקודות שגויות בעקבות. יתרה מזאת, מוצעת טכניקת רישום תלת-ממדית של תיירות מציאות רבודה המבוססת על מטריצת הומוגרפיה משופרת כדי להתגבר על מגבלות המטריצות המסורתיות של הומוגרפיה, כגון דיוק התאמה נמוך ויעילות רישום. ביצועי השיטה המוצעת נותחו באמצעות ניסויים השוואתיים מול אלגוריתמי SIFT, SURF ו-ORB המקוריים תחת טרנספורמציות תמונה שונות, כולל קנה מידה, טשטוש, תאורה וסיבוב. שיעור ההתאמה הנכון וזמן ההתאמה שימשו כמדדי הערכה. נערכו בדיקות סימולציה לרישום תלת-ממדי באמצעות מודלים תלת-ממדיים שונים. דיוק הרישום וספירות רישום מוצלחות הוערכו תחת שינויים סיבוביים. התוצאות הצביעו על כך ששיעור ההתאמה הנכונה הממוצע של האלגוריתם המוצע עולה ב-44.08%, 36.51% ו-16.09% ביחס לשונות בקנה מידה לעומת אלגוריתם שינוי תכונות אינבריאנטי בקנה מידה, אלגוריתם תכונות חזקות מואץ, ואלגוריתם לא משופר, בהתאמה. שיעור ההתאמה הנכונה תחת טרנספורמציה מטושטשת עלה ב-33.46%, 19.65% ו-9.35%, בהתאמה. דיוק הרישום הממוצע של טכניקת הרישום התלת-ממדית המוצעת עמד על 98.74% תחת טרנספורמציה סיבובית. התוצאות מגלות כי הגישה המוצעת של המחקר יכולה לשפר בהצלחה את אפקט המיזוג הווירטואלי והאמיתי של הסצנה, ומציעה גישה חדשה לשימוש בטכנולוגיית מציאות רבודה בתעשיית התיירות.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הטכנולוגיה הפכה לכלי מרכזי לקידום ההתקדמות הסינרגטית של התרבות והתיירות בכלכלה הדיגיטלית המשתנה במהירות1. בשנים האחרונות, טכנולוגיית מציאות רבודה (AR) חוותה עלייה באימוץ במגזרים שונים, כולל תיירות, חינוך, רפואה ותעשייה. AR הוא תחום מתפתח בנוף הטכנולוגי הרחביותר. 2. בתחום התיירות, טכנולוגיה זו מסוגלת להטביע מידע וירטואלי על סצנות אמיתיות, ולספק חוויה אינטראקטיבית וסוחפת לתיירים. טכנולוגיה זו יכולה לא רק לשפר את חוויית הטיול של התיירים, אלא גם לחדש את סצנת צריכת התיירות ולקדם את הטרנספורמציה הדיגיטלית של תעשיית התרבות והתיירות3. עם זאת, האימוץ הנרחב של AR בסביבות תיירות דינמיות ולא מובנית עדיין מוגבל על ידי אתגרים טכניים משמעותיים. טכניקות AR קיימות לעיתים קרובות מציגות עמידות נמוכה ביישומים מעשיים. הם מאופיינים בדיוק התאמת תכונות נמוך, יישור לא מספק בין אובייקטים וירטואליים לאמיתיים, ויציבות מוגבלת בתנאי סביבה מורכבים, כגון קני מידה משתנים, שינויים בתאורה והסתירות. מגבלות אלו עלולות להוביל לחוויית משתמש מתסכלת, כאשר תוכן וירטואלי מתנדנד, מתרחק או לא מצליח לעיגון כראוי, ובכך פוגע בתחושת ההטמעה והריאליזם. לכן, חיפוש טכניקת AR חזקה ויעילה לתיירות שיכולה לפעול באופן אמין בסביבות אמיתיות הוא עדיפות מחקר כיום. כאלגוריתם מהיר לחילוץ נקודות תכונה (FPE) ותיאור, ORIENT FAST ו-ROTATED BRIEF (ORB) משמשים באופן נרחב ב-FPE תמונה בשל היעילות הגבוהה והאינווריאנטיות הסיבובית שלהם5.

ז'אנג ואח' הציעו שיטת FPE משופרת למפות צפופות ORB-SLAM2, במטרה לשפר את היעילות ולהפחית את עלות רכישת מפות תלת-ממדיות של סביבות פנימיות. השיטה ביצעה חילוץ יעיל של נקודות תכונה (FP) באמצעות עקביות דגימות אסימפטוטית להפחתת השימוש בזיכרון. נמצא כי ניתן להשתמש בשיטה זו בתהליך הניווט עם דיוק FPE מעולה ויעילות מעקב גבוהה6. וו הציע אלגוריתם התאמת תכונות מהיר שמשלב ORB וקונסנזוס מדגם אקראי (RANSAC) כדי להתמודד עם בעיות של שגיאת יישור סיבובי בקנה מידה גדול, קצב יישור נמוך, אקראיות ואי-יציבות. יעילות הגישה הזו אושרה על ידי הממצאים, שהראו שהשיטה המוצעת מציגה דיוק גבוה בהתאמת FP ויציבות עמידה7. צ'ן ואחרים הציעו שיטת התאמת תכונות המשלבת את ה-ORB המשופר עם אלגוריתם זרימת האופטיקה (OF) של לוקאס-קנאדה (LK) כדי להתמודד עם בעיית הדיוק הנמוך של התאמת תכונות תמונה. השיטה השתמשה בשיטת הניגוד של מישלסון עבור FPE, ומבנה העץ הרביעי שימש להומוגניזציה של ה-FPs שהופקו כדי להפחית את כמות החישובית של התאמת התכונות. התוצאות הראו כי אחידות ה-FP ודיוק השיטה שופרו ב-0.22% ו-50.47%, בהתאמה. זואו ואחרים הציעו אלגוריתם ספירה משופר להתאמת FP של תמונות שדה אופטי ממוקדות במלואן, במטרה לשפר את הדיוק והעמידות של FPE התמונה ושיטת ההתאמה. השיטה שופרה על ידי שיפור אלגוריתם ORB הקונבנציונלי כדי להגדיל את מספר ודיוק FPE עבור תמונות ממוקדות במלואן בשדהאור 9. אנגארה ואחרים הציעו שיטת חילוץ תכונות שמאחדת את מפת הצבעים וגלאי ORB ב-AR. השיטה חילצה תחילה את תכונות הנקודות והקצה של התמונה באמצעות שיטת מעקב תכונות טבעיות מבוססת תכונות, ולאחר מכן המרה את התמונה הצבעונית לתמונה בגווני אפור באמצעות גלאי ORB במטרה לשפר את יעילות הגילוי של התכונות. התוצאות הצביעו על כך שהגישה המוצעת עשויה לשפר בהצלחה את חילוץ התכונות10.

בזכות יכולתה לשלב במדויק נתונים וירטואליים וסצנות אמיתיות עם טכנולוגיות AR, מטריצת ההומוגרפיה (HM) זכתה לעניין רב בשנים האחרונות11,12. קים ואחרים הציעו מערכת AR מקוונת בזמן אמת המבוססת על HM. השיטה השתמשה במצלמת תלת-ממד עם לוקליזציה ובניית מפות סימולטניות למעקב אחר מידע הסצנה, ו-HM שימש למילוי פריימים של מקור התמונה בניסיון לשפר את איכות התמונה. התוצאות הראו שהשיטה יכולה להפחית באופן יעיל אי-עקביות ויזואלית וארטיפקטים ולשפר את חוויית המשתמש ב-AR13. קלמנט הציע שיטת תיאור תכונות מבוססת סינון AR בעלת שלוש רמות. השיטה השתמשה ב-HM לתיאור תנועת המטרה בין פריימים שונים במטרה לשפר את עמידות התאמת תכונות התמונה. התוצאות הצביעו על כך שהשיטה השיגה ציוני חזרתיות של 100%, 100% ו-99% עבור שינוי תאורה, שינוי טשטוש ושינוי נקודת מבט, בהתאמה14. ליו ועמיתיו הציעו שיטת התאמת תנועה מקומית לחישה מרחוק בתמונות המבוססות על HM, במטרה לבטל התאמה שגויה של תכונות התמונה. השיטה הנדונה ייצגה את עקביות התנועה המקומית של התמונה על ידי HM והציגה שיטת דגימה מחדש. הממצאים הראו שהשיטה המוצעת הציגה ביצועי התאמה מעולים15.

כפי שנבדק לעיל, המרדף הטכני אחר התאמת תכונות ורישום חזקים מונע בעיקר מהביקוש ליישום שלה ליצור חוויות משתמש מעניינות. כדי למקם את העבודה הטכנית הזו בהקשר הרחב יותר של מחקר תיירות AR, חשוב לעסוק במחקרים עדכניים שבוחנים באופן אמפירי את ההשפעות הפסיכולוגיות וההתנהגותיות של AR על תיירים. לדוגמה, ג'ו ועמיתיו חקרו את המנגנון שבו אותנטיות ותחבורה נרטיבית בתיירות AR משפיעות על המלצות מפה לאוזן דרך חיבור AR, באמצעות מידול משוואות מבניות. התוצאות חשפו כי החיבור ל-AR מתווך את הקשר בין אותנטיות, תחבורה נרטיבית והפצת העולם, ומספק גישה רעננה לשיווק תיירות מורשת15. במקביל, נגאן וליי ניתחו את השפעת AR על חוויות אירועי ספורט ועל כוונות מחודשות. המחקר שלהם הראה שמשתמשי AR הראו מעורבות קוגניטיבית גבוהה משמעותית ושהממדים החווייתיים השפיעו משמעותית על הכוונה לבקר שוב, מה שמאשר את יעילות AR בשיפור המשיכה והטבילה באירועים16. יתרה מזאת, ג'ו ועמיתיו חקרו את מנגנון ההשפעה של נוכחות תיירים בחוויות AR בשמועות מפה לאוזן (WOM), תוך שימוש בנתוני סקר מתערוכת AR במוזיאון הארמון. התוצאות הראו שנוכחות יכולה להשפיע לטובה על WOM, והאותנטיות שיחקה תפקיד מתווךמשמעותי שם.

לסיכום, נערך גוף מחקר משמעותי על ידי חוקרים רבים על טכניקות AR המבוססות על אלגוריתם ORB עם HM, והניבו תוצאות טובות יותר. עם זאת, אלגוריתם ORB עדיין סובל מעמידות נמוכה וחוסר יעילות של FPE תחת שינוי קנה מידה, שינוי תאורה והסתרה18. יתרה מזאת, ה-HM המסורתי הוא לעיתים צוואר בקבוק המאופיין בדיוק התאמה נמוך ויעילות רישום נמוכה. דבר זה מוביל לחוסר התאמה וחוסר יציבות של אובייקטים וירטואליים בסביבות תיירות דינמיות. הפער בין ביצועי השיטות הנוכחיות לבין הדרישות לחוויות AR יציבות וסוחפות בתיירות נותר אתגר קריטי ובלתי מטופל. כדי להתמודד עם אתגרים מתמשכים אלו ולאפשר חוויית AR יציבה וסוחפת יותר בתיירות, מחקר זה מונע להגדיל את היעילות של FPE ורישום תלת-ממדי. לעבודה זו יש שלוש תרומות תיאורטיות. ראשית, היא מציגה מסגרת התאמת תכונות חדשה שמשלבת את תכונת הקנה מידה הבלתי משתנה של גלאי SURF עם היעילות החישובית המשופרת של מתאר ORB. אינטגרציה זו משודרגת על ידי קביעת כיוון התכונה באמצעות תגובת גלים ושיפור קבוצת הנקודות באמצעות קריטריוני פינת האריס. זה מספק מודל תיאורטי חזק יותר להתאמת תכונות תחת טרנספורמציות, מה שהופך אותו ליותר מסדרתי בלבד. שנית, הוא מציג שיפור תיאורטי לתהליך הערכת ההומוגרפיה באמצעות שיטת חישוב עצמים וירטואלי-ריאלי. גישה זו שואפת להתגבר על המגבלות של מטריצות הומוגרפיה מסורתיות על ידי הצעת מודל הקרנה יציב ומדויק יותר לרישום תלת-ממדי. לבסוף, על ידי שילוב שיטתי של רכיבים משופרים אלו, המחקר מציע גישה תיאורטית מאוחדת להשגת מיזוג וירטואלי-ריאלי מעולה, מותאם במיוחד למורכבות תרחישי תיירות חוץ.

שיטה משופרת זו רלוונטית מאוד לבעלי עניין מרכזיים בתחום התיירות. היא מאפשרת למשווקי יעדים ומפעילי טיולים לפתח יישומי AR יציבים וסוחפים המשמשות כהצעות ערך ייחודיות. למנהלי אתרי מורשת תרבותית, הוא מציע כלי אמין ליצירת שכבות חינוכיות מבלי לפגוע בממצאים פיזיים. בסופו של דבר, עבור תיירים, השיטה משפרת ישירות את החוויה על ידי מתן מיזוג חלק ויציב של מידע וירטואלי עם הסביבה האמיתית. זה מבטל את התסכול של תוכן וירטואלי לא מיושר או רועד. כתוצאה מכך, הטבילה עמוקה משמעותית, ההבנה הקונטקסטואלית מועשרת, ושביעות הרצון הכוללת משירות התיירות עולה. החדשנות במחקר זה היא כדלקמן: (1) התמונה מוחלקת על ידי סינון גאוסיאני, ותגובת הגל משמשת לקביעת כיוון ה-FPs. יתרה מזאת, כדי להגדיל את הדיוק והיציבות של זיהוי נקודות הפינה, ה-FPs הטובים ביותר מסוננים על ידי אינטגרציה עם טכניקת זיהוי נקודות הפינה Harris. (2) אלגוריתם RANSAC מוצג כדי לבטל את ה-FPs השגויים ולשפר עוד יותר את עמידות התאמת התכונות. (3) ה-HM משודרג על ידי שיטת חישוב חזרת אובייקטים וירטואלית-ריאלית, שמטרתה להתמודד עם מגבלות ה-HM המסורתית, כגון דיוק התאמת FP נמוך ויעילות רישום.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סעיף זה מציע תחילה שיטת התאמת FP לתמונות תיירות, המשלבת SURF ואלגוריתם ORB משופר לשיפור עמידות התאמת FP. לאחר מכן, המחקר מציע טכניקת רישום תלת-ממדי לתיירות AR המבוססת על שיפור HM כדי לשפר את אפקט המיזוג בין מידע וירטואלי לעולם האמיתי. הניסויים נערכו באמצעות מערכי נתונים של תמונות זמינים לציבור. באופן ספציפי, נעשה שימוש במערך הנתונים של קבוצת הגאומטריה הוויזואלית של אוקספורד (VGG), הכולל רצפי תמונה עם שינויים בקנה מידה, טשטוש, תאורה ונקודת מבט, והוא מאומץ באופן נרחב להערכת אלגוריתמים של התאמת תכונות ורישום בראיית מחשב. לא נדרשה אישור מוועדה אתית לשימוש במאגר הנתונים הזמין לציבור זה.

שילוב SURF ואלגוריתם ORB משופר להתאמת FP בתמונות תיירות

עם ההתפתחות המשגשגת של תעשיית התיירות, הביקוש לטכנולוגיית AR בשירותי תיירות אוטומטית גובר. אלגוריתם ORB הוא אלגוריתם יעיל לזיהוי ותיאור FP. טכנולוגיית AR הייתה בשימוש נרחב19. עם זאת, בתהליך התאמת תמונות תיירות ב-FP, האלגוריתם הקיים של ORB סובל מפגמים כמו עמידות לקויה בשינויים בקנה מידה, דיוק התאמת תכונות נמוך,ו-20 גוזל זמן. כדי להגדיל את הדיוק והעמידות של ההתאמה, מחקר זה מציע שיטת התאמת תכונות חזקה המשלבת את SURF עם אלגוריתם ORB משופר. כדי להשיג אי-שינוי בקנה מידה, התמונה הנכנסת עוברת סינון גאוסיאני ובניית פירמידה. אלגוריתם SURF מזהה FPs אינבריאנטיים בקנה מידה, כאשר הכיוון נקבע באמצעות תגובות גל. איכות התכונות משתפרת על ידי שיפור הנקודות הראשוניות באמצעות קריטריון הפינה של האריס ושמירה על הנקודות הייחודיות ביותר. שיטת הזרימה האופטית לוקאס-קנאדה עוקבת אחרי תכונות בין פריימים שונים, ואלגוריתם RANSAC מבטל נקודות לא תואמות. הפער המתודולוגי שמטופל כאן אינו רק יישום רציף של SURF ו-ORB, אלא אסטרטגיית היברידיזציה חדשנית שנועדה להתגבר על המגבלות הספציפיות של היברידים סטנדרטיים בסביבות תיירות מורכבות. בניגוד לשיטות SURF-ORB המסורתיות, שמשתמשות ב-SURF לזיהוי ואז מיישמות ישירות את תיאור ORB, השיטה הנוכחית מציגה שני שיפורים קריטיים. ראשית, הכיוון של כל FP הממוקם על ידי SURF מחושב מחדש באמצעות תגובת הגל שלו. זה מספק הערכה כיוונית חזקה יותר מאשר SURF לבדה באמצעות שיטת ה-Haar-wavelet הסטנדרטית. שנית, וחשוב יותר, נקודות ה-SURF הראשוניות אינן בשימוש ישיר. במקום זאת, הם מעודנים בקפדנות באמצעות קריטריון הפינה של האריס כדי לסנן נקודות לא מובחנות עם תגובות נמוכות הממוקמות באזורים שטוחים או לאורך הקצוות.

עיבוד מוקדם של תמונה

בשלב העיבוד המוקדם של תמונות תיירות, המחקר מחלץ את התכונות מתמונות גווני אפור. כדי לאפיין עוד יותר את התכונות המקומיות של התמונה, המחקר משתמש ברכיב הגרדיאנט לזיהוי וסיווג התמונה21. משוואה (1) הדגימה את ביטויה.

figure-protocol-1(1)

במשוואה (1) I(x,y) מציין את ערך הפיקסל של התמונה בקואורדינטה (x,y). figure-protocol-2 מסמן את וקטור הגרדיאנט של התמונה ב-(x,y). figure-protocol-3 ומציגים figure-protocol-4 את הנגזרות החלקיות של התמונה בכיווני x ו-y, בהתאמה. T מציין את הטרנספוזיציה של וקטור הגרדיאנט.

זיהוי נקודות תכונה

לאחר זיהוי התמונה באמצעות רכיבי גרדיאנט, המחקר משתמש בתכונות ממבחן המקטעים המואצים (FAST) באלגוריתם ORB כדי לזהות את ה-FPs של התמונה. יתרה מזאת, ה-FPs מותאמים בצורה אלימה באמצעות אלגוריתם תיאור תכונות אלמנטריות בלתי תלויות (BRIEF)22 הבינארי. הסכמטיקה של זיהוי והתאמת תכונות של אלגוריתם זה מוצגת באיור 1.

figure-protocol-5
איור 1: דיאגרמה סכמטית של התאמת תכונות בין אלגוריתם זיהוי תכונות FAST לבין אלגוריתם תיאור BRIEF. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 1 ממחיש את תהליך זיהוי התכונות של האלגוריתמים FAST ו-BRIEF. איור 1A הוא דיאגרמה סכמטית של זיהוי תכונות באמצעות אלגוריתם FAST. תבנית עגולה של 16 פיקסלים משמשת להשוואת בהירות סביב הפיקסל המרכזי לזיהוי מהיר של תכונות פינה בתמונה. איור 1B הוא דיאגרמה סכמטית של התאמת תכונות באלגוריתם BRIEF. על ידי בחירת מספר זוגות פיקסלים סביב נקודות התכונה להשוואה בגווני אפור, נוצרים תיאורים בינאריים, ומשתמשים בהתאמת כוח גס להשגת התאמה בין נקודות התכונה בין שתי תמונות. השיפור כולל שימוש ראשוני בשיטת הסינון הגאוסיאנית, שמטרתה להחליק את התמונה ולהפחתת רעש בתדרים גבוהים. בהמשך, שיטת הדגימה המוטה משמשת להפחתת הרזולוציה המרחבית של התמונה, ובכך להפחית את המורכבות החישובית תוך שמירה על התכונות העיקריות של התמונה. המחקר עושה שימוש בשיטת בניית פירמידת תמונה, תוך ניצול שתי הטכניקות שהוזכרו לעיל כדי להבטיח ש-FPs של תמונות יפגינו תכונות אינווריאנטיות בקנה מידה23. הביטוי להחלקת התמונה באמצעות מסנן גאוסי נמוך מוצג במשוואה (2).

figure-protocol-6 (2)

במשוואה (2), ge(x,y) מציין את פונקציית המסנן הגאוסיאנית. e היא סטיית התקן (SD) של פונקציית גאוסיאנית. exp מציין את הפונקציה האקספוננציאלית. פירמידת התמונה שנבנתה על ידי סינון גאוסיאני מוצגת סכמטית באיור 2.

figure-protocol-7
איור 2: דיאגרמה סכמטית של פירמידת התמונה שנבנתה על ידי סינון גאוסיאני. אנא לחצו כאן לצפייה בגרסה רחבה יותר של האיור.

איור 2 מציג את מבנה פירמידת התמונה, שבו מספר תמונות ברזולוציה נמוכה נוצרות בהדרגה על ידי סינון גאוסיאני ודגימה קטנה. ביניהם, המסנן הגאוסי מפחית את רעש התדר הגבוה בתמונה על ידי טשטוש באמצעות פעולה קונבולוציונית. כנקודת ביקורת ויזואלית בשלב העיבוד המוקדם הזה, ניתן להציג את פירמידת התמונה שנוצרה. יש לציין שכל רמה בפירמידה מציגה רזולוציה הולכת ויורדת יותר של התמונה המקורית. ישנה עלייה ניכרת בטשטוש והפחתה בפרטים העדינים בעקבות סינון גאוסיאני והדגימה המוטה. כדי לשפר את יעילות זיהוי ה-FPs בתמונה, המחקר משתמש באלגוריתם SURF למיקום ה-FPs הללו בתמונה. שיטה זו כוללת כימות האזור שמסביב ל-FP ומינוף תגובת הגל כדי לקבוע את כיוון ה-FP. עקב קיומם של FPs כפולים ובלתי תקינים שמופקים על ידי SURF, מספרם המופרז יפחית את מהירות הזיהוי של תכונות תמונת המטרה (TI). לכן, המחקר עושה שימוש באלגוריתם זיהוי נקודות זווית Harris כדי לזהות את FPs24 האופטימליים של תמונות. משוואה (3) מציגה את ערך התגובה הזוויתית של האלגוריתם.

figure-protocol-8 (3)

במשוואה (3), H מציין את מטריצת האריס. u(x,y) מציין את פונקציית המשקל של החלון. ix ו-i y מסמנים את גודל הערך האפור (GV) של נקודת הפיקסל. A מציין את ערך התגובה של זווית האריס. det H ו-traceH מציינים את הדטרמיננטה והעקבה של מטריצת האריס, בהתאמה. k מציין את ערך המקדמים. הסכמטיקה של כיוון ה-FPs שנבחרו על ידי אלגוריתם SURF וחלון ההחלקה של אלגוריתם זיהוי זוויות האריס מוצגות באיור 3.

figure-protocol-9
איור 3: דיאגרמה סכמטית של אלגוריתם SURF, בחירת FP, וחלון הזזה עבור אלגוריתם זיהוי הפינות Harris. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

איור 3 מציג את הרכב אלגוריתם SURF לזיהוי FPs בתמונה. איור 3A מציג את התרשים הסכמטי של בחירת כיוון נקודות תכונה באלגוריתם SURF. על ידי חישוב הכיוון הראשי של תגובת גל האר בשכונת נקודות התכונות, נקבעת כיוון הסיבוב הבלתי משתנה של נקודת התכונה, בדרך כלל מיוצג באופן אינטואיטיבי על ידי חצים או קטעי קו כיווניים. איור 3B הוא דיאגרמה סכמטית של חלון הזזה של אלגוריתם זיהוי הפינות האריס, המראה את תהליך התנועה של החלון בתוך אזור התמונה. נקודות פינה מזוהות על ידי חישוב השינויים בגווני אפור של פיקסלים בתוך החלון, ואזורים עם ערכי תגובה גבוהים מזוהים כנקודות פינה.

התאמת תכונות

לאחר זיהוי FPs של תמונה, המחקר משתמש בשיטת LK OF כדי לעקוב אחרי FPs שזוהו. שיטה זו מחשבת את התנועה בין פריימים סמוכים על ידי מעקב אחר תנועת ה-FPs בתמונה כדי להשיג התאמת FP ברצף הווידאו. שיטת LK OF צריכה לקיים את ההנחות של פיקסל קבוע GV, תנועה קטנה ועקביות תנועה אזורית בעת חישוב התנועה בין פריימים סמוכים25. שיטת לוקאס-קנאדה מאומצת באופן אסטרטגי בהתחשב ביעילות החישובית שלה, שהיא קריטית ליישומי תיירות AR בזמן אמת. ההנחות שלו מתמתנות בתוך ההקשר הספציפי. קצב הפריימים הגבוה של לכידת וידאו בדרך כלל מבטיח הזזות קטנות בין הפריימים, מה שממלא את דרישת התנועה הקטנה. בעוד שיציבות הבהירות המוחלטת היא אידיאלית, חלון המעקב הקצר בין פריימים עוקבים ממזער הפרות חמורות. הכי חשוב, אלגוריתם RANSAC הבא מטפל ביעילות בשגיאות מעקב פוטנציאליות הנובעות מהפרות הנחות על ידי סינון חריגים. לכן, LK משמש כמעקב התחלתי יעיל שפלטו מאומת בקפדנות, מה שהופך אותו למתאים למערכת בזמן אמת, שבה איזון בין מהירות לעמידות הוא חיוני. לפי ההנחה של פיקסל GV קבוע, הביטוי מוצג במשוואה (4).

figure-protocol-10 (4)

במשוואה (4), I(x,y,t) מציין את הפיקסל GV של התמונה במיקום (x,y) ברגע t . Ix ו-Ix מסמנים את ההיסט של הפיקסל בכיווני x ו-y, בהתאמה. i ו-j מציינים את רכיבי ה-OF של נקודת הפיקסל. Ix,i y ו-it מסמנים את ההבדל בתמונה בכיווני x, y ו-t, בהתאמה. ההנחה של עקביות תנועה אזורית מחושבת במשוואה (5).

figure-protocol-11 (5)

במשוואה (5), itb מציין את הנגזרת החלקית של נקודת הפיקסל b th בתחום בכיוון הזמן t . v x v מציין את גודל שטח התחום הנבחר. b מציין את כל נקודות הפיקסל בתוך הדומיין. לסיכום, המחקר הנוכחי עושה שימוש בתיאור BRIEF כדי להתאים את ה-FPs המעקבים ובאלגוריתם RANSAC כדי לדחות את ה-FPs שנעקבו בטעות על ידי ה-ORB. שילוב זה של שיטות משפר את עמידות התאמת התכונות26. איור 4 מציג את התרשים הסכמטי של שיטת LK OF.

figure-protocol-12
איור 4: דיאגרמה סכמטית של שיטת LK OF. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

איור 4 מציג את תהליך היישום של שיער אופטי זרם של LK, המשתמש בשיטת אופטימיזציה איטרטיבית להעתקת FP בין פריימים סמוכים. לצורך אימות איכותי של אלגוריתם התאמת התכונות, ניתן לשכב ויזואלית את ה-FPs המותאם בין התבנית לתמונות הבדיקה. זוגות נקודות מותאמים נכון בדרך כלל מחוברים בקווים ירוקים או מסומנים באינדיקטורים ירוקים. לעומת זאת, אלגוריתם RANSAC יכול להציג חריגים עם סימנים אדומים. זה מספק הערכה חזותית מיידית של עמידות ודיוק תואמים לפני ניתוח כמותי. המחקר משתמש באלגוריתם RANSAC כדי לחשב את ה-HM של ה-FPs המתאימים בתמונה, ובכך להסיר את אלו שאינם תואמים נכון. ה-FPs שמותאמים בדיוק נשמרים אז. במקרה זה, ביטוי HM ופרמטר הסקאלה של אלגוריתם RANSAC מוצגים במשוואה (6).

figure-protocol-13 (6)

במשוואה (6), M מציין את HM. m מציין את האלמנט במטריצה M. S מציין את פרמטר הסקאלה. (x,y) ו-(x',y') מציינים את מיקומי ה-FP של תמונת התבנית ותמונת הבדיקה, בהתאמה. לאחר קבלת קואורדינטות ה-FPs של תמונת הבדיקה, המחקר מבצע ניתוח השוואתי של המרחקים ביניהן לבין הנקודות המותאמות. משוואה (7) ממחישה שהיא גם מעדכנת את מספר האיטרציות וקובעת את מספר הנקודות הפנימיות.

E = log(1 - c)/log(1 - ηn) (7)

במשוואה (7), E היא האיטרציות. c מציין את רמת הביטחון. η מציין את יחס הנקודות הפנימיות. n הוא כמות הדגימות. אז הביטוי עבור SD של האיטרציה E מוצג במשוואה (8).

figure-protocol-14 (8)

במשוואה (8), Sd(E) מציין את ה-SD. השיפור באלגוריתם ORB שתואר לעיל מוצג כמספק בסיס התאמת תכונות באיכות גבוהה לטכנולוגיית הרישום התלת-ממדית הבאה. שיפור זה מראה דיוק ועמידות גבוהים יותר בסצנות מורכבות. חלק מהסצנות הללו כוללות שינוי קנה מידה, שינוי אור והסתרה.

הקוד המדומה לשיפור ORB עם SURF והומוגרפיה משופרת לתיירות AR הוא כדלקמן.

אלגוריתם 1: שיפור ORB עם SURF והומוגרפיה משופרת לתיירות AR
קלט: רצף תמונת תיירות I, מודל וירטואלי תלת-ממדי M
פלט: סצנת AR מוצגת עם אובייקט וירטואלי רשום
שלב 1: עיבוד מוקדם של תמונה
1: I_gray ← ConvertToGrayscale(I)
2: I_smooth ← GaussianBlur(I_gray, קרנל=5×5, σ=1.2)
3: פירמידה ← BuildImagePyramid(I_smooth, רמות = 4, קנה מידה = 1.2)

שלב 2: זיהוי נקודות תכונה
4: keypoints_SURF ← SURF_Detect(פירמידה, סף הסיאן=1000)
5: עבור כל KP ב-keypoints_SURF
6: כיוון ← ComputeWaveletResponse(kp)
7: סוף עבור
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0.04)
9: תיאורים ← ImprovedORB_Describe(keypoints_Harris)

שלב 3: התאמת תכונות
10: keypoints_tracked ← LucasKanadeOpticalFlow (keypoints_Harris, חלון=15×15)
11: התאמות ← BruteForceMatcher (תיאורים)
12: inliers, H ← RANSAC (התאמות, maxIterations=2000, reprojThreshold=3.0)

שלב 4: רישום תלת-ממדי עם הומוגרפיה משופרת
13: H_improved ← ComputeImprovedHomography (inliers, camera_intrinsics)
14: R, t ← DecomposeHomography(H_improved)
15: פוזה ← ComposeCameraPose(R, t)// שלב 5: רינדור AR
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, פוזה, רקע=I)
18: חזרה scene_rendered

טכניקת רישום תלת-ממדית בתיירות AR המבוססת על HM משופר

לאחר התאמה מדויקת של תכונות תמונות תיירות באמצעות שיטת התאמת FP, יש ליישם אותה עוד יותר בטכנולוגיית AR. טכנולוגיית רישום תלת-ממדי היא טכנולוגיה יסודית למימוש מערכות AR. הוא מחשב את פרטי התנוחה של המצלמה בעולם האמיתי באמצעות הקרנת תמונת תיירות יעדית. זה מאפשר התאמה ומיזוג מדויקים של אובייקטים וירטואליים וסצנות אמיתיות27. ה-HM יכול למפות את האובייקט הווירטואלי לעולם האמיתי מנקודת המבט של המשתמש, מה שמגביר את אפקט המיזוג בין מידע וירטואלי לעולם האמיתי. יתרה מזאת, היא יכולה לפתור את בעיית רישום המציאות המדומה כאשר הלוגו מוסתר חלקית. עם זאת, יעילות הרישום של HM בטכנולוגיית הרישום התלת-ממדית עצמה נמוכה, והיא מובילה לחוסר יישור של אובייקטים וירטואליים, מה שמוביל לאי-יציבות של אובייקטים וירטואליים28. לכן, מחקר זה מציע טכניקת רישום תלת-ממדית המבוססת על HM משופר. באמצעות זוגות FP מדויקים משלב 1, HM משופר מחושב באמצעות שיטת חישוב חזרה של אובייקטים וירטואליים למציאותיים המשלבת אינטרינסיקים של המצלמה. שיטה זו מתמודדת ביעילות עם יעילות רישום נמוכה וחוסר יישור אובייקטים וירטואליים של שיטות מסורתיות בסצנות דינמיות. המטריצה מפורקת למטריצת סיבוב ולוקטור תרגום כדי להגדיר את תנוחת המצלמה. מנוע הרינדור של OpenGL מקרין בדיוק מודלים וירטואליים תלת-ממדיים לזרם וידאו חי בהתבסס על פרמטרי תנוחה. מודלים של מיפוי טקסטורות ותאורה מבטיחים מיזוג פיזיקלי עקבי.

רישום ויזואליזציה תלת-ממדית

למימוש טכניקת הרישום התלת-ממדית, המחקר צריך תחילה לבנות מודל הדמיית חור סיכה כדי למפות את העולם האמיתי התלת-ממדי לתמונה דו-ממדית. הביטוי של מודל זה מוצג במשוואה (9).

figure-protocol-15 (9)

במשוואה (9), X, Y ו-O מציינים את שלושת צירי המצלמה CS. (x,y,f) מציין את וקטור הקואורדינטות. f מציין את אורך המוקד (FL). λ מציין את גורם הסקאלה. כפי שמודגם באיור 5, המחקר הנוכחי בוחן את תכונות ההדמיה של מצלמת החור הסיכה באמצעות מערכת הטרנספורמציה בין CS התמונה ל-CS של המצלמה.

figure-protocol-16
איור 5: מודל הדמיית חור סיכה והקשר בין נקודות מרחביות לנקודות הקרנה מישוריות. אנא לחצו כאן לצפייה בגרסה רחבה יותר של איור זה.

איור 5 מציג את המבנה הבסיסי של הדמיית חורי סיכה. איור 5A הוא דיאגרמה סכמטית של מודל הדימות של חור הסיכה, המתארת את המבנה הגאומטרי הבסיסי של הקרנת סצנה תלת-ממדית על מישור הדמיה דו-ממדי דרך חור קטן במרכז המצלמה, המשקף את עקרונות הפצת הקרניים והקרנת פרספקטיבה. איור 5B ממחיש עוד יותר את תהליך הקרנת נקודות מרחביות על הנקודות המתאימות במישור ההדמיה דרך מרכז המצלמה, ומבהיר את הקשר הפרופורציונלי בין אורך המוקד, קואורדינטות נקודת התמונה וקואורדינטות נקודת האובייקט. לאחר בניית מודל הדימות של חור הסיכה, המחקר עושה שימוש נוסף ב-HM כדי לבנות את מיפוי הקשר בין התבנית לתמונות הסצנה האמיתיות תחת צילום המצלמה. מניחים כי נקודות ההתאמה של שתי תמונות I1 ו-I2 נמצאות באותו מישור. המישור צריך לקיים את הביטוי המוצג במשוואה (10).

NZ P + d = 0 (10)

במשוואה (10), P מציין את המישור. N מציין את הווקטור הנורמלי של המישור P. d מציין את המרחק מהמישור P לנקודת המקור. Z מציין את וקטור התרגום. לסיבובים ותרגומות, המחקר משתמש בשיטת פירוק הערכים הסינגולריים להפקתם. הביטוי מוצג במשוואה (11)29.

figure-protocol-17 (11)

במשוואה (11), p1 ו-p2 מציינים את קואורדינטות הפיקסלים של זוגות הצללים התואמים לתכונה בתמונות I1 ו-I2, בהתאמה. r1 ו-r2 מציינים את גורמי הסקיילינג של נקודות הפיקסל בתמונות I1 ו-I2, בהתאמה. K מציין את מטריצת הייחוס הפנימית של המצלמה. R מציין את מטריצת הסיבוב. ל-HM יש מורכבות חישובית גבוהה והוא נוטה לבעיה של שגיאת התאמת FP. לכן, המחקר משפר אותו באמצעות שיטת חישוב הפוכה של אובייקטים וירטואלייםואמיתיים 30. הביטוי המשופר של HM מוצג במשוואה (12).

figure-protocol-18 (12)

במשוואה (12), M' מציין את ה-HM המשופר. fx ו-fy מסמנים את ה-FLs של המצלמה לאורך צירי X ו-Y, בהתאמה. u ו-v מציינים את קואורדינטות הנקודה הראשית. γ מציין את פרמטר ההטיה. הטרנספורמציה הפיזיקלית של השיטה מוצגת במשוואה (13).

figure-protocol-19 (13)

במשוואה (13), T' מציין את מטריצת הטרנספורמציה הפיזיקלית. tx,t y ו-to מציינים את רכיבי הסיבוב של שלושת צירי הקואורדינטות. [R|Z] מציין את מטריצת הטרנספורמציה של העולם והמצלמה CS. ביישום טכנולוגיית AR, הביטוי של המיפוי בין התבנית לתמונה של סצנת הנסיעה האמיתית מוצג במשוואה (14).

figure-protocol-20 (14)

במשוואה (14), Is ו-Iמסמנים את הנקודות על הייחוס ו-TI, בהתאמה. המחקר מחשב עוד את דיוק היישור של ה-HM המשופר כדי לבדוק את יעילות היישור של השיטה, כפי שמובע במשוואה (15).

figure-protocol-21 (15)

במשוואה (15), Pre(M') מציין את דיוק היישור של ה-HM המשופר. (xa,y a,o a) מציין את ה-FPs בפועל. (xb,y b,o b) מציין את ה-FPs המיושרים. n מציין את מספר הקבוצות של נקודות תואמות. איור 6 מציג את המיפוי בין התרשים הסכמטי לתמונות של ה-HM המשודרג.

figure-protocol-22
איור 6: יחס המיפוי בין התמונות לדיאגרמת הסכימה של ה-HM המשופר. אנא לחצו כאן לצפייה בגרסה גדולה יותר של איור זה.

כפי שמודגם באיור 6, קיימת התאמה ברורה בין תמונת התבנית ל-TI. לאחר יישום ה-HM המשופר, נקודת ביקורת ויזואלית מרכזית כוללת עיוות ויישור של תמונת התבנית על תמונת הסצנה המטרה. הקצוות של התבנית המוקרנת צריכים להתאים במדויק לתכונות המתאימות ב-TI. במהלך ההדמיה הסופית ב-AR, בדקו ויזואלית את המודל התלת-ממדי הווירטואלי כדי לוודא שהוא מעוגן באופן עקבי ומדויק למיקום ולכיוון הנכונים בסצנה האמיתית. לא אמור להיות רטט או סטייה מורשים כשהפרספקטיבה של המצלמה משתנה.

המחקר מדגים את מיפוי תמונת התבנית באמצעות מטריצת השפעה משופרת של but-for. כדי להשיג אינטראקציה בזמן אמת בין אובייקטים וירטואליים לנופים תיירותיים אמיתיים, המחקר משתמש בטכנולוגיית OpenGL כדי להציג מודלים תלת-ממדיים לבניית מערכת התיירות המציאותית. הטכניקה תחילה מגדירה את ההקשר של OpenGL, טוענת את המודל התלת-ממדי של אלמנטים תיירותיים וירטואליים, ומחשבת עם מיפוי טקסטורות ותאורה. לאחר מכן, זרם הווידאו בזמן אמת שנקלט על ידי המצלמה משמש כרקע כדי לספק נקודת ייחוס לרינדור אובייקטים וירטואליים. אובייקטים וירטואליים מונחים בדיוק על העולם האמיתי באמצעות HM, שמציג את האובייקטים הווירטואליים במיקום ובכיוון הנכונים כדי למזג אותם עם הסצנה האמיתית. במערכת התיירות AR, שבה הווידאו מצולם דרך ספריית OpenCV לווידאו בזמן אמת של הסיור31. עיבוד תמונה משתמש באלגוריתם ORB אופטימלי לזיהוי והתאמת תכונות במסגרת וידאו. במודול הרישום התלת-ממדי, המחקר משתמש ב-HM משופר למיזוג מציאות וירטואלית. הפלט הסופי והאינטראקציה מוצגים באמצעות טכנולוגיית OpenGL. תהליך היישום של טכנולוגיית סיורי AR מוצג באיור 7, המדגים את תהליך היישום הכולל של טכנולוגיית סיורי AR. איור 7 מציג את תרשים הזרימה של יישום המערכת של טכנולוגיית התיירות AR. לאחר הפעלת המערכת, זרם הווידאו בזמן אמת מתועד תחילה דרך המצלמה, ממנה מופקת תמונת היעד. התהליך נכנס לאחר מכן לשלב עיבוד התכונות, ומבצע ברצף חילוץ נקודות תכונה ותיאור לבניית תכונות תמונה. אם התאמת נקודות התכונה מצליחה, המערכת ממשיכה לשלב רישום המעקב התלת-ממדי, שבו מחושבים פרמטרי תנוחת המצלמה. זה משולב עם מודלים תלת-ממדיים מספריית החומרים הווירטואלית כדי להשיג מיזוג וירטואלי-ריאלי, ואפקט ה-AR הסופי המומזג מוצג למשתמש בזמן אמת. אם ההתאמה נכשלת, אלגוריתם RANSAC משמש להסרת נקודות אי-תואמות, ושלב עיבוד התכונות נכנס מחדש כדי להבטיח יציבות ועמידות המערכת. כל התהליך יוצר לולאה סגורה שלמה, מרכישת תמונה ועיבוד תכונות ועד רישום תלת-ממדי, מיזוג וירטואלי-ריאלי ותצוגה אינטראקטיבית, הממחיש את המסלול הטכני למערכות תיירות AR להשגת מיזוג וירטואלי-ריאלי יציב בזמן אמת בסצנות דינמיות.

figure-protocol-23
איור 7: דיאגרמה סכמטית של תהליך היישום של טכנולוגיית תיירות AR. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

הכנה ניסיונית וחומרים

כדי להבטיח שחזוריות הניסויים, מפרטי החומרה, סביבת התוכנה ומאגרי הנתונים ששימשו במחקר זה מפורטים במפורש בטבלה 1.

קטגוריהפריטמפרט / גרסה
חומרהמצלמהמצלמת רשת Logitech C920 HD Pro
מעבד מחשביםמעבד AMD Ryzen 7 3700X עם 8 ליבות
זיכרון מחשב32GB RAM
מערכת הפעלהWindows 10 (64 ביט)
תוכנה וספריותשפת תכנותC++
סביבת פיתוחMicrosoft Visual Studio 2019
ספריית ראיית המחשבOpenCV 4.5.1
API גרפיOpenGL 4.6
פלטפורמת סימולציהכלי סימולציה של Visual Studio
מערך נתוניםמערך נתונים ראשימערך הנתונים של אוקספורד

טבלה 1: הגדרת ניסוי: חומרה, תוכנה ומפרטי מאגרי נתונים.

ב-OpenCV, הטשטוש הגאוסי מיושם באמצעות פונקציית GaussianBlur(). פירמידת התמונה בנויה באמצעות buildPyramid(). גלאי SURF מאותחל עם SURF.create(), וקובע את סף ההסאן ל-400. תגובת פינת האריס מחושבת באמצעות cornerHarris(), ולאחר מכן מוחלת דיכוי לא מקסימלי כדי לסנן את נקודות המפתח. זרימת האופטיקה של LK מחושבת באמצעות פונקציית calcOpticalFlowPyrLK() שמיישמת את שיטת לוקאס-קנאדה הפירמידלית. פונקציית findHomography() משמשת להערכת הומוגרפיה, כאשר דגל השיטה מוגדר ל-RANSAC כדי לנצל את סף ההקרנה שנקבע. ה-HM המתקבל משמש אז עם perspectiveTransform() לאימות נקודות inlier. בצינור הרינדור של OpenGL, ה-HM מומר לתנוחת מצלמה ומוגדר באמצעות glLoadMatrix(). המודלים הווירטואליים התלת-ממדיים נטענים כקבצי .obj ומוצג באמצעות פקודות טרנספורמציה סטנדרטיות של OpenGL (glTranslate, glRotate). הזנת הווידאו בזמן אמת מ-OpenCV מועברת ל-OpenGL כטקסטורה באמצעות glTexImage2D() להשגת שכבת AR הסופית. הפרמטרים המרכזיים לאלגוריתמים בהם השתמשו במחקר זה מוגדרים במפורש בטבלה 2.

אלגוריתם / רכיבפרמטרערך
מסנן גאוסיאניגודל הגרעין5 × 5 פיקסלים
סטיית תקן1.2
זרימה אופטית LKגודל החלון15 × 15 פיקסלים
RANSACאיטרציות מקסימליות2000
סף הקרנה מחדש3.0 פיקסלים
גלאי תכונות ORBמספר מרבי של תכונות1000
גורם קנה מידה (פירמידה)1.2
מספר רמות הפירמידה4
גלאי תכונות SURFסף הסי1000
גלאי פינת האריסגודל הצמצם3
ערך k0.04

טבלה 2: פרמטרים מרכזיים של אלגוריתמים לשחזוריות.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הביצועים של האלגוריתם המשולב של SURF ו-ORB המשופר לתמונות תיירות התאמת FP

כדי לקבוע קווי בסיס עמידים לביצועים והשוואות בקרה, האלגוריתם המוצע מוערך מול שלושה אלגוריתמים נפוצים של התאמת תכונות: טרנספורמציה תכונה בלתי משתנה בקנה מידה (SIFT), תכונות חזקות מואצות (SURF), ואלגוריתם ORB המקורי שלא משופר. אלגוריתמים אלו משמשים כקבוצות ביקורת, ומאפשרים הערכה ישירה של שיפורי הביצועים הנובעים מהשיפורים המוצעים.

המחקר מנתח תחיל...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחקר הציע שיטת התאמת FP לתמונות תיירות, המשלבת SURF ואלגוריתם ORB משופר, במטרה לשפר את דיוק ההתאמה של תכונות. כדי לקדם את ההתאמה והמיזוג המדויקים בין האובייקטים המוצעים לסצנה האמיתית, המחקר הציע טכניקת רישום תלת-ממדי תיירות AR המבוססת על שיפור ב-HM. לגבי רישום תלת-ממדי, הממצאים הראו כי ה-ARA היה 98.74% והמספר הממוצע של רישום תלת-ממדי תחת טרנספורמציה סיבובית היה 68. הוא הצביע על כך ששיעור ההצלחה בהרישום התלת-ממדי ודיוק ה-HM המשופר היו גבוהים יותר. יצירת הדגם ומודול המיזוג במציאות מדומה ה...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים שאין להם אינטרסים מתחרים לחשוף.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
מעבד AMD Ryzen 7 3700X עם 8 ליבותAMDRyzen 7 3700X
מצלמהלוג'יטקמצלמת רשת C920 HD Pro
זיכרון מחשב/32GB RAM
מצלמת רשת Logitech C920 HD Proלוג'יטקC920
Microsoft Visual Studio 2019מיקרוסופט2019
OpenCVקרן OpenCV4.5.1
OpenGLקבוצת כרונוס4.6
מערך הנתונים של אוקספורדאוניברסיטת אוקספורד/
שפת תכנות/C++
כלי סימולציה של Visual Studioמיקרוסופטכלול ב-VS 2019
Windows 10 (64 ביט)מיקרוסופט10 (64-ביט)

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tang, R. Digital economy drives tourism development—Empirical evidence based on the UK. Econ Res. 36 (1), 2003-2020 (2023).
  2. Nur Amin, S., et al. An augmented reality-based approach for designing interactive food menu of restaurant using android. Artif Intell Appl. 1 (1), 26-34 (2022).
  3. Ahmad, H., Butt, A., Muzaffar, A. Travel before you actually travel with augmented reality–role of augmented reality in future destination. Curr Issues Tour. 26 (17), 2845-2862 (2023).
  4. Long, X. M., Chen, Y. J., Zhou, J. Development of AR experiment on electric-thermal effect by open framework with simulation-based asset and user-defined input. Artif Intell Appl. 1 (1), 52-57 (2022).
  5. Xie, Y., Wang, Q., Chang, Y., Zhang, X. Fast target recognition based on improved ORB feature. Appl Sci. 12 (2), 786-799 (2022).
  6. Zhang, L., Zhang, Y. Improved feature point extraction method of ORB-SLAM2 dense map. Assembly Automat. 42 (4), 552-566 (2022).
  7. Wu, K. Creating panoramic images using ORB feature detection and RANSAC-based image alignment. Adv Comput Commun. 4 (4), 220-224 (2023).
  8. Chen, Q., et al. Horticultural image feature matching algorithm based on improved ORB and LK optical flow. Remote Sens. 14 (18), 4465-4482 (2022).
  9. Zuo, Y., Guan, H., Duan, F., Wu, T. A light field full-focus image feature point matching method with an improved ORB algorithm. Sensors. 23 (1), 123-136 (2022).
  10. Anggara, D. W., et al. Integrated colormap and ORB detector method for feature extraction approach in augmented reality. Multimed Tools Appl. 81 (25), 35713-35729 (2022).
  11. Tian, J., Wu, Y., Cai, Y., Fan, H., Yu, W. A novel mosaic method for spaceborne ScanSAR images based on homography matrix compensation. Remote Sens. 13 (15), 2866-2885 (2021).
  12. Kim, T., Kim, G. J. Real-time and on-line removal of moving human figures in hand-held mobile augmented reality. Vis Comput. 39 (7), 2571-2582 (2023).
  13. Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci. Rep. 13 (1), 2571-2582 (2023).
  14. Liu, J., Liang, A., Zhao, E., Pang, M., Zhang, D. Homography matrix-based local motion consistent matching for remote sensing images. Remote Sens. 15 (13), 3379-3400 (2023).
  15. Zhu, C., Io, M. U., Hall, C. M., Ngan, H. F. B., Peralta, R. L. How to use augmented reality to promote a destination? The mediating role of augmented reality attachment. Int J Tour Res. 26 (1), e2603(2024).
  16. Ngan, H. F. B., Lei, W. S. Examining the effects of augmented reality on sport event experiences and revisit intention: A comparative analysis between AR and non-AR users. Issues Tour. 28 (4), 666-679 (2025).
  17. Zhu, C., Io, M. U., Hall, C. M., Ngan, H. F. B., Peralta, R. L. Exploring the influence of augmented reality on tourist word-of-mouth through the lens of museum tourism. J Herit Tour. 20 (1), 78-91 (2025).
  18. Jia, X., Xu, T., Bao, K., Wang, D., Dai, Y. Multi-point displacement measurement method based on ORB feature detection. Insight. 67 (2), 73-79 (2025).
  19. Chen, J., Ramakrishnan, K. K., Dhakazl, A., Ran, X. Networked architectures for localization-based multi-user augmented reality. IEEE Commun Mag. 61 (12), 104-110 (2023).
  20. Yang, M., Wang, S., Zhang, N., Zhou, A., Ma, X. Survey on tracking and registration technology for mobile augmented reality. Int J Web Grid Serv. 18 (2), 99-140 (2022).
  21. Lee, J., Lee, H., Mun, D. 3D convolutional neural network for machining feature recognition with gradient-based visual explanations from 3D CAD models. Sci Rep. 12 (1), 14864-14877 (2022).
  22. Ren, J., et al. Matching algorithms: Fundamentals, applications and challenges. IEEE Trans Emerg Top Comput Intell. 5 (3), 332-350 (2021).
  23. Li, L., Yang, M. Point cloud registration based on direct deep features with applications in intelligent vehicles. IEEE Trans Intell Transp Syst. 23 (8), 13346-13357 (2021).
  24. Hao, Z., Wang, X., Zheng, S. Recognition of basketball players’ action detection based on visual image and Harris corner extraction algorithm. J Intell Fuzzy Syst. 40 (4), 7589-7599 (2021).
  25. Liu, Q., Xi, X., Zhang, W., Yang, L., Hanajima, N. Improved image matching algorithm based on LK optical flow and grid motion statistics. Int J Comput Appl Technol. 68 (1), 49-57 (2022).
  26. Zhang, D., Zhu, J., Wang, F., Hu, X., Ye, X. GMS-RANSAC: A fast algorithm for removing mismatches based on ORB-SLAM2. Symmetry. 14 (5), 849-860 (2022).
  27. Fu, H., Yang, H., Chen, C., Zhang, H. 3D registration based on V-SLAM and application in augmented reality. J Comput Methods Sci Eng. 22 (3), 911-923 (2022).
  28. Bao, Y., Liu, J., Jia, X., Qie, J. An assisted assembly method based on augmented reality. Int J Adv Manuf Technol. 135 (1), 1035-1050 (2024).
  29. Cattari, N., Condino, S., Cutolo, F., Ferrari, M., Ferrari, V. In situ visualization for 3D ultrasound-guided interventions with augmented reality headset. Bioengineering. 8 (10), 131-146 (2021).
  30. Hong, H. A measurement method of the focal distance of the virtual image in an augmented reality or virtual reality device. J Soc Inf Disp. 29 (4), 230-236 (2021).
  31. Dinara, G., Evgeniy, Z., Vlada, K. Using OpenCV for augmented reality applications. Artif Life Robot. 3 (3), 179-184 (2022).
  32. Xu, H., Yuan, J., Ma, J. Murf: Mutually reinforcing multi-modal image registration and fusion. IEEE Trans Pattern Anal Mach Intell. 45 (10), 12148-12166 (2023).
  33. Li, W., Wang, J., Liu, M., Zhao, S., Ding, X. Integrated registration and occlusion handling based on deep learning for augmented-reality-assisted assembly instruction. IEEE Trans Ind Inform. 19 (5), 6825-6835 (2022).
  34. Lim, H., Kim, B., Kim, D., Mason Lee, E., Myung, H. Quatro++: Robust global registration exploiting ground segmentation for loop closing in LiDAR SLAM. Int J Rob Res. 43 (5), 685-715 (2024).
  35. Xu, N., et al. CubeMuseum AR: A tangible augmented reality interface for cultural heritage learning and museum gifting. Int J Hum Comput Interact. 40 (6), 1409-1437 (2024).
  36. Arshad, S., Kim, G. W. A robust feature matching strategy for fast and effective visual place recognition in challenging environmental conditions. Int J Control Autom Syst. 21 (3), 948-962 (2023).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

SURF

מאמרים קשורים