$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Bu bölüm, ilk olarak turizm görüntüleri için SURF ve geliştirilmiş bir ORB algoritmasını birleştirerek FP eşleştirme yöntemi önerir; böylece FP eşleştirmenin sağlamlığını artırır. Daha sonra, çalışma, sanal bilgi ile gerçek dünya arasındaki füzyon etkisini artırmak için geliştirilmiş HM tabanlı bir AR turizmi 3D kayıt tekniği öneriyor. Deneyler, halka açık görüntü veri setleri kullanılarak gerçekleştirildi. Özellikle, ölçek, bulanıklık, aydınlatma ve bakış açısı farklılıklarına sahip görüntü dizilerini içeren Oxford Görsel Geometri Grubu (VGG) veri seti kullanılmıştır ve bilgisayar görüşünde özellik eşleştirme ve kayıt algoritmalarının değerlendirilmesinde yaygın olarak benimsenmiştir. Bu kamuya açık veri setinin kullanımı için etik komite onayı gerekmemektedir.
SURF ile turizm görsellerinde FP eşleştirme için geliştirilmiş bir ORB algoritmasının birleştirilmesi
Turizm sektörünün hızla gelişmesiyle birlikte, otomatik turizm hizmetlerinde AR teknolojisine olan talep artmaktadır. ORB algoritması, verimli bir FP algılama ve tanımlama algoritmasıdır. AR teknolojisi yaygın olarakkullanılmıştır 19. Ancak, FP turizm görüntüleri eşleştirme sürecinde, mevcut ORB algoritması ölçek değişikliklerine karşı zayıf dayanıklılık, düşük özellik eşleştirme doğruluğu ve zaman alıcı olma gibi kusurlarasahiptir. Eşleşmenin doğruluğunu ve dayanıklılığını artırmak için, bu çalışma SURF'u geliştirilmiş bir ORB algoritması ile entegre eden sağlam bir özellik eşleştirme yöntemi önermektedir. Ölçek değişmezliği elde etmek için giriş görüntüsü Gauss filtreleme ve piramit yapısından geçer. SURF algoritması, ölçek değişmez FP'leri tespit eder ve yönelimler dalga geçidi yanıtlarıyla belirlenir. Özellik kalitesi, Harris köşe kriteriyle başlangıç noktalarının iyileştirilmesi ve en ayırt edici noktaların korunmasıyla iyileştirilir. Lucas-Kanade optik akış yöntemi, kareler boyunca özellikleri takip eder ve RANSAC algoritması uyumsuz noktaları ortadan kaldırır. Burada ele alınan metodolojik boşluk sadece SURF ve ORB'nin ardışık uygulanması değil, aynı zamanda karmaşık turizm ortamlarında standart hibritlerin özel sınırlamalarını aşmak için tasarlanmış yeni bir hibritleşme stratejisidir. Geleneksel SURF-ORB yaklaşımlarının aksine, tespit için SURF kullanıp doğrudan ORB tanımlayıcısı uygulanırken, mevcut yöntem iki kritik geliştirme getirir. İlk olarak, SURF ile lokalize edilen her FP'nin yönelimi, dalga geçimi yanıtı kullanılarak yeniden hesaplanır. Bu, standart Haar-dalga tabanlı yöntemle sadece SURF'dan daha sağlam bir yön tahmini sağlar. İkinci ve daha da önemlisi, başlangıçtaki SURF puanları doğrudan kullanılmaz. Bunun yerine, Harris köşe kriteriyle titizlikle geliştirilmiş, düz bölgelerde veya kenarlar boyunca yer alan düşük yanıtlara sahip ayırt edici olmayan noktalar filtrelenmiştir.
Görüntü ön işleme
Turizm görüntülerinin ön işleme aşamasında, çalışma gri tonlu görüntülerden özellikleri çıkarıyor. Görüntünün yerel özelliklerini daha iyi karakterize etmek için çalışma, görüntü21'i tanımlamak ve sınıflandırmak için gradyan bileşenini kullanır. Denklem (1) onun ifadesini göstermiştir.
(1)
(1) Denkleminde I(x,y) görüntünün (x,y) koordinatındaki piksel değerini gösterir.
(x,y)'deki görüntünün gradyan vektörünü gösterir.
ve
görüntünün kısmi türevlerini sırasıyla x ve y yönlerinde gösterir. T, gradyan vektörünün transpozunu gösterir.
Özellik noktası algılama
Görüntü gradyan bileşenleriyle tanındıktan sonra, çalışma, görüntünün FP'lerini tespit etmek için ORB algoritmasındaki hızlandırılmış segmentler testinden (FAST) alınan özellikleri kullanır. Ayrıca, FP'ler ikili sağlam bağımsız temel özellikler (BRIEF) açıklamaalgoritması 22 kullanılarak şiddetle eşleştirilir. Bu algoritmanın özellik algılanması ve eşleştirme şeması Şekil 1'de gösterilmiştir.

Şekil 1: FAST algoritması özellik algısı ile BRIEF açıklama algoritması arasındaki özellik eşleştirmesinin şematik diyagramı. Bu şekilin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 1, FAST ve BRIEF algoritmalarının özellik tespit sürecini göstermektedir. Şekil 1A, FAST algoritması kullanılarak özellik algılama şematik diyagramıdır. Orta piksel etrafındaki parlaklığı karşılaştırmak için 16 piksellik dairesel bir şablon, görüntüdeki köşe özelliklerinin hızlı tespiti için kullanılır. Şekil 1B, BRIEF algoritmasında özellik eşleştirmesinin şematik diyagramıdır. Özellik noktalarının etrafında birkaç çift piksel seçilerek gri tonlama karşılaştırması yapılarak ikili tanımlayıcılar oluşturulur ve iki görüntü arasındaki özellik noktalarının uyumunu sağlamak için kaba kuvvet eşleştirmesi kullanılır. Bu geliştirme, görüntüyü yumuşatmak ve yüksek frekanslı gürültüyü azaltmak için kullanılan Gauss filtreleme yönteminin ilk kullanımını içerir. Daha sonra, görüntünün mekansal çözünürlüğünü azaltmak için aşağı örnekleme yöntemi kullanılır; böylece hesaplama karmaşıklığı azaltılırken görüntünün ana özellikleri korunur. Çalışma, yukarıda bahsedilen iki tekniği kullanarak görüntü FP'lerinin ölçek invaryans özelliklerine sahip olmasını sağlamak için bir görüntü piramidi oluşturmayöntemi kullanmaktadır 23. Düşük geçirimli Gauss filtresiyle görüntünün yumuşatılması için kullanılan ifade Denklem (2)'de gösterilmiştir.
(2)
Denklem (2)'de, ge(x,y) Gauss filtre fonksiyonunu gösterir. e, Gauss fonksiyonunun standart sapmasıdır (SD). exp, üstel fonksiyonu gösterir. Gauss filtreleme ile oluşturulan görüntü piramidi Şekil 2'de şematik olarak gösterilmiştir.

Şekil 2: Gauss filtreleme ile oluşturulan görüntü piramidinin şematik diyagramı. Bu şekilin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Şekil 2 , Gauss filtreleme ve aşağı örnekleme ile kademeli olarak daha düşük çözünürlüklü birden fazla görüntünün üretildiği görüntü piramidi yapısını gösterir. Bunlar arasında, Gauss filtresi, görüntüdeki yüksek frekanslı gürültüyü konvolüsyon işlemiyle bulanıklaştırarak azaltır. Bu ön işleme aşamasında görsel bir kontrol noktası olarak, oluşturulan görüntü piramidi görüntülenebilir. Belirtmek gerekir ki, piramidin her seviyesi orijinal görüntünün giderek daha düşük çözünürlüklü bir çözünürlüğünü sunar. Uygulanan Gauss filtreleme ve küçültme sayesinde bulanıklıkta belirgin bir artış ve ince detaylarda azalma görülür. Bir görüntüdeki FP'lerin tanımlanmasının etkinliğini artırmak için, çalışma, bu FP'leri görüntüde lokalize etmek için bir SURF algoritması kullanmaktadır. Bu yöntem, FP'nin çevresindeki bölgeyi nicelikten ölçmeyi ve dalga geçimi yanıtından yararlanarak FP'nin yönünü belirlemeyi içerir. SURF ile çıkarılan tekrarlanmış ve geçersiz FP'lerin varlığı nedeniyle, aşırı sayıları hedef görüntü (TI) özelliklerinin tanıma hızını azaltır. Bu nedenle, çalışma Harris açı noktası algılama algoritmasını kullanarak optimal görüntüFP'lerini 24 belirlemektedir. Denklem (3), algoritmanın açısal yanıt değerini gösterir.
(3)
Denklem (3)'te, H Harris matrisini gösterir. u(x,y) pencerenin ağırlık fonksiyonunu gösterir. Ix ve Iy, piksel noktasının gri değerinin (GV) boyutunu gösterir. A, Harris açısının yanıt değerini gösterir. det H ve traceH, sırasıyla Harris matrisinin determinantı ve izini gösterir. k katsayıyı gösterir. SURF algoritması tarafından seçilen FP'lerin yönünün şematiği ve Harris açı algılama algoritmasının kaydırma penceresi Şekil 3'te gösterilmiştir.

Şekil 3: Harris köşe algılama algoritması için SURF algoritması, FP seçimi ve kaydırma pencerenin şematik diyagramı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Şekil 3 , bir görüntüdeki FP'leri tespit etmek için SURF algoritmasının bileşimini göstermektedir. Şekil 3A , SURF algoritmasında özellik noktası yönü seçiminin şematik diyagramını göstermektedir. Özellik noktası çevresinde Haar dalgalet yanıtının ana yönü hesaplanarak, özellik noktasının dönme değişmez yönü belirlenir ve genellikle içgüsel olarak oklar veya yönlü çizgi segmentleriyle temsil edilir. Şekil 3B , Harris köşe algılama algoritmasının kaydırma penceresinin şematik diyagramıdır ve pencerenin görüntü alanı içindeki hareket sürecini gösterir. Köşe noktaları, pencere içindeki piksellerin gri tonlu değişimleri hesaplanarak tespit edilir ve yüksek yanıt değerlerine sahip alanlar köşe noktaları olarak tanımlanır.
Özellik uyumu
Görüntü FP'leri tespit edilmesinin ardından, çalışmada tespit edilen görüntü FP'lerini izlemek için LK OF yöntemi kullanılmıştır. Bu yöntem, komşu görüntü kareleri arasındaki hareketi, görüntüdeki FP'lerin hareketini takip ederek video dizisindeki FP eşleştirmesini sağlar. LK OF yöntemi, bitişik görüntü kareleri arasındaki hareketi hesaplarken sabit piksel GV, küçük hareket ve bölge hareketi tutarlılığı varsayımlarınıkarşılamalıdır 25. Lucas-Kanade yöntemi, gerçek zamanlı AR turizmi uygulamaları için kritik olan hesaplama verimliliği nedeniyle stratejik olarak benimsenmiştir. Varsayımları belirli bağlam içinde hafifletilir. Video yakalamanın yüksek kare hızı genellikle küçük kare arası yer değiştirmeleri sağlar ve bu da küçük hareket gereksinimini karşılar. Mutlak parlaklık tutarlılığı ideal olsa da, ardışık kareler arasındaki kısa takip süresi ciddi ihlalleri en aza indirir. En önemlisi, sonraki RANSAC algoritması, varsayım ihlallerinden kaynaklanan potansiyel takip hatalarını istisna öğeleri filtreleyerek sağlam bir şekilde ele alır. Bu nedenle, LK, çıkışı titizlikle doğrulanan verimli bir başlangıç takipçisi olarak hizmet eder; bu da onu hız ve dayanıklılığın önemli olduğu gerçek zamanlı bir sistem için uygun kılar. Sabit piksel GV varsayımına göre, ifade Denklem (4)'te gösterilmiştir.
(4)
(4) Denkleminde, I(x,y,t) görüntünün t momentindeki (x,y) konumundaki piksel GV'sini gösterir. Ix ve Ix , pikselin x ve y yönlerindeki yer değiştirmesini gösterir. i ve j, piksel noktasının OF bileşenlerini gösterir. Ix,I y ve It , sırasıyla x, y ve t yönlerindeki görüntü farkını gösterir. Bölgesel hareket tutarlılığı varsayımı, Denklem (5)'te hesaplanır.
(5)
Denklem (5)'te,I tb, t zaman yönünde alandaki b-ci piksel noktasının kısmi türevini gösterir. v x v, seçilen alan alanının büyüklüğünü gösterir. b, alan içindeki tüm piksel noktalarını ifade eder. Sonuç olarak, mevcut çalışma, takip edilen FP'leri eşleştirmek için BRIEF tanımlayıcısını ve ORB tarafından yanlış izlenen FP'leri reddetmek için RANSAC algoritmasını kullanmaktadır. Bu yöntem kombinasyonu, özellikeşleştirmenin sağlamlığını artırır 26. Şekil 4 , LK OF yönteminin şematik diyagramını göstermektedir.

Şekil 4: LK OF yönteminin şematik diyagramı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Şekil 4, bitişik kareler arasında FP yer değiştirmesi için yinelemeli bir optimizasyon yöntemi kullanan LK akışı optik saçının uygulama sürecini göstermektedir. Özellik eşleştirme algoritmasının niteliksel doğrulanması için, şablon ile test görüntüleri arasındaki eşleşen FP'ler görsel olarak üst üste bindirilebilir. Doğru eşleşen nokta çiftleri genellikle yeşil çizgilerle bağlanır veya yeşil göstergelerle işaretlenir. Buna karşılık, RANSAC algoritması kırmızı işaretlerle outlier'leri gösterebilir. Bu, nicel analizden önce eşleşme sağlamlığı ve doğruluğunun anında görsel bir değerlendirmesini sağlar. Çalışma, RANSAC algoritmasını kullanarak görüntüdeki ilgili FP'lerin HM'sini hesaplıyor ve böylece doğru eşleşmemiş olanlar ortadan kaldırılıyor. Doğru eşleşen FP'ler daha sonra korunur. Bu durumda, RANSAC algoritmasının HM ve ölçek parametre ifadesi Denklem (6)'da gösterilmiştir.
(6)
Denklem (6)'da M HM'yi gösterir. m matris'teki elemanı M'yi gösterir. S ise ölçek parametresini gösterir. (x,y) ve (x',y') şablon görüntüsünün FP konumlarını ve test görüntüsünü gösterir. Test görüntüsündeki FP'lerin koordinatlarını edindikten sonra, çalışma bu noktalar ile eşleşen FP'ler arasındaki mesafelerin karşılaştırmalı analizini yapar. Denklem (7), aynı zamanda yineleme sayısını güncellediğini ve iç noktaların sayısını belirlediğini gösterir.
E = log(1 - c)/log(1 - ηn) (7)
Denklem (7)'de E, yinelemelerdir. c, özgüven seviyesini ifade eder. η, iç noktaların oranını gösterir. n, örnek miktarıdır. Sonra, E yinelemesinin SD ifadesi Denklem (8)'de gösterilir.
(8)
Denklem (8)'de, Sd(E) SD'yi gösterir. Yukarıda açıklanan ORB algoritmasının geliştirilmesi, sonraki 3B kayıt teknolojisi için yüksek kaliteli bir özellik eşleştirme temeli sağladığı gösterilmiştir. Bu gelişme, karmaşık sahnelerde daha yüksek doğruluk ve dayanıklılık gösteriyor. Bu sahnelerden bazıları ölçek değişimi, ışık değişimi ve oklüzyonu içerir.
AR turizmi için geliştirilmiş ORB ve geliştirilmiş homografi için sözde kod şöyledir.
Algoritma 1: AR Turizmi için SURF ile geliştirilmiş ORB ve Geliştirilmiş Homografi
Giriş: Turizm görüntü dizisi I, 3D sanal model M
Çıktı: Sanal nesne kayıtlı AR sahnesi
Adım 1: Görüntü Ön İşleme
1: I_gray ← ConvertToGrayscale(I)
2: I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3: Piramit ← BuildImagePyramid(I_smooth, seviyeler=4, ölçek=1.2)
Adım 2: Özellik Noktası Tespiti
4: keypoints_SURF ← SURF_Detect(Piramit, HessianThreshold=1000)
5: keypoints_SURF kp'de her kp için
6: ComputeWaveletResponse(kp) ← yönelim
7: son
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0.04)
9: tanımlayıcılar ← ImprovedORB_Describe(keypoints_Harris)
Adım 3: Özellik Eşleştirme
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11: BruteForceMatcher ← eşleşmeler(tanımlayıcılar)
12: inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)
Adım 4: Geliştirilmiş Homografi ile 3D Kayıt
13: H_improved ← ComputeImprovedHomography(inliers, camera_intrinsics)
14: R, t ← DecomposeHomography(H_improved)
15: poz ← ComposeCameraPose(R, t)// Adım 5: AR Rendering
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, poz, arka plan=I)
18: Return scene_rendered
AR turizmi 3D kayıt tekniği, geliştirilmiş HM temelinde
FP eşleştirme yöntemiyle turizm görüntülerinin özelliklerini doğru şekilde eşleştirdikten sonra, bu yöntemin AR teknolojisine daha fazla uygulanması gerekir. 3D kayıt teknolojisi, AR sistemlerinin gerçekleştirilmesi için temel bir teknolojidir. Gerçek dünyadaki kameranın poz bilgisini, hedef turizm görüntüsünün projeksiyonu yoluyla hesaplar. Bu, sanal nesneler ile gerçek sahnelerin doğru eşleşmesini ve birleştirilmesinisağlar 27. HM, sanal nesneyi kullanıcının bakış açısından gerçek dünyaya eşleyebilir; bu da sanal bilgi ile gerçek dünya arasındaki birleşme etkisini artırır. Ayrıca, logo kısmen gizlendiğinde sanal gerçekliği kaydetme sorununu da çözebilir. Ancak, gerçek 3D kayıt teknolojisindeki HM'nin kayıt verimliliği düşüktür ve bu sanal nesne hizalanmasına yol açar; bu da sanal nesnelerinistikrarsızlığına yol açar 28. Bu nedenle, bu çalışma geliştirilmiş bir HM temelinde bir 3B kayıt tekniği önermektedir. Faz 1'den doğru FP çiftleri kullanılarak, geliştirilmiş HM, kamera içlerini içeren sanal nesneden gerçek nesne geri hesaplama yöntemiyle hesaplanır. Bu yöntem, dinamik sahnelerde geleneksel yöntemlerin düşük kayıt verimliliği ve sanal nesne uyumsuzluğunu etkili bir şekilde ele alır. Matris, kamera pozunu tanımlamak için bir dönme matrisi ve bir çeviri vektör olarak ayrılır. OpenGL render motoru, poz parametrelerine göre 3D sanal modelleri canlı video akışına tam olarak yansıtır. Doku haritalama ve aydınlatma modelleri fiziksel olarak tutarlı bir füzyon sağlar.
3D kayıt ve görselleştirme
3D kayıt tekniğinin gerçekleştirilmesi için, çalışmanın önce 3D gerçek dünyayı 2D bir görüntüye eşleyen bir iğne deliği görüntüleme modeli oluşturması gerekir. Bu modelin ifadesi Denklem (9)'da gösterilmiştir.
(9)
(9) Denkleminde, X, Y ve O kameranın üç eksenini gösterir. (x,y,f) koordinat vektörünü gösterir. f, odak uzaklığını (FL) gösterir. λ ölçek faktörünü gösterir. Şekil 5'te gösterildiği gibi, mevcut çalışma, iğne deliği kamerasının görüntüleme özelliklerini, görüntü CS ile kamera CS arasındaki dönüşüm ilişkisini kullanarak incelemektedir.

Şekil 5: Iğne deliği görüntüleme modeli ve mekânsal noktalar ile düzlemsel projeksiyon noktaları arasındaki ilişki. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 5 , iğne deliği görüntülemenin temel yapısını göstermektedir. Şekil 5A , iğne deliği görüntüleme modelinin şematik diyagramıdır; bu tablo, kameranın ortasındaki küçük bir delikten iki boyutlu bir görüntüleme düzlemine üç boyutlu bir sahnenin yansıtılmasının temel geometrik yapısını tanımlar; bu yapı ışın yayılımı ve perspektif projeksiyonu prensiplerini yansıtır. Şekil 5B , kamera merkezi üzerinden görüntü düzlemindeki karşılık gelen noktalara mekânsal noktaların projeksiyon sürecini daha da göstererek, odak uzaklığı, görüntü noktası koordinatları ve nesne noktası koordinatları arasındaki orantılı ilişkiyi netleştirir. Iğne deliği görüntüleme modeli oluşturulduktan sonra, çalışma HM'yi kullanarak şablon ile kamera yakalama altında gerçek sahne görüntüleri arasındaki ilişki haritalamasını oluşturuyor. İki görüntü I1 veI 2'nin özellik eşleşme noktalarının aynı düzlemde olduğu varsayılır. Düzlem, Denklem (10)'da gösterilen ifadeyi karşılamalıdır.
NZ P + d = 0 (10)
Denklem (10)'da, P düzlemi gösterir. N, düzlem P'nin normal vektörünü gösterir. d, düzlem P'den orijina olan mesafeyi gösterir. Z, çeviri vektörünü gösterir. Döndürmeler ve çevirmeler için, çalışma, bunların çıkarılması için tekil değer ayrıştırma yöntemini kullanır. Bu ifade Denklem (11)29'da gösterilmiştir.
(11)
Denklem (11)'de, p1 ve p2, sırasıyla I1 ve I2 görüntülerindeki gölge nokta çiftleriyle eşleşen özelliğin piksel koordinatlarını gösterir. r1 ve r2, sırasıyla I1 ve I2 resimlerindeki piksel noktalarının ölçeklenme faktörlerini gösterir. K, kameranın iç referans matrisini gösterir. R, dönme matrisini gösterir. HM yüksek hesaplama karmaşıklığına sahiptir ve FP eşleştirme hatası sorununa yatkındır. Bu nedenle, çalışma, sanal ve gerçek nesne tersi hesaplamayöntemi 30 kullanarak bunu geliştirmektedir. Geliştirilmiş HM ifadesi Denklem (12)'de gösterilmiştir.
(12)
Denklem (12)'de M' geliştirilmiş HM'yi gösterir. fx ve fy ise kameranın X ve Y ekseni boyunca FL'lerini gösterir. U ve V, ana nokta koordinatlarını gösterir. γ, eğik parametreyi gösterir. Yöntemin fiziksel dönüşümü Denklem (13)'te gösterilmiştir.
(13)
Denklem (13)'de, T' fiziksel dönüşüm matrisini ifade eder. tx, ty ve to üç koordinat ekseninin dönme bileşenlerini gösterir. [R|Z] dünyanın dönüşüm matrisini ve kamera bilgisayar sistemini ifade eder. AR teknolojisinin uygulanmasında, şablon ile gerçek seyahat sahnesinin görüntüsü arasındaki eşlemenin ifadesi Denklem (14)'te gösterilir.
(14)
Denklem (14)'de, Is ve Id sırasıyla referans ve TI'lerdeki noktaları gösterir. Çalışma, geliştirilmiş HM'nin hizalama doğruluğunu da hesaplayarak yöntemin hizalama etkinliğini Denklem (15)'te ifade edildiği gibi inceler.
(15)
Denklem (15)'de, Pre(M') geliştirilmiş HM'nin hizalama doğruluğunu gösterir. (xa,y a,o a) gerçek FP'leri gösterir. (xb,y b,o b) hizalanmış FP'leri gösterir. n ise eşleşen nokta gruplarının sayısını gösterir. Şekil 6 , şematik diyagram ile yükseltilmiş HM'nin fotoğrafları arasındaki eşlemeyi gösterir.

Şekil 6: Geliştirilmiş HM'nin şematik diyagramı ve görüntülerin eşleme ilişkisi. Bu şekilin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Şekil 6'da gösterildiği gibi, şablon görüntüsü ile TI arasında açık bir karşılık vardır. Geliştirilmiş HM'nin uygulanmasından sonra, önemli bir görsel kontrol noktası, şablon görüntünün hedef sahne görüntüsüne çarptırılması ve hizalanmasını içerir. Projeksiyon şablonunun kenarları, TI'deki ilgili özelliklerle yakından hizalanmalıdır. Son AR render işlemi sırasında, sanal 3D modeli görsel olarak inceleyerek gerçek dünya sahnesinde doğru konum ve yöne ısrarlı ve doğru şekilde sabitlendiğinden emin olun. Kamera perspektifi değişirken belirgin bir titreme veya hizalanma olmamalıdır.
Çalışma, şablon görüntünün geliştirilmiş bir ama-affet matrisi aracılığıyla eşlenmesini göstermektedir. Sanal nesneler ile gerçek turizm manzaraları arasında gerçek zamanlı etkileşim sağlamak için çalışma, AR turizm sisteminin inşası için OpenGL teknolojisini kullanarak 3D modeller oluşturmaktadır. Teknik önce OpenGL bağlamını kurar, sanal turist öğelerinin 3D modelini yükler ve doku haritalama ile aydınlatma ile hesaplar. Daha sonra, kamera tarafından çekilen gerçek zamanlı video akışı arka plan olarak kullanılır ve sanal nesnelerin renderlenmesi için bir referans sağlar. Sanal nesneler, sanal nesneleri doğru konum ve yönde oluşturarak gerçek dünya sahnesiyle harmanlanarak gerçek dünyaya doğru bir HM ile doğru şekilde üst üste bindirilir. AR turizm sisteminde, video, OpenCV kütüphanesi üzerinden çekilerek31 turunun gerçek zamanlı videosu için çekiliyor. Görüntü işleme, video karelerindeki özellikleri tanımlamak ve eşleştirmek için optimize edilmiş bir ORB algoritması kullanır. 3B kayıt modülünde, çalışmada sanal ve gerçekliği birleştirmek için geliştirilmiş bir HM kullanılıyor. Son çıktı ve etkileşim OpenGL teknolojisi aracılığıyla gösterilir. AR tur teknolojisinin uygulama süreci, AR tur teknolojisinin genel uygulama sürecini gösteren Şekil 7'de gösterilmiştir. Şekil 7 , AR turizm teknolojisinin sistem uygulama akış şemasını sunmaktadır. Sistem başlatıldığından sonra, gerçek zamanlı video akışı önce kamera tarafından yakalanır ve hedef görüntü çıkarılır. Süreç daha sonra özellik işleme aşamasına geçer ve ardışık olarak özellik noktası çıkarımı ve açıklamasını gerçekleştirerek görüntü özellikleri oluşturulur. Özellik noktası eşleşmesi başarılı olursa, sistem kamera poz parametrelerinin hesaplandığı 3D takip kayıt aşamasına geçer. Bu, sanal materyal kütüphanesinden alınan 3D modellerle birleştirilerek sanal gerçek füzyon sağlanır ve son birleşmiş AR etkisi kullanıcıya gerçek zamanlı olarak gösterilir. Eşleşme başarısız olursa, uyumsuz noktaları elemek için RANSAC algoritması kullanılır ve sistemin kararlılığı ve dayanıklılığını sağlamak için özellik işleme aşaması yeniden girilir. Tüm süreç, görüntü alımı ve özellik işlemeden 3D kayıt, sanal-gerçek birleşme ve etkileşimli görüntülemeye kadar tamamen kapalı bir döngü oluşturur; bu da AR turizm sistemlerinin dinamik sahnelerde gerçek zamanlı, istikrarlı sanal-gerçek füzyon elde etme teknik yolunu gösterir.

Şekil 7: AR turizm teknolojisinin uygulama sürecinin şematik diyagramı. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Deneysel kurulum ve malzemeler
Deneylerin tekrarlanabilirliğini sağlamak için, bu çalışmada kullanılan donanım spesifikasyonları, yazılım ortamı ve veri setleri Tablo 1'de açıkça listelenmiştir.
| Kategori | Madde | Teknik Özellikler / Versiyon |
| Donanım | Kamera | Logitech C920 HD Pro Web Kamerası |
| Bilgisayar İşlemci | AMD Ryzen 7 3700X 8 Çekirdekli İşlemci |
| Bilgisayar Belleği | 32 GB RAM |
| İşletim Sistemi | Windows 10 (64-bit) |
| Yazılım ve Kütüphaneler | Programlama Dili | C++ |
| Gelişim Ortamı | Microsoft Visual Studio 2019 |
| Bilgisayar Görüşü Kütüphanesi | OpenCV 4.5.1 |
| Grafik API'si | OpenGL 4.6 |
| Simülasyon Platformu | Visual Studio Simülasyon Araçları |
| Veri seti | Birincil veri seti | Oxford Veri Seti |
Tablo 1: Deneysel kurulum: donanım, yazılım ve veri seti spesifikasyonları.
OpenCV'de, Gaussian bulanıklığı GaussianBlur() fonksiyonu kullanılarak uygulanır. Görüntü piramidi buildPyramid() kullanılarak inşa edilmiştir. SURF dedektörü SURF.create() ile başlatılır ve Hessian eşiği 400'e ayarlanır. Harris köşe yanıtı cornerHarris() kullanılarak hesaplanır ve ardından anahtar noktaları filtrelemek için maksimum olmayan bastırma uygulanır. LK optik akışı, piramidal Lucas-Kanade yöntemini uygulayan calcOpticalFlowPyrLK() fonksiyonu kullanılarak hesaplanır. findHomography() fonksiyonu, homografi tahmini için kullanılır; belirtilen yeniden projeksiyon eşiğinden yararlanmak için metod bayrağı RANSAC olarak ayarlanır. Ortaya çıkan HM, perspectiveTransform() ile birlikte kullanılarak inlier noktalarını doğrular. OpenGL render pipeline'da, HM kamera pozuna dönüştürülür ve glLoadMatrix() kullanılarak ayarlanır. 3D sanal modeller .obj dosya olarak yüklenir ve standart OpenGL dönüşüm komutları (glTranslate, glRotate) kullanılarak render edilir. OpenCV'den alınan gerçek zamanlı video akışı, son AR üst katmanı elde etmek için glTexImage2D() kullanılarak bir doku olarak OpenGL'ye iletilir. Bu çalışmada kullanılan algoritmaların temel parametreleri Tablo 2'de açıkça tanımlanmıştır.
| Algoritma / Bileşen | Parametre | Değer |
| Gauss Filtresi | Çekirdek boyutu | 5 × 5 piksel |
| Standart sapma | 1.2 |
| LK Optik Akış | Pencere boyutu | 15 × 15 piksel |
| RANSAC | Maksimum yinelemeler | 2000 |
| Yeniden projeksiyon eşiği | 3.0 piksel |
| ORB özellik dedektörü | Maksimum özellik sayısı | 1000 |
| Ölçek faktörü (Piramit) | 1.2 |
| Piramit seviyeleri sayısı | 4 |
| SURF özellik dedektörü | Hessen eşiği | 1000 |
| Harris köşe dedektörü | Diyafram boyutu | 3 |
| k-değeri | 0.04 |
Tablo 2: Tekrarlanabilirlik için anahtar algoritma parametreleri.