$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Dieser Abschnitt schlägt zunächst eine FP-Matching-Methode für Tourismusbilder vor, die SURF und einen verbesserten ORB-Algorithmus kombiniert, um die Robustheit des FP-Matchings zu erhöhen. Anschließend schlägt die Studie eine AR-Tourismus-3D-Registrierungstechnik basierend auf verbessertem HM vor, um den Fusionseffekt zwischen virtueller Information und der realen Welt zu verstärken. Die Experimente wurden mit öffentlich verfügbaren Bilddatensätzen durchgeführt. Konkret wurde der Datensatz der Oxford Visual Geometry Group (VGG) verwendet, der Bildsequenzen mit Variationen in Skalierung, Unschärfe, Beleuchtung und Blickwinkel enthält und weit verbreitet zur Bewertung von Merkmalsabstimmungs- und Registrierungsalgorithmen im Computer Vision verwendet wird. Für die Nutzung dieses öffentlich zugänglichen Datensatzes war keine Zustimmung des ethischen Komitees erforderlich.
Kombination von SURF und einem verbesserten ORB-Algorithmus für FP-Abgleich in Tourismusbildern
Mit der boomenden Entwicklung der Tourismusbranche steigt die Nachfrage nach AR-Technologie in automatisierten Tourismusdiensten. Der ORB-Algorithmus ist ein effizienter FP-Erkennungs- und Beschreibungsalgorithmus. AR-Technologie wurde weit verbreitet eingesetzt19. Im Prozess der FP-Abgleichung von Tourismusbildern leidet der bestehende ORB-Algorithmus jedoch unter Mängeln wie mangelnder Robustheit gegenüber Skalierungsänderungen, geringer Genauigkeit der Feature-Matching und zeitaufwändigerGenauigkeit. Um die Genauigkeit und Robustheit des Matchings zu erhöhen, schlägt diese Studie eine robuste Feature-Matching-Methode vor, die SURF mit einem verbesserten ORB-Algorithmus integriert. Um eine Skaleninvarianz zu erreichen, unterzieht sich das Eingabebild einer Gaußschen Filterung und Pyramidenkonstruktion. Der SURF-Algorithmus erkennt skaleninvariante FPs, deren Orientierungen durch Wavelet-Antworten bestimmt werden. Die Funktionsqualität wird verbessert, indem die Anfangspunkte anhand des Harris-Kurvenkriteriums verfeinert und die markantesten erhalten bleiben. Die Lucas-Kanade-Methode des optischen Flusses verfolgt Merkmale über Frames hinweg, und der RANSAC-Algorithmus eliminiert unpassende Punkte. Die hier adressierte methodische Lücke ist nicht nur die sequentielle Anwendung von SURF und ORB, sondern eine neuartige Hybridisierungsstrategie, die darauf ausgelegt ist, die spezifischen Einschränkungen von Standardhybriden in komplexen Tourismusumgebungen zu überwinden. Im Gegensatz zu herkömmlichen SURF-ORB-Ansätzen, die SURF zur Detektion verwenden und dann direkt einen ORB-Deskriptor anwenden, bringt die vorliegende Methode zwei entscheidende Verbesserungen mit sich. Zunächst wird die Orientierung jedes von SURF lokalisierten FP anhand seiner Wavelet-Antwort neu berechnet. Dies liefert eine robustere gerichtete Schätzung als SURF allein mit der Standardmethode Haar-Wellenlets. Zweitens, und noch wichtiger, werden die anfänglichen SURF-Punkte nicht direkt verwendet. Stattdessen werden sie streng unter Verwendung des Harris-Eckkriteriums verfeinert, um nicht unterscheidende Punkte mit niedrigen Reaktionen in flachen Bereichen oder entlang der Kanten herauszufiltern.
Bildvorverarbeitung
In der Vorverarbeitungsphase von Tourismusbildern extrahiert die Studie die Merkmale aus Graustufenbildern. Um die lokalen Merkmale des Bildes weiter zu charakterisieren, verwendet die Studie die Gradientenkomponente, um das Bild21 zu identifizieren und zu klassifizieren. Gleichung (1) zeigte ihre Ausdrucksweise.
(1)
In Gleichung (1) bezeichnet I(x,y) den Pixelwert des Bildes an der Koordinate (x,y).
bezeichnet den Gradientenvektor des Bildes bei (x,y).
und
zeigen die partiellen Ableitungen des Bildes in x- bzw. y-Richtung dar. T bezeichnet die Transponation des Gradientenvektors.
Erkennung von Merkmalspunkten
Nach der Erkennung des Bildes anhand der Gradientenkomponenten verwendet die Studie Features aus dem Accelerated Segments Test (FAST) im ORB-Algorithmus, um die FPs des Bildes zu erkennen. Außerdem werden die FPs gewaltsam mit dem binären robusten unabhängigen Elementarmerkmale-Beschreibungsalgorithmus22 (BRIEF) kombiniert. Der Schaltplan der Merkmalserkennung und des Abgleichs dieses Algorithmus ist in Abbildung 1 dargestellt.

Abbildung 1: Schematisches Diagramm der Funktionsübereinstimmung zwischen der Merkmalserkennung des FAST-Algorithmus und dem BRIEF-Beschreibungsalgorithmus. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 1 veranschaulicht den Feature-Erkennungsprozess der FAST- und BRIEF-Algorithmen. Abbildung 1A ist ein schematisches Diagramm der Merkmalserkennung mit dem FAST-Algorithmus. Eine 16-Pixel-Kreisvorlage wird verwendet, um die Helligkeit um den zentralen Pixel zu vergleichen und so Eckmerkmale im Bild schnell zu erkennen. Abbildung 1B ist ein schematisches Diagramm der Merkmalsübereinstimmung im BRIEF-Algorithmus. Durch Auswahl mehrerer Pixelpaare um die Merkmalspunkte für den Graustufenvergleich werden binäre Deskriptoren generiert, und Brute-Force-Matching wird verwendet, um die Entsprechung der Merkmalspunkte zwischen zwei Bildern herzustellen. Die Verbesserung beinhaltet die anfängliche Nutzung der Gaußschen Filtermethode, die dazu dient, das Bild zu glätten und hochfrequentes Rauschen zu mindern. Anschließend wird die Down-Sampling-Methode eingesetzt, um die räumliche Auflösung des Bildes zu reduzieren und so die Rechenkomplexität zu verringern und gleichzeitig die Hauptmerkmale des Bildes zu erhalten. Die Studie verwendet eine Bildpyramidenkonstruktionsmethode, bei der die beiden genannten Techniken genutzt werden, um sicherzustellen, dass Bild-FPs die Skaleninvarianzeigenschaften23 aufweisen. Der Ausdruck zur Glättung des Bildes durch einen Tiefpass-Gaußfilter ist in Gleichung (2) dargestellt.
(2)
In Gleichung (2) bezeichnet ge(x,y) die Gaußsche Filterfunktion. e ist die Standardabweichung (SD) der Gaußschen Funktion. exp bezeichnet die Exponentialfunktion. Die durch Gaußsche Filterung konstruierte Bildpyramide ist schematisch in Abbildung 2 dargestellt.

Abbildung 2: Schematisches Diagramm der Bildpyramide, konstruiert durch Gaußsche Filterung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 2 zeigt die Bildpyramidenstruktur, bei der mehrere Bilder mit niedrigerer Auflösung schrittweise durch Gaußsches Filtern und Downsampling erzeugt werden. Unter anderem reduziert der Gaußsche Filter das hochfrequente Rauschen im Bild, indem es es durch eine Faltungsoperation unscharf wird. Als visueller Kontrollpunkt während dieser Vorverarbeitungsphase kann die generierte Bildpyramide angezeigt werden. Es sei darauf hingewiesen, dass jede Ebene der Pyramide eine zunehmend niedrigere Auflösung des Originalbildes darstellt. Durch die angewandte Gaußsche Filterung und Downsampling gibt es eine deutliche Zunahme der Unschärfe und eine Verringerung der feinen Details. Um die Wirksamkeit der Identifizierung der FPs in einem Bild zu erhöhen, verwendet die Studie einen SURF-Algorithmus, um diese FPs im Bild zu lokalisieren. Bei dieser Methode wird der umgebende Bereich des FP quantifiziert und die Wavelet-Antwort genutzt, um die Richtung der FP zu bestimmen. Aufgrund der von SURF extrahierten und ungültigen FPs reduziert deren übermäßige Anzahl die Erkennungsgeschwindigkeit von Zielbildmerkmalen (TI). Daher verwendet die Studie den Harris-Winkelpunkt-Erkennungsalgorithmus, um die optimalen Bild-FPs24 zu identifizieren. Gleichung (3) zeigt den Winkelantwortwert des Algorithmus an.
(3)
In Gleichung (3) bezeichnet H die Harris-Matrix. u(x,y) bezeichnet die Gewichtungsfunktion des Fensters. I,x und Iy bezeichnen die Größe des Grauwerts (GV) des Pixelpunkts. A bezeichnet den Antwortwert des Harris-Winkels. det H und traceH bezeichnen jeweils die Determinante und die Spur der Harris-Matrix. k bezeichnet den Koeffizientenwert. Der Schaltplan der vom SURF-Algorithmus ausgewählten FP-Richtung und das gleitende Fenster des Harris-Winkelerkennungsalgorithmus sind in Abbildung 3 dargestellt.

Abbildung 3: Schematisches Diagramm des SURF-Algorithmus, FP-Auswahl und Schiebefenster für den Harris-Eckenerkennungsalgorithmus. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 3 zeigt die Zusammensetzung des SURF-Algorithmus zur Erkennung von FPs in einem Bild. Abbildung 3A zeigt das schematische Diagramm der Auswahl der Merkmalspunkte im SURF-Algorithmus. Durch Berechnung der Hauptrichtung der Haar-Wavelet-Antwort in der Feature-Punkt-Umgebung wird die rotationsinvariante Richtung des Feature-Punkts bestimmt, die üblicherweise intuitiv durch Pfeile oder Richtungsliniensegmente dargestellt wird. Abbildung 3B ist ein schematisches Diagramm des Schiebefensters des Harris-Eckerkennungsalgorithmus und zeigt den Bewegungsprozess des Fensters innerhalb des Bildbereichs. Eckpunkte werden durch Berechnung der Graustufenänderungen der Pixel innerhalb des Fensters erkannt, und Bereiche mit hohen Reaktionswerten werden als Eckpunkte identifiziert.
Funktionsabgleich
Nach der Erkennung von Bild-FPs verwendet die Studie die LK OF-Methode, um die detektierten Bild-FPs zu verfolgen. Diese Methode berechnet die Bewegung zwischen benachbarten Bildbildern, indem sie die Bewegung von FPs im Bild verfolgt, um FP-Matching in der Videosequenz zu erreichen. Die LK OF-Methode muss bei der Berechnung der Bewegung zwischen benachbarten Bildbildern25 die Annahmen von konstantem Pixel GV, kleiner Bewegung und Regionenbewegungskonsistenz erfüllen. Die Lucas-Kanade-Methode wird aufgrund ihrer Recheneffizienz, die für Echtzeit-AR-Tourismusanwendungen entscheidend ist, strategisch gewählt. Seine Annahmen werden im spezifischen Kontext gemildert. Die hohe Bildrate der Videoaufnahme sorgt im Allgemeinen für kleine Verschiebungen zwischen den Bildern, was die Anforderung kleiner Bewegungen erfüllt. Während absolute Helligkeitsbeständigkeit ideal ist, minimiert das kurze Tracking-Fenster zwischen aufeinanderfolgenden Bildern schwerwiegende Verstöße. Am wichtigsten ist, dass der anschließende RANSAC-Algorithmus potenzielle Tracking-Fehler aus Annahmeverletzungen durch Filterung von Ausreißern robust behandelt. So dient LK als effizienter Anfangstracker, dessen Ausgabe rigoros validiert wird, was es für ein Echtzeitsystem geeignet macht, in dem das Ausgleich von Geschwindigkeit und Robustheit unerlässlich ist. Nach der Annahme des konstanten Pixel GV ist der Ausdruck in Gleichung (4) dargestellt.
(4)
In Gleichung (4) bezeichnet I(x,y,t) das Pixel GV des Bildes an Position (x,y) zum Zeitpunkt t. Ix und Ix bezeichnen die Verschiebung des Pixels in die x- bzw. y-Richtung. i und j bezeichnen die OF-Komponenten des Pixelpunkts. Ix, i, y und it bezeichnen die Differenz des Bildes in den x-, y- und t-Richtungen. Die Annahme der regionalen Bewegungskonsistenz wird in Gleichung (5) berechnet.
(5)
In Gleichung (5) bezeichnet Itb die partielle Ableitung des b-ten Pixelpunktes im Definitionsbereich in der Zeitrichtung t. v x v bezeichnet die Größe des ausgewählten Domänenbereichs. b bezeichnet alle Pixelpunkte innerhalb des Domänens. Abschließend verwendet die vorliegende Studie den BRIEF-Deskriptor, um die erfassten FPs abzugleichen, und den RANSAC-Algorithmus, um die FPs auszuschließen, die vom ORB fehlgetrackt werden. Diese Kombination von Methoden dient dazu, die Robustheit von FeatureMatching 26 zu erhöhen. Abbildung 4 zeigt das schematische Diagramm der LK OF-Methode.

Abbildung 4: Schematisches Diagramm der LK OF-Methode. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 4 zeigt den Implementierungsprozess von LK-Streaming optischer Haare, bei der eine iterative Optimierungsmethode für FP-Verschiebung zwischen benachbarten Bildern verwendet wird. Zur qualitativen Validierung des Feature-Matching-Algorithmus können die abgestimmten FPs zwischen Vorlage und Testbildern visuell überlagert werden. Korrekt abgestimmte Punktpaare sind typischerweise durch grüne Linien verbunden oder mit grünen Anzeigen markiert. Umgekehrt kann der RANSAC-Algorithmus Ausreißer mit roten Markierungen anzeigen. Dies ermöglicht eine sofortige visuelle Bewertung der Übereinstimmung mit Robustheit und Genauigkeit vor der quantitativen Analyse. Die Studie verwendet den RANSAC-Algorithmus, um die HM der entsprechenden FPs im Bild zu berechnen und so diejenigen auszuschließen, die nicht korrekt abgestimmt sind. Die genau abgestimmten FPs werden dann behalten. In diesem Fall sind der HM- und der Skalierungsparameter-Ausdruck des RANSAC-Algorithmus in Gleichung (6) dargestellt.
(6)
In Gleichung (6) bezeichnet M das HM. m bezeichnet das Element in der Matrix M. S bezeichnet den Skalenparameter. (x,y) und (x',y') bezeichnen die FP-Positionen des Vorlagenbildes bzw. des Testbildes. Nach der Ermittlung der Koordinaten der FPs des Testbildes führt die Studie eine vergleichende Analyse der Abstände zwischen ihnen und den übereinanderfolgenden FPs durch. Die Gleichung (7) zeigt, dass sie auch die Anzahl der Iterationen aktualisiert und die Anzahl der Innenpunkte bestimmt.
E = log(1 - c)/log(1 - ηn) (7)
In Gleichung (7) sind E die Iterationen. C bezeichnet das Vertrauensniveau. η bezeichnet das Verhältnis der Innenpunkte. n ist die Anzahl der Proben. Dann wird der Ausdruck für die SD der Iteration E in Gleichung (8) dargestellt.
(8)
In Gleichung (8) bezeichnet Sd(E) die SD. Die Verbesserung des oben beschriebenen ORB-Algorithmus bietet eine hochwertige Grundlage für die anschließende 3D-Registrierungstechnologie für die hochwertige Feature-Matching. Diese Verbesserung zeigt eine höhere Genauigkeit und Robustheit in komplexen Szenen. Einige dieser Szenen umfassen Tonleiterwechsel, Lichtwechsel und Okklusion.
Der Pseudocode für verbesserte ORB mit SURF und verbesserte Homographie für AR-Tourismus lautet wie folgt.
Algorithmus 1: Verbessertes ORB mit SURF und verbesserte Homographie für AR-Tourismus
Eingabe: Tourismusbildsequenz I, 3D-virtuelles Modell M
Ausgabe: Gerenderte AR-Szene mit registriertem virtuellem Objekt
Schritt 1: Bildvorverarbeitung
1: I_gray ← KonvertierenToGraustufen(I)
2: I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3: Pyramid ← BuildImagePyramid(I_smooth, levels=4, scale=1.2)
Schritt 2: Merkmalspunkterkennung
4: keypoints_SURF ← SURF_Detect(Pyramide, HessianSchwelle=1000)
5: Für jeden KP in keypoints_SURF tun Sie
6: Orientierung ← ComputeWaveletResponse(kp)
7: Ende für
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0.04)
9: Deskriptoren ← ImprovedORB_Describe(keypoints_Harris)
Schritt 3: Funktionsabgleich
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11: Matches ← BruteForceMatcher (Beschreibungen)
12: Inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)
Schritt 4: 3D-Registrierung mit verbesserter Homographie
13: H_improved ← ComputeImprovedHomography (Inliers, camera_intrinsics)
14: R, t ← DecomposeHomography(H_improved)
15: Pose ← ComposeCameraPose(R, t)// Schritt 5: AR-Rendering
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, Pose, Hintergrund=I)
18: Rückkehr scene_rendered
AR Tourismus 3D-Registrierungstechnik basierend auf verbessertem HM
Nachdem die Merkmale von Tourismusbildern durch die FP-Matching-Methode genau abgestimmt wurden, muss dies weiter auf AR-Technologie angewendet werden. Die 3D-Registrierungstechnologie ist eine grundlegende Technologie für die Realisierung von AR-Systemen. Es berechnet die Pose-Informationen der Kamera in der realen Welt durch die Projektion eines Ziel-Tourismusbildes. Dies ermöglicht eine genaue Abgleichung und Verschmelzung virtueller Objekte und realer Szenen27. Das HM kann das virtuelle Objekt aus der Perspektive des Benutzers auf die reale Welt abbilden, was den Fusionseffekt zwischen virtueller Information und realer Welt verstärkt. Darüber hinaus kann es das Problem lösen, die virtuelle Realität zu registrieren, wenn das Logo teilweise verdeckt ist. Allerdings ist die Registrierungseffizienz von HM in der tatsächlichen 3D-Registrierungstechnologie gering, was zu einer Fehlausrichtung virtueller Objekte führt, was wiederum zu der Instabilität von virtuellen Objekten28 führt. Daher schlägt diese Studie eine 3D-Registrierungstechnik auf Basis eines verbesserten HM vor. Mit genauen FP-Paaren aus Phase 1 wird das verbesserte HM über eine virtuell-zu-real-Objekt-Rückberechnungsmethode berechnet, die Kamera-Intrinsics einbezieht. Diese Methode adressiert effektiv die geringe Registrierungseffizienz und die Fehlausrichtung virtueller Objekte traditioneller Methoden in dynamischen Szenen. Die Matrix wird in eine Rotationsmatrix und einen Translationsvektor zerlegt, um die Kamerapose zu definieren. Die OpenGL-Rendering-Engine projiziert 3D-virtuelle Modelle präzise in den Live-Videostream basierend auf Poseparametern. Texturkartierung und Beleuchtungsmodelle sorgen für physikalisch konsistente Fusion.
3D-Registrierung und Visualisierung
Für die Umsetzung der 3D-Registrierungstechnik muss die Studie zunächst ein Lochbildmodell erstellen, um die 3D-reale Welt auf ein 2D-Bild abzubilden. Der Ausdruck dieses Modells wird in Gleichung (9) dargestellt.
(9)
In Gleichung (9) bezeichnen X, Y und O die drei Achsen der Kamera CS. (x,y,f) bezeichnet den Koordinatenvektor. f steht für die Brennweite (FL). λ bezeichnet den Skalenfaktor. Wie in Abbildung 5 gezeigt, untersucht die aktuelle Studie die Bildeigenschaften der Lochkamera, indem sie die Transformationsbeziehung zwischen dem Bild-CS und dem Kamera-CS verwendet.

Abbildung 5: Lochbildmodell und die Beziehung zwischen räumlichen Punkten und planaren Projektionspunkten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 5 zeigt die grundlegende Struktur der Pinhole-Bildgebung. Abbildung 5A ist ein schematisches Diagramm des Pinhole-Bildmodells, das die grundlegende geometrische Struktur beschreibt, eine dreidimensionale Szene durch ein kleines Loch im Zentrum der Kamera auf eine zweidimensionale Bildebene zu projizieren und die Prinzipien der Strahlenausbreitung und perspektivischen Projektion widerzuspiegeln. Abbildung 5B veranschaulicht zudem den Prozess, räumliche Punkte durch das Kamerazentrum auf die entsprechenden Punkte in der Bildebene zu projizieren und die proportionale Beziehung zwischen Brennweite, Bildpunktkoordinaten und Objektpunktkoordinaten zu klären. Nach der Erstellung des Nadellochbildgebungsmodells verwendet die Studie die HM weiter, um die Beziehungsabbildung zwischen der Vorlage und den realen Szenenbildern unter Kameraaufnahme zu erstellen. Es wird angenommen, dass die Merkmalspunkte von zwei BildernI 1 und I2 in derselben Ebene liegen. Die Ebene muss den in Gleichung (10) gezeigten Ausdruck erfüllen.
NZ P + d = 0 (10)
In Gleichung (10) bezeichnet P die Ebene. N bezeichnet den Normalvektor der Ebene P. d bezeichnet den Abstand von der Ebene P zum Ursprung. Z bezeichnet den Translationsvektor. Für Rotationen und Translationen verwendet die Studie die Singularwert-Dekompositionsmethode für deren Extraktion. Der Ausdruck ist in Gleichung (11)29 dargestellt.
(11)
In Gleichung (11) bezeichnen p1 und p2 die Pixelkoordinaten der Merkmalspunkt-Schattenpaare in den Bildern I1 bzw. I2. r1 und r2 bezeichnen die Skalierungsfaktoren der Pixelpunkte in den Bildern I1 bzw.I 2. K bezeichnet die interne Referenzmatrix der Kamera. R bezeichnet die Rotationsmatrix. Der HM hat eine hohe Rechenkomplexität und ist anfällig für das Problem des FP-Matching-Fehlers. Daher verbessert die Studie sie durch die Anwendung der virtuellen und realen Objekt-Inversberechnungsmethode30. Der verbesserte HM-Ausdruck wird in Gleichung (12) dargestellt.
(12)
In Gleichung (12) bezeichnet M' das verbesserte HM. fx und fy bezeichnen die FLs der Kamera entlang der X- bzw. Y-Achse. Du und V bezeichnen die Hauptpunktkoordinaten. γ bezeichnet den Skew-Parameter. Die physikalische Transformation der Methode ist in Gleichung (13) dargestellt.
(13)
In Gleichung (13) bezeichnet T' die physikalische Transformationsmatrix. tx, ty und to bezeichnen die Rotationskomponenten der drei Koordinatenachsen. [R|Z] bezeichnet die Transformationsmatrix der Welt und Kamera-CS. Bei der Implementierung der AR-Technologie ist der Ausdruck der Abbildung zwischen der Vorlage und dem Bild der realen Wanderlandschaft in Gleichung (14) dargestellt.
(14)
In Gleichung (14) bezeichnen Is und Id die Punkte auf der Referenz bzw. TIs. Die Studie berechnet außerdem die Ausrichtungsgenauigkeit der verbesserten HM, um die Ausrichtungswirksamkeit der Methode zu untersuchen, wie sie in Gleichung (15) dargestellt ist.
(15)
In Gleichung (15) bezeichnet Pre(M') die Ausrichtungsgenauigkeit der verbesserten HM. (xa,y a,o a) bezeichnet die tatsächlichen FPs. (xb,y b,o b) bezeichnet die ausgerichteten FPs. n bezeichnet die Anzahl der Gruppen der übereinanderstimmenden Punkte. Abbildung 6 zeigt die Abbildung zwischen dem Schaltplan und den Fotos des aufgerüsteten HM.

Abbildung 6: Abbildung der Beziehung zwischen Bildern und dem schematischen Diagramm des verbesserten HM. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Wie in Abbildung 6 dargestellt, gibt es eine klare Entsprechung zwischen dem Vorlagenbild und dem TI. Nach der Anwendung des verbesserten HM besteht ein wichtiger visueller Kontrollpunkt darin, das Vorlagebild auf das Zielbild zu verformen und auszurichten. Die Kanten der projizierten Vorlage sollten eng mit den entsprechenden Merkmalen im TI übereinstimmen. Während des finalen AR-Renderings wird das virtuelle 3D-Modell visuell inspiziert, um sicherzustellen, dass es dauerhaft und genau an der richtigen Position und Ausrichtung in der realen Szene verankert ist. Es sollte kein spürbares Ruckeln oder Fehlausrichtung geben, wenn sich die Kameraperspektive ändert.
Die Studie demonstriert die Abbildung des Vorlagebilds durch eine erweiterte But-for-Influence-Matrix. Um eine Echtzeitinteraktion zwischen virtuellen Objekten und tatsächlichen Tourismuslandschaften zu erreichen, nutzt die Studie die OpenGL-Technologie, um 3D-Modelle für den Bau des AR-Tourismussystems zu rendern. Die Technik richtet zunächst den OpenGL-Kontext ein, lädt das 3D-Modell der virtuellen Touristenelemente und berechnet mit Texturmapping und Beleuchtung. Anschließend wird der von der Kamera aufgenommene Echtzeit-Videostrom als Hintergrund verwendet, um als Referenz für das Rendern virtueller Objekte zu dienen. Virtuelle Objekte werden mit einem HM genau in die reale Welt eingeblendet, das die virtuellen Objekte in der richtigen Position und Ausrichtung rendert, um sie mit der realen Szene zu verschmelzen. Im AR-Tourismussystem, in dem das Video über die OpenCV-Bibliothek für das Echtzeitvideo derTour 31 aufgenommen wird. Die Bildverarbeitung verwendet einen optimierten ORB-Algorithmus, um Merkmale in Videoframes zu identifizieren und abzugleichen. Im 3D-Registrierungsmodul verwendet die Studie ein verbessertes HM, um virtuelle und reale Technik zu verbinden. Die endgültige Ausgabe und Interaktion werden über OpenGL-Technologie dargestellt. Der Implementierungsprozess der AR-Tour-Technologie ist in Abbildung 7 dargestellt, die den gesamten Implementierungsprozess der AR-Tour-Technologie zeigt. Abbildung 7 zeigt das Systemimplementierungs-Flussdiagramm der AR-Tourismustechnologie. Nach dem Systemstart wird der Echtzeit-Videostrom zunächst von der Kamera aufgenommen, aus der das Zielbild extrahiert wird. Der Prozess tritt dann in die Feature-Verarbeitungsphase ein, bei der nacheinander Feature-Punkt-Extraktion und -Beschreibung durchgeführt werden, um Bildmerkmale zu konstruieren. Wenn die Feature-Punkt-Übereinstimmung erfolgreich ist, geht das System in die 3D-Tracking-Registrierungsphase über, in der die Kamerapose-Parameter berechnet werden. Dies wird mit 3D-Modellen aus der virtuellen Materialbibliothek kombiniert, um eine virtuell-reale Fusion zu erreichen, und der endgültige fusionierte AR-Effekt wird dem Benutzer in Echtzeit angezeigt. Wenn das Matching fehlschlägt, wird der RANSAC-Algorithmus verwendet, um nicht übereinstimmte Punkte zu eliminieren, und die Feature-Verarbeitungsphase wird erneut eingeleitet, um Systemstabilität und Robustheit sicherzustellen. Der gesamte Prozess bildet einen vollständigen geschlossenen Kreislauf von Bildaufnahme und Feature-Verarbeitung bis hin zur 3D-Registrierung, virtueller realer Fusion und interaktiver Darstellung, der den technischen Weg für AR-Tourismussysteme veranschaulicht, um eine Echtzeit-stabile virtuell-reale Fusion in dynamischen Szenen zu erreichen.

Abbildung 7: Schaltplan des Implementierungsprozesses der AR-Tourismustechnologie. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Versuchsaufbau und Materialien
Um die Reproduzierbarkeit der Experimente sicherzustellen, sind die in dieser Studie verwendeten Hardwarespezifikationen, Softwareumgebung und Datensätze explizit in Tabelle 1 aufgeführt.
| Kategorie | Gegenstand | Spezifikation / Version |
| Hardware | Kamera | Logitech C920 HD Pro Webcam |
| Computerprozessor | AMD Ryzen 7 3700X 8-Kern-Prozessor |
| Computerspeicher | 32 GB RAM |
| Betriebssystem | Windows 10 (64-Bit) |
| Software und Bibliotheken | Programmiersprache | C++ |
| Entwicklungsumgebung | Microsoft Visual Studio 2019 |
| Computer-Vision-Bibliothek | OpenCV 4.5.1 |
| Grafik-API | OpenGL 4.6 |
| Simulationsplattform | Visual Studio Simulationswerkzeuge |
| Datensatz | Primärer Datensatz | Oxford-Datensatz |
Tabelle 1: Versuchsaufbau: Hardware-, Software- und Datensatzspezifikationen.
In OpenCV wird die Gaußsche Unschärfe mit der Funktion GaussianBlur() angewendet. Die Bildpyramide wird mit buildPyramid() konstruiert. Der SURF-Detektor wird mit SURF.create() initialisiert, wobei der Hessian-Schwellenwert auf 400 gesetzt wird. Die Harris-Eckantwort wird mit cornerHarris() berechnet, und anschließend wird eine nicht-maximale Unterdrückung angewendet, um die Schlüsselpunkte zu filtern. Der LK-optische Fluss wird mit der calcOpticalFlowPyrLK()-Funktion berechnet, die die pyramidale Lucas-Kanade-Methode implementiert. Die findHomography()-Funktion wird für die Homographie-Schätzung verwendet, wobei die Methodenflagge auf RANSAC gesetzt wird, um die angegebene Reprojektionsschwelle zu nutzen. Das resultierende HM wird dann mit perspectiveTransform() verwendet, um Inlierpunkte zu validieren. In der OpenGL-Rendering-Pipeline wird der HM in eine Kamerapose umgewandelt und mit glLoadMatrix() gesetzt. Die 3D-virtuellen Modelle werden als .obj Dateien geladen und mit Standard-OpenGL-Transformationsbefehlen (glTranslate, glRotate) gerendert. Der Echtzeit-Videofeed von OpenCV wird als Textur mit glTexImage2D() an OpenGL weitergeleitet, um das endgültige AR-Overlay zu erzielen. Die wichtigsten Parameter der in dieser Studie verwendeten Algorithmen sind in Tabelle 2 explizit definiert.
| Algorithmus / Komponente | Parameter | Wert |
| Gaußscher Filter | Kernelgröße | 5 × 5 Pixel |
| Standardabweichung | 1.2 |
| LK Optischer Fluss | Fenstergröße | 15 × 15 Pixel |
| RANSAC | Maximale Iterationen | 2000 |
| Reprojektionsschwelle | 3,0 Pixel |
| ORB-Feature-Detektor | Maximale Anzahl von Merkmalen | 1000 |
| Skalenfaktor (Pyramide) | 1.2 |
| Anzahl der Pyramidenebenen | 4 |
| SURF-Merkmalsdetektor | Hessische Schwelle | 1000 |
| Harris-Eckdetektor | Aperturgröße | 3 |
| k-Wert | 0.04 |
Tabelle 2: Schlüsselparameter des Algorithmus für die Reproduzierbarkeit.