Forschungsartikel

Augmented Reality Tourismus-Technologie basierend auf einem verbesserten ORB-Algorithmus und einer Homographiematrix

DOI:

10.3791/69514

14. April 2026

In diesem Artikel

Zusammenfassung

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Studie präsentiert eine verbesserte Methode zur Punktabgleiche von Features und 3D-Registrierung für Augmented Reality-Tourismus, wodurch die Ausrichtung, Stabilität und Genauigkeit verbessert werden. Durch die Kombination von verbessertem ORB, LK-optischem Fluss und verbesserter Homographiematrix erreicht der Ansatz höhere korrekte Abgleichsraten und Registrierungsgenauigkeit, wodurch die virtuelle-reale Szenenfusion in Tourismusanwendungen verbessert wird.

Zusammenfassung

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Studie schlägt eine verbesserte Feature-Punkt-Abgleichs- und 3D-Registrierungsmethode für Augmented Reality-Tourismusanwendungen vor. Diese Methode adressiert Probleme wie schlechte Ausrichtung, geringe Stabilität in komplexen Umgebungen und geringe Genauigkeit beim Feature-Matching. Eine verbesserte Methode zur Punktabgleiche von Features für Tourismusbilder wird eingeführt, die den Speeded Up Robust Features (SURF)-Algorithmus mit einem verbesserten Oriented FAST und Rotated BRIEF-Algorithmus kombiniert. Bei dieser Methode werden Merkmalspunkte zunächst mit dem SURF-Algorithmus erkannt und ihre Orientierung mittels Wavelet-Antwortanalyse bestimmt. Die Lucas-Kanade-Methode des optischen Flusses wird zur Feature-Point-Verfolgung eingesetzt. Anschließend wird der Zufallsstichproben-Konsensalgorithmus verwendet, um fehlgetrackte Punkte zu eliminieren. Darüber hinaus wird eine 3D-Registrierungstechnik für Augmented Reality-Tourismus vorgeschlagen, die auf einer verbesserten Homographiematrix basiert, um die Einschränkungen traditioneller Homographiematrizen wie geringe Abgleichsgenauigkeit und Registrierungseffizienz zu überwinden. Die Leistung der vorgeschlagenen Methode wurde durch vergleichende Experimente mit den SIFT-, SURF- und ursprünglichen ORB-Algorithmen unter verschiedenen Bildtransformationen analysiert, darunter Skalierung, Unschärfe, Beleuchtung und Rotation. Die korrekte Matching-Rate und Matching-Zeit wurden als Bewertungsmetriken verwendet. Simulationstests für die 3D-Registrierung wurden mit verschiedenen 3D-Modellen durchgeführt. Die Registrierungsgenauigkeit und erfolgreiche Registrierungszählungen wurden unter rotierenden Änderungen bewertet. Die Ergebnisse zeigten, dass die durchschnittliche Korrekt-Matching-Rate des vorgeschlagenen Algorithmus um 44,08 %, 36,51 % und unter Skalierungsvariation um 16,09 % höher ist als der skaleninvariante Feature-Transformationsalgorithmus, der beschleunigte robuste Feature-Algorithmus bzw. der unverbesserte Algorithmus. Die korrekte Matching-Rate unter der Fuzzy-Transformation stieg um 33,46 %, 19,65 % bzw. 9,35 %. Die durchschnittliche Registrierungsgenauigkeit der vorgeschlagenen 3D-Registrierungstechnik lag bei 98,74 % unter Rotationstransformation. Die Ergebnisse zeigen, dass der vorgeschlagene Ansatz der Studie den virtuellen und realen Fusionseffekt der Szene erfolgreich verbessern kann und einen frischen Ansatz für den Einsatz von Augmented-Reality-Technologie in der Reisebranche bietet.

Einleitung

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Technologie hat sich als Schlüsselinstrument zur Förderung des synergetischen Fortschritts von Kultur und Tourismus in der sich schnell verändernden digitalen Wirtschaftetabliert. In den letzten Jahren hat die Technologie der erweiterten Realität (AR) in verschiedenen Sektoren wie Tourismus, Bildung, Medizin und Industrie einen Anstieg der Akzeptanz erlebt. AR ist ein aufstrebendes Feld innerhalb der breiteren technologischen Landschaft2. Im Bereich des Tourismus kann diese Technologie virtuelle Informationen in reale Szenen überlagern und so Touristen ein immersives, interaktives Erlebnis bieten. Diese Technologie kann nicht nur das Reiseerlebnis der Touristen verbessern, sondern auch die Tourismus-Konsumszene innovieren und die digitale Transformation der Kultur und derTourismusbranche fördern. Die weitverbreitete Nutzung von AR in dynamischen und unstrukturierten Tourismusumgebungen wird jedoch weiterhin durch erhebliche technische Herausforderungen behindert. Bestehende AR-Techniken zeigen in praktischen Anwendungen oft eine schlechte Robustheit. Sie zeichnen sich durch eine geringe Genauigkeit der Merkmaleabstimmung, unzureichende Ausrichtung zwischen virtuellen und realen Objekten sowie begrenzte Stabilität unter komplexen Umweltbedingungen wie unterschiedlichen Maßstäben, Beleuchtungsänderungen und Okklusionenaus. Diese Einschränkungen können zu einem frustrierenden Nutzererlebnis führen, bei dem virtuelle Inhalte zittern, driften oder sich nicht richtig verankern, was das Gefühl von Immersion und Realismus untergräbt. Daher ist die Erforschung einer robusten und effizienten AR-Technik für den Tourismus, die zuverlässig in realen Umgebungen betrieben werden kann, eine aktuelle Forschungspriorität. Als schneller Feature-Point Extraction (FPE) und Beschreibungsalgorithmus werden orientiertes FAST und rotiertes BRIEF (ORB) aufgrund seiner hohen Effizienz und Rotationsinvarianzweit verbreitet im Bild-FPE verwendet.

Zhang et al.6 schlugen eine erweiterte FPE-Methode für ORB-SLAM2-dichte Karten vor, mit dem Ziel, die Effizienz zu steigern und die Kosten für die Beschaffung von 3D-Karten von Innenraumumgebungen zu senken. Die Methode führte eine effiziente Extraktion von Merkmalspunkten (FP) mittels asymptotischer Sample-Konsistenz durch, um den Speicherverbrauch zu reduzieren. Es wurde festgestellt, dass die Methode für den Navigationsprozess mit überlegener FPE-Genauigkeit und hoher Verfolgungseffizienzeingesetzt werden kann. Wu schlug einen schnellen Feature-Matching-Algorithmus vor, der ORB und Zufallsstichproben-Konsens (RANSAC) kombiniert, um Probleme wie großflächigen Rotationsalignierungsfehler, niedriger Ausrichtungsrate, Zufälligkeit und Instabilität zu adressieren. Die Wirksamkeit dieses Ansatzes wurde durch die Ergebnisse bestätigt, die zeigten, dass die vorgeschlagene Methode eine hohe FP-Matching-Genauigkeit und robuste Stabilitätaufwies 7. Chen et al. schlugen eine Feature-Matching-Methode vor, die das verbesserte ORB mit dem Lucas-Kanade (LK) optischen Flow (OF)-Algorithmus kombiniert, um das Problem der geringen Genauigkeit der Bildfeature-Matching zu lösen. Die Methode nutzte die Michelson-Kontrastmethode für FPE, und die Quadtree-Struktur wurde verwendet, um die extrahierten FPs zu homogenisieren und so die rechnerische Menge an Feature-Matching zu reduzieren. Die Ergebnisse zeigten, dass die FP-Gleichmäßigkeit und Genauigkeit der Methode um 0,22 % bzw. 50,47 % verbessert wurden,8. Zuo et al. schlugen einen verbesserten Kugelalgorithmus für das FP-Matching von vollständig fokussierten optischen Feldbildern vor, mit dem Ziel, die Genauigkeit und Robustheit der Bild-FPE- und Matching-Methode zu verbessern. Die Methode wurde durch die Verfeinerung des konventionellen ORB-Algorithmus erweitert, um die Anzahl und Präzision der FPE für Lichtfeld-Vollfokussierungsbilder9 zu erhöhen. Anggara et al. schlugen eine Merkmalsextraktionsmethode vor, die Farbkarte und ORB-Detektor in AR fusioniert. Die Methode extrahierte zunächst die Speckle- und Randmerkmale des Bildes mittels einer feature-basierten Natural Feature Tracking-Methode und wandelte das Farbbild dann mit einem ORB-Detektor in ein Graustufenbild um, um die Erkennungseffizienz der Merkmale zu verbessern. Die Ergebnisse zeigten, dass der vorgeschlagene Ansatz die Merkmalsextraktion10 erfolgreich verbessern könnte.

Aufgrund ihrer Fähigkeit, virtuelle Daten und tatsächliche Szenen mit AR-Technologien genau zu kombinieren, hat die Homographiematrix (HM) in den letzten Jahrengroßes Interesse erregt. Kim et al. schlugen ein Echtzeit-Online-AR-System auf Basis von HM. Die Methode nutzte eine 3D-Kamera mit gleichzeitiger Lokalisierung und Kartenbau, um die Szeneninformationen zu verfolgen, und ein HM wurde verwendet, um die Bildquellenbilder zu füllen, um die Bildqualität zu verbessern. Die Ergebnisse zeigten, dass die Methode visuelle Inkonsistenzen und Artefakte effektiv reduzieren und das AR-Nutzererlebnisverbessern konnte. Clement schlug eine dreistufe, filterbasierte AR-Tracking-Methode zur Richtungsverbesserung der Merkmalsbeschreibung vor. Die Methode verwendete einen HM, um die Bewegung des Ziels zwischen verschiedenen Bildern zu beschreiben, um die Robustheit der Bildmerkmaleanpassung zu verbessern. Die Ergebnisse zeigten, dass die Methode Wiederholbarkeitswerte von 100 %, 100 % und 99 % bei Beleuchtungsänderung, Unschärfe und Perspektivänderung erreichte, also14. Liu et al. schlugen eine lokale Bewegungsanpassungsmethode für Fernerkundungsbilder vor, die auf HM basiert, mit dem Ziel, die falsche Abstimmung der Bildmerkmale zu eliminieren. Die betrachtete Methode stellte die Konsistenz der lokalen Bildbewegung durch HM dar und führte eine Resampling-Methode ein. Die Ergebnisse zeigten, dass die vorgeschlagene Methode eine überlegene Matching-Leistung15 aufwies.

Wie oben besprochen, wird das technische Streben nach robustem Feature-Matching und -Registrierung im Wesentlichen durch die Nachfrage nach ansprechenden Nutzererlebnissen angetrieben. Um diese technische Arbeit in den weiteren Kontext der AR-Tourismusforschung einzuordnen, ist es unerlässlich, sich mit aktuellen Studien auseinanderzusetzen, die empirisch die psychologischen und verhaltensbezogenen Auswirkungen von AR auf Touristen untersuchen. So untersuchten Zhu et al. den Mechanismus, durch den Authentizität und narrativer Transport im AR-Tourismus Mundpropaganda durch AR-Bindung beeinflussen, mithilfe von struktureller Gleichungsmodellierung. Die Ergebnisse zeigten, dass der AR-Anhang die Beziehung zwischen Authentizität, narrativem Transport und Mundpropaganda vermittelt und so einen frischen Ansatz für das Marketing des Kulturerbetourismusbietet. Gleichzeitig analysierten Ngan und Lei die Auswirkungen von AR auf die Erfahrungen von Sportveranstaltungen und die Intention der Neubewertung. Ihre Studie zeigte, dass AR-Nutzer eine signifikant höhere kognitive Beteiligung zeigten und dass erfahrungsbezogene Dimensionen die Absicht zum erneuten Besuch signifikant beeinflussten, was die Wirksamkeit von AR bei der Steigerung der Attraktivität und Immersion von Veranstaltungenbestätigte 16. Darüber hinaus untersuchten Zhu et al. den Auswirkungsmechanismus der touristischen Präsenz bei AR-Erfahrungen auf Mundpropaganda (WOM) mithilfe von Umfragedaten einer AR-Ausstellung im Palastmuseum. Die Ergebnisse zeigten, dass Anwesenheit die Geschlechtsfrau positiv beeinflussen konnte, und Authentizität spielte dort eine bedeutende vermittelnde Rolle17.

Zusammenfassend wurde eine bedeutende Forschungsmenge von zahlreichen Wissenschaftlern zu AR-Techniken auf Basis des ORB-Algorithmus mit HM durchgeführt, die überlegene Ergebnisse erzielt haben. Der ORB-Algorithmus leidet jedoch weiterhin unter schlechter Robustheit und Ineffizienz von FPE bei Skalenänderungen, Beleuchtungsänderungen und Okklusion18. Darüber hinaus ist die traditionelle HM oft ein Engpass, der durch geringe Matching-Genauigkeit und Registrierungseffizienz gekennzeichnet ist. Dies führt zu Fehlausrichtung und Instabilität virtueller Objekte in dynamischen Tourismusumgebungen. Die Diskrepanz zwischen der Leistung der aktuellen Methoden und den Anforderungen an stabile, immersive AR-Erlebnisse im Tourismus bleibt eine kritische, ungelöste Herausforderung. Um diese anhaltenden Herausforderungen anzugehen und ein stabileres und immersiveres AR-Erlebnis im Tourismus zu ermöglichen, ist diese Studie motiviert, die Wirksamkeit von FPE- und 3D-Registrierung zu erhöhen. Dieses Werk hat drei theoretische Beiträge. Erstens stellt es ein neues Feature-Matching Framework vor, das die skaleninvariante Eigenschaft des SURF-Detektors mit der verbesserten Recheneffizienz des ORB-Deskriptors kombiniert. Diese Integration wird durch die Bestimmung der Merkmalsorientierung mittels Wavelet-Antwort und die Verfeinerung der Punktmenge anhand der Harris-Eckkriterien verbessert. Dies bietet ein robusteres theoretisches Modell für die Feature-Korrespondenz unter Transformationen und macht sie zu mehr als nur sequentiell. Zweitens führt sie eine theoretische Verbesserung des Homographie-Schätzungsprozesses ein, indem eine virtuelle reale Objekt-Rückberechnungsmethode angewendet wird. Dieser Ansatz zielt darauf ab, die Einschränkungen traditioneller Homographiematrizen zu überwinden, indem ein stabileres und präziseres Projektionsmodell für die 3D-Registrierung angeboten wird. Schließlich bietet die Studie durch die systematische Kombination dieser verbesserten Komponenten einen konsolidierten theoretischen Ansatz zur Erreichung einer überlegenen virtuell-realen Fusion, der speziell auf die Komplexität von Outdoor-Tourismusszenarien zugeschnitten ist.

Diese verbesserte Technik ist für wichtige Tourismusakteure von höchster Bedeutung. Es ermöglicht Destination-Marketing-Anbietern und Reiseveranstaltern, stabile und immersive AR-Anwendungen zu entwickeln, die als einzigartige Wertversprechen dienen. Für Verwalter von Kulturerbestätten bietet es ein zuverlässiges Werkzeug, um Bildungsüberlagerungen zu erstellen, ohne physische Artefakte zu beschädigen. Letztlich verbessert die Methode für Touristen das Erlebnis direkt, indem sie eine nahtlose und stabile Verschmelzung virtueller Informationen mit der realen Umgebung bietet. Das eliminiert die Frustration über fehlgeleitete oder ruckelnde virtuelle Inhalte. Dadurch ist die Immersion deutlich tiefer, das kontextuelle Verständnis bereichert und die allgemeine Zufriedenheit mit dem Tourismusservice steigt. Die Innovationskraft dieser Forschung ist wie folgt: (1) Das Bild wird durch Gaußsche Filterung geglättet, und die Wavelet-Antwort wird genutzt, um die Richtung der FPs zu bestimmen. Darüber hinaus werden zur Erhöhung der Genauigkeit und Stabilität der FP-Detektion die besten FPs durch Integration mit der Harris-Eckpunkterkennungstechnik gefiltert. (2) Der RANSAC-Algorithmus wird eingeführt, um die falsch getrackten FPs zu eliminieren und so die Robustheit der Feature-Matching weiter zu verbessern. (3) Das HM wird durch die Methode der virtuellen realen Objektrückberechnung verbessert, die darauf abzielt, die Einschränkungen des traditionellen HM zu adressieren, wie etwa eine geringe FP-Anpassungsgenauigkeit und Registrierungseffizienz.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieser Abschnitt schlägt zunächst eine FP-Matching-Methode für Tourismusbilder vor, die SURF und einen verbesserten ORB-Algorithmus kombiniert, um die Robustheit des FP-Matchings zu erhöhen. Anschließend schlägt die Studie eine AR-Tourismus-3D-Registrierungstechnik basierend auf verbessertem HM vor, um den Fusionseffekt zwischen virtueller Information und der realen Welt zu verstärken. Die Experimente wurden mit öffentlich verfügbaren Bilddatensätzen durchgeführt. Konkret wurde der Datensatz der Oxford Visual Geometry Group (VGG) verwendet, der Bildsequenzen mit Variationen in Skalierung, Unschärfe, Beleuchtung und Blickwinkel enthält und weit verbreitet zur Bewertung von Merkmalsabstimmungs- und Registrierungsalgorithmen im Computer Vision verwendet wird. Für die Nutzung dieses öffentlich zugänglichen Datensatzes war keine Zustimmung des ethischen Komitees erforderlich.

Kombination von SURF und einem verbesserten ORB-Algorithmus für FP-Abgleich in Tourismusbildern

Mit der boomenden Entwicklung der Tourismusbranche steigt die Nachfrage nach AR-Technologie in automatisierten Tourismusdiensten. Der ORB-Algorithmus ist ein effizienter FP-Erkennungs- und Beschreibungsalgorithmus. AR-Technologie wurde weit verbreitet eingesetzt19. Im Prozess der FP-Abgleichung von Tourismusbildern leidet der bestehende ORB-Algorithmus jedoch unter Mängeln wie mangelnder Robustheit gegenüber Skalierungsänderungen, geringer Genauigkeit der Feature-Matching und zeitaufwändigerGenauigkeit. Um die Genauigkeit und Robustheit des Matchings zu erhöhen, schlägt diese Studie eine robuste Feature-Matching-Methode vor, die SURF mit einem verbesserten ORB-Algorithmus integriert. Um eine Skaleninvarianz zu erreichen, unterzieht sich das Eingabebild einer Gaußschen Filterung und Pyramidenkonstruktion. Der SURF-Algorithmus erkennt skaleninvariante FPs, deren Orientierungen durch Wavelet-Antworten bestimmt werden. Die Funktionsqualität wird verbessert, indem die Anfangspunkte anhand des Harris-Kurvenkriteriums verfeinert und die markantesten erhalten bleiben. Die Lucas-Kanade-Methode des optischen Flusses verfolgt Merkmale über Frames hinweg, und der RANSAC-Algorithmus eliminiert unpassende Punkte. Die hier adressierte methodische Lücke ist nicht nur die sequentielle Anwendung von SURF und ORB, sondern eine neuartige Hybridisierungsstrategie, die darauf ausgelegt ist, die spezifischen Einschränkungen von Standardhybriden in komplexen Tourismusumgebungen zu überwinden. Im Gegensatz zu herkömmlichen SURF-ORB-Ansätzen, die SURF zur Detektion verwenden und dann direkt einen ORB-Deskriptor anwenden, bringt die vorliegende Methode zwei entscheidende Verbesserungen mit sich. Zunächst wird die Orientierung jedes von SURF lokalisierten FP anhand seiner Wavelet-Antwort neu berechnet. Dies liefert eine robustere gerichtete Schätzung als SURF allein mit der Standardmethode Haar-Wellenlets. Zweitens, und noch wichtiger, werden die anfänglichen SURF-Punkte nicht direkt verwendet. Stattdessen werden sie streng unter Verwendung des Harris-Eckkriteriums verfeinert, um nicht unterscheidende Punkte mit niedrigen Reaktionen in flachen Bereichen oder entlang der Kanten herauszufiltern.

Bildvorverarbeitung

In der Vorverarbeitungsphase von Tourismusbildern extrahiert die Studie die Merkmale aus Graustufenbildern. Um die lokalen Merkmale des Bildes weiter zu charakterisieren, verwendet die Studie die Gradientenkomponente, um das Bild21 zu identifizieren und zu klassifizieren. Gleichung (1) zeigte ihre Ausdrucksweise.

figure-protocol-1(1)

In Gleichung (1) bezeichnet I(x,y) den Pixelwert des Bildes an der Koordinate (x,y). figure-protocol-2 bezeichnet den Gradientenvektor des Bildes bei (x,y). figure-protocol-3 und figure-protocol-4 zeigen die partiellen Ableitungen des Bildes in x- bzw. y-Richtung dar. T bezeichnet die Transponation des Gradientenvektors.

Erkennung von Merkmalspunkten

Nach der Erkennung des Bildes anhand der Gradientenkomponenten verwendet die Studie Features aus dem Accelerated Segments Test (FAST) im ORB-Algorithmus, um die FPs des Bildes zu erkennen. Außerdem werden die FPs gewaltsam mit dem binären robusten unabhängigen Elementarmerkmale-Beschreibungsalgorithmus22 (BRIEF) kombiniert. Der Schaltplan der Merkmalserkennung und des Abgleichs dieses Algorithmus ist in Abbildung 1 dargestellt.

figure-protocol-5
Abbildung 1: Schematisches Diagramm der Funktionsübereinstimmung zwischen der Merkmalserkennung des FAST-Algorithmus und dem BRIEF-Beschreibungsalgorithmus. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 1 veranschaulicht den Feature-Erkennungsprozess der FAST- und BRIEF-Algorithmen. Abbildung 1A ist ein schematisches Diagramm der Merkmalserkennung mit dem FAST-Algorithmus. Eine 16-Pixel-Kreisvorlage wird verwendet, um die Helligkeit um den zentralen Pixel zu vergleichen und so Eckmerkmale im Bild schnell zu erkennen. Abbildung 1B ist ein schematisches Diagramm der Merkmalsübereinstimmung im BRIEF-Algorithmus. Durch Auswahl mehrerer Pixelpaare um die Merkmalspunkte für den Graustufenvergleich werden binäre Deskriptoren generiert, und Brute-Force-Matching wird verwendet, um die Entsprechung der Merkmalspunkte zwischen zwei Bildern herzustellen. Die Verbesserung beinhaltet die anfängliche Nutzung der Gaußschen Filtermethode, die dazu dient, das Bild zu glätten und hochfrequentes Rauschen zu mindern. Anschließend wird die Down-Sampling-Methode eingesetzt, um die räumliche Auflösung des Bildes zu reduzieren und so die Rechenkomplexität zu verringern und gleichzeitig die Hauptmerkmale des Bildes zu erhalten. Die Studie verwendet eine Bildpyramidenkonstruktionsmethode, bei der die beiden genannten Techniken genutzt werden, um sicherzustellen, dass Bild-FPs die Skaleninvarianzeigenschaften23 aufweisen. Der Ausdruck zur Glättung des Bildes durch einen Tiefpass-Gaußfilter ist in Gleichung (2) dargestellt.

figure-protocol-6 (2)

In Gleichung (2) bezeichnet ge(x,y) die Gaußsche Filterfunktion. e ist die Standardabweichung (SD) der Gaußschen Funktion. exp bezeichnet die Exponentialfunktion. Die durch Gaußsche Filterung konstruierte Bildpyramide ist schematisch in Abbildung 2 dargestellt.

figure-protocol-7
Abbildung 2: Schematisches Diagramm der Bildpyramide, konstruiert durch Gaußsche Filterung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 2 zeigt die Bildpyramidenstruktur, bei der mehrere Bilder mit niedrigerer Auflösung schrittweise durch Gaußsches Filtern und Downsampling erzeugt werden. Unter anderem reduziert der Gaußsche Filter das hochfrequente Rauschen im Bild, indem es es durch eine Faltungsoperation unscharf wird. Als visueller Kontrollpunkt während dieser Vorverarbeitungsphase kann die generierte Bildpyramide angezeigt werden. Es sei darauf hingewiesen, dass jede Ebene der Pyramide eine zunehmend niedrigere Auflösung des Originalbildes darstellt. Durch die angewandte Gaußsche Filterung und Downsampling gibt es eine deutliche Zunahme der Unschärfe und eine Verringerung der feinen Details. Um die Wirksamkeit der Identifizierung der FPs in einem Bild zu erhöhen, verwendet die Studie einen SURF-Algorithmus, um diese FPs im Bild zu lokalisieren. Bei dieser Methode wird der umgebende Bereich des FP quantifiziert und die Wavelet-Antwort genutzt, um die Richtung der FP zu bestimmen. Aufgrund der von SURF extrahierten und ungültigen FPs reduziert deren übermäßige Anzahl die Erkennungsgeschwindigkeit von Zielbildmerkmalen (TI). Daher verwendet die Studie den Harris-Winkelpunkt-Erkennungsalgorithmus, um die optimalen Bild-FPs24 zu identifizieren. Gleichung (3) zeigt den Winkelantwortwert des Algorithmus an.

figure-protocol-8 (3)

In Gleichung (3) bezeichnet H die Harris-Matrix. u(x,y) bezeichnet die Gewichtungsfunktion des Fensters. I,x und Iy bezeichnen die Größe des Grauwerts (GV) des Pixelpunkts. A bezeichnet den Antwortwert des Harris-Winkels. det H und traceH bezeichnen jeweils die Determinante und die Spur der Harris-Matrix. k bezeichnet den Koeffizientenwert. Der Schaltplan der vom SURF-Algorithmus ausgewählten FP-Richtung und das gleitende Fenster des Harris-Winkelerkennungsalgorithmus sind in Abbildung 3 dargestellt.

figure-protocol-9
Abbildung 3: Schematisches Diagramm des SURF-Algorithmus, FP-Auswahl und Schiebefenster für den Harris-Eckenerkennungsalgorithmus. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 3 zeigt die Zusammensetzung des SURF-Algorithmus zur Erkennung von FPs in einem Bild. Abbildung 3A zeigt das schematische Diagramm der Auswahl der Merkmalspunkte im SURF-Algorithmus. Durch Berechnung der Hauptrichtung der Haar-Wavelet-Antwort in der Feature-Punkt-Umgebung wird die rotationsinvariante Richtung des Feature-Punkts bestimmt, die üblicherweise intuitiv durch Pfeile oder Richtungsliniensegmente dargestellt wird. Abbildung 3B ist ein schematisches Diagramm des Schiebefensters des Harris-Eckerkennungsalgorithmus und zeigt den Bewegungsprozess des Fensters innerhalb des Bildbereichs. Eckpunkte werden durch Berechnung der Graustufenänderungen der Pixel innerhalb des Fensters erkannt, und Bereiche mit hohen Reaktionswerten werden als Eckpunkte identifiziert.

Funktionsabgleich

Nach der Erkennung von Bild-FPs verwendet die Studie die LK OF-Methode, um die detektierten Bild-FPs zu verfolgen. Diese Methode berechnet die Bewegung zwischen benachbarten Bildbildern, indem sie die Bewegung von FPs im Bild verfolgt, um FP-Matching in der Videosequenz zu erreichen. Die LK OF-Methode muss bei der Berechnung der Bewegung zwischen benachbarten Bildbildern25 die Annahmen von konstantem Pixel GV, kleiner Bewegung und Regionenbewegungskonsistenz erfüllen. Die Lucas-Kanade-Methode wird aufgrund ihrer Recheneffizienz, die für Echtzeit-AR-Tourismusanwendungen entscheidend ist, strategisch gewählt. Seine Annahmen werden im spezifischen Kontext gemildert. Die hohe Bildrate der Videoaufnahme sorgt im Allgemeinen für kleine Verschiebungen zwischen den Bildern, was die Anforderung kleiner Bewegungen erfüllt. Während absolute Helligkeitsbeständigkeit ideal ist, minimiert das kurze Tracking-Fenster zwischen aufeinanderfolgenden Bildern schwerwiegende Verstöße. Am wichtigsten ist, dass der anschließende RANSAC-Algorithmus potenzielle Tracking-Fehler aus Annahmeverletzungen durch Filterung von Ausreißern robust behandelt. So dient LK als effizienter Anfangstracker, dessen Ausgabe rigoros validiert wird, was es für ein Echtzeitsystem geeignet macht, in dem das Ausgleich von Geschwindigkeit und Robustheit unerlässlich ist. Nach der Annahme des konstanten Pixel GV ist der Ausdruck in Gleichung (4) dargestellt.

figure-protocol-10 (4)

In Gleichung (4) bezeichnet I(x,y,t) das Pixel GV des Bildes an Position (x,y) zum Zeitpunkt t. Ix und Ix bezeichnen die Verschiebung des Pixels in die x- bzw. y-Richtung. i und j bezeichnen die OF-Komponenten des Pixelpunkts. Ix, i, y und it bezeichnen die Differenz des Bildes in den x-, y- und t-Richtungen. Die Annahme der regionalen Bewegungskonsistenz wird in Gleichung (5) berechnet.

figure-protocol-11 (5)

In Gleichung (5) bezeichnet Itb die partielle Ableitung des b-ten Pixelpunktes im Definitionsbereich in der Zeitrichtung t. v x v bezeichnet die Größe des ausgewählten Domänenbereichs. b bezeichnet alle Pixelpunkte innerhalb des Domänens. Abschließend verwendet die vorliegende Studie den BRIEF-Deskriptor, um die erfassten FPs abzugleichen, und den RANSAC-Algorithmus, um die FPs auszuschließen, die vom ORB fehlgetrackt werden. Diese Kombination von Methoden dient dazu, die Robustheit von FeatureMatching 26 zu erhöhen. Abbildung 4 zeigt das schematische Diagramm der LK OF-Methode.

figure-protocol-12
Abbildung 4: Schematisches Diagramm der LK OF-Methode. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 4 zeigt den Implementierungsprozess von LK-Streaming optischer Haare, bei der eine iterative Optimierungsmethode für FP-Verschiebung zwischen benachbarten Bildern verwendet wird. Zur qualitativen Validierung des Feature-Matching-Algorithmus können die abgestimmten FPs zwischen Vorlage und Testbildern visuell überlagert werden. Korrekt abgestimmte Punktpaare sind typischerweise durch grüne Linien verbunden oder mit grünen Anzeigen markiert. Umgekehrt kann der RANSAC-Algorithmus Ausreißer mit roten Markierungen anzeigen. Dies ermöglicht eine sofortige visuelle Bewertung der Übereinstimmung mit Robustheit und Genauigkeit vor der quantitativen Analyse. Die Studie verwendet den RANSAC-Algorithmus, um die HM der entsprechenden FPs im Bild zu berechnen und so diejenigen auszuschließen, die nicht korrekt abgestimmt sind. Die genau abgestimmten FPs werden dann behalten. In diesem Fall sind der HM- und der Skalierungsparameter-Ausdruck des RANSAC-Algorithmus in Gleichung (6) dargestellt.

figure-protocol-13 (6)

In Gleichung (6) bezeichnet M das HM. m bezeichnet das Element in der Matrix M. S bezeichnet den Skalenparameter. (x,y) und (x',y') bezeichnen die FP-Positionen des Vorlagenbildes bzw. des Testbildes. Nach der Ermittlung der Koordinaten der FPs des Testbildes führt die Studie eine vergleichende Analyse der Abstände zwischen ihnen und den übereinanderfolgenden FPs durch. Die Gleichung (7) zeigt, dass sie auch die Anzahl der Iterationen aktualisiert und die Anzahl der Innenpunkte bestimmt.

E = log(1 - c)/log(1 - ηn) (7)

In Gleichung (7) sind E die Iterationen. C bezeichnet das Vertrauensniveau. η bezeichnet das Verhältnis der Innenpunkte. n ist die Anzahl der Proben. Dann wird der Ausdruck für die SD der Iteration E in Gleichung (8) dargestellt.

figure-protocol-14 (8)

In Gleichung (8) bezeichnet Sd(E) die SD. Die Verbesserung des oben beschriebenen ORB-Algorithmus bietet eine hochwertige Grundlage für die anschließende 3D-Registrierungstechnologie für die hochwertige Feature-Matching. Diese Verbesserung zeigt eine höhere Genauigkeit und Robustheit in komplexen Szenen. Einige dieser Szenen umfassen Tonleiterwechsel, Lichtwechsel und Okklusion.

Der Pseudocode für verbesserte ORB mit SURF und verbesserte Homographie für AR-Tourismus lautet wie folgt.

Algorithmus 1: Verbessertes ORB mit SURF und verbesserte Homographie für AR-Tourismus
Eingabe: Tourismusbildsequenz I, 3D-virtuelles Modell M
Ausgabe: Gerenderte AR-Szene mit registriertem virtuellem Objekt
Schritt 1: Bildvorverarbeitung
1: I_gray ← KonvertierenToGraustufen(I)
2: I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3: Pyramid ← BuildImagePyramid(I_smooth, levels=4, scale=1.2)

Schritt 2: Merkmalspunkterkennung
4: keypoints_SURF ← SURF_Detect(Pyramide, HessianSchwelle=1000)
5: Für jeden KP in keypoints_SURF tun Sie
6: Orientierung ← ComputeWaveletResponse(kp)
7: Ende für
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0.04)
9: Deskriptoren ← ImprovedORB_Describe(keypoints_Harris)

Schritt 3: Funktionsabgleich
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11: Matches ← BruteForceMatcher (Beschreibungen)
12: Inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)

Schritt 4: 3D-Registrierung mit verbesserter Homographie
13: H_improved ← ComputeImprovedHomography (Inliers, camera_intrinsics)
14: R, t ← DecomposeHomography(H_improved)
15: Pose ← ComposeCameraPose(R, t)// Schritt 5: AR-Rendering
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, Pose, Hintergrund=I)
18: Rückkehr scene_rendered

AR Tourismus 3D-Registrierungstechnik basierend auf verbessertem HM

Nachdem die Merkmale von Tourismusbildern durch die FP-Matching-Methode genau abgestimmt wurden, muss dies weiter auf AR-Technologie angewendet werden. Die 3D-Registrierungstechnologie ist eine grundlegende Technologie für die Realisierung von AR-Systemen. Es berechnet die Pose-Informationen der Kamera in der realen Welt durch die Projektion eines Ziel-Tourismusbildes. Dies ermöglicht eine genaue Abgleichung und Verschmelzung virtueller Objekte und realer Szenen27. Das HM kann das virtuelle Objekt aus der Perspektive des Benutzers auf die reale Welt abbilden, was den Fusionseffekt zwischen virtueller Information und realer Welt verstärkt. Darüber hinaus kann es das Problem lösen, die virtuelle Realität zu registrieren, wenn das Logo teilweise verdeckt ist. Allerdings ist die Registrierungseffizienz von HM in der tatsächlichen 3D-Registrierungstechnologie gering, was zu einer Fehlausrichtung virtueller Objekte führt, was wiederum zu der Instabilität von virtuellen Objekten28 führt. Daher schlägt diese Studie eine 3D-Registrierungstechnik auf Basis eines verbesserten HM vor. Mit genauen FP-Paaren aus Phase 1 wird das verbesserte HM über eine virtuell-zu-real-Objekt-Rückberechnungsmethode berechnet, die Kamera-Intrinsics einbezieht. Diese Methode adressiert effektiv die geringe Registrierungseffizienz und die Fehlausrichtung virtueller Objekte traditioneller Methoden in dynamischen Szenen. Die Matrix wird in eine Rotationsmatrix und einen Translationsvektor zerlegt, um die Kamerapose zu definieren. Die OpenGL-Rendering-Engine projiziert 3D-virtuelle Modelle präzise in den Live-Videostream basierend auf Poseparametern. Texturkartierung und Beleuchtungsmodelle sorgen für physikalisch konsistente Fusion.

3D-Registrierung und Visualisierung

Für die Umsetzung der 3D-Registrierungstechnik muss die Studie zunächst ein Lochbildmodell erstellen, um die 3D-reale Welt auf ein 2D-Bild abzubilden. Der Ausdruck dieses Modells wird in Gleichung (9) dargestellt.

figure-protocol-15 (9)

In Gleichung (9) bezeichnen X, Y und O die drei Achsen der Kamera CS. (x,y,f) bezeichnet den Koordinatenvektor. f steht für die Brennweite (FL). λ bezeichnet den Skalenfaktor. Wie in Abbildung 5 gezeigt, untersucht die aktuelle Studie die Bildeigenschaften der Lochkamera, indem sie die Transformationsbeziehung zwischen dem Bild-CS und dem Kamera-CS verwendet.

figure-protocol-16
Abbildung 5: Lochbildmodell und die Beziehung zwischen räumlichen Punkten und planaren Projektionspunkten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 5 zeigt die grundlegende Struktur der Pinhole-Bildgebung. Abbildung 5A ist ein schematisches Diagramm des Pinhole-Bildmodells, das die grundlegende geometrische Struktur beschreibt, eine dreidimensionale Szene durch ein kleines Loch im Zentrum der Kamera auf eine zweidimensionale Bildebene zu projizieren und die Prinzipien der Strahlenausbreitung und perspektivischen Projektion widerzuspiegeln. Abbildung 5B veranschaulicht zudem den Prozess, räumliche Punkte durch das Kamerazentrum auf die entsprechenden Punkte in der Bildebene zu projizieren und die proportionale Beziehung zwischen Brennweite, Bildpunktkoordinaten und Objektpunktkoordinaten zu klären. Nach der Erstellung des Nadellochbildgebungsmodells verwendet die Studie die HM weiter, um die Beziehungsabbildung zwischen der Vorlage und den realen Szenenbildern unter Kameraaufnahme zu erstellen. Es wird angenommen, dass die Merkmalspunkte von zwei BildernI 1 und I2 in derselben Ebene liegen. Die Ebene muss den in Gleichung (10) gezeigten Ausdruck erfüllen.

NZ P + d = 0 (10)

In Gleichung (10) bezeichnet P die Ebene. N bezeichnet den Normalvektor der Ebene P. d bezeichnet den Abstand von der Ebene P zum Ursprung. Z bezeichnet den Translationsvektor. Für Rotationen und Translationen verwendet die Studie die Singularwert-Dekompositionsmethode für deren Extraktion. Der Ausdruck ist in Gleichung (11)29 dargestellt.

figure-protocol-17 (11)

In Gleichung (11) bezeichnen p1 und p2 die Pixelkoordinaten der Merkmalspunkt-Schattenpaare in den Bildern I1 bzw. I2. r1 und r2 bezeichnen die Skalierungsfaktoren der Pixelpunkte in den Bildern I1 bzw.I 2. K bezeichnet die interne Referenzmatrix der Kamera. R bezeichnet die Rotationsmatrix. Der HM hat eine hohe Rechenkomplexität und ist anfällig für das Problem des FP-Matching-Fehlers. Daher verbessert die Studie sie durch die Anwendung der virtuellen und realen Objekt-Inversberechnungsmethode30. Der verbesserte HM-Ausdruck wird in Gleichung (12) dargestellt.

figure-protocol-18 (12)

In Gleichung (12) bezeichnet M' das verbesserte HM. fx und fy bezeichnen die FLs der Kamera entlang der X- bzw. Y-Achse. Du und V bezeichnen die Hauptpunktkoordinaten. γ bezeichnet den Skew-Parameter. Die physikalische Transformation der Methode ist in Gleichung (13) dargestellt.

figure-protocol-19 (13)

In Gleichung (13) bezeichnet T' die physikalische Transformationsmatrix. tx, ty und to bezeichnen die Rotationskomponenten der drei Koordinatenachsen. [R|Z] bezeichnet die Transformationsmatrix der Welt und Kamera-CS. Bei der Implementierung der AR-Technologie ist der Ausdruck der Abbildung zwischen der Vorlage und dem Bild der realen Wanderlandschaft in Gleichung (14) dargestellt.

figure-protocol-20 (14)

In Gleichung (14) bezeichnen Is und Id die Punkte auf der Referenz bzw. TIs. Die Studie berechnet außerdem die Ausrichtungsgenauigkeit der verbesserten HM, um die Ausrichtungswirksamkeit der Methode zu untersuchen, wie sie in Gleichung (15) dargestellt ist.

figure-protocol-21 (15)

In Gleichung (15) bezeichnet Pre(M') die Ausrichtungsgenauigkeit der verbesserten HM. (xa,y a,o a) bezeichnet die tatsächlichen FPs. (xb,y b,o b) bezeichnet die ausgerichteten FPs. n bezeichnet die Anzahl der Gruppen der übereinanderstimmenden Punkte. Abbildung 6 zeigt die Abbildung zwischen dem Schaltplan und den Fotos des aufgerüsteten HM.

figure-protocol-22
Abbildung 6: Abbildung der Beziehung zwischen Bildern und dem schematischen Diagramm des verbesserten HM. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Wie in Abbildung 6 dargestellt, gibt es eine klare Entsprechung zwischen dem Vorlagenbild und dem TI. Nach der Anwendung des verbesserten HM besteht ein wichtiger visueller Kontrollpunkt darin, das Vorlagebild auf das Zielbild zu verformen und auszurichten. Die Kanten der projizierten Vorlage sollten eng mit den entsprechenden Merkmalen im TI übereinstimmen. Während des finalen AR-Renderings wird das virtuelle 3D-Modell visuell inspiziert, um sicherzustellen, dass es dauerhaft und genau an der richtigen Position und Ausrichtung in der realen Szene verankert ist. Es sollte kein spürbares Ruckeln oder Fehlausrichtung geben, wenn sich die Kameraperspektive ändert.

Die Studie demonstriert die Abbildung des Vorlagebilds durch eine erweiterte But-for-Influence-Matrix. Um eine Echtzeitinteraktion zwischen virtuellen Objekten und tatsächlichen Tourismuslandschaften zu erreichen, nutzt die Studie die OpenGL-Technologie, um 3D-Modelle für den Bau des AR-Tourismussystems zu rendern. Die Technik richtet zunächst den OpenGL-Kontext ein, lädt das 3D-Modell der virtuellen Touristenelemente und berechnet mit Texturmapping und Beleuchtung. Anschließend wird der von der Kamera aufgenommene Echtzeit-Videostrom als Hintergrund verwendet, um als Referenz für das Rendern virtueller Objekte zu dienen. Virtuelle Objekte werden mit einem HM genau in die reale Welt eingeblendet, das die virtuellen Objekte in der richtigen Position und Ausrichtung rendert, um sie mit der realen Szene zu verschmelzen. Im AR-Tourismussystem, in dem das Video über die OpenCV-Bibliothek für das Echtzeitvideo derTour 31 aufgenommen wird. Die Bildverarbeitung verwendet einen optimierten ORB-Algorithmus, um Merkmale in Videoframes zu identifizieren und abzugleichen. Im 3D-Registrierungsmodul verwendet die Studie ein verbessertes HM, um virtuelle und reale Technik zu verbinden. Die endgültige Ausgabe und Interaktion werden über OpenGL-Technologie dargestellt. Der Implementierungsprozess der AR-Tour-Technologie ist in Abbildung 7 dargestellt, die den gesamten Implementierungsprozess der AR-Tour-Technologie zeigt. Abbildung 7 zeigt das Systemimplementierungs-Flussdiagramm der AR-Tourismustechnologie. Nach dem Systemstart wird der Echtzeit-Videostrom zunächst von der Kamera aufgenommen, aus der das Zielbild extrahiert wird. Der Prozess tritt dann in die Feature-Verarbeitungsphase ein, bei der nacheinander Feature-Punkt-Extraktion und -Beschreibung durchgeführt werden, um Bildmerkmale zu konstruieren. Wenn die Feature-Punkt-Übereinstimmung erfolgreich ist, geht das System in die 3D-Tracking-Registrierungsphase über, in der die Kamerapose-Parameter berechnet werden. Dies wird mit 3D-Modellen aus der virtuellen Materialbibliothek kombiniert, um eine virtuell-reale Fusion zu erreichen, und der endgültige fusionierte AR-Effekt wird dem Benutzer in Echtzeit angezeigt. Wenn das Matching fehlschlägt, wird der RANSAC-Algorithmus verwendet, um nicht übereinstimmte Punkte zu eliminieren, und die Feature-Verarbeitungsphase wird erneut eingeleitet, um Systemstabilität und Robustheit sicherzustellen. Der gesamte Prozess bildet einen vollständigen geschlossenen Kreislauf von Bildaufnahme und Feature-Verarbeitung bis hin zur 3D-Registrierung, virtueller realer Fusion und interaktiver Darstellung, der den technischen Weg für AR-Tourismussysteme veranschaulicht, um eine Echtzeit-stabile virtuell-reale Fusion in dynamischen Szenen zu erreichen.

figure-protocol-23
Abbildung 7: Schaltplan des Implementierungsprozesses der AR-Tourismustechnologie. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Versuchsaufbau und Materialien

Um die Reproduzierbarkeit der Experimente sicherzustellen, sind die in dieser Studie verwendeten Hardwarespezifikationen, Softwareumgebung und Datensätze explizit in Tabelle 1 aufgeführt.

KategorieGegenstandSpezifikation / Version
HardwareKameraLogitech C920 HD Pro Webcam
ComputerprozessorAMD Ryzen 7 3700X 8-Kern-Prozessor
Computerspeicher32 GB RAM
BetriebssystemWindows 10 (64-Bit)
Software und BibliothekenProgrammierspracheC++
EntwicklungsumgebungMicrosoft Visual Studio 2019
Computer-Vision-BibliothekOpenCV 4.5.1
Grafik-APIOpenGL 4.6
SimulationsplattformVisual Studio Simulationswerkzeuge
DatensatzPrimärer DatensatzOxford-Datensatz

Tabelle 1: Versuchsaufbau: Hardware-, Software- und Datensatzspezifikationen.

In OpenCV wird die Gaußsche Unschärfe mit der Funktion GaussianBlur() angewendet. Die Bildpyramide wird mit buildPyramid() konstruiert. Der SURF-Detektor wird mit SURF.create() initialisiert, wobei der Hessian-Schwellenwert auf 400 gesetzt wird. Die Harris-Eckantwort wird mit cornerHarris() berechnet, und anschließend wird eine nicht-maximale Unterdrückung angewendet, um die Schlüsselpunkte zu filtern. Der LK-optische Fluss wird mit der calcOpticalFlowPyrLK()-Funktion berechnet, die die pyramidale Lucas-Kanade-Methode implementiert. Die findHomography()-Funktion wird für die Homographie-Schätzung verwendet, wobei die Methodenflagge auf RANSAC gesetzt wird, um die angegebene Reprojektionsschwelle zu nutzen. Das resultierende HM wird dann mit perspectiveTransform() verwendet, um Inlierpunkte zu validieren. In der OpenGL-Rendering-Pipeline wird der HM in eine Kamerapose umgewandelt und mit glLoadMatrix() gesetzt. Die 3D-virtuellen Modelle werden als .obj Dateien geladen und mit Standard-OpenGL-Transformationsbefehlen (glTranslate, glRotate) gerendert. Der Echtzeit-Videofeed von OpenCV wird als Textur mit glTexImage2D() an OpenGL weitergeleitet, um das endgültige AR-Overlay zu erzielen. Die wichtigsten Parameter der in dieser Studie verwendeten Algorithmen sind in Tabelle 2 explizit definiert.

Algorithmus / KomponenteParameterWert
Gaußscher FilterKernelgröße5 × 5 Pixel
Standardabweichung1.2
LK Optischer FlussFenstergröße15 × 15 Pixel
RANSACMaximale Iterationen2000
Reprojektionsschwelle3,0 Pixel
ORB-Feature-DetektorMaximale Anzahl von Merkmalen1000
Skalenfaktor (Pyramide)1.2
Anzahl der Pyramidenebenen4
SURF-MerkmalsdetektorHessische Schwelle1000
Harris-EckdetektorAperturgröße3
k-Wert0.04

Tabelle 2: Schlüsselparameter des Algorithmus für die Reproduzierbarkeit.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Leistung des kombinierten SURF und des verbesserten ORB-Algorithmus für FP-Abgleich von Tourismusbildern

Um robuste Leistungsbasislinien und Steuerungsvergleiche zu etablieren, wird der vorgeschlagene Algorithmus mit drei weit verbreiteten Feature-Matching-Algorithmen bewertet: der skaleninvarianten Feature-Transformation (SIFT), beschleunigten robusten Features (SURF) und dem ursprünglichen, nicht verbesserten ORB-Algorithmus. Diese Algorithm...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Studie schlug eine FP-Matching-Methode für Tourismusbilder vor, die SURF und einen verbesserten ORB-Algorithmus kombiniert, um die Genauigkeit der Merkmale zu verbessern. Um die genaue Übereinstimmung und Verschmelzung zwischen den vorgeschlagenen Objekten und der realen Szene weiter zu realisieren, schlug die Studie eine AR-Tourismus-3D-Registrierungstechnik auf Basis verbesserter HM vor. Bezüglich der 3D-Registrierung zeigten die Ergebnisse, dass der ARA 98,74 % betrug und die durc...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren erklären, dass sie keine konkurrierenden Interessen offenlegen müssen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
AMD Ryzen 7 3700X 8-Kern-ProzessorAMDRyzen 7 3700X
KameraLogitechC920 HD Pro Webcam
Computerspeicher/32 GB RAM
Logitech C920 HD Pro WebcamLogitechC920
Microsoft Visual Studio 2019Microsoft2019
OpenCVOpenCV Stiftung4.5.1
OpenGLKhronos-Gruppe4.6
Oxford-DatensatzUniversität Oxford/
Programmiersprache/C++
Visual Studio SimulationswerkzeugeMicrosoftEnthalten in VS 2019
Windows 10 (64-Bit)Microsoft10 (64-Bit)

Referenzen

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tang, R. Digital economy drives tourism development—Empirical evidence based on the UK. Econ Res. 36 (1), 2003-2020 (2023).
  2. Nur Amin, S., et al. An augmented reality-based approach for designing interactive food menu of restaurant using android. Artif Intell Appl. 1 (1), 26-34 (2022).
  3. Ahmad, H., Butt, A., Muzaffar, A. Travel before you actually travel with augmented reality–role of augmented reality in future destination. Curr Issues Tour. 26 (17), 2845-2862 (2023).
  4. Long, X. M., Chen, Y. J., Zhou, J. Development of AR experiment on electric-thermal effect by open framework with simulation-based asset and user-defined input. Artif Intell Appl. 1 (1), 52-57 (2022).
  5. Xie, Y., Wang, Q., Chang, Y., Zhang, X. Fast target recognition based on improved ORB feature. Appl Sci. 12 (2), 786-799 (2022).
  6. Zhang, L., Zhang, Y. Improved feature point extraction method of ORB-SLAM2 dense map. Assembly Automat. 42 (4), 552-566 (2022).
  7. Wu, K. Creating panoramic images using ORB feature detection and RANSAC-based image alignment. Adv Comput Commun. 4 (4), 220-224 (2023).
  8. Chen, Q., et al. Horticultural image feature matching algorithm based on improved ORB and LK optical flow. Remote Sens. 14 (18), 4465-4482 (2022).
  9. Zuo, Y., Guan, H., Duan, F., Wu, T. A light field full-focus image feature point matching method with an improved ORB algorithm. Sensors. 23 (1), 123-136 (2022).
  10. Anggara, D. W., et al. Integrated colormap and ORB detector method for feature extraction approach in augmented reality. Multimed Tools Appl. 81 (25), 35713-35729 (2022).
  11. Tian, J., Wu, Y., Cai, Y., Fan, H., Yu, W. A novel mosaic method for spaceborne ScanSAR images based on homography matrix compensation. Remote Sens. 13 (15), 2866-2885 (2021).
  12. Kim, T., Kim, G. J. Real-time and on-line removal of moving human figures in hand-held mobile augmented reality. Vis Comput. 39 (7), 2571-2582 (2023).
  13. Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci. Rep. 13 (1), 2571-2582 (2023).
  14. Liu, J., Liang, A., Zhao, E., Pang, M., Zhang, D. Homography matrix-based local motion consistent matching for remote sensing images. Remote Sens. 15 (13), 3379-3400 (2023).
  15. Zhu, C., Io, M. U., Hall, C. M., Ngan, H. F. B., Peralta, R. L. How to use augmented reality to promote a destination? The mediating role of augmented reality attachment. Int J Tour Res. 26 (1), e2603(2024).
  16. Ngan, H. F. B., Lei, W. S. Examining the effects of augmented reality on sport event experiences and revisit intention: A comparative analysis between AR and non-AR users. Issues Tour. 28 (4), 666-679 (2025).
  17. Zhu, C., Io, M. U., Hall, C. M., Ngan, H. F. B., Peralta, R. L. Exploring the influence of augmented reality on tourist word-of-mouth through the lens of museum tourism. J Herit Tour. 20 (1), 78-91 (2025).
  18. Jia, X., Xu, T., Bao, K., Wang, D., Dai, Y. Multi-point displacement measurement method based on ORB feature detection. Insight. 67 (2), 73-79 (2025).
  19. Chen, J., Ramakrishnan, K. K., Dhakazl, A., Ran, X. Networked architectures for localization-based multi-user augmented reality. IEEE Commun Mag. 61 (12), 104-110 (2023).
  20. Yang, M., Wang, S., Zhang, N., Zhou, A., Ma, X. Survey on tracking and registration technology for mobile augmented reality. Int J Web Grid Serv. 18 (2), 99-140 (2022).
  21. Lee, J., Lee, H., Mun, D. 3D convolutional neural network for machining feature recognition with gradient-based visual explanations from 3D CAD models. Sci Rep. 12 (1), 14864-14877 (2022).
  22. Ren, J., et al. Matching algorithms: Fundamentals, applications and challenges. IEEE Trans Emerg Top Comput Intell. 5 (3), 332-350 (2021).
  23. Li, L., Yang, M. Point cloud registration based on direct deep features with applications in intelligent vehicles. IEEE Trans Intell Transp Syst. 23 (8), 13346-13357 (2021).
  24. Hao, Z., Wang, X., Zheng, S. Recognition of basketball players’ action detection based on visual image and Harris corner extraction algorithm. J Intell Fuzzy Syst. 40 (4), 7589-7599 (2021).
  25. Liu, Q., Xi, X., Zhang, W., Yang, L., Hanajima, N. Improved image matching algorithm based on LK optical flow and grid motion statistics. Int J Comput Appl Technol. 68 (1), 49-57 (2022).
  26. Zhang, D., Zhu, J., Wang, F., Hu, X., Ye, X. GMS-RANSAC: A fast algorithm for removing mismatches based on ORB-SLAM2. Symmetry. 14 (5), 849-860 (2022).
  27. Fu, H., Yang, H., Chen, C., Zhang, H. 3D registration based on V-SLAM and application in augmented reality. J Comput Methods Sci Eng. 22 (3), 911-923 (2022).
  28. Bao, Y., Liu, J., Jia, X., Qie, J. An assisted assembly method based on augmented reality. Int J Adv Manuf Technol. 135 (1), 1035-1050 (2024).
  29. Cattari, N., Condino, S., Cutolo, F., Ferrari, M., Ferrari, V. In situ visualization for 3D ultrasound-guided interventions with augmented reality headset. Bioengineering. 8 (10), 131-146 (2021).
  30. Hong, H. A measurement method of the focal distance of the virtual image in an augmented reality or virtual reality device. J Soc Inf Disp. 29 (4), 230-236 (2021).
  31. Dinara, G., Evgeniy, Z., Vlada, K. Using OpenCV for augmented reality applications. Artif Life Robot. 3 (3), 179-184 (2022).
  32. Xu, H., Yuan, J., Ma, J. Murf: Mutually reinforcing multi-modal image registration and fusion. IEEE Trans Pattern Anal Mach Intell. 45 (10), 12148-12166 (2023).
  33. Li, W., Wang, J., Liu, M., Zhao, S., Ding, X. Integrated registration and occlusion handling based on deep learning for augmented-reality-assisted assembly instruction. IEEE Trans Ind Inform. 19 (5), 6825-6835 (2022).
  34. Lim, H., Kim, B., Kim, D., Mason Lee, E., Myung, H. Quatro++: Robust global registration exploiting ground segmentation for loop closing in LiDAR SLAM. Int J Rob Res. 43 (5), 685-715 (2024).
  35. Xu, N., et al. CubeMuseum AR: A tangible augmented reality interface for cultural heritage learning and museum gifting. Int J Hum Comput Interact. 40 (6), 1409-1437 (2024).
  36. Arshad, S., Kim, G. W. A robust feature matching strategy for fast and effective visual place recognition in challenging environmental conditions. Int J Control Autom Syst. 21 (3), 948-962 (2023).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Abgleich von MerkmalspunktenSURF Algorithmus3D RegistrierungLucas Kanade optischer FlussRandom Sample ConsensusBildtransformationRegistrierungsgenauigkeit

Verwandte Artikel