Augmented reality toerismetechnologie gebaseerd op een verbeterd ORB-algoritme en homografiematrix

Samenvatting

Deze studie presenteert een verbeterde methode voor het matchen van featurepunten en 3D-registratie voor augmented reality-toerisme, waardoor de uitlijning, stabiliteit en de nauwkeurigheid van de matching wordt verbeterd. Door verbeterde ORB, LK optische flow en verbeterde homografiematrix te combineren, bereikt de aanpak hogere correcte matchingspercentages en registratienauwkeurigheid, wat de virtuele realiteitsfusie in toeristische toepassingen verbetert.

Samenvatting

Deze studie stelt een verbeterde feature-point matching en 3D-registratiemethode voor voor augmented reality-toerismetoepassingen. Deze methode pakt problemen aan zoals slechte uitlijning, lage stabiliteit in complexe omgevingen en lage nauwkeurigheid bij het matchen van kenmerken. Er wordt een verbeterde methode voor het matchen van featurepunten voor toeristische beelden geïntroduceerd, die het Speeded Up Robust Features (SURF)-algoritme combineert met een verbeterd Oriented FAST en Rotated BRIEF-algoritme. Bij deze methode worden feature-punten aanvankelijk gedetecteerd met het SURF-algoritme en wordt hun oriëntatie bepaald via waveletresponsanalyse. De Lucas-Kanade optische stromingsmethode wordt gebruikt voor het volgen van featurepunten. Het random sample consensus-algoritme wordt vervolgens gebruikt om verkeerd gevolgde punten te elimineren. Bovendien wordt een augmented reality toerisme 3D-registratietechniek voorgesteld op basis van een verbeterde homografiematrix om de beperkingen van traditionele homografiematrices te overwinnen, zoals lage matchnauwkeurigheid en registratie-efficiëntie. De prestaties van de voorgestelde methode werden geanalyseerd via vergelijkende experimenten met de SIFT-, SURF- en originele ORB-algoritmen onder verschillende beeldtransformaties, waaronder schaal, vervaging, verlichting en rotatie. De juiste matchingspercentage en matchingstijd werden gebruikt als evaluatiemetrics. Er werden simulatietests uitgevoerd voor 3D-registratie met verschillende 3D-modellen. De nauwkeurigheid van de registratie en succesvolle registratietellingen werden geëvalueerd onder rotatiewijzigingen. De uitkomsten gaven aan dat het gemiddelde correcte matchingspercentage van het voorgestelde algoritme met 44,08%, 36,51% en 16,09% is verhoogd onder schaalvariatie ten opzichte van respectievelijk het schaalinvariante feature-transformatiealgoritme, het versnelde robuuste feature-algoritme en het niet-verbeterde algoritme. Het correcte matchingspercentage onder fuzzy-transformatie steeg respectievelijk met 33,46%, 19,65% en 9,35%. De gemiddelde registratienauwkeurigheid van de voorgestelde 3D-registratietechniek was 98,74% onder rotatietransformatie. De resultaten tonen aan dat de voorgestelde aanpak van het onderzoek het virtuele en real-wereld fusie-effect van de scène succesvol kan verbeteren en een frisse benadering biedt voor het gebruik van augmented reality-technologie in de reisindustrie.

Inleiding

Technologie is uitgegroeid tot een belangrijk instrument voor het bevorderen van synergetische vooruitgang van cultuur en toerisme in de snel veranderende digitale economie¹. In de afgelopen jaren heeft augmented reality (AR) technologie een sterke toename gezien in de adoptie in diverse sectoren, waaronder toerisme, onderwijs, geneeskunde en industrie. AR is een opkomend vakgebied binnen het bredere technologische landschap². Op het gebied van toerisme kan deze technologie virtuele informatie over echte scènes heen leggen, wat een meeslepende, interactieve ervaring voor toeristen biedt. Deze technologie kan niet alleen de reiservaringen van toeristen verbeteren, maar ook het toerismeconsumptielandschap vernieuwen en de digitale transformatie van de cultuur- en^{toerismesector bevorderen}. De brede adoptie van AR in dynamische en ongestructureerde toerismeomgevingen wordt echter nog steeds belemmerd door aanzienlijke technische uitdagingen. Bestaande AR-technieken vertonen vaak een slechte robuustheid in praktische toepassingen. Ze worden gekenmerkt door een lage nauwkeurigheid bij het matchen van kenmerken, onvoldoende uitlijning tussen virtuele en echte objecten, en beperkte stabiliteit onder complexe omgevingsomstandigheden, zoals verschillende schalen, veranderingen in verlichting en occlusies⁴. Deze beperkingen kunnen leiden tot een frustrerende gebruikerservaring, waarbij virtuele content trilt, afdrijft of niet goed ankert, waardoor het gevoel van onderdompeling en realisme wordt ondermijnd. Daarom is het verkennen van een robuuste en efficiënte AR-techniek voor toerisme die betrouwbaar kan functioneren in echte omgevingen een huidige onderzoeksprioriteit. Als een snel feature point extraction (FPE) en beschrijvingsalgoritme worden georiënteerde FAST en geroteerde BRIEF (ORB) veel gebruikt in image FPE vanwege de hoge efficiëntie en rotatie-invariantie⁵.

Zhang et ^al.6 stelden een verbeterde FPE-methode voor voor ORB-SLAM2 dichte kaarten, met als doel de efficiëntie te verbeteren en de kosten van het verkrijgen van 3D-kaarten van binnenomgevingen te verlagen. De methode voerde efficiënte extractie van featurepunten (FP) uit door middel van asymptotische sampleconsistentie om het geheugengebruik te verminderen. Er werd vastgesteld dat de methode voor het navigatieproces kon worden gebruikt met superieure FPE-nauwkeurigheid en hoge volgefficiëntie⁶. Wu stelde een snel feature-matching-algoritme voor dat ORB en random sample consensus (RANSAC) combineert om de problemen van grootschalige rotatie-uitlijningsfout, lage uitlijningssnelheid, willekeur en instabiliteit aan te pakken. De effectiviteit van deze aanpak werd bevestigd door de bevindingen, die aantoonden dat de voorgestelde methode een hoge FP-matchingnauwkeurigheid en robuuste stabiliteit⁷ vertoonde. Chen et al. stelden een feature matching-methode voor die de verbeterde ORB combineert met het Lucas-Kanade (LK) optical flow (OF) algoritme om het probleem van lage nauwkeurigheid van beeldfeature-matching aan te pakken. De methode maakte gebruik van de Michelson-contrastmethode voor FPE, en de quadtree-structuur werd gebruikt om de geëxtraheerde FP's te homogeniseren om de rekenkracht van feature-matching te verminderen. De resultaten toonden aan dat de FP-uniformiteit en nauwkeurigheid van de methode met respectievelijk 0,22% en 50,47% verbeterd waren,⁸. Zuo et al. stelden een verbeterd bolalgoritme voor voor FP-matching van volledig gefocuste optische veldbeelden, met als doel de nauwkeurigheid en robuustheid van de beeld-FPE en matchingmethode te verbeteren. De methode werd verbeterd door het conventionele ORB-algoritme te verfijnen om het aantal en de precisie van FPE voor volledig gefocuste beelden^{in het lichtveld te vergroten 9}. Anggara et al. stelden een feature-extractiemethode voor die de kleurkaart en ORB-detector in AR samenvoegt. De methode extraheerde eerst de speckle- en randkenmerken van het beeld met behulp van een feature-gebaseerde natural feature tracking-methode en zette vervolgens de kleurenafbeelding om met een ORB-detector de detectie-efficiëntie van de features te verbeteren. De resultaten gaven aan dat de voorgestelde aanpak feature-extractie¹⁰ succesvol zou kunnen verbeteren.

Vanwege het vermogen om virtuele data en daadwerkelijke scènes nauwkeurig te combineren met AR-technologieën, heeft de homografiematrix (HM) de afgelopen jaren veel belangstelling gekregen^11,12. Kim et al. stelden een realtime online AR-systeem voor gebaseerd op HM. De methode maakte gebruik van een 3D-camera met gelijktijdige lokalisatie en kaartbouw om de scène-informatie bij te houden, en een HM werd gebruikt om de beeldbronframes te vullen in een poging de beeldkwaliteit te verbeteren. De resultaten toonden aan dat de methode visuele inconsistenties en artefacten effectief kon verminderen en de AR-gebruikerservaring^kon verbeteren. Clement stelde een drielaagse filtermethode voor, gebaseerd op AR-tracking die de richting verbetert van de featurebeschrijving. De methode gebruikte een HM om de beweging van het doel tussen verschillende frames te beschrijven om zo de robuustheid van beeldkenmerken te verbeteren. De resultaten gaven aan dat de methode herhaalbaarheidsscores behaalde van 100%, 100% en 99% voor verlichtingsverandering, blurverandering en perspectiefverandering, respectievelijk¹⁴. Liu et al. stelden een lokale bewegingsmatchingmethode voor voor remote sensing-beelden gebaseerd op HM, met als doel het verkeerde matching van beeldkenmerken te elimineren. De in overweging genomen methode weerspiegelde de consistentie van lokale beeldbeweging door HM en introduceerde een resamplingmethode. De bevindingen toonden aan dat de voorgestelde methode een superieure matchingprestatie vertoonde¹⁵.

Zoals hierboven besproken, wordt de technische zoektocht naar robuuste feature-matching en registratie fundamenteel gedreven door de vraag naar de applicatie om overtuigende gebruikerservaringen te creëren. Om dit technische werk te plaatsen binnen de bredere context van AR-toerismeonderzoek, is het essentieel om recente studies te gebruiken die empirisch de psychologische en gedragsmatige effecten van AR op toeristen onderzoeken. Zo onderzochten Zhu et al. het mechanisme waarmee authenticiteit en narrativ transport in AR-toerisme mond-tot-mondreclame via AR-hechting beïnvloeden, met behulp van structurele vergelijkingsmodellering. De resultaten toonden aan dat de AR-bijlage de relatie bemiddelt tussen authenticiteit, narratief vervoer en mond-tot-mondreclame, wat een frisse benadering biedt voor de marketing van erfgoedtoerisme¹⁵. Tegelijkertijd analyseerden Ngan en Lei de impact van AR op sportevenementen en herbestuderingsintentie. Hun studie gaf aan dat AR-gebruikers significant hogere cognitieve betrokkenheid vertoonden en dat ervaringsdimensies de intentie om opnieuw te bezoeken significant beïnvloedden, waarmee de effectiviteit van AR werd bevestigd in het vergroten van de aantrekkelijkheid en immersie van evenementen¹⁶. Bovendien onderzochten Zhu et al. het effectmechanisme van toeristenaanwezigheid in AR-ervaringen op mond-tot-mondreclame (WOM), met behulp van enquêtegegevens van een AR-tentoonstelling in het Palace Museum. De resultaten toonden aan dat aanwezigheid een positieve invloed kon hebben op WOM, en authenticiteit speelde daar een belangrijke mediaterende rol¹⁷.

Samenvattend is er een aanzienlijk aantal onderzoeken uitgevoerd door talrijke wetenschappers naar AR-technieken gebaseerd op het ORB-algoritme met HM, wat uitstekende resultaten oplevert. Het ORB-algoritme lijdt echter nog steeds onder slechte robuustheid en inefficiëntie van FPE bij schaalverandering, verlichtingsverandering en occlusie¹⁸. Bovendien is traditionele HM vaak een bottleneck die wordt gekenmerkt door een lage matchingnauwkeurigheid en registratie-efficiëntie. Dit leidt tot misalignment en instabiliteit van virtuele objecten in dynamische toeristische omgevingen. Het verschil tussen de prestaties van de huidige methoden en de eisen voor stabiele, meeslepende AR-ervaringen in het toerisme blijft een cruciale, onopgeloste uitdaging. Om deze aanhoudende uitdagingen aan te pakken en een stabielere en meeslepende AR-ervaring in het toerisme mogelijk te maken, is deze studie gemotiveerd om de effectiviteit van FPE- en 3D-registratie te vergroten. Dit werk heeft drie theoretische bijdragen. Ten eerste presenteert het een nieuw feature-matching framework dat de schaalinvariante eigenschap van de SURF-detector combineert met de verbeterde rekenefficiëntie van de ORB-descriptor. Deze integratie wordt versterkt door de oriëntatie van het kenmerk te bepalen via waveletrespons en de puntenverzameling te verfijnen met behulp van Harris-hoekcriteria. Dit biedt een robuuster theoretisch model voor featurecorrespondentie onder transformaties, waardoor het meer is dan alleen sequentieel. Ten tweede introduceert het een theoretische verbetering van het homografie-schattingsproces door gebruik te maken van een virtueel-reële object-terugberekeningsmethode. Deze aanpak is bedoeld om de beperkingen van traditionele homografiematrices te overwinnen door een stabieler en preciezer projectiemodel voor 3D-registratie te bieden. Ten slotte biedt de studie door deze verbeterde componenten systematisch te combineren een geconsolideerde theoretische benadering om superieure virtueel-reële fusie te bereiken, specifiek afgestemd op de complexiteit van buitentoerismescenario's.

Deze verbeterde techniek is zeer relevant voor belangrijke toerisme-belanghebbenden. Het stelt bestemmingsmarketeers en touroperators in staat om stabiele en meeslepende AR-toepassingen te ontwikkelen die fungeren als unieke waardeproposities. Voor beheerders van cultureel erfgoed biedt het een betrouwbaar hulpmiddel om educatieve overlays te creëren zonder fysieke artefacten te beschadigen. Uiteindelijk verbetert de methode voor toeristen direct de ervaring door een naadloze en stabiele samensmelting van virtuele informatie met de echte omgeving te bieden. Dit elimineert de frustratie van verkeerd uitgelijnde of schokkerige virtuele content. Daardoor is de onderdompeling aanzienlijk dieper, wordt het contextueel begrip verrijkt en neemt de algehele tevredenheid met de toeristische dienst toe. De innovatie van dit onderzoek is als volgt: (1) Het beeld wordt gladgestoomd door Gaussische filtering, en de waveletrespons wordt gebruikt om de richting van FP's te bepalen. Bovendien worden de beste FP's gefilterd door te integreren met de Harris corner point detectietechniek om de nauwkeurigheid en stabiliteit van FP-detectie te vergroten. (2) Het RANSAC-algoritme wordt geïntroduceerd om de verkeerd gevolgde FP's te elimineren en zo de robuustheid van feature-matching verder te verbeteren. (3) De HM wordt verbeterd door de virtueel-reële object-terugberekeningsmethode, die gericht is op het aanpakken van de beperkingen van de traditionele HM, zoals lage FP-matching nauwkeurigheid en registratie-efficiëntie.

Protocol

Deze sectie stelt eerst een FP-matchingmethode voor toerismebeelden voor, waarbij SURF wordt gecombineerd met een verbeterd ORB-algoritme om de robuustheid van FP-matching te vergroten. Vervolgens stelt de studie een AR-toerisme 3D-registratietechniek voor, gebaseerd op verbeterde HM om het fusie-effect tussen virtuele informatie en de echte wereld te versterken. De experimenten werden uitgevoerd met behulp van publiek beschikbare beelddatasets. Specifiek werd de Oxford Visual Geometry Group (VGG) dataset gebruikt, die beeldreeksen bevat met variaties in schaal, vervaging, verlichting en perspectief, en breed wordt gebruikt voor het evalueren van feature-matching en registratie-algoritmen in computer vision. Er was geen goedkeuring van een ethische commissie vereist voor het gebruik van deze openbaar beschikbare dataset.

Combinatie van SURF en een verbeterd ORB-algoritme voor FP-matching in toeristische beelden

Met de bloeiende ontwikkeling van de toeristische sector neemt de vraag naar AR-technologie in geautomatiseerde toeristische diensten toe. Het ORB-algoritme is een efficiënt FP-detectie- en beschrijvingsalgoritme. AR-technologie wordt veel gebruikt¹⁹. Echter, bij het FP-matching van toeristische beelden lijdt het bestaande ORB-algoritme aan gebreken zoals slechte robuustheid voor schaalveranderingen, lage nauwkeurigheid van feature-matching en tijdrovend^zijn. Om de nauwkeurigheid en robuustheid van matching te verhogen, stelt deze studie een robuuste feature-matchingmethode voor waarbij SURF wordt geïntegreerd met een verbeterd ORB-algoritme. Om schaalinvariantie te bereiken, ondergaat het invoerbeeld Gaussische filtering en piramideconstructie. Het SURF-algoritme detecteert schaalinvariante FP's, waarbij oriëntaties worden bepaald via wavelet-reacties. De kwaliteit van de kenmerken wordt verbeterd door de beginpunten te verfijnen met het Harris-hoekcriterium en de meest kenmerkende punten te behouden. De Lucas-Kanade optische stromingsmethode volgt kenmerken over frames heen, en het RANSAC-algoritme elimineert mismatched points. De methodologische kloof die hier wordt aangepakt, is niet alleen de sequentiële toepassing van SURF en ORB, maar een nieuwe hybridisatiestrategie die is ontworpen om de specifieke beperkingen van standaardhybriden in complexe toeristische omgevingen te overwinnen. In tegenstelling tot conventionele SURF-ORB-benaderingen, die SURF gebruiken voor detectie en vervolgens direct een ORB-descriptor toepassen, introduceert de huidige methode twee cruciale verbeteringen. Ten eerste wordt de oriëntatie van elke FP die door SURF wordt gelokaliseerd, opnieuw berekend met behulp van de waveletrespons. Dit levert een robuustere richtingsschatting op dan alleen SURF met de standaard Haar-wavelet-gebaseerde methode. Ten tweede, en belangrijker nog, worden de initiële SURF-punten niet direct gebruikt. In plaats daarvan worden ze rigoureus verfijnd met behulp van het Harris-hoekcriterium om niet-onderscheidende punten met lage responsen in vlakke gebieden of langs randen te filteren.

Beeldvoorbewerking

In de preprocessingfase van toeristische beelden haalt de studie de kenmerken uit grijswaardenbeelden. Om de lokale kenmerken van het beeld verder te karakteriseren, gebruikt de studie de gradiëntcomponent om beeld²¹ te identificeren en te classificeren. Vergelijking (1) toonde de uitdrukking ervan.

(1)

In Vergelijking (1) duidt I(x,y) de pixelwaarde van het beeld op coördinaat (x,y) aan.  duidt de gradiëntvector van het beeld aan bij (x,y). en tonen respectievelijk de partiële afgeleiden van het beeld in de x- en y-richtingen. T duidt de transponering van de gradiëntvector aan.

Kenmerkpuntdetectie

Na het herkennen van het beeld aan de hand van gradiëntcomponenten, gebruikt de studie kenmerken uit de accelerated segments test (FAST) in het ORB-algoritme om de FP's van het beeld te detecteren. Bovendien worden de FP's gewelddadig gematcht met behulp van het binaire robuuste onafhankelijke elementaire kenmerken (BRIEF) beschrijvingsalgoritme²². Het schema van featuredetectie en matching van dit algoritme is weergegeven in Figuur 1.

Figuur 1: Schematisch diagram van feature-matching tussen het FAST-algoritme feature-detectie en het BRIEF-beschrijvingsalgoritme. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 1 illustreert het featuredetectieproces van de FAST- en BRIEF-algoritmen. Figuur 1A is een schematisch diagram van featuredetectie met behulp van het FAST-algoritme. Een cirkelvormig sjabloon van 16 pixels wordt gebruikt om de helderheid rond de centrale pixel te vergelijken voor snelle detectie van hoekkenmerken in de afbeelding. Figuur 1B is een schematisch diagram van feature-matching in het BRIEF-algoritme. Door meerdere paren pixels rond de featurepunten te selecteren voor grijswaardenvergelijking, worden binaire descriptors gegenereerd en wordt brute force matching gebruikt om de correspondentie van featurepunten tussen twee afbeeldingen te bereiken. De verbetering omvat het initiële gebruik van de Gaussische filtermethode, die dient om het beeld te verzachten en hoogfrequente ruis te verminderen. Vervolgens wordt de down-sampling-methode gebruikt om de ruimtelijke resolutie van het beeld te verlagen, waardoor de rekencomplexiteit wordt verminderd en de primaire kenmerken van het beeld behouden blijven. De studie maakt gebruik van een methode voor het bouwen van beeldpiramides, waarbij de eerder genoemde twee technieken worden benut om ervoor te zorgen dat beeld-FP's schaalinvariantie-eigenschappen²³ vertonen. De uitdrukking voor het gladstrijken van het beeld met een low-pass Gaussiaans filter wordt weergegeven in Vergelijking (2).

(2)

In Vergelijking (2) duidt_{g e}(x,y) de Gaussische filterfunctie aan. e is de standaarddeviatie (SD) van de Gaussische functie. exp duidt de exponentiële functie aan. De beeldpiramide die door Gauss-filtering is geconstrueerd, wordt schematisch weergegeven in Figuur 2.

Figuur 2: Schematisch diagram van de beeldpiramide geconstrueerd door Gaussische filtering. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2 toont de beeldpiramidestructuur, waarbij meerdere beelden met lagere resolutie geleidelijk worden gegenereerd door Gaussiaanse filtering en downsampling. Onder andere vermindert het Gaussische filter de hoogfrequente ruis in het beeld door deze te vervagen via een convolutieoperatie. Als visueel controlepunt tijdens deze preprocessingfase kan de gegenereerde beeldpiramide worden weergegeven. Het moet worden opgemerkt dat elk niveau van de piramide een steeds lagere resolutie van het oorspronkelijke beeld vertoont. Er is een merkbare toename van wazigheid en een vermindering van fijne details door de toegepaste Gaussiaanse filtering en downsampling. Om de effectiviteit van het identificeren van de FP's in een afbeelding te vergroten, gebruikt de studie een SURF-algoritme om deze FP's in het beeld te lokaliseren. Deze methode houdt in dat het omringende gebied van de FP wordt gekwantificeerd en de waveletrespons wordt gebruikt om de richting van de FP te bepalen. Door het bestaan van gedupliceerde en ongeldige FP's die door SURF worden gehaald, zal hun overmatige aantal de herkenningssnelheid van doelbeeldkenmerken (TI) verminderen. Daarom maakt de studie gebruik van het Harris-hoekpuntdetectie-algoritme om de optimale beeld-FPs²⁴ te identificeren. Vergelijking (3) toont de hoekresponswaarde van het algoritme.

(3)

In Vergelijking (3) duidt H de Harrismatrix aan. u(x,y) duidt de gewichtsfunctie van het venster aan. I_x en I_y geven de grootte van de grijze waarde (GV) van het pixelpunt aan. A duidt de responswaarde van de Harrishoek aan. det H en traceH duiden respectievelijk de determinant en spoor van de Harrismatrix aan. k is de coëfficiëntwaarde. Het schema van de richting van de FP's die door het SURF-algoritme zijn geselecteerd en het schuifvenster van het Harris-hoekdetectie-algoritme zijn weergegeven in Figuur 3.

Figuur 3: Schematisch diagram van het SURF-algoritme, FP-selectie en schuifvenster voor het Harris-hoekdetectie-algoritme. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3 toont de samenstelling van het SURF-algoritme om FP's in een afbeelding te detecteren. Figuur 3A toont het schematische diagram van de richtingsselectie van het kenmerkpunt in het SURF-algoritme. Door de hoofdrichting van Haar-waveletrespons in de featurepuntomgeving te berekenen, wordt de rotatie-invariante richting van het featurepunt bepaald, meestal intuïtief weergegeven door pijlen of directionele lijnsegmenten. Figuur 3B is een schematisch diagram van het schuifvenster van het Harris-hoekdetectie-algoritme, dat het bewegingsproces van het venster binnen het beeldgebied toont. Hoekpunten worden gedetecteerd door de grijstintenveranderingen van pixels binnen het venster te berekenen, en gebieden met hoge responswaarden worden geïdentificeerd als hoekpunten.

Feature-matching

Na het detecteren van beeld-FP's gebruikt de studie de LK OF-methode om de gedetecteerde beeld-FP's te volgen. Deze methode berekent de beweging tussen aangrenzende beeldframes door de beweging van FP's in het beeld te volgen om FP-matching in de videosequentie te bereiken. De LK OF-methode moet voldoen aan de aannames van constante pixel GV, kleine beweging en regiobewegingsconsistentie bij het berekenen van de beweging tussen aangrenzende beeldframes²⁵. De Lucas-Kanade-methode is strategisch toegepast gezien de rekenkundige efficiëntie, die cruciaal is voor realtime AR-toerismetoepassingen. De aannames worden binnen de specifieke context gemitigeerd. De hoge framerate van video-opname zorgt doorgaans voor kleine verplaatsingen tussen de frames, wat voldoet aan de eis van kleine beweging. Hoewel absolute helderheidsconstantie ideaal is, minimaliseert het korte volgvenster tussen opeenvolgende frames ernstige overtredingen. Het belangrijkste is dat het daaropvolgende RANSAC-algoritme potentiële trackingfouten die voortkomen uit aannameschendingen robuust afhandelen door uitschieters te filteren. Zo dient LK als een efficiënte initiële tracker waarvan de output rigoureus wordt gevalideerd, waardoor het geschikt is voor een realtime systeem, waarin het balanceren van snelheid en robuustheid essentieel is. Volgens de aanname van constante pixel GV wordt de uitdrukking weergegeven in Vergelijking (4).

(4)

In Vergelijking (4) duidt I(x,y,t) de pixel GV van het beeld aan op positie (x,y) op het moment t. I_x en I_{x duiden} respectievelijk de verplaatsing van de pixel in de x- en y-richting aan. i en j duiden de OF-componenten van het pixelpunt aan. I_x, i_{, y} en i_t duiden het verschil van het beeld respectievelijk in de x-, y- en t-richting aan. De aanname van regionale bewegingsconsistentie wordt berekend in Vergelijking (5).

(5)

In Vergelijking (5) duidt I_tb de partiële afgeleide aan van het b-de pixelpunt in het domein in de tijdsrichting t. v x v duidt de grootte van het geselecteerde domeingebied aan. b duidt alle pixelpunten binnen het domein aan. Samenvattend gebruikt de huidige studie de BRIEF-descriptor om de getrackte FP's te matchen en het RANSAC-algoritme om de FP's die door de ORB verkeerd worden gevolgd te verwerpen. Deze combinatie van methoden dient om de robuustheid van feature matching²⁶ te vergroten. Figuur 4 toont het schematische diagram van de LK OF-methode.

Figuur 4: Schematisch diagram van de LK OF-methode. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4 toont het implementatieproces van LK streaming van optisch haar, waarbij een iteratieve optimalisatiemethode wordt gebruikt voor FP-verplaatsing tussen aangrenzende frames. Voor kwalitatieve validatie van het feature-matching-algoritme kunnen de gematchte FP's tussen de template en testafbeeldingen visueel worden overgelegd. Correct gematchte puntparen worden doorgaans verbonden met groene lijnen of gemarkeerd met groene indicatoren. Omgekeerd kan het RANSAC-algoritme uitschieters met rode markeringen weergeven. Dit biedt een directe visuele beoordeling van de matching van robuustheid en nauwkeurigheid vóór kwantitatieve analyse. De studie gebruikt het RANSAC-algoritme om de HM van de overeenkomstige FP's in het beeld te berekenen, waardoor die die niet correct worden gematcht worden geëlimineerd. De FP's die nauwkeurig zijn gematcht, worden vervolgens behouden. In dit geval worden de HM- en schaalparameteruitdrukking van het RANSAC-algoritme weergegeven in Vergelijking (6).

(6)

In Vergelijking (6) duidt M de HM aan. M duidt het element in de matrix M aan. S duidt de schaalparameter aan. (x,y) en (x',y') geven respectievelijk de FP-locaties van de sjabloonafbeelding en de testafbeelding aan. Na het verkrijgen van de coördinaten van de FP's van het testbeeld voert de studie een vergelijkende analyse uit van de afstanden tussen deze en de gematchte FP's. Vergelijking (7) illustreert dat deze ook het aantal iteraties bijwerkt en het aantal binnenpunten bepaalt.

E = log(1 - c)/log(1 - ηⁿ) (7)

In Vergelijking (7) is E de iteraties. C staat voor het betrouwbaarheidsniveau. η duidt het aandeel binnenpunten aan. n is de hoeveelheid monsters. Dan wordt de uitdrukking voor de SD van de iteratie E weergegeven in Vergelijking (8).

(8)

In Vergelijking (8) duidt S_d(E) de SD aan. De verbetering van het hierboven beschreven ORB-algoritme blijkt een hoogwaardige basis voor feature-matching te bieden voor de daaropvolgende 3D-registratietechnologie. Deze verbetering toont een hogere nauwkeurigheid en robuustheid in complexe scènes. Sommige van deze scènes bevatten schaalveranderingen, lichtveranderingen en occlusie.

De pseudocode voor verbeterde ORB met SURF en verbeterde homografie voor AR-toerisme is als volgt.

Algoritme 1: Verbeterde ORB met SURF en verbeterde homografie voor AR-toerisme
Invoer: Toerismebeeldsequentie I, 3D virtueel model M
Output: Gerenderde AR-scène met virtueel object geregistreerd
Stap 1: Beeldvoorbewerking
1: I_gray ← ConvertToGrayscale(I)
2: I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3: Piramide ← BuildImagePiramide(I_smooth, niveaus=4, schaal=1.2)

Stap 2: Feature Point Detectie
4: keypoints_SURF ← SURF_Detect(Piramide, HessianDrempel=1000)
5: voor elke kp in keypoints_SURF doe
6: oriëntatie ← ComputeWaveletResponse(kp)
7: einde voor
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0.04)
9: beschrijvingen ← ImprovedORB_Describe(keypoints_Harris)

Stap 3: Feature Matching
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11: matches ← BruteForceMatcher (beschrijvingen)
12: inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)

Stap 4: 3D-registratie met verbeterde homografie
13: H_improved ← ComputeImprovedHomography(inliers, camera_intrinsics)
14: R, t ← DecomposeHomography(H_improved)
15: pose ← ComposeCameraPose(R, t)// Stap 5: AR-rendering
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, pose, achtergrond=I)
18: terugkeren scene_rendered

AR toerisme 3D-registratietechniek gebaseerd op verbeterde HM

Na nauwkeurig het afstemmen van de kenmerken van toeristische beelden via de FP-matchingmethode, moet deze verder worden toegepast op AR-technologie. 3D-registratietechnologie is een fundamentele technologie voor de realisatie van AR-systemen. Het berekent de pose-informatie van de camera in de echte wereld door de projectie van een doel-toerismebeeld. Dit maakt nauwkeurige matching en fusie van virtuele objecten en echte scènes mogelijk²⁷. De HM kan het virtuele object vanuit het perspectief van de gebruiker naar de echte wereld brengen, wat het fusie-effect tussen virtuele informatie en de echte wereld versterkt. Bovendien kan het het probleem oplossen van het registreren van de virtual reality wanneer het logo gedeeltelijk verborgen is. De registratie-efficiëntie van HM in de daadwerkelijke 3D-registratietechnologie is echter laag, wat leidt tot misalignment van virtuele objecten, wat leidt tot instabiliteit van virtuele objecten²⁸. Daarom stelt deze studie een 3D-registratietechniek voor gebaseerd op een verbeterde HM. Met behulp van nauwkeurige FP-paren uit Fase 1 wordt enhanced HM berekend via een virtueel-naar-reëel object back-calculation methode die camera-intrinsieke elementen integreert. Deze methode pakt effectief de lage registratie-efficiëntie en de misalignment van virtuele objecten aan van traditionele methoden in dynamische scènes. De matrix wordt opgesplitst in een rotatiematrix en een translatievector om de camerahouding te definiëren. De OpenGL-renderingengine projecteert nauwkeurig 3D-virtuele modellen in de live videostream op basis van poseparameters. Textuurmapping en belichtingsmodellen zorgen voor fysiek consistente fusie.

3D-registratie en visualisatie

Voor de realisatie van de 3D-registratietechniek moet de studie eerst een gaatjesbeeldmodel bouwen om de 3D-echte wereld in kaart te brengen naar een 2D-beeld. De uitdrukking van dit model wordt weergegeven in Vergelijking (9).

(9)

In Vergelijking (9) duiden X, Y en O de drie assen van de camera CS aan. (x,y,f) duidt de coördinatenvector aan. f staat voor de brandpuntsafstand (FL). λ duidt de schaalfactor aan. Zoals aangetoond in Figuur 5, onderzoekt de huidige studie de beeldeigenschappen van de gaatjescamera door gebruik te maken van de transformatierelatie tussen de beeld-CS en de camera-CS.

Figuur 5: Pinhole-beeldvormingsmodel en de relatie tussen ruimtelijke punten en vlakke projectiepunten. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5 toont de basisstructuur van pinhole-beeldvorming. Figuur 5A is een schematisch diagram van het pinhole-beeldmodel, dat de basisgeometrische structuur beschrijft van het projecteren van een driedimensionale scène op een tweedimensionaal beeldvlak door een klein gat in het midden van de camera, wat de principes van straalvoortplanting en perspectiefprojectie weerspiegelt. Figuur 5B illustreert verder het proces van het projecteren van ruimtelijke punten op de overeenkomstige punten op het beeldvlak via het cameracentrum, waarmee de evenredige relatie tussen brandpuntsafstand, coördinaten van beeldpunten en objectpuntcoördinaten wordt verduidelijkt. Na het construeren van het pinhole-beeldmodel gebruikt de studie de HM verder om de relatiemapping tussen het sjabloon en de echte scènebeelden onder camera-opname te construeren. Er wordt aangenomen dat de kenmerken die overeenkomen met de punten van twee afbeeldingen I₁ en I₂ zich in hetzelfde vlak bevinden. Het vlak moet voldoen aan de uitdrukking die in Vergelijking (10) wordt getoond.

N^Z P + d = 0 (10)

In Vergelijking (10) duidt P het vlak aan. N duidt de normale vector van het vlak P aan. D duidt de afstand van het vlak P tot de oorsprong aan. Z staat voor de translatievector. Voor rotaties en translaties gebruikt de studie de singularewaarde-decompositiemethode voor hun extractie. De uitdrukking wordt weergegeven in Vergelijking (11)²⁹.

(11)

In Vergelijking (11) duiden p₁ en p₂ de pixelcoördinaten aan van de puntparen van schaduwen die bij het kenmerk passen in afbeeldingen I₁ en I₂, respectievelijk. r₁ en r₂ geven respectievelijk de schaalfactoren van de pixelpunten in afbeeldingen I₁ en I₂ aan. K staat voor de interne referentiematrix van de camera. R staat voor de rotatiematrix. De HM heeft een hoge rekenkundige complexiteit en is gevoelig voor het probleem van FP-matching error. Daarom verbetert de studie deze door gebruik te maken van de virtuele en reële object-inverse berekeningsmethode³⁰. De verbeterde HM-uitdrukking wordt weergegeven in Vergelijking (12).

(12)

In Vergelijking (12) duidt M' de verbeterde HM aan. f_x en f_y duiden respectievelijk de VL's van de camera langs de X- en Y-as aan. U en V zijn de hoofdpuntcoördinaten. γ duidt de skew-parameter aan. De fysieke transformatie van de methode wordt getoond in Vergelijking (13).

(13)

In Vergelijking (13) duidt T' de fysieke transformatiematrix aan. T_{, X}, T_{, Y} en T_o duiden de rotatiecomponenten van de drie coördinaatassen aan. [R|Z] duidt de transformatiematrix van de wereld en camera CS aan. In de implementatie van AR-technologie wordt de uitdrukking van de afbeelding tussen het sjabloon en het beeld van de echte reizende scène getoond in Vergelijking (14).

(14)

In Vergelijking (14) duiden I_s en I_d respectievelijk de punten op de referentie en TI's aan. De studie berekent verder de uitlijningsnauwkeurigheid van de verbeterde HM om de uitlijningseffectiviteit van de methode te onderzoeken, zoals uitgedrukt in Vergelijking (15).

(15)

In Vergelijking (15) duidt P_re(M') de uitlijningsnauwkeurigheid van de verbeterde HM aan. (x_{a,y a,o a}) duidt de werkelijke FP's aan. (x_{b,y b,o b}) duidt de uitgelijnde FP's aan. n duidt het aantal groepen van overeenkomende punten aan. Figuur 6 toont de mapping tussen het schematische diagram en de foto's van de verbeterde HM.

Figuur 6: Mapping van de relatie van beelden en het schematische diagram van de verbeterde HM. Klik hier om een grotere versie van deze figuur te bekijken.

Zoals geïllustreerd in Figuur 6, is er een duidelijke overeenkomst tussen de sjabloonafbeelding en de TI. Na de toepassing van de verbeterde HM is een belangrijk visueel controlepunt het vervormen en uitlijnen van het sjabloonbeeld op het doelbeeld. De randen van het geprojecteerde sjabloon moeten nauw uitgelijnd zijn met de bijbehorende kenmerken in de TI. Tijdens de uiteindelijke AR-rendering inspecteer je het virtuele 3D-model visueel om te zorgen dat het persistent en nauwkeurig verankerd is op de juiste positie en oriëntatie in de echte situatie. Er zou geen merkbare trilling of verschillijning moeten zijn als het cameraperspectief verandert.

De studie demonstreert de mapping van het sjabloonbeeld via een verbeterde but-for influence-matrix. Om realtime interactie tussen virtuele objecten en echte toeristische landschappen te bereiken, gebruikt de studie de OpenGL-technologie om 3D-modellen te renderen voor de bouw van het AR-toerismesysteem. De techniek stelt eerst de OpenGL-context op, laadt het 3D-model van de virtuele toeristische elementen en rekent met textuurmapping en verlichting. Vervolgens wordt de realtime videostream die door de camera wordt vastgelegd als achtergrond gebruikt als referentie voor het renderen van virtuele objecten. Virtuele objecten worden nauwkeurig gesuperponeerd in de echte wereld met behulp van een HM, die de virtuele objecten in de juiste positie en oriëntatie rendert om ze te laten mengen met de echte scène. In het AR-toerismesysteem, waarin de video wordt opgenomen via de OpenCV-bibliotheek voor de realtime video van de^{tour 31}. Beeldverwerking gebruikt een geoptimaliseerd ORB-algoritme om kenmerken in videoframes te identificeren en te matchen. In de 3D-registratiemodule gebruikt de studie een verbeterde HM om virtual en reality te combineren. De uiteindelijke output en interactie worden weergegeven via OpenGL-technologie. Het implementatieproces van AR-tour technologie wordt geïllustreerd in Figuur 7, die het algehele implementatieproces van AR-tour technologie toont. Figuur 7 toont het systeemimplementatiestroomschema van de AR-toerismetechnologie. Na het opstarten van het systeem wordt de realtime videostroom eerst vastgelegd via de camera, waaruit het doelbeeld wordt geëxtraheerd. Het proces gaat vervolgens in de feature-verwerkingsfase, waarbij het sequentieel featurepuntextractie en beschrijving wordt uitgevoerd om afbeeldingsfeatures te construeren. Als de matching van featurepunten succesvol is, gaat het systeem door naar de 3D-trackingregistratiefase, waar de camerapositieparameters worden berekend. Dit wordt gecombineerd met 3D-modellen uit de virtuele materiaalbibliotheek om virtuele en echte fusie te bereiken, en het uiteindelijke gefuseerde AR-effect wordt in realtime aan de gebruiker getoond. Als de matching faalt, wordt het RANSAC-algoritme gebruikt om mismatched punten te elimineren en wordt de featureverwerkingsfase opnieuw ingevoerd om systeemstabiliteit en robuustheid te waarborgen. Het hele proces vormt een volledige gesloten lus van beeldacquisitie en featureverwerking tot 3D-registratie, virtueel-echte fusie en interactieve weergave, waarmee het technische traject wordt geïllustreerd voor AR-toerismesystemen om realtime, stabiele virtueel-echte fusie in dynamische taferelen te bereiken.

Figuur 7: Schematisch diagram van het implementatieproces van AR-toerismetechnologie. Klik hier om een grotere versie van deze figuur te bekijken.

Experimentele opstelling en materialen

Om de reproduceerbaarheid van de experimenten te waarborgen, worden de hardwarespecificaties, softwareomgeving en datasets die in deze studie zijn gebruikt expliciet vermeld in Tabel 1.

Categorie	Item	Specificatie / Versie
Hardware	Camera	Logitech C920 HD Pro Webcam
	Computerprocessor	AMD Ryzen 7 3700X 8-Core Processor
	Computergeheugen	32 GB RAM
	Besturingssysteem	Windows 10 (64-bit)
Software en bibliotheken	Programmeertaal	C++
	Ontwikkelingsomgeving	Microsoft Visual Studio 2019
	Computer Vision Bibliotheek	OpenCV 4.5.1
	Grafische API	OpenGL 4.6
	Simulatieplatform	Visual Studio Simulatietools
Dataset	Primaire dataset	Oxford Dataset

Tabel 1: Experimentele opstelling: hardware-, software- en datasetspecificaties.

In OpenCV wordt de Gaussische vervaging toegepast met behulp van de GaussianBlur()-functie. De beeldpiramide is geconstrueerd met buildPyramid(). De SURF-detector wordt geïnitialiseerd met SURF.create(), waarbij de Hessian-drempel op 400 wordt gezet. De Harris-hoekrespons wordt berekend met cornerHarris(), en vervolgens wordt niet-maximale onderdrukking toegepast om de sleutelpunten te filteren. De LK optische stroom wordt berekend met behulp van de calcOpticalFlowPyrLK()-functie, die de piramidevormige Lucas-Kanade-methode toepast. De findHomography()-functie wordt gebruikt voor homografie-schatting, waarbij de methode-vlag is ingesteld op RANSAC om de gespecificeerde herprojectiedrempel te benutten. De resulterende HM wordt vervolgens gebruikt met perspectiveTransform() om inlierpunten te valideren. In de OpenGL-renderingpijplijn wordt de HM omgezet naar een camerapose en ingesteld met glLoadMatrix(). De 3D-virtuele modellen worden geladen als .obj bestanden en weergegeven met standaard OpenGL-transformatiecommando's (glTranslate, glRotate). De realtime videofeed van OpenCV wordt als textuur aan OpenGL doorgegeven met behulp van glTexImage2D() om de uiteindelijke AR-overlay te bereiken. De belangrijkste parameters voor de algoritmen die in deze studie worden gebruikt, zijn expliciet gedefinieerd in Tabel 2.

Algoritme / Component	Parameter	Waarde
Gaussiaans filter	Kerngrootte	5 × 5 pixels
	Standaarddeviatie	1.2
LK Optische Stroom	Venstergrootte	15 × 15 pixels
RANSAC	Maximale iteraties	2000
	Reprojectiedrempel	3,0 pixels
ORB-kenmerkdetector	Maximaal aantal kenmerken	1000
	Schaalfactor (piramide)	1.2
	Aantal piramideniveaus	4
SURF-featuredetector	Hessische drempel	1000
Harris-hoekdetector	Apertuurgrootte	3
	k-waarde	0.04

Tabel 2: Belangrijke algoritmeparameters voor reproduceerbaarheid.

Resultaten

Prestaties van het gecombineerde SURF en het verbeterde ORB-algoritme voor het matchen van toeristische beelden bij FP

Om robuuste prestatiebaselines en controlevergelijkingen vast te stellen, wordt het voorgestelde algoritme geëvalueerd aan drie veelgebruikte feature-matching-algoritmen: de scale-invariant feature transform (SIFT), speeded-up robust features (SURF) en het oorspronkelijke, niet-verbeterde ORB-algoritme. Deze algoritmen fungere...

Discussie

De studie stelde een FP-matchingmethode voor voor toeristische beelden die SURF combineert met een verbeterd ORB-algoritme, met als doel de nauwkeurigheid van kenmerken te verbeteren. Om de nauwkeurige matching en fusie tussen de voorgestelde objecten en de echte scène verder te realiseren, stelde de studie een AR-toerisme 3D-registratietechniek voor op basis van verbeterde HM. Wat betreft 3D-registratie toonden de bevindingen aan dat de ARA 98,74% was en het gemiddelde aantal SR's voor ...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
AMD Ryzen 7 3700X 8-Core Processor	AMD	Ryzen 7 3700X
Camera	Logitech	C920 HD Pro Webcam
Computer Memory	/	32 GB RAM
Logitech C920 HD Pro Webcam	Logitech	C920
Microsoft Visual Studio 2019	Microsoft	2019
OpenCV	OpenCV Foundation	4.5.1
OpenGL	Khronos Group	4.6
Oxford Dataset	University of Oxford	/
Programmeertaal	/	C++
Visual Studio Simulation Tools	Microsoft	Inbegrepen in VS 2019
Windows 10 (64-bit)	Microsoft	10 (64-bit)