Tecnologia turistica in realtà aumentata basata su un algoritmo ORB migliorato e una matrice di omografia

Sommario

Questo studio presenta un metodo migliorato di abbinamento dei punti di caratteristiche e di registrazione 3D per il turismo di realtà aumentata, migliorando allineamento, stabilità e accuratezza dell'abbinamento. Combinando ORB migliorato, flusso ottico LK e matrice omografica migliorata, l'approccio raggiunge tassi di corrispondenza corretti e precisione di registrazione più elevati, migliorando la fusione virtuale-reale delle scene nelle applicazioni turistiche.

Abstract

Questo studio propone un metodo migliorato di abbinamento dei punti caratteristici e registrazione 3D per applicazioni di turismo in realtà aumentata. Questo metodo affronta problemi come scarso allineamento, bassa stabilità in ambienti complessi e bassa accuratezza di adattamento delle caratteristiche. Viene introdotto un metodo migliorato di abbinamento dei punti di caratteristiche per le immagini turistiche, che combina l'algoritmo Speeded Up Robust Features (SURF) con un algoritmo FAST orientato e BRIEF rotazionato migliorato. In questo metodo, i punti caratteristiċi vengono inizialmente rilevati tramite l'algoritmo SURF, e la loro orientazione viene determinata tramite analisi della risposta a wavelet. Il metodo di flusso ottico Lucas-Kanade viene utilizzato per il tracciamento dei punti caratteristiche. L'algoritmo di consenso a campioni casuali viene quindi utilizzato per eliminare i punti tracciati erroneamente. Inoltre, è proposta una tecnica di registrazione 3D per il turismo in realtà aumentata basata su una matrice omografica migliorata per superare i limiti delle matrici omografiche tradizionali, come la bassa accuratezza dell'abbinamento e l'efficienza della registrazione. Le prestazioni del metodo proposto sono state analizzate attraverso esperimenti comparativi con gli algoritmi SIFT, SURF e ORB originali sotto varie trasformazioni dell'immagine, tra cui scala, sfocatura, illuminazione e rotazione. Il tasso di corrispondenza e il tempo di abbinamento corretti sono stati utilizzati come metriche di valutazione. Sono stati condotti test di simulazione per la registrazione 3D utilizzando diversi modelli 3D. L'accuratezza della registrazione e il conteggio delle registrazioni riuscite sono stati valutati con modifiche rotazionali. I risultati hanno indicato che il tasso medio di corrispondenza corretta dell'algoritmo proposto è aumentato rispettivamente del 44,08%, 36,51% e 16,09% sotto variazione di scala rispetto all'algoritmo di trasformazione delle caratteristiche invarianti in scala, all'algoritmo delle caratteristiche robuste accelerate e all'algoritmo non migliorato. Il tasso di corrispondenza corretta sotto la trasformazione fuzzy è aumentato rispettivamente del 33,46%, 19,65% e 9,35%. La precisione media della registrazione della tecnica proposta per la registrazione 3D era del 98,74% durante la trasformazione rotazionale. I risultati rivelano che l'approccio suggerito dallo studio può migliorare con successo l'effetto di fusione virtuale e reale della scena e offre un approccio innovativo all'uso della tecnologia di realtà aumentata nell'industria dei viaggi.

Introduzione

La tecnologia è emersa come uno strumento chiave per promuovere il progresso sinergico della cultura e del turismo nell'economia digitale in rapida^evoluzione. Negli ultimi anni, la tecnologia della realtà aumentata (AR) ha visto un'ondata di adozione in vari settori, tra cui turismo, istruzione, medicina e industria. La RA è un campo emergente all'interno del più ampio panorama^{tecnologico 2}. Nel campo del turismo, questa tecnologia è in grado di sovrapporre informazioni virtuali a scene reali, offrendo un'esperienza immersiva e interattiva per i turisti. Questa tecnologia può non solo migliorare l'esperienza di viaggio dei turisti, ma anche innovare la scena del consumo turistico e promuovere la trasformazione digitale della cultura e del settore^turistico. Tuttavia, l'adozione diffusa della RA in ambienti turistici dinamici e non strutturati è ancora ostacolata da significative sfide tecniche. Le tecniche AR esistenti spesso mostrano scarsa robustezza nelle applicazioni pratiche. Sono caratterizzati da una bassa accuratezza nell'abbinamento delle caratteristiche, un allineamento inadeguato tra oggetti virtuali e reali e una stabilità limitata in condizioni ambientali complesse, come scale variabili, variazioni di illuminazione e^{occlusioni 4}. Queste limitazioni possono portare a un'esperienza utente frustrante, con contenuti virtuali che tremano, si spostano o non si ancorano correttamente, minando così la sensazione di immersione e realismo. Pertanto, esplorare una tecnica AR robusta ed efficiente per il turismo che possa operare in modo affidabile in contesti reali è una priorità attuale della ricerca. Come algoritmo rapido di estrazione e descrizione dei punti di caratteristica (FPE), il FAST orientato e il BRIEF ruotato (ORB) sono ampiamente utilizzati nell'FPE per immagini grazie alla sua alta efficienza e invarianza^{rotazionale 5}.

Zhang et ^al.6 hanno proposto un metodo FPE migliorato per le mappe dense ORB-SLAM2, con l'obiettivo di migliorare l'efficienza e ridurre i costi per l'acquisizione di mappe 3D di ambienti interni. Il metodo ha eseguito un'estrazione efficiente dei punti di caratteristica (FP) tramite la consistenza asintotica del campione per ridurre l'uso della memoria. Si scoprì che il metodo poteva essere utilizzato per il processo di navigazione con superiore precisione FPE e alta efficienza di^{tracciamento 6}. Wu propose un algoritmo di abbinamento rapido delle caratteristiche che combina ORB e consenso casuale per campioni (RANSAC) per affrontare problemi di errore di allineamento rotazionale su larga scala, basso tasso di allineamento, casualità e instabilità. L'efficacia di questo approccio è stata dimostrata dai risultati, che hanno dimostrato che il metodo proposto mostrava un'elevata accuratezza nell'abbinamento FP e una stabilità^{robusta 7}. Chen et al. hanno proposto un metodo di corrispondenza delle caratteristiche che combina l'ORB migliorato con l'algoritmo di flusso ottico (OF) Lucas-Kanade (LK) per affrontare il problema della bassa accuratezza del matching delle caratteristiche dell'immagine. Il metodo utilizzava il metodo di contrasto di Michelson per l'FPE, e la struttura quadtree veniva utilizzata per omogeneizzare i FP estratti al fine di ridurre la quantità computazionale di corrispondenza delle caratteristiche. I risultati hanno dimostrato che l'uniformità e la precisione FP del metodo sono migliorate rispettivamente dello 0,22% e del 50,47^%. Zuo et al. hanno proposto un algoritmo sferico migliorato per il matching FP di immagini di campo ottico completamente focalizzato, con l'obiettivo di aumentare la precisione e la robustezza del metodo FPE e di matching dell'immagine. Il metodo è stato migliorato perfezionando l'algoritmo ORB convenzionale per aumentare il numero e la precisione delle FPE per immagini completamente focalizzate nel campo^{luminoso 9}. Anggara et al. suggerirono un metodo di estrazione delle caratteristiche che fonde la mappa dei colori e del rivelatore ORB in AR. Il metodo estraeva innanzitutto le caratteristiche di speckle e bordo dell'immagine utilizzando un metodo di tracciamento delle caratteristiche naturali basato sulle caratteristiche, quindi converteva l'immagine a colori in un'immagine in scala di grigi usando un rivelatore ORB nel tentativo di migliorare l'efficienza di rilevamento delle caratteristiche. I risultati indicarono che l'approccio suggerito potrebbe migliorare con successo l'estrazione delle caratteristiche¹⁰.

Grazie alla sua capacità di combinare accuratamente dati virtuali e scene reali con tecnologie AR, la matrice di omografia (HM) ha suscitato molto interesse negli ultimi^{anni 11,12}. Kim et al. hanno proposto un sistema AR online in tempo reale basato su HM. Il metodo utilizzava una fotocamera 3D con localizzazione e costruzione di mappe simultanee per tracciare le informazioni della scena, e un HM veniva utilizzato per riempire i fotogrammi sorgente dell'immagine nel tentativo di migliorarne la qualità. I risultati hanno dimostrato che il metodo poteva ridurre efficacemente le incongruenze visive e gli artefatti e migliorare l'esperienza utente^{dell'AR 13}. Clement propose un metodo di descrizione delle caratteristiche a tre livelli basato su filtraggio AR per il potenziamento della direzione. Il metodo impiegava un HM per descrivere il movimento del bersaglio tra diversi fotogrammi al fine di migliorare la robustezza del matching delle caratteristiche dell'immagine. I risultati hanno indicato che il metodo ha raggiunto punteggi di ripetibilità del 100%, 100% e 99% per il cambio di illuminazione, il cambio di sfocatura e il cambio di punto di vista,^{rispettivamente 14}. Liu et al. hanno proposto un metodo di incontro locale del movimento per l'acquisizione di immagini da remoto basato su HM, con l'obiettivo di eliminare l'errata corrispondenza delle caratteristiche dell'immagine. Il metodo in esame rappresentava la coerenza del moto locale dell'immagine da parte di HM e introdusse un metodo di ricampionamento. I risultati hanno dimostrato che il metodo proposto mostrava una performance di matching superiore¹⁵.

Come rivisto sopra, la ricerca tecnica di un robusto abbinamento delle funzionalità e della registrazione è fondamentalmente guidata dalla richiesta che la sua applicazione crei esperienze utente coinvolgenti. Per collocare questo lavoro tecnico nel contesto più ampio della ricerca sul turismo AR, è essenziale confrontarsi con studi recenti che esaminano empiricamente gli effetti psicologici e comportamentali dell'AR sui turisti. Ad esempio, Zhu et al. hanno esplorato il meccanismo attraverso cui autenticità e trasporto narrativo nel turismo AR influenzano il passaparola tramite l'attaccamento AR, utilizzando modellizzazione strutturale delle equazioni. I risultati hanno rivelato che l'allegato AR media la relazione tra autenticità, trasporto narrativo e passaparola, offrendo un approccio fresco al marketing del turismo^{storico 15}. Contemporaneamente, Ngan e Lei hanno analizzato l'impatto della RA sulle esperienze degli eventi sportivi e hanno rivisitato l'intenzione. Il loro studio ha indicato che gli utenti di AR hanno mostrato un coinvolgimento cognitivo significativamente più alto e che le dimensioni esperienziali hanno influenzato in modo significativo l'intenzione di rivisitare, confermando l'efficacia della AR nel migliorare l'attrattività e l'immersione degli^{eventi 16}. Inoltre, Zhu et al. hanno indagato il meccanismo di impatto della presenza turistica nelle esperienze AR sul passaparola (WOM), utilizzando dati di indagine da una mostra AR presso il Palace Museum. I risultati hanno dimostrato che la presenza poteva influenzare positivamente la WOM, e l'autenticità ha avuto un ruolo mediatore significativo in^{questo 17}.

In conclusione, numerosi studiosi hanno condotto un significativo corpus di ricerche sulle tecniche AR basate sull'algoritmo ORB con HM, ottenendo risultati superiori. Tuttavia, l'algoritmo ORB soffre ancora di scarsa robustezza e inefficienza dell'FPE sotto variazione di scala, modifica di illuminazione e occlusione¹⁸. Inoltre, la HM tradizionale è spesso un collo di bottiglia caratterizzato da bassa precisione di matching e efficienza di registrazione. Ciò porta a disallineamenti e instabilità degli oggetti virtuali in ambienti turistici dinamici. La discrepanza tra le prestazioni dei metodi attuali e i requisiti per esperienze AR stabili e immersive nel turismo rimane una sfida critica e non affrontata. Per affrontare queste sfide persistenti e consentire un'esperienza AR più stabile e immersiva nel turismo, questo studio è motivato ad aumentare l'efficacia della registrazione FPE e 3D. Questo lavoro ha tre contributi teorici. Innanzitutto, presenta un nuovo framework di abbinamento delle caratteristiche che combina la proprietà di invariabilità scala del rivelatore SURF con la migliorata efficienza computazionale del descrittore ORB. Questa integrazione è migliorata determinando l'orientamento delle caratteristiche tramite la risposta a wavelet e affinando il set di punti utilizzando i criteri di Harris corner. Questo fornisce un modello teorico più robusto per la corrispondenza delle caratteristiche sotto trasformazioni, rendendolo più che semplice sequenciale. In secondo luogo, introduce un miglioramento teorico al processo di stima dell'omografia impiegando un metodo di retrocalcolo virtuale per oggetti reali. Questo approccio mira a superare i limiti delle matrici omografiche tradizionali offrendo un modello di proiezione più stabile e preciso per la registrazione 3D. Infine, combinando sistematicamente questi componenti migliorati, lo studio offre un approccio teorico consolidato per ottenere una fusione virtuale-reale superiore, specificamente adattata alle complessità degli scenari del turismo all'aperto.

Questa tecnica migliorata è altamente rilevante per i principali stakeholder del turismo. Permette ai marketing di destinazione e ai tour operator di sviluppare applicazioni AR stabili e immersive che rappresentano proposte di valore uniche. Per i gestori di siti del patrimonio culturale, offre uno strumento affidabile per creare sovrapposizioni educative senza danneggiare reperti fisici. In definitiva, per i turisti, il metodo migliora direttamente l'esperienza offrendo una fusione fluida e stabile delle informazioni virtuali con l'ambiente reale. Questo elimina la frustrazione causata da contenuti virtuali disallineati o tremolanti. Di conseguenza, l'immersione è significativamente più profonda, la comprensione contestuale si arricchisce e la soddisfazione generale verso il servizio turistico aumenta. L'innovazione di questa ricerca è la seguente: (1) L'immagine viene smussata tramite filtraggio gaussiano e la risposta a wavelet viene utilizzata per determinare la direzione delle FP. Inoltre, per aumentare la precisione e la stabilità del rilevamento FP, i migliori FP sono filtrati integrandosi con la tecnica di rilevamento dei punti d'angolo di Harris. (2) L'algoritmo RANSAC viene introdotto per eliminare i FP tracciati male e migliorare ulteriormente la robustezza del feature matching. (3) L'HM è migliorato dal metodo di calcolo inverso virtuale-reale degli oggetti, che mira ad affrontare i limiti dell'HM tradizionale, come la bassa precisione di corrispondenza FP e l'efficienza della registrazione.

Protocollo

Questa sezione propone innanzitutto un metodo di corrispondenza FP per immagini turistiche combinando SURF e un algoritmo ORB migliorato per migliorare la robustezza dell'adattamento FP. Successivamente, lo studio propone una tecnica di registrazione 3D per il turismo AR basata su una HM migliorata per potenziare l'effetto di fusione tra informazioni virtuali e mondo reale. Gli esperimenti sono stati condotti utilizzando dataset di immagini disponibili pubblicamente. In particolare, è stato utilizzato il dataset Oxford Visual Geometry Group (VGG), che include sequenze di immagini con variazioni di scala, sfocatura, illuminazione e punto di vista, ed è ampiamente adottato per valutare algoritmi di corrispondenza e registrazione delle caratteristiche nella visione artificiale. Non era richiesta l'approvazione di un comitato etico per l'uso di questo dataset pubblicamente disponibile.

Combinare SURF e un algoritmo ORB migliorato per l'abbinamento FP nelle immagini turistiche

Con lo sviluppo in forte espansione dell'industria turistica, la domanda di tecnologia AR nei servizi turistici automatizzati è in aumento. L'algoritmo ORB è un efficiente algoritmo di rilevamento e descrizione FP. La tecnologia AR è stata ampiamente utilizzata¹⁹. Tuttavia, nel processo di abbinamento FP delle immagini turistiche, l'algoritmo ORB esistente soffre di difetti come scarsa robustezza ai cambiamenti di scala, bassa accuratezza nel matching delle caratteristiche e il dispendio^{in termini di tempo 20}. Per aumentare l'accuratezza e la robustezza del matching, questo studio propone un metodo robusto di feature matching che integra SURF con un algoritmo ORB migliorato. Per ottenere l'invarianza di scala, l'immagine di ingresso subisce filtraggio gaussiano e costruzione a piramide. L'algoritmo SURF rileva FP invarianti in scala, con orientamenti determinati tramite risposte a wavelet. La qualità delle caratteristiche è migliorata perfezionando i punti iniziali usando il criterio dell'angolo di Harris e mantenendo quelli più distintivi. Il metodo di flusso ottico Lucas-Kanade traccia le caratteristiche attraverso i fotogrammi, mentre l'algoritmo RANSAC elimina i punti non corrispondenti. La lacuna metodologica qui affrontata non riguarda semplicemente l'applicazione sequenziale di SURF e ORB, ma una nuova strategia di ibridazione progettata per superare le limitazioni specifiche degli ibridi standard in ambienti turistici complessi. A differenza degli approcci SURF-ORB convenzionali, che utilizzano SURF per il rilevamento e poi applicano direttamente un descrittore ORB, il metodo attuale introduce due miglioramenti fondamentali. Per prima cosa, l'orientamento di ogni FP localizzato da SURF viene ricalcolato utilizzando la sua risposta a wavelet. Questo fornisce una stima direzionale più robusta rispetto a SURF da solo, utilizzando il metodo standard basato su wavelet di Haar. In secondo luogo, e più importante, i punti SURF iniziali non vengono usati direttamente. Al contrario, vengono rigorosamente raffinati utilizzando il criterio degli angoli di Harris per filtrare punti non distintivi con risposte basse situate in regioni piatte o lungo i bordi.

Preprocessing dell'immagine

Nella fase di pre-elaborazione delle immagini turistiche, lo studio estrae le caratteristiche dalle immagini in scala di grigi. Per caratterizzare ulteriormente le caratteristiche locali dell'immagine, lo studio utilizza la componente gradiente per identificare e classificare l'immagine²¹. L'equazione (1) ne ha dimostrato la espressione.

(1)

Nell'Equazione (1) I(x,y) indica il valore in pixel dell'immagine alla coordinata (x,y).  indica il vettore gradiente dell'immagine in (x,y). e mostrare le derivate parziali dell'immagine rispettivamente nelle direzioni x e y. T indica la trasposta del vettore gradiente.

Rilevamento dei punti di caratteristica

Dopo aver riconosciuto l'immagine tramite componenti di gradiente, lo studio utilizza le caratteristiche del test dei segmenti accelerati (FAST) nell'algoritmo ORB per rilevare i FP dell'immagine. Inoltre, i FP sono fortemente abbinati utilizzando l'algoritmo di descrizione binario robusto e indipendente delle caratteristiche elementari indipendenti (^{BRIEF) 22}. Lo schema del rilevamento delle caratteristiche e dell'abbinamento di questo algoritmo è mostrato nella Figura 1.

Figura 1: Diagramma schematico del matching delle caratteristiche tra l'algoritmo FAST di rilevamento delle caratteristiche e l'algoritmo di descrizione BRIEF. Clicca qui per visualizzare una versione più grande di questa figura.

La Figura 1 illustra il processo di rilevamento delle caratteristiche degli algoritmi FAST e BRIEF. La Figura 1A è un diagramma schematico del rilevamento delle caratteristiche utilizzando l'algoritmo FAST. Un modello circolare da 16 pixel viene utilizzato per confrontare la luminosità attorno al pixel centrale e permettere una rapida rilevazione delle caratteristiche degli angoli nell'immagine. La Figura 1B è uno schema dell'abbinamento delle caratteristiche nell'algoritmo BRIEF. Selezionando diverse coppie di pixel attorno ai punti caratteristiche per il confronto in scala di grigi, vengono generati descrittori binari e si utilizza l'abbinamento con forza bruta per ottenere la corrispondenza dei punti caratteristica tra due immagini. Il miglioramento prevede l'utilizzo iniziale del metodo di filtraggio gaussiano, che serve a smussare l'immagine e mitigare il rumore ad alta frequenza. Successivamente, viene impiegato il metodo di down-sampling per ridurre la risoluzione spaziale dell'immagine, diminuendo così la complessità computazionale preservando le caratteristiche primarie dell'immagine. Lo studio utilizza un metodo di costruzione a piramide d'immagini, sfruttando le due tecniche sopra menzionate per garantire che le FP dell'immagine presentino proprietà di invarianza di^{scala 23}. L'espressione per levigare l'immagine tramite un filtro passa-basso è mostrata nell'Equazione (2).

(2)

Nell'Equazione (2), g_e(x,y) indica la funzione filtro gaussiana. e è la deviazione standard (SD) della funzione gaussiana. exp indica la funzione esponenziale. La piramide delle immagini costruita tramite filtraggio gaussiano è mostrata schematicamente nella Figura 2.

Figura 2: Diagramma schematico della piramide immagine costruito tramite filtraggio gaussiano. Clicca qui per visualizzare una versione più grande di questa figura.

La Figura 2 mostra la struttura a piramide dell'immagine, dove più immagini di risoluzione inferiore vengono gradualmente generate tramite filtraggio gaussiano e downsampling. Tra questi, il filtro gaussiano riduce il rumore ad alta frequenza nell'immagine sfocandolo tramite un'operazione di convoluzione. Come checkpoint visivo durante questa fase di preelaborazione, può essere visualizzata la piramide dell'immagine generata. Va notato che ogni livello della piramide presenta una risoluzione progressivamente inferiore rispetto all'immagine originale. Si nota un aumento evidente della sfocatura e una riduzione dei dettagli fini grazie al filtraggio gaussiano applicato e al downsampling. Per migliorare l'efficacia nell'identificare le FP in un'immagine, lo studio utilizza un algoritmo SURF per localizzare queste FP nell'immagine. Questo metodo prevede la quantificazione della regione circostante della FP e l'utilizzo della risposta wavelet per determinare la direzione della FP. A causa dell'esistenza di FP duplicati e invalidi estratti da SURF, il loro numero eccessivo ridurrà la velocità di riconoscimento delle caratteristiche dell'immagine target (TI). Pertanto, lo studio utilizza l'algoritmo di rilevamento puntuale dell'angolo Harris per identificare i FP^{ottimali dell'immagine 24}. L'equazione (3) mostra il valore della risposta angolare dell'algoritmo.

(3)

Nell'Equazione (3), H indica la matrice di Harris. u(x,y) indica la funzione di peso della finestra. I_x e_{I y} indicano la dimensione del valore grigio (GV) del punto pixel. A indica il valore di risposta dell'angolo di Harris. det H e traceH indicano rispettivamente il determinante e la traccia della matrice di Harris. k indica il valore del coefficiente. Lo schema della direzione delle FP selezionate dall'algoritmo SURF e la finestra scorrevole dell'algoritmo di rilevamento dell'angolo di Harris sono mostrati nella Figura 3.

Figura 3: Diagramma schematico dell'algoritmo SURF, selezione FP e finestra scorrevole per l'algoritmo di rilevamento degli angoli di Harris. Clicca qui per visualizzare una versione più grande di questa figura.

La Figura 3 mostra la composizione dell'algoritmo SURF per rilevare i FP in un'immagine. La Figura 3A mostra il diagramma schematico della selezione della direzione dei punti di caratteristiche nell'algoritmo SURF. Calcolando la direzione principale della risposta delle wavelet di Haar nel quartiere dei punti caratteristici, si determina la direzione invariante della rotazione del punto caratteristico, solitamente rappresentata intuitivamente da frecce o segmenti di linea direzionali. La Figura 3B è uno schema della finestra scorrevole dell'algoritmo di rilevamento degli angoli di Harris, che mostra il processo di movimento della finestra all'interno dell'area dell'immagine. I punti d'angolo vengono rilevati calcolando i cambiamenti in scala di grigi dei pixel all'interno della finestra, e le aree con valori di risposta elevati sono identificate come punti d'angolo.

Abbinamento delle caratteristiche

Dopo aver rilevato gli FP delle immagini, lo studio utilizza il metodo LK OF per tracciare gli FP dell'immagine rilevati. Questo metodo calcola il movimento tra fotogrammi immagine vicini tracciando il movimento degli FP nell'immagine per ottenere l'adattamento FP nella sequenza video. Il metodo LK OF deve soddisfare le assunzioni di pixel GV costante, piccolo movimento e coerenza del movimento regionale quando calcola il movimento tra fotogrammi immagine^{adiacenti 25}. Il metodo Lucas-Kanade è adottato strategicamente considerando la sua efficienza computazionale, cruciale per le applicazioni di turismo AR in tempo reale. Le sue ipotesi sono mitigate nel contesto specifico. L'elevata frequenza di fotogrammi della cattura video generalmente garantisce piccoli spostamenti tra fotogrammi, soddisfacendo il requisito di piccoli movimenti. Sebbene la costanza assoluta della luminosità sia ideale, la breve finestra di tracciamento tra fotogrammi consecutivi minimizza le violazioni gravi. Soprattutto, il successivo algoritmo RANSAC gestisce in modo robusto i potenziali errori di tracciamento derivanti da violazioni delle assunzioni filtrando gli outlier. Pertanto, LK funge da tracciatore iniziale efficiente il cui output è rigorosamente validato, rendendolo adatto a un sistema in tempo reale, in cui il bilanciamento della velocità e della robustezza è essenziale. Secondo l'assunzione di pixel costante GV, l'espressione è mostrata nell'Equazione (4).

(4)

Nell'Equazione (4), I(x,y,t) indica il pixel GV dell'immagine nella posizione (x,y) nel momento t . I_x e I_x indicano lo spostamento del pixel nelle direzioni x e y, rispettivamente. i e j indicano le componenti OF del punto pixel. I_x,_{I y} e_{I t} indicano la differenza dell'immagine nelle direzioni x, y e t, rispettivamente. L'assunzione di coerenza del moto regionale viene calcolata nell'Equazione (5).

(5)

Nell'equazione (5), I_tb indica la derivata parziale del punto b-esimo pixel nel dominio nella direzione temporale t . v x v indica la dimensione dell'area di dominio selezionata. b indica tutti i punti pixel all'interno del dominio. In conclusione, il presente studio utilizza il descrittore BRIEF per corrispondere ai FP tracciati e l'algoritmo RANSAC per rifiutare i FP tracciati erroneamente dall'ORB. Questa combinazione di metodi contribuisce a migliorare la robustezza del feature^{matching 26}. La Figura 4 mostra il diagramma schematico del metodo LK OF.

Figura 4: Diagramma schematico del metodo LK OF. Clicca qui per visualizzare una versione più grande di questa figura.

La Figura 4 mostra il processo di implementazione del LK streaming optical hair, che utilizza un metodo di ottimizzazione iterativa per lo spostamento FP tra fotogrammi adiacenti. Per la validazione qualitativa dell'algoritmo di corrispondenza delle caratteristiche, i FP abbinati tra il template e le immagini di test possono essere sovrapposti visivamente. Le coppie di punti correttamente abbinate sono tipicamente collegate da linee verdi o contrassegnate con indicatori verdi. Al contrario, l'algoritmo RANSAC può visualizzare outlier con marcatori rossi. Questo fornisce una valutazione visiva immediata della robustezza e accuratezza dell'abbinamento prima dell'analisi quantitativa. Lo studio utilizza l'algoritmo RANSAC per calcolare l'HM dei corrispondenti FP nell'immagine, eliminando così quelli che non sono correttamente abbinati. I FP che sono accuratamente abbinati vengono poi mantenuti. In questo caso, l'HM e l'espressione del parametro di scala dell'algoritmo RANSAC sono mostrate nell'Equazione (6).

(6)

Nell'equazione (6), M indica HM. m indica l'elemento nella matrice M. S indica il parametro della scala. (x,y) e (x',y') indicano rispettivamente le posizioni FP dell'immagine modello e dell'immagine di test. Dopo aver acquisito le coordinate delle FP dell'immagine di test, lo studio effettua un'analisi comparativa delle distanze tra esse e le FP abbinate. L'equazione (7) illustra che aggiorna anche il numero di iterazioni e determina il numero di punti interni.

E = log(1 - c)/log(1 - ηⁿ) (7)

Nell'Equazione (7), E sono le iterazioni. C indica il livello di fiducia. η indica la proporzione di punti interni. n è la quantità di campioni. Allora l'espressione per la SD dell'iterazione E è mostrata nell'Equazione (8).

(8)

Nell'Equazione (8), S_d(E) indica il Punto di Marcia (SD). Il miglioramento dell'algoritmo ORB descritto sopra si dimostra fornire una base di corrispondenza di caratteristiche di alta qualità per la successiva tecnologia di registrazione 3D. Questo miglioramento mostra maggiore accuratezza e robustezza nelle scene complesse. Alcune di queste scene includono il cambio di scala, il cambio di luce e l'occlusione.

Il pseudocodice per un ORB migliorato con SURF e un'omografia potenziata per il turismo AR è il seguente.

Algoritmo 1: ORB migliorato con SURF e Omografia Migliorata per il Turismo AR
Input: Sequenza di immagini turistiche I, modello virtuale 3D M
Output: Scena AR renderizzata con oggetto virtuale registrato
Passo 1: Preprocessing dell'immagine
1: I_gray ← ConvertToGrayscale(I)
2: I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3: Piramide ← BuildImagePyramid(I_smooth, livelli=4, scala=1.2)

Passo 2: Rilevamento dei Punti di Funzionalità
4: keypoints_SURF ← SURF_Detect(Piramide, Soglia Assiana=1000)
5: per ogni KP in keypoints_SURF fare
6: orientamento ← ComputeWaveletResponse(kp)
7: fine per
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0,04)
9: descrittori ← ImprovedORB_Describe(keypoints_Harris)

Passo 3: Abbinamento delle caratteristiche
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11: corrisponde ← BruteForceMatcher(descrittori)
12: inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)

Passo 4: Registrazione 3D con Omografia Migliorata
13: H_improved ← ComputeImprovedHomography (inliers, camera_intrinsics)
14: R, t ← DecomposeHomography(H_improved)
15: pose ← ComposeCameraPose(R, t)// Passo 5: Rendering AR
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, posa, sfondo=I)
18: ritorno scene_rendered

Tecnica di registrazione 3D del turismo AR basata su un miglioramento della HM

Dopo aver abbinato accuratamente le caratteristiche delle immagini turistiche tramite il metodo FP matching, è necessario applicarla ulteriormente alla tecnologia AR. La tecnologia di registrazione 3D è una tecnologia fondamentale per la realizzazione di sistemi AR. Calcola le informazioni sulla posa della telecamera nel mondo reale attraverso la proiezione di un'immagine turistica target. Questo consente un corrispondenza accurata e una fusione tra oggetti virtuali e scene^{reali 27}. La HM può mappare l'oggetto virtuale al mondo reale dalla prospettiva dell'utente, potenziando così l'effetto di fusione tra informazioni virtuali e mondo reale. Inoltre, può risolvere il problema di registrare la realtà virtuale quando il logo è parzialmente nascosto. Tuttavia, l'efficienza di registrazione della HM nella tecnologia effettiva di registrazione 3D è bassa e porta a un disallineamento degli oggetti virtuali, che porta all'instabilità degli oggetti^{virtuali 28}. Pertanto, questo studio propone una tecnica di registrazione 3D basata su una HM migliorata. Utilizzando coppie FP accurate della Fase 1, la HM potenziata viene calcolata tramite un metodo di calcolo inverso virtuale-reale che incorpora l'intrinseca della camera. Questo metodo affronta efficacemente la bassa efficienza di registrazione e il disallineamento degli oggetti virtuali rispetto ai metodi tradizionali nelle scene dinamiche. La matrice viene scomposta in una matrice di rotazione e un vettore di traslazione per definire la posa della fotocamera. Il motore di rendering OpenGL proietta con precisione modelli virtuali 3D nel flusso video live basandosi sui parametri della posa. La mappatura delle texture e i modelli di illuminazione garantiscono una fusione fisicamente coerente.

Registrazione e visualizzazione 3D

Per realizzare la tecnica di registrazione 3D, lo studio deve prima costruire un modello di imaging stenopeico per mappare il mondo reale 3D su un'immagine 2D. L'espressione di questo modello è mostrata nell'Equazione (9).

(9)

Nell'Equazione (9), X, Y e O indicano i tre assi della camera CS. (x,y,f) indica il vettore di coordinate. f indica la lunghezza focale (FL). λ indica il fattore di scala. Come dimostrato nella Figura 5, lo studio attuale esamina le proprietà di imaging della fotocamera stenopeica utilizzando la relazione di trasformazione tra il CS immagine e il CS della fotocamera.

Figura 5: Modello di imaging a foro stenopeico e la relazione tra punti spaziali e punti di proiezione planari. Clicca qui per visualizzare una versione più grande di questa figura.

La Figura 5 mostra la struttura di base dell'imaging a foro stenopeico. La Figura 5A è un diagramma schematico del modello di imaging a foro stenopeico, che descrive la struttura geometrica di base per proiettare una scena tridimensionale su un piano di imaging bidimensionale attraverso un piccolo foro al centro della fotocamera, riflettendo i principi di propagazione dei raggi e proiezione prospettica. La Figura 5B illustra ulteriormente il processo di proiezione dei punti spaziali sui corrispondenti punti del piano di imaging attraverso il centro della camera, chiarendo la relazione proporzionale tra lunghezza focale, coordinate dei punti immagine e coordinate dei punti oggetto. Dopo aver costruito il modello di imaging a foro stenopeico, lo studio impiega ulteriormente la HM per costruire la mappatura delle relazioni tra il template e le immagini reali della scena catturate con la telecamera. Si assume che i punti di corrispondenza delle caratteristiche di due immagini I₁ e_{I 2} siano nello stesso piano. Il piano deve soddisfare l'espressione mostrata nell'Equazione (10).

N^Z P + d = 0 (10)

Nell'equazione (10), P indica il piano. N indica il vettore normale del piano P. d indica la distanza dal piano P all'origine. Z indica il vettore di traslazione. Per rotazioni e traslazioni, lo studio utilizza il metodo della decomposizione a valori singolari per la loro estrazione. L'espressione è mostrata nell'Equazione (11)²⁹.

(11)

Nell'Equazione (11), p₁ e p₂ indicano le coordinate dei pixel delle coppie di punti che corrispondono alle caratteristiche di ombre nelle immagini I₁ e I₂, rispettivamente. r₁ e r₂ indicano i fattori di scala dei punti pixel nelle immagini I₁ e I₂, rispettivamente. K indica la matrice di riferimento interna della fotocamera. R indica la matrice di rotazione. La HM ha un'elevata complessità computazionale ed è soggetta al problema dell'errore di corrispondenza FP. Pertanto, lo studio lo migliora utilizzando il metodo di calcolo inverso di oggetti virtuali^{e reali 30}. L'espressione migliorata dell'HM è mostrata nell'Equazione (12).

(12)

Nell'Equazione (12), M' indica la HM migliorata. f_x e_{f y} indicano le FL della camera lungo gli assi X e Y, rispettivamente. U e v indicano le coordinate principali dei punti. γ indica il parametro sfascamento. La trasformazione fisica del metodo è mostrata nell'Equazione (13).

(13)

Nell'Equazione (13), T' indica la matrice di trasformazione fisica. t_x,_{t, y} e t_o indicano le componenti di rotazione dei tre assi di coordinate. [R|Z] indica la matrice di trasformazione del mondo e della telecamera CS. Nell'implementazione della tecnologia AR, l'espressione della mappatura tra il template e l'immagine della scena reale in viaggio è mostrata nell'Equazione (14).

(14)

Nell'Equazione (14), I_s e_{I d} indicano rispettivamente i punti sul riferimento e su Tis. Lo studio calcola inoltre l'accuratezza dell'allineamento dell'HM migliorato per indagare l'efficacia dell'allineamento del metodo, come espresso nell'Equazione (15).

(15)

Nell'Equazione (15), P_re(M') indica la precisione dell'allineamento dell'HM migliorato. (x_{a,y a,o a}) indica i FP effettivi. (x _{b,y b,o b}) indica i FP allineati. n indica il numero di gruppi di punti abbinati. La Figura 6 mostra la mappatura tra il diagramma schematico e le foto dell'HM aggiornata.

Figura 6: Mappatura della relazione tra immagini e il diagramma schematico dell'HM migliorata. Clicca qui per visualizzare una versione più grande di questa figura.

Come illustrato nella Figura 6, esiste una chiara corrispondenza tra l'immagine modello e il TI. Dopo l'applicazione dell'HM migliorato, un checkpoint visivo chiave consiste nel deformare e allineare l'immagine modello sull'immagine della scena di destinazione. I bordi del template proiettato dovrebbero allinearsi strettamente con le corrispondenti caratteristiche nel TI. Durante il rendering AR finale, ispeziona visivamente il modello virtuale 3D per assicurarti che sia ancorato in modo persistente e accurato alla posizione e all'orientamento corretti nella scena reale. Non dovrebbe esserci alcun tremolio o disallineamento evidente mentre la prospettiva della telecamera cambia.

Lo studio dimostra la mappatura dell'immagine modello tramite una matrice di influenza potenziata ma senza effetto. Per ottenere un'interazione in tempo reale tra oggetti virtuali e paesaggi turistici reali, lo studio utilizza la tecnologia OpenGL per renderizzare modelli 3D per la costruzione del sistema turistico AR. La tecnica imposta innanzitutto il contesto OpenGL, carica il modello 3D degli elementi turistici virtuali e calcola con texture mapping e illuminazione. Successivamente, il flusso video in tempo reale catturato dalla telecamera viene utilizzato come sfondo per fornire un riferimento per il rendering degli oggetti virtuali. Gli oggetti virtuali vengono sovrapposti con precisione al mondo reale tramite una HM, che li rende nella posizione e orientamento corretti per fonderli con la scena reale. Nel sistema di turismo AR, in cui il video viene catturato tramite la libreria OpenCV per il video in tempo reale del^{tour 31}. L'elaborazione delle immagini utilizza un algoritmo ORB ottimizzato per identificare e abbinare le caratteristiche nei fotogrammi video. Nel modulo di registrazione 3D, lo studio utilizza una HM migliorata per fondere virtuale e realtà. L'output finale e l'interazione sono visualizzati tramite la tecnologia OpenGL. Il processo di implementazione della tecnologia dei tour AR è illustrato nella Figura 7, che mostra il processo complessivo di implementazione della tecnologia dei tour AR. La Figura 7 presenta il diagramma di flusso di implementazione del sistema della tecnologia turistica AR. Dopo l'avvio del sistema, il flusso video in tempo reale viene prima catturato tramite la telecamera, da cui viene estratta l'immagine bersaglio. Il processo entra quindi nella fase di elaborazione delle caratteristiche, eseguendo sequenzialmente l'estrazione e la descrizione dei punti di caratteristica per costruire le caratteristiche dell'immagine. Se l'abbinamento dei punti di caratteristica ha successo, il sistema procede alla fase di registrazione del tracciamento 3D, dove vengono calcolati i parametri della posa della telecamera. Questo viene combinato con modelli 3D dalla libreria di materiali virtuali per ottenere una fusione virtuale-reale, e l'effetto AR fuso finale viene mostrato all'utente in tempo reale. Se l'abbinamento fallisce, l'algoritmo RANSAC viene utilizzato per eliminare i punti discorrispondenti e la fase di elaborazione delle funzionalità viene riinserita per garantire stabilità e robustezza del sistema. L'intero processo costituisce un completo ciclo chiuso, dall'acquisizione delle immagini e l'elaborazione delle funzionalità fino alla registrazione 3D, fusione virtuale-reale e visualizzazione interattiva, illustrando il percorso tecnico per i sistemi turistici AR per raggiungere una fusione virtuale-reale stabile e in tempo reale in scene dinamiche.

Figura 7: Diagramma schematico del processo di implementazione della tecnologia turistica AR. Clicca qui per visualizzare una versione più grande di questa figura.

Allestimento sperimentale e materiali

Per garantire la riproducibilità degli esperimenti, le specifiche hardware, l'ambiente software e i dataset utilizzati in questo studio sono esplicitamente elencati nella Tabella 1.

Categoria	Voce	Specifiche / Versione
Hardware	Fotocamera	Logitech C920 HD Pro Webcam
	Processore per computer	Processore AMD Ryzen 7 3700X 8-core
	Memoria del computer	32 GB di RAM
	Sistema operativo	Windows 10 (64 bit)
Software e librerie	Linguaggio di programmazione	C++
	Ambiente di sviluppo	Microsoft Visual Studio 2019
	Biblioteca di Visione Artificiale	OpenCV 4.5.1
	API grafica	OpenGL 4.6
	Piattaforma di simulazione	Strumenti di simulazione Visual Studio
Dataset	Dataset primario	Oxford Dataset

Tabella 1: Configurazione sperimentale: specifiche hardware, software e dataset.

In OpenCV, la sfocatura gaussiana viene applicata utilizzando la funzione GaussianBlur(). La piramide immagine è costruita usando buildPyramid(). Il rilevatore SURF viene inizializzato con SURF.create(), impostando la soglia dell'Assia a 400. La risposta di Harris in angolo viene calcolata usando cornerHarris(), e successivamente viene applicata la soppressione non massima per filtrare i punti chiave. Il flusso ottico LK viene calcolato utilizzando la funzione calcOpticalFlowPyrLK(), che implementa il metodo piramidale di Lucas-Kanade. La funzione findHomography() viene utilizzata per la stima dell'omografia, con il metodo flag impostato su RANSAC per sfruttare la soglia di riproiezione specificata. L'HM risultante viene poi utilizzato con perspectiveTransform() per validare i punti inlier. Nella pipeline di rendering OpenGL, la HM viene convertita in una posa della camera e impostata usando glLoadMatrix(). I modelli virtuali 3D vengono caricati come file .obj e renderizzati utilizzando comandi standard di trasformazione OpenGL (glTranslate, glRotate). Il feed video in tempo reale da OpenCV viene passato ad OpenGL come texture usando glTexImage2D() per ottenere l'overlay AR finale. I parametri chiave per gli algoritmi utilizzati in questo studio sono esplicitamente definiti nella Tabella 2.

Algoritmo / Componente	Parametro	Valore
Filtro Gaussiano	Dimensione del nucleo	5 × 5 pixel
	Deviazione standard	1.2
Flusso ottico LK	Dimensione della finestra	15 × 15 pixel
RANSAC	Iterazioni massime	2000
	Soglia di riproiezione	3,0 pixel
Rivelatore di caratteristiche ORB	Numero massimo di caratteristiche	1000
	Fattore di scala (Piramide)	1.2
	Numero di livelli piramidali	4
Rilevatore di caratteristiche SURF	Soglia assiana	1000
Rilevatore di angoli Harris	Dimensione del diaframma	3
	K-valore	0.04

Tabella 2: Parametri chiave dell'algoritmo per la riproducibilità.

Risultati

Prestazioni dell'algoritmo combinato SURF e ORB migliorato per l'abbinamento FP delle immagini turistiche

Per stabilire basi robuste sulle prestazioni e confronti di controllo, l'algoritmo proposto viene valutato rispetto a tre algoritmi di feature matching ampiamente utilizzati: la scale-invariant feature transform (SIFT), speeded-up robust features (SURF) e l'algoritmo ORB originale, non migliorato. Questi algoritmi fungono da gruppi di cont...

Discussione

Lo studio ha proposto un metodo di abbinamento FP per immagini turistiche che combinano SURF e un algoritmo ORB migliorato, con l'obiettivo di migliorare l'accuratezza dell'abbinamento delle caratteristiche. Per realizzare ulteriormente l'accurata corrispondenza e la fusione tra gli oggetti proposti e la scena reale, lo studio ha proposto una tecnica di registrazione 3D per il turismo AR basata su un miglioramento della HM. Per quanto riguarda la registrazione 3D, i risultati hanno illus...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Processore AMD Ryzen 7 3700X 8-core	AMD	Ryzen 7 3700X
Fotocamera	Logitech	C920 HD Pro Webcam
Memoria del computer	/	32 GB di RAM
Logitech C920 HD Pro Webcam	Logitech	C920
Microsoft Visual Studio 2019	Microsoft	2019
OpenCV	Fondazione OpenCV	4.5.1
OpenGL	Gruppo Khronos	4.6
Oxford Dataset	Università di Oxford	/
Linguaggio di programmazione	/	C++
Strumenti di simulazione Visual Studio	Microsoft	Inclusi in VS 2019
Windows 10 (64 bit)	Microsoft	10 (64 bit)