Paesaggi appresi fotorealistici per la realtà aumentata

Questo articolo presenta un sistema per la ricostruzione 3D fotorealistica utilizzando immagini a 360 gradi, Gaussian Splatting e integrazione della realtà virtuale. L'approccio può essere applicato a diverse applicazioni come l'istruzione, la simulazione di ambienti di apprendimento; costruzione, per simulare le opere fuori sede e recuperare le metriche; o l'assistenza sanitaria, per formare le persone autistiche nelle attività della vita quotidiana.

La nostra ricerca si concentra sulla creazione di ricostruzioni 3D fotorealistiche a partire da immagini a 360 gradi per costruire ambienti virtuali immersivi. Esplora come questo possa supportare la terapia, l'istruzione e la convalida industriale. Gli approcci comuni includono l'estrazione dai movimenti e l'esterno multivista, spesso utilizzando strumenti come COLMAP. Metodi recenti come quello offrono risultati più rapidi e visivamente più realistici per applicazioni immersive.

La sfida include i costi computazionali di un tracciato appassionato, un flusso di test difficilmente basso e l'inserimento di una post-stima grafica della telecamera, che influiscono direttamente sul costo e sulla qualità. Affrontiamo la mancanza di un sistema di custodia 3D totalistico che interagisce lentamente nell'arco B e supporta l'uso dinamico interagendo correttamente con un sensore accurato.

[Narratore] Per iniziare, posiziona una fotocamera a 360 gradi su un treppiede regolabile in altezza. Selezionare una serie di posizioni all'interno dell'ambiente per la scansione, utilizzando un modello a maglie quadrate in cui ogni bordo è distanziato di 1,5 metri l'uno dall'altro. In ogni punto mesh, acquisisci immagini a tre diverse altezze di circa 0,4 metri, 1,2 metri e due metri. Converti le immagini a 360 gradi in formato equirettangolare, utilizzando uno strumento come l'app Insta 360. Seleziona l'immagine, premi il pulsante di esportazione. Scegli la modalità di esportazione foto a 360° ed esportala come immagine con rapporto due a uno. Usa lo script Equi2Pers.py per estrarre da 16 a nove immagini prospettiche in formato da ciascuna immagine equirettangolare con un campo visivo orizzontale di 90 gradi. Applicare angoli orizzontali pari a zero, 45, 90, 135, 180, 225, 270 e 315 gradi e angoli verticali in base all'altezza. Successivamente, fai clic su file un nuovo progetto per creare un nuovo progetto COLMAP. Specificare il percorso delle immagini e creare un nuovo database. Fare clic su elaborazione, seguito da estrazione delle funzioni per estrarre le caratteristiche per ogni immagine. Seleziona il foro stenopeico come modello della fotocamera e condividi tutte le immagini. Lasciare i parametri rimanenti come struttura di calcolo predefinita per il movimento facendo clic su Ricostruzione e avviare la ricostruzione per ottenere le posizioni e gli orientamenti della telecamera, utilizzando i parametri COLMAP predefiniti. Fare clic su ricostruzione e scegliere la regolazione del pacchetto per ridurre al minimo gli errori di riproiezione. Ora genera una rappresentazione 3D densa scegliendo una ricostruzione densa con output, comprese le pose della fotocamera e i punti ricostruiti. Per una ricostruzione 3D fotorealistica, utilizzando lo splatting gaussiano, eseguire lo script train.py, utilizzando i parametri meno S, meno M e meno R. Individuare il file .py generato all'interno della directory di output specificata per la successiva importazione in Unity. Collegare il visore per realtà virtuale al computer, seguendo le istruzioni specifiche per il modello di visore utilizzato. Utilizzare Unity Hub per creare un progetto 3D con la versione 2022.44f1. Passa a progetti, fai clic su nuovo progetto. Selezionare il modello di pipeline di rendering 3D predefinito. Imposta il nome e la posizione del progetto e fai clic su Crea progetto. Per gestire il visore VR e semplificare le attività di sviluppo, installa un plug-in da Unity Asset Store tramite il gestore di pacchetti facendo clic su finestra e gestore di pacchetti. Utilizzare il plug-in di splatting gaussiano Unity per convertire l'output di splatting gaussiano in una risorsa utilizzabile. Migliora il tracciamento delle mani installando il plug-in ultra elite tramite il gestore di pacchetti dall'Unity Asset Store. Trascrivi l'audio dal microfono del visore VR utilizzando il plug-in whisper.unity. Installalo utilizzando il gestore di pacchetti. Abilita la generazione di risposte, utilizzando un modello linguistico di grandi dimensioni installando il plug-in LLM Unity. Installalo tramite il gestore di pacchetti come illustrato in precedenza. Genera voce dalle risposte generate da LLM, utilizzando l'SDK meta voice. Installa un plug-in di sintesi vocale dall'Unity Asset Store tramite il gestore di pacchetti facendo clic su finestra e gestore di pacchetti. Infine, usa il visore VR per sperimentare e interagire con l'ambiente immersivo. Gruppi di posizioni della telecamera derivate da origini equi-rettangolari condivise sono stati utilizzati per generare dense nuvole di punti per la ricostruzione vista, rivelando una mappatura spaziale coerente degli angoli di cattura. Il metodo proposto, utilizzando lo splatting gaussiano, ha prodotto una ricostruzione fotorealistica, molto simile all'ambiente reale. Gli utenti potevano interagire efficacemente con l'ambiente ricostruito attraverso la realtà virtuale, mantenendo l'immersione e la consapevolezza spaziale, con immagini presentate all'interno del visore che corrispondevano alla configurazione della stanza. Gli ambienti virtuali familiari e non familiari sono stati sviluppati con obiettivi terapeutici in mente, sulla base del feedback di terapisti professionisti. Nello spazio ricostruito è stato renderizzato un agente virtuale, che consente agli utenti di impegnarsi in scenari interattivi realistici attraverso la realtà virtuale, con l'agente che appare come una figura realistica nella vista del visore. Le ricostruzioni virtuali replicavano punti di vista specifici, in modo accurato, quando si basavano su immagini di input, ma le deviazioni nella prospettiva comportavano notevoli limitazioni di rendering. Rispetto all'output della nuvola di punti COLMAP, lo splatting gaussiano ha prodotto una ricostruzione visivamente più continua e realistica, adatta per l'interazione in tempo reale, anche se con una precisione metrica ridotta.