Questo articolo presenta un sistema per la ricostruzione 3D fotorealistica utilizzando immagini a 360 gradi, Gaussian Splatting e integrazione della realtà virtuale. L'approccio può essere applicato a diverse applicazioni come l'istruzione, la simulazione di ambienti di apprendimento; costruzione, per simulare le opere fuori sede e recuperare le metriche; o l'assistenza sanitaria, per formare le persone autistiche nelle attività della vita quotidiana.
È richiesta un abbonamento a JoVE per visualizzare questo contenuto. Accedi o inizia la tua prova gratuita.
Articolo metodologico
Paesaggi appresi fotorealistici per la realtà aumentata
* These authors contributed equally
In questo articolo
Sommario
Abstract
La capacità di creare ricostruzioni 3D fotorealistiche di ambienti del mondo reale da immagini a colori standard ha numerose applicazioni in campi come la sanità, l'istruzione e l'industria. Questo articolo presenta un nuovo sistema che integra tecniche avanzate come la struttura dal movimento, la registrazione incrementale della scena e lo splatting gaussiano per ricostruire modelli 3D dettagliati. Questi modelli sono perfettamente integrati negli ambienti di realtà virtuale per consentire un'interazione immersiva. La pipeline inizia con l'acquisizione di immagini a 360 gradi utilizzando un modello basato su matrice per una copertura completa. Le immagini vengono elaborate utilizzando COLMAP per stimare le pose della fotocamera e generare una nuvola di punti sparsa. Gaussian Splatting perfeziona la ricostruzione ottimizzando le posizioni, le forme e l'aspetto dei punti per produrre ambienti 3D altamente realistici. Questi modelli vengono quindi renderizzati in Unity, consentendo l'interazione da parte dei visori VR e supportando funzionalità aggiuntive come avatar guidati da modelli linguistici di grandi dimensioni. Un caso d'uso dimostra la versatilità del sistema. Nel settore sanitario, l'approccio crea spazi virtuali controllati e familiari per la terapia, particolarmente vantaggiosi per le persone con disturbi dello spettro autistico. Gli ambienti immersivi e gli avatar interattivi offrono un ambiente sicuro e confortevole per la terapia personalizzata. Questo sistema offre vantaggi significativi, tra cui un'elevata fedeltà visiva, facilità di acquisizione delle immagini ed esperienze utente coinvolgenti. Tuttavia, permangono delle sfide, come il costo computazionale dello splatting gaussiano e la sua dipendenza da una stima accurata della posa della fotocamera. Superando questi limiti, questo metodo ha il potenziale per trasformare le applicazioni in vari settori, che vanno dagli interventi terapeutici al design industriale e alla conservazione culturale.
Introduzione
La capacità di ricreare e interagire con i paesaggi 3D è diventata fondamentale in molte aree diverse delle applicazioni tecnologiche moderne. Le tecniche tradizionali per la creazione di rappresentazioni virtuali di luoghi reali a volte si basano su modelli rigidi e ad alta intensità di lavoro e misurazioni manuali1. Le tecniche avanzate di visione artificiale sono emerse come opzioni praticabili per la ricostruzione e l'interazione 3D automatizzate al fine di superare queste limitazioni2.
Lo sviluppo di modelli 3D complessi a partire da fotografie a 360 gradi è una caratteristica notevole di questo progresso. È possibile ottenere informazioni spaziali accurate individuando le aree esatte in cui sono state scattate le foto utilizzando strumenti all'avanguardia come COLMAP3. Il processo è ulteriormente migliorato da Gaussian Splatting4, che consente di ricreare impostazioni complicate in 3D con una buona qualità.
L'integrazione di questi modelli 3D nei sistemi di realtà virtuale (VR) apre nuove strade per l'esplorazione e il coinvolgimento oltre la ricostruzione. Per aumentare il coinvolgimento, gli utenti possono misurare oggetti del mondo reale come porte e tavoli, muoversi nello spazio virtuale e persino aggiungere oggetti digitali e avatar. Questi avatar possono produrre risposte dinamiche e interattive utilizzando modelli linguistici di grandi dimensioni (LLM), dando vita a esperienze immersive5.
Questo lavoro presenta una metodologia per creare rappresentazioni tridimensionali di un ambiente del mondo reale utilizzando immagini a colori regolari e visualizzarle all'interno di una configurazione di realtà virtuale. Il sistema si basa su tubazioni di splatting gaussiane e structure-from-motion per uso generale. Il sistema è adatto per la creazione di ulteriori applicazioni nell'edilizia o nella sanità.
La pipeline proposta produce rappresentazioni tridimensionali visivamente realistiche e accattivanti di ambienti reali, che è il suo principale vantaggio. Inoltre, utilizza immagini a colori, che sono molto convenienti rispetto ad altri approcci che richiedono sensori costosi come LiDAR o telecamere a luce strutturata6. La logica alla base della proposta è che la capacità di creare facilmente rappresentazioni tridimensionali visivamente accattivanti ha molte applicazioni. Può essere utilizzato nell'edilizia per il controllo di qualità, nell'assistenza sanitaria per trattare le persone autistiche in un ambiente noto e controllato o nell'intrattenimento per includere una rappresentazione accurata di un luogo reale in un videogioco.
Lo sviluppo di sistemi per la ricostruzione 3D e l'interazione con ambienti virtuali è progredito in modo significativo negli ultimi anni, guidato dall'integrazione delle tecnologie di visione artificiale, apprendimento automatico e realtà virtuale2. I componenti chiave e le metodologie rilevanti per questo lavoro sono descritti di seguito.
La ricostruzione 3D accurata si basa sull'elaborazione delle immagini per estrarre informazioni spaziali e geometriche. I metodi tradizionali come Structure from Motion (SfM)7 e Multi-View Stereo (MVS)8 sono stati ampiamente utilizzati per stimare le pose della telecamera e generare nuvole di punti dense. Strumenti come COLMAP sono riconosciuti per la loro robustezza nell'esecuzione di queste attività, combinando SfM e MVS per produrre modelli 3D altamente accurati da set di dati di immagini. Tuttavia, permangono limitazioni nella gestione di illuminazione complessa, texture e ambienti altamente dinamici.
I recenti progressi includono Gaussian Splatting9, che utilizza una rappresentazione basata su punti per produrre ricostruzioni fotorealistiche con maggiore efficienza rispetto ai tradizionali metodi basati su mesh. Lo splatting gaussiano consente una visualizzazione più fluida e una rappresentazione spaziale più accurata, in particolare nelle scene con dettagli complessi.
Una volta ricostruiti i modelli 3D, trasformarli in formati compatibili con la realtà virtuale è fondamentale per un'interazione immersiva. L'uso dei sistemi VR si è esteso oltre l'intrattenimento in aree come l'istruzione, la sanitàe il design industriale. I moderni framework VR consentono una navigazione senza interruzioni, l'interazione con gli oggetti digitali e un maggiore realismo, rendendoli adatti per applicazioni che richiedono un elevato coinvolgimento degli utenti.
L'integrazione di funzionalità interattive come oggetti virtuali e avatar migliora significativamente la funzionalità e la profondità dei sistemi di realtà virtuale (VR). Gli avatar basati su Large Language Models (LLM) facilitano interazioni conversazionali realistiche, consentendo esperienze utente dinamiche e adattive. In particolare, queste tecnologie hanno mostrato potenzialità in contesti terapeutici, consentendo interazioni su misura in base al comportamento dell'utente o allo stato emotivo. Ad esempio, questo studio11 ha sviluppato un'applicazione VR che utilizza avatar come chatbot alimentati da LLM per formare le persone autistiche nelle abilità di comunicazione professionale, evidenziando l'adattabilità degli avatar alimentati da LLM in terapia. Inoltre, gli LLM sono stati incorporati in ambienti di realtà aumentata per promuovere l'inclusione e il coinvolgimento, supportando ulteriormente il potenziale terapeutico degli avatar basati su LLM.
Gli ambienti virtuali sono sempre più utilizzati in contesti terapeutici, in particolare per le persone con disturbo dello spettro autistico (ASD). Gli studi dimostrano che gli spazi virtuali familiari e controllati possono ridurre l'ansia e aumentare il coinvolgimento durante le sessioni di terapia11. Gli avatar in questi ambienti possono fungere da facilitatori, fornendo la terapia in un modo che si senta sicuro e accessibile al paziente.
Nonostante i progressi, permangono delle sfide, tra cui il costo computazionale della ricostruzione 3D, il mantenimento dell'alta fedeltà negli ambienti virtuali e la garanzia di un'integrazione fluida tra i sistemi. Tuttavia, il continuo sviluppo di algoritmi e hardware più efficienti, nonché i progressi negli strumenti basati sull'intelligenza artificiale, offrono opportunità per ulteriori innovazioni in questo settore. Questo articolo presenta un nuovo sistema per la ricostruzione 3D e l'interazione con ambienti virtuali utilizzando immagini a 360 gradi. L'approccio integra tecniche come la localizzazione delle immagini tramite COLMAP, la ricostruzione di alta qualità tramite splatting gaussiano e la compatibilità VR per l'esplorazione immersiva. Incorporando oggetti digitali e avatar interattivi alimentati da LLM, il sistema consente applicazioni di terapia personalizzata per individui con ASD e verifica del progetto di costruzione. Questi strumenti forniscono un quadro completo per la creazione di ambienti virtuali adattivi che migliorano sia le pratiche terapeutiche che quelle industriali. La Figura 1 mostra la pipeline della proposta.
Figura 1: Pipeline di sistema. Schema della pipeline proposta per la ricostruzione fotorealistica dell'ambiente composto dall'ambiente reale, dalle immagini a 360°, dalle proiezioni ottenute, dal processo SfM, dal processo di Splatting gaussiano e dall'integrazione con la Realtà Virtuale. Clicca qui per visualizzare una versione più grande di questa figura.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Protocollo
1. Acquisizione dell'immagine
- Posiziona la fotocamera a 360° su un treppiede con altezza regolabile. Selezionare una serie di posizioni all'interno dell'ambiente da scansionare, seguendo uno schema a maglie quadrate in cui ogni bordo è distanziato di 1,5 m l'uno dall'altro.
- Acquisisci immagini a tre diverse altezze in ogni punto selezionato della mesh: circa 0,4 m, 1,2 m e 2 m.
- Converti le immagini a 360° in immagini in formato equirettangolare. Usa l'app Ista360, per esempio. Seleziona l'immagine, premi il pulsante Esporta , scegli la modalità foto Esporta 360 ed esportala come immagine con rapporto 2:1.
- Estrai immagini prospettiche in formato 16:9 da ogni immagine equirettangolare con un campo visivo orizzontale di 90°. Utilizzare i seguenti angoli orizzontali per tutte le immagini: 0, 45, 90, 135, 180, 225, 270, 315. Per le immagini scattate a un'altezza di 0,4 m, utilizzare gli angoli verticali 0, 50. Per le immagini scattate a un'altezza di 1,2 m, utilizzare gli angoli verticali -50, 0, 50. Per le immagini scattate a un'altezza di 2 m, utilizzare gli angoli verticali -50, 0. Per il processo di estrazione, utilizzare lo script Python Equi2Pers.py (File di codifica supplementare 1; Figura 2).
Figura 2: Immagini equirettangolari a proiezioni. Diagramma di come un'immagine equirettangolare viene convertita in una proiezione su mappa cubica. Clicca qui per visualizzare una versione più grande di questa figura.
2. Stima della posa della fotocamera con COLMAP
- Creare un nuovo progetto COLMAP facendo clic su File > nuovo progetto, quindi specificare il percorso delle immagini e creare un nuovo database.
- Estrai le caratteristiche per ogni immagine facendo clic su Elaborazione > Estrazione funzionalità, selezionando PINHOLE come modello di fotocamera e condividendo per tutte le immagini. Lasciate i parametri rimanenti come predefiniti. Nelle aree con molta consistenza, max_num_features possono essere ridotte per aumentare l'efficienza del metodo.
- Per eseguire la corrispondenza delle funzionalità, fare clic su Elaborazione > Corrispondenza funzionalità utilizzando i parametri predefiniti.
- Calcola SfM facendo clic su Ricostruzione > Avvia ricostruzione per ottenere le posizioni e gli orientamenti della telecamera, utilizzando i parametri COLMAP predefiniti.
- Ridurre al minimo gli errori di riproiezione utilizzando la regolazione del bundle facendo clic su Ricostruzione > Regolazione bundle.
- Genera una rappresentazione 3D densa della scena facendo clic su Ricostruzione > Ricostruzione densa, con output che includono pose della fotocamera e punti ricostruiti.
3. Ricostruzione fotorealistica di scene 3D mediante splatting gaussiano (GS)
- Esegue il file train.py con i parametri -s, -m e -r, dove -s specifica il percorso del progetto COLMAP, -m definisce il percorso di output per lo splatting gaussiano (se non specificato, ne viene generato uno predefinito) e -r ridimensiona le immagini, tipicamente impostato tra 2 e 4.
NOTA: Il file train.py si trova nel repository ufficiale di Gaussian Splatting https://github.com/graphdeco-inria/gaussian-splatting. - Individuare il file con estensione ply generato da Gaussian Splatting nel percorso di output per un uso successivo in Unity.
4. Rendering in realtà virtuale con Unity e splatting gaussiano
- Collegare il visore VR al computer. Questo metodo dipende dal visore VR utilizzato.
- Usare Unity Hub per creare un progetto 3D con la versione 2022.3.44f1. Installa Unity versione 2022.3.44f1 se necessario. Vai su Progetti > Nuovo progetto, seleziona la versione 2022.3.44f1 e il modello 3D (Core), imposta un nome e una posizione per il progetto e fai clic su Crea progetto per generarlo con le impostazioni predefinite.
- Installa un plug-in per gestire il visore VR e semplificare lo sviluppo delle applicazioni, comprese attività come l'accesso al joystick e il tracciamento oculare. A tale scopo, eseguire questa operazione tramite l'archivio di asset di Unity utilizzando Gestione pacchetti facendo clic su Finestra > Gestione pacchetti.
- Utilizza il plug-in UnityGaussianSplatting per generare un asset dall'output di Gaussian Splatting. A tale scopo, eseguire questa operazione tramite l'archivio di risorse di Unity utilizzando Gestione pacchetti. Per generare questo asset, passare a Strumenti > GaussianSplats > Crea GaussianSplatAsset e fornire il file .ply generato da Gaussian Splatting.
- Utilizza il plug-in UltraLeap per migliorare il rilevamento delle mani, migliorando l'interazione con l'utente. Per installarlo, vai su Unity Asset Store > Package Manager e fai clic su Window > Package Manager.
- Utilizza il plug-in whisper.unity per trascrivere l'audio acquisito dal microfono del visore VR. Installarlo come descritto nel passaggio 4.5.
- Utilizza un modello LLM per generare risposte. Installa il plug-in LLMUnity per abilitare l'uso di questo LLM. Installarlo come descritto nel passaggio 4.5.
- Crea un GameObject vuoto e aggiungi uno script LLM, quindi fai clic sul pulsante Scarica modello per selezionare un modello predefinito. Per i caratteri, aggiungere un oggetto vuoto e allegare lo script LLMCharacter ad esso, dove è possibile specificare il nome e il ruolo.
- Usa l'SDK Meta - Voice per generare l'audio dalla risposta prodotta da LLM. A tale scopo, installare un plug-in Text-to-Speech tramite l'Unity Asset Store utilizzando Gestione pacchetti facendo clic su Finestra > Gestione pacchetti.
- Usa i visori VR per consentire un'interazione coinvolgente.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Risultati
In questa sezione vengono discussi i risultati rappresentativi, i punti di forza e i limiti della pipeline proposta. I risultati dell'applicazione del metodo proposto sono i seguenti. La Figura 3 mostra la posizione della telecamera (in rosso) e la nuvola di punti densa. Gruppi di fotocamere con origini comuni rappresentano proiezioni dalla stessa immagine equirettangolare.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Discussione
Questo studio presenta una nuova metodologia per la ricostruzione 3D fotorealistica e l'interazione con l'ambiente virtuale utilizzando immagini a 360 gradi e tecniche di rendering avanzate. I passaggi critici, le sfide e le implicazioni del sistema proposto sono discussi di seguito.
Passaggi critici
Uno dei passaggi chiave nella pipeline proposta è l'acquisizione delle immagini. Utilizzando una telecamera a 360 gradi posizionata a varie al...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Dichiarazioni
Gli autori dichiarano di non avere interessi finanziari concorrenti noti o relazioni personali che possano aver influenzato il lavoro riportato in questo articolo.
Ringraziamenti
Questo articolo fa parte della sovvenzione PID2022-138453OB-I00 finanziata da MICIU/AEI/ 10.13039/501100011033 e dal FESR A way of make Europe.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Materiali
| Nome | Azienda | Numero di catalogo | Commenti |
|---|---|---|---|
| Schede grafiche NVIDIA GeForce RTX 2080 | NVIDIA | TU104-400A | Dispositivo per l'elaborazione e la ricostruzione delle immagini |
| Insta360 X4 | Insta360 | CINSABMA-H | Dispositivo di acquisizione dati per la ricostruzione |
| Meta Quest III | Meta | 899-00582-01 | Dispositivo per la visualizzazione e l'interazione con la ricostruzione |
| Scheda di Memoria Evo Plus 128 GB | S.r. | MB-MC128KA/UE | Scheda di memoria per 360 gradi Archiviazione foto |
Riferimenti
- Zollmann, S., et al. Augmented Reality for Construction Site Monitoring and Documentation. Proceedings IEEE. 102 (2), 137-154 (2012).
- Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. A comprehensive review of vision-based 3d reconstruction methods. Sensors. 24 (7), 2314(2024).
- Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).
- Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. 3d gaussian splatting for real-time radiance field rendering. ACM Trans. Graph. 42 (4), 139-141 (2023).
- Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).
- Remondino, F., El-Hakim, S. Image-based 3D modelling: A review. Photogrammet Record. 21 (115), 269-291 (2006).
- Özyeşil, O., Voroninski, V., Basri, R., Singer, A. A survey of structure from motion. Acta Numerica. 26, 305-364 (2017).
- Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).
- Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review. IEEE Access. 12, 96797-96820 (2024).
- Zhang, M., Ding, H., Naumceska, M., Zhang, Y. Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions. Behav Sci. 12 (5), 138(2023).
- Failla, C., et al. Virtual reality for autism: unlocking learning and growth. Front Psychol. 15, 1417717(2024).
- Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. arXiv. , (2024).
- Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. arXiv. , (2025).
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Ristampe e permessi
