Dit artikel presenteert een systeem voor fotorealistische 3D-reconstructie met behulp van 360-gradenbeelden, Gaussiaanse Splatting en virtual reality-integratie. De aanpak kan worden toegepast op verschillende toepassingen, zoals onderwijs, het simuleren van leeromgevingen; constructie, om werken off-sites te simuleren en statistieken op te halen; of gezondheidszorg, om autistische mensen te trainen in dagelijkse taken.
Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.
Methodenartikel
Fotorealistische geleerde landschappen voor augmented reality
* These authors contributed equally
In dit artikel
Samenvatting
Samenvatting
De mogelijkheid om fotorealistische 3D-reconstructies van echte omgevingen te maken op basis van standaard kleurenafbeeldingen heeft tal van toepassingen in sectoren zoals de gezondheidszorg, het onderwijs en de industrie. Dit artikel presenteert een nieuw systeem dat geavanceerde technieken integreert, zoals structuur uit beweging, incrementele scèneregistratie en Gaussiaanse splatting om gedetailleerde 3D-modellen te reconstrueren. Deze modellen zijn naadloos geïntegreerd in virtual reality-omgevingen om meeslepende interactie mogelijk te maken. De pijplijn begint met het vastleggen van 360-gradenbeelden met behulp van een op matrix gebaseerd patroon voor uitgebreide dekking. De beelden worden verwerkt met behulp van COLMAP om cameraposes in te schatten en een schaarse puntenwolk te genereren. Gaussian Splatting verfijnt de reconstructie door de posities, vormen en het uiterlijk van de punten te optimaliseren om zeer realistische 3D-omgevingen te produceren. Deze modellen worden vervolgens gerenderd in Unity, waardoor interactie door VR-headsets mogelijk is en extra functies worden ondersteund, zoals avatars die worden aangestuurd door grote taalmodellen. Eén use case demonstreert de veelzijdigheid van het systeem. In de gezondheidszorg creëert de aanpak gecontroleerde, vertrouwde virtuele ruimtes voor therapie, vooral gunstig voor mensen met autismespectrumstoornissen. De meeslepende omgevingen en interactieve avatars bieden een veilige en comfortabele omgeving voor gepersonaliseerde therapie. Dit systeem biedt aanzienlijke voordelen, waaronder een hoge visuele getrouwheid, gemakkelijke beeldacquisitie en meeslepende gebruikerservaringen. Er blijven echter uitdagingen, zoals de rekenkosten van Gaussiaanse splatting en de afhankelijkheid van een nauwkeurige schatting van de camerahouding. Door deze beperkingen te overwinnen, heeft deze methode het potentieel om toepassingen in verschillende domeinen te transformeren, variërend van therapeutische interventies tot industrieel ontwerp en cultureel behoud.
Inleiding
Het vermogen om 3D-landschappen na te bootsen en ermee te interageren is van cruciaal belang geworden op veel verschillende gebieden van moderne technologische toepassingen. Traditionele technieken voor het maken van virtuele representaties van echte locaties zijn soms gebaseerd op arbeidsintensieve, rigide modellen en handmatige metingen1. Geavanceerde computervisietechnieken zijn naar voren gekomen als haalbare opties voor geautomatiseerde 3D-reconstructie en interactie om deze beperkingen te overwinnen2.
De ontwikkeling van complexe 3D-modellen op basis van 360-gradenfoto's is een opmerkelijk kenmerk van deze vooruitgang. Nauwkeurige ruimtelijke informatie kan worden verkregen door de exacte gebieden aan te wijzen waarin de foto's zijn gemaakt met behulp van state-of-the-art tools zoals COLMAP3. Het proces wordt verder verbeterd door Gaussian Splatting4, waarmee gecompliceerde instellingen in 3D met een goede kwaliteit kunnen worden nagebootst.
Het opnemen van deze 3D-modellen in Virtual Reality (VR)-systemen opent nieuwe wegen voor verkenning en betrokkenheid die verder gaan dan reconstructie. Om de betrokkenheid te vergroten, kunnen gebruikers objecten uit de echte wereld, zoals deuren en tafels, in de virtuele ruimte bewegen en zelfs digitale objecten en avatars toevoegen. Deze avatars kunnen dynamische en interactieve reacties produceren met behulp van Large Language Models (LLM's), wat resulteert in meeslepende ervaringen5.
Dit werk presenteert een methodologie om driedimensionale representaties van een echte omgeving te creëren met behulp van gewone kleurenafbeeldingen en deze weer te geven in een virtual reality-opstelling. Het systeem is gebaseerd op structuur-uit-beweging en Gaussiaanse splatting-pijpleidingen voor algemeen gebruik. Het systeem is geschikt voor het creëren van verdere toepassingen in de bouw of gezondheidszorg.
De voorgestelde pijplijn produceert visueel realistische en aantrekkelijke driedimensionale representaties van echte omgevingen, wat het belangrijkste voordeel is. Bovendien maakt het gebruik van kleurenafbeeldingen, die erg handig zijn in vergelijking met andere benaderingen die dure sensoren vereisen, zoals LiDAR's of camera's met gestructureerd licht6. De grondgedachte achter het voorstel is dat de mogelijkheid om eenvoudig visueel aantrekkelijke driedimensionale representaties te maken vele toepassingen heeft. Het kan worden gebruikt in de bouw voor kwaliteitscontrole, in de gezondheidszorg om autistische mensen te behandelen in een bekende en gecontroleerde omgeving, of in entertainment om een nauwkeurige weergave van een echte locatie in een videogame op te nemen.
De ontwikkeling van systemen voor 3D-reconstructie en interactie met virtuele omgevingen is de afgelopen jaren aanzienlijk gevorderd, gedreven door de integratie van computervisie, machine learning en virtual reality-technologieën2. De belangrijkste componenten en methodologieën die relevant zijn voor dit werk worden hieronder beschreven.
Nauwkeurige 3D-reconstructie is afhankelijk van beeldverwerking om ruimtelijke en geometrische informatie te extraheren. Traditionele methoden zoals Structure from Motion (SfM)7 en Multi-View Stereo (MVS)8 worden veel gebruikt om cameraposes te schatten en dichte puntenwolken te genereren. Tools zoals COLMAP staan bekend om hun robuustheid bij het uitvoeren van deze taken, waarbij SfM en MVS worden gecombineerd om zeer nauwkeurige 3D-modellen te produceren op basis van beelddatasets. Er blijven echter beperkingen bestaan in het omgaan met complexe belichting, texturen en zeer dynamische omgevingen.
Recente ontwikkelingen zijn onder meer Gaussian Splatting9, dat een op punten gebaseerde representatie gebruikt om fotorealistische reconstructies te produceren met een grotere efficiëntie dan traditionele op mesh gebaseerde methoden. Gaussiaanse splatting zorgt voor een vloeiendere visualisatie en een nauwkeurigere ruimtelijke weergave, vooral in scènes met ingewikkelde details.
Zodra de 3D-modellen zijn gereconstrueerd, is het transformeren ervan in VR-compatibele formaten cruciaal voor meeslepende interactie. Het gebruik van VR-systemen is verder gegaan dan entertainment en heeft zich ook beziggehouden met onderwijs, gezondheidszorg10 en industrieel ontwerp. Moderne VR-frameworks maken naadloze navigatie, interactie met digitale objecten en verbeterd realisme mogelijk, waardoor ze geschikt zijn voor toepassingen die een hoge gebruikersbetrokkenheid vereisen.
De integratie van interactieve functies zoals virtuele objecten en avatars verbetert de functionaliteit en diepte van virtual reality (VR)-systemen aanzienlijk. Avatars aangedreven door Large Language Models (LLM's) vergemakkelijken realistische gespreksinteracties, waardoor dynamische en adaptieve gebruikerservaringen mogelijk worden. Deze technologieën hebben met name potentieel getoond in therapeutische contexten, waardoor op maat gemaakte interacties mogelijk zijn op basis van gebruikersgedrag of emotionele toestand. Deze studie11 ontwikkelde bijvoorbeeld een VR-applicatie met behulp van avatars als chatbots, aangedreven door LLM's om autistische personen te trainen in beroepscommunicatieve vaardigheden, waarbij het aanpassingsvermogen van LLM-aangedreven avatars in therapie wordt benadrukt. Bovendien werden LLM's ingebed in augmented reality-omgevingen om inclusie en betrokkenheid te bevorderen, waardoor het therapeutisch potentieel van LLM-gestuurde avatars verder werd ondersteund.
Virtuele omgevingen worden steeds vaker gebruikt in therapeutische omgevingen, met name voor personen met een autismespectrumstoornis (ASS). Studies tonen aan dat vertrouwde en gecontroleerde virtuele ruimtes angst kunnen verminderen en de betrokkenheid tijdens therapiesessies kunnen vergroten11. Avatars in deze omgevingen kunnen fungeren als facilitators en therapie geven op een manier die veilig en toegankelijk aanvoelt voor de patiënt.
Ondanks de vooruitgang blijven er uitdagingen, waaronder de rekenkosten van 3D-reconstructie, het behouden van hoge betrouwbaarheid in virtuele omgevingen en het zorgen voor een soepele integratie tussen systemen. De voortdurende ontwikkeling van efficiëntere algoritmen en hardware, evenals de vooruitgang in AI-gestuurde tools, biedt echter kansen voor verdere innovatie op dit gebied. Dit artikel presenteert een nieuw systeem voor 3D-reconstructie en interactie met virtuele omgevingen met behulp van 360-gradenbeelden. De aanpak integreert technieken zoals beeldlokalisatie met behulp van COLMAP, hoogwaardige reconstructie met behulp van Gaussiaanse splatting en VR-compatibiliteit voor meeslepende verkenning. Door digitale objecten en interactieve avatars te integreren, mogelijk gemaakt door LLM's, maakt het systeem toepassingen mogelijk in gepersonaliseerde therapie voor personen met ASS en verificatie van bouwprojecten. Deze tools bieden een uitgebreid kader voor het creëren van adaptieve virtuele omgevingen die zowel therapeutische als industriële praktijken verbeteren. Figuur 1 toont de pijplijn van voorstellen.
Figuur 1: Systeempijplijn. Diagram van de voorgestelde pijplijn voor fotorealistische reconstructie van de omgeving, samengesteld uit de echte omgeving, de 360°-beelden, de verkregen projecties, het SfM-proces, het Gaussiaanse Splatting-proces en de integratie met Virtual Reality. Klik hier om een grotere versie van deze figuur te bekijken.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Protocol
1. Afbeelding vastleggen
- Plaats de 360° camera op een statief dat in hoogte verstelbaar is. Selecteer een reeks posities in de omgeving die moet worden gescand, volgens een vierkant maaspatroon waarbij elke rand 1,5 m uit elkaar staat.
- Leg beelden vast op drie verschillende hoogtes op elk geselecteerd punt van het net: ongeveer 0,4 m, 1,2 m en 2 m.
- Converteer de 360°-afbeeldingen naar afbeeldingen in rechthoekig formaat. Gebruik bijvoorbeeld de Ista360-app. Selecteer de afbeelding, druk op de knop Exporteren , kies de 360-fotomodus exporteren en exporteer deze als een afbeelding met een verhouding van 2:1.
- Extraheer perspectiefafbeeldingen in 16:9-formaat uit elke rechthoekige afbeelding met een horizontaal gezichtsveld van 90°. Gebruik de volgende horizontale hoeken voor alle afbeeldingen: 0, 45, 90, 135, 180, 225, 270, 315. Gebruik voor foto's die op een hoogte van 0,4 m zijn gemaakt de verticale hoeken 0, 50. Gebruik voor foto's die op een hoogte van 1,2 m zijn gemaakt verticale hoeken -50, 0, 50. Gebruik voor foto's die op een hoogte van 2 m zijn gemaakt verticale hoeken -50, 0. Gebruik voor het extractieproces het Equi2Pers.py Python-script (Supplementary Coding File 1; Figuur 2).
Figuur 2: Gelijkhoekige beelden naar projecties. Diagram van hoe een rechthoekig beeld wordt geconverteerd naar een kubusvormige projectie. Klik hier om een grotere versie van deze figuur te bekijken.
2. Schatting van de camerahouding met COLMAP
- Maak een nieuw COLMAP-project door te klikken op Bestand > nieuw project, geef vervolgens het pad naar de afbeeldingen op en maak een nieuwe database.
- Extraheer functies voor elke afbeelding door te klikken op Processing > Feature Extraction, PINHOLE te selecteren als cameramodel en te delen voor alle afbeeldingen. Laat de overige parameters als standaard staan. In gebieden met veel textuur kan max_num_features worden verminderd om de efficiëntie van de methode te verhogen.
- Voer functieovereenkomsten uit door te klikken op Verwerken > Functieovereenkomsten met behulp van de standaardparameters.
- Bereken SfM door op Reconstructie > Reconstructie starten te klikken om de cameraposities en -oriëntaties op te halen, met behulp van de standaard COLMAP-parameters.
- Minimaliseer de herprojectiefouten met behulp van bundelaanpassing door te klikken op Reconstructie > Bundelaanpassing.
- Genereer een dichte 3D-weergave van de scène door te klikken op Reconstructie > dichte reconstructie, met uitvoer inclusief cameraposes en gereconstrueerde punten.
3. Fotorealistische 3D-scènereconstructie met behulp van Gaussiaanse splatting (GS)
- Voer het train.py bestand uit met de parameters -s, -m en -r, waarbij -s het COLMAP-projectpad aangeeft, -m het uitvoerpad voor Gaussiaanse splatting definieert (indien niet opgegeven, wordt een standaardpad gegenereerd) en -r de afbeeldingen opnieuw schaalt, meestal ingesteld tussen 2 en 4.
OPMERKING: Het bestand train.py bevindt zich in de officiële repository van Gaussian Splatting https://github.com/graphdeco-inria/gaussian-splatting. - Zoek het .ply-bestand dat is gegenereerd door Gaussian Splatting in het uitvoerpad voor later gebruik in Unity.
4. Rendering in virtual reality met Unity en Gaussiaanse splatting
- Sluit de VR-headset aan op de computer. Deze methode is afhankelijk van de gebruikte VR-headset.
- Gebruik Unity Hub om een 3D-project te maken met versie 2022.3.44f1. Installeer indien nodig Unity-versie 2022.3.44f1. Ga naar Projecten > nieuw project, selecteer versie 2022.3.44f1 en de 3D-sjabloon (kernsjabloon), stel een projectnaam en locatie in en klik op Project maken om het met standaardinstellingen te genereren.
- Installeer een plug-in om VR-headset te beheren en de ontwikkeling van applicaties te vereenvoudigen, inclusief taken zoals toegang tot de joystick en eye-tracking. Doe dit via de Unity Asset Store met behulp van de Package Manager door op Venster > Package Manager te klikken.
- Gebruik de UnityGaussianSplatting-plug-in om een asset te genereren op basis van de Gaussiaanse Splatting-uitvoer. Doe dit via de Unity Asset Store met behulp van de Package Manager. Als u dit item wilt genereren, gaat u naar Tools > GaussianSplats > GaussianSplatAsset maken en geeft u het .ply-bestand op dat is gegenereerd door Gaussian Splatting.
- Gebruik de UltraLeap-plug-in om handdetectie te verbeteren en de interactie met de gebruiker te verbeteren. Om dit te installeren, gaat u naar Unity Asset Store > Package Manager en klikt u op Window > Package Manager.
- Gebruik de whisper.unity-plug-in om audio te transcriberen die is vastgelegd door de microfoon van de VR-headset. Installeer dit zoals beschreven in stap 4.5.
- Gebruik een LLM-model om antwoorden te genereren. Installeer de LLMUnity-plug-in om het gebruik van deze LLM mogelijk te maken. Installeer dit zoals beschreven in stap 4.5.
- Maak een leeg GameObject en voeg een LLM-script toe en klik vervolgens op de knop Model downloaden om een standaardmodel te selecteren. Voeg voor de tekens een leeg object toe en koppel er het LLMCharacter-script aan, waar de naam en rol kunnen worden opgegeven.
- Gebruik de Meta - Voice SDK om audio te genereren op basis van het antwoord dat door LLM wordt geproduceerd. Om dit te bereiken, installeert u een tekst-naar-spraak-plug-in via de Unity Asset Store met behulp van de Package Manager door op Window > Package Manager te klikken.
- Gebruik VR-headsets om meeslepende interactie mogelijk te maken.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Resultaten
In dit deel worden representatieve resultaten, sterke punten en beperkingen van de voorgestelde pijplijn besproken. De resultaten van de toepassing van de voorgestelde methode zijn als volgt. Figuur 3 toont de camerapositie (in rood) en de dichte puntenwolk. Groepen camera's met een gemeenschappelijke oorsprong vertegenwoordigen projecties van hetzelfde rechthoekige beeld.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Discussie
Deze studie presenteert een nieuwe methodologie voor fotorealistische 3D-reconstructie en interactie met virtuele omgevingen met behulp van 360-gradenbeelden en geavanceerde renderingtechnieken. De kritieke stappen, uitdagingen en implicaties van het voorgestelde systeem worden hieronder besproken.
Kritieke stappen
Een van de belangrijkste stappen in de voorgestelde pijplijn is het vastleggen van afbeeldingen. Met behulp van een 360-gradenc...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Openbaarmakingen
De auteurs verklaren dat ze geen concurrerende financiële belangen of persoonlijke relaties hebben die van invloed zouden kunnen zijn geweest op het werk dat in dit artikel wordt gerapporteerd.
Dankbetuigingen
Dit document maakt deel uit van de subsidie PID2022-138453OB-I00 gefinancierd door MICIU/AEI/ 10.13039/501100011033 en door EFRO A way of making Europe.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| GPUs NVIDIA GeForce RTX 2080 | NVIDIA | TU104-400A | Apparaat voor beeldverwerking en reconstructie |
| Insta360 X4 | Insta360 | CINSABMA-H | Gegevensverzamelapparaat voor reconstructie |
| Meta Quest III | Meta | 899-00582-01 | Apparaat voor het visualiseren en interactie met de reconstructie |
| Memory Card Evo Plus 128 GB | Samsung | MB-MC128KA/EU | geheugenkaart voor 360° foto-opslag |
Referenties
- Zollmann, S., et al. Augmented Reality for Construction Site Monitoring and Documentation. Proceedings IEEE. 102 (2), 137-154 (2012).
- Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. A comprehensive review of vision-based 3d reconstruction methods. Sensors. 24 (7), 2314(2024).
- Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).
- Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. 3d gaussian splatting for real-time radiance field rendering. ACM Trans. Graph. 42 (4), 139-141 (2023).
- Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).
- Remondino, F., El-Hakim, S. Image-based 3D modelling: A review. Photogrammet Record. 21 (115), 269-291 (2006).
- Özyeşil, O., Voroninski, V., Basri, R., Singer, A. A survey of structure from motion. Acta Numerica. 26, 305-364 (2017).
- Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).
- Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review. IEEE Access. 12, 96797-96820 (2024).
- Zhang, M., Ding, H., Naumceska, M., Zhang, Y. Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions. Behav Sci. 12 (5), 138(2023).
- Failla, C., et al. Virtual reality for autism: unlocking learning and growth. Front Psychol. 15, 1417717(2024).
- Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. arXiv. , (2024).
- Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. arXiv. , (2025).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Herprints en machtigingen
