Cet article présente un système de reconstruction 3D photoréaliste à l’aide d’images à 360 degrés, de projections gaussiennes et d’intégration de la réalité virtuelle. L’approche peut être appliquée à différentes applications telles que l’éducation, la simulation d’environnements d’apprentissage ; la construction, pour simuler des travaux hors site et récupérer des métriques ; ou la santé, pour former les personnes autistes aux tâches de la vie quotidienne.
Un abonnement JoVE est requis pour visualiser ce contenu. Connectez-vous ou commencez votre période d'essai gratuite.
Article de méthode
Paysages savants photoréalistes pour la réalité augmentée
* These authors contributed equally
Dans cet article
Résumé
Résumé
La possibilité de créer des reconstructions 3D photoréalistes d’environnements réels à partir d’images couleur standard a de nombreuses applications dans des domaines tels que la santé, l’éducation et l’industrie. Cet article présente un nouveau système qui intègre des techniques avancées telles que la structure à partir du mouvement, l’enregistrement incrémentiel de scènes et le gaussian splatting pour reconstruire des modèles 3D détaillés. Ces modèles sont intégrés de manière transparente dans des environnements de réalité virtuelle pour permettre une interaction immersive. Le pipeline commence par la capture d’images à 360 degrés à l’aide d’un modèle matriciel pour une couverture complète. Les images sont traitées à l’aide de COLMAP pour estimer les poses de la caméra et générer un nuage de points clairsemé. Le Gaussian Splatting affine la reconstruction en optimisant les positions, les formes et l’apparence des points pour produire des environnements 3D très réalistes. Ces modèles sont ensuite rendus dans Unity, ce qui permet l’interaction avec les casques VR et prend en charge des fonctionnalités supplémentaires telles que des avatars pilotés par de grands modèles de langage. Un cas d’utilisation démontre la polyvalence du système. Dans le domaine de la santé, l’approche crée des espaces virtuels contrôlés et familiers pour la thérapie, particulièrement bénéfiques pour les personnes atteintes de troubles du spectre autistique. Les environnements immersifs et les avatars interactifs offrent un environnement sûr et confortable pour une thérapie personnalisée. Ce système offre des avantages significatifs, notamment une grande fidélité visuelle, une facilité d’acquisition d’images et des expériences utilisateur immersives. Cependant, des défis subsistent, tels que le coût de calcul du Gaussian Splatting et sa dépendance à l’estimation précise de la pose de la caméra. En surmontant ces limites, cette méthode a le potentiel de transformer les applications dans divers domaines, allant des interventions thérapeutiques au design industriel et à la préservation culturelle.
Introduction
La capacité de recréer et d’interagir avec des paysages 3D est devenue essentielle dans de nombreux domaines différents des applications technologiques modernes. Les techniques traditionnelles de création de représentations virtuelles de lieux réels reposent parfois sur des modèles rigides et à forte intensité de main-d’œuvre et sur des mesures manuelles1. Les techniques avancées de vision par ordinateur sont apparues comme des options viables pour la reconstruction et l’interaction 3D automatisées afin de surmonter ces limitations2.
Le développement de modèles 3D complexes à partir de photographies à 360 degrés est une caractéristique notable de ces progrès. Des informations spatiales précises peuvent être obtenues en localisant les zones exactes dans lesquelles les photos ont été prises à l’aide d’outils de pointe tels que COLMAP3. Le processus est encore amélioré par Gaussian Splatting4, qui permet de recréer des décors complexes en 3D avec une bonne qualité.
L’intégration de ces modèles 3D dans des systèmes de réalité virtuelle (VR) ouvre de nouvelles voies d’exploration et d’engagement au-delà de la reconstruction. Pour augmenter l’engagement, les utilisateurs peuvent mesurer des objets du monde réel tels que des portes et des tables, se déplacer dans l’espace virtuel et même ajouter des objets numériques et des avatars. Ces avatars peuvent produire des réponses dynamiques et interactives à l’aide de grands modèles de langage (LLM), ce qui permet de vivre des expériences immersives5.
Ce travail présente une méthodologie permettant de créer des représentations tridimensionnelles d’un environnement réel à l’aide d’images en couleur régulières et de les afficher dans une configuration de réalité virtuelle. Le système s’appuie sur des pipelines de structure à partir du mouvement et de pulvérisation gaussienne. Le système est adapté à la création d’autres applications dans la construction ou les soins de santé.
Le pipeline proposé produit des représentations tridimensionnelles visuellement réalistes et attrayantes d’environnements réels, ce qui constitue son principal avantage. De plus, il utilise des images couleur, ce qui est très pratique par rapport à d’autres approches qui nécessitent des capteurs coûteux tels que les LiDAR ou les caméras à lumière structurée6. La raison d’être de la proposition est que la capacité de créer facilement des représentations tridimensionnelles visuellement attrayantes a de nombreuses applications. Il peut être utilisé dans la construction pour le contrôle de la qualité, dans les soins de santé pour traiter les personnes autistes dans un environnement connu et contrôlé, ou dans le divertissement pour inclure une représentation précise d’un lieu réel dans un jeu vidéo.
Le développement de systèmes de reconstruction 3D et d’interaction avec des environnements virtuels a considérablement progressé ces dernières années, sous l’impulsion de l’intégration de la vision par ordinateur, de l’apprentissage automatique et des technologies de réalité virtuelle2. Les principaux éléments et méthodologies pertinents pour ce travail sont décrits ci-dessous.
La reconstruction 3D précise s’appuie sur le traitement d’image pour extraire des informations spatiales et géométriques. Les méthodes traditionnelles telles que Structure from Motion (SfM)7 et Multi-View Stereo (MVS)8 ont été largement utilisées pour estimer les poses de caméra et générer des nuages de points denses. Des outils tels que COLMAP sont reconnus pour leur robustesse dans l’exécution de ces tâches, combinant SfM et MVS pour produire des modèles 3D très précis à partir de jeux de données d’images. Cependant, des limites subsistent dans la gestion d’un éclairage complexe, de textures et d’environnements très dynamiques.
Parmi les avancées récentes, citons le Gaussian Splatting9, qui utilise une représentation basée sur des points pour produire des reconstructions photoréalistes avec une plus grande efficacité que les méthodes traditionnelles basées sur le maillage. Le gaussian splatting permet une visualisation plus fluide et une représentation spatiale plus précise, en particulier dans les scènes aux détails complexes.
Une fois les modèles 3D reconstruits, leur transformation dans des formats compatibles VR est cruciale pour une interaction immersive. L’utilisation des systèmes de RV s’est étendue au-delà du divertissement dans des domaines tels que l’éducation, les soins de santéet le design industriel. Les frameworks VR modernes permettent une navigation fluide, une interaction avec les objets numériques et un réalisme amélioré, ce qui les rend adaptés aux applications nécessitant un fort engagement de l’utilisateur.
L’intégration de fonctionnalités interactives telles que des objets virtuels et des avatars améliore considérablement la fonctionnalité et la profondeur des systèmes de réalité virtuelle (VR). Les avatars alimentés par de grands modèles de langage (LLM) facilitent des interactions conversationnelles réalistes, permettant des expériences utilisateur dynamiques et adaptatives. En particulier, ces technologies ont montré un potentiel dans des contextes thérapeutiques, permettant des interactions personnalisées en fonction du comportement de l’utilisateur ou de son état émotionnel. Par exemple, cette étude11 a développé une application VR utilisant des avatars comme chatbots alimentés par des LLM pour former les personnes autistes aux compétences de communication professionnelle, mettant en évidence l’adaptabilité des avatars alimentés par LLM en thérapie. De plus, les LLM ont été intégrés dans des environnements de réalité augmentée pour promouvoir l’inclusion et l’engagement, soutenant ainsi le potentiel thérapeutique des avatars pilotés par les LLM.
Les environnements virtuels sont de plus en plus utilisés dans des contextes thérapeutiques, en particulier pour les personnes atteintes de troubles du spectre autistique (TSA). Des études montrent que des espaces virtuels familiers et contrôlés peuvent réduire l’anxiété et augmenter l’engagement pendant les séances de thérapie11. Dans ces environnements, les avatars peuvent agir comme des facilitateurs, en dispensant la thérapie d’une manière qui semble sûre et accessible au patient.
Malgré les progrès réalisés, des défis subsistent, notamment le coût de calcul de la reconstruction 3D, le maintien d’une haute fidélité dans les environnements virtuels et la garantie d’une intégration fluide entre les systèmes. Cependant, le développement continu d’algorithmes et de matériel plus efficaces, ainsi que les progrès des outils basés sur l’IA, offrent des possibilités d’innovation dans ce domaine. Cet article présente un nouveau système de reconstruction 3D et d’interaction avec des environnements virtuels à l’aide d’images à 360 degrés. L’approche intègre des techniques telles que la localisation d’images à l’aide de COLMAP, la reconstruction de haute qualité à l’aide du splatting gaussien et la compatibilité VR pour l’exploration immersive. En incorporant des objets numériques et des avatars interactifs alimentés par des LLM, le système permet des applications dans la thérapie personnalisée pour les personnes atteintes de TSA et la vérification de projets de construction. Ces outils fournissent un cadre complet pour la création d’environnements virtuels adaptatifs qui enrichissent les pratiques thérapeutiques et industrielles. La figure 1 montre le pipeline de propositions.
Figure 1 : Pipeline du système. Schéma du pipeline proposé pour la reconstruction photoréaliste de l’environnement composé de l’environnement réel, des images à 360°, des projections obtenues, du procédé SfM, du procédé de Splatting Gaussien, et de l’intégration avec la Réalité Virtuelle. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Protocole
1. Capture d’image
- Placez la caméra 360° sur un trépied réglable en hauteur. Sélectionnez une série de positions dans l’environnement à analyser, en suivant un motif de maillage carré où chaque bord est espacé de 1,5 m.
- Capturez des images à trois hauteurs différentes à chaque point sélectionné du maillage : environ 0,4 m, 1,2 m et 2 m.
- Convertissez les images à 360° en images au format équirectangulaire. Utilisez l’application Ista360, par exemple. Sélectionnez l’image, appuyez sur le bouton Exporter , choisissez le mode Exporter la photo 360 et exportez-la au format 2:1.
- Extrayez des images en perspective au format 16:9 de chaque image équirectangulaire avec un champ de vision horizontal de 90°. Utilisez les angles horizontaux suivants pour toutes les images : 0, 45, 90, 135, 180, 225, 270, 315. Pour les images prises à une hauteur de 0,4 m, utilisez les angles verticaux 0, 50. Pour les images prises à une hauteur de 1,2 m, utilisez les angles verticaux -50, 0, 50. Pour les images prises à une hauteur de 2 m, utilisez les angles verticaux -50, 0. Pour le processus d’extraction, utilisez le script Python Equi2Pers.py (Supplementary Coding File 1 ; Figure 2).
Figure 2 : Images équirectangulaires aux projections. Schéma de la conversion d’une image équirectangulaire en projection de carte cubique. Veuillez cliquer ici pour voir une version agrandie de cette figure.
2. Estimation de la pose de la caméra avec COLMAP
- Créez un nouveau projet COLMAP en cliquant sur Fichier > Nouveau projet, puis spécifiez le chemin d’accès aux images et créez une nouvelle base de données.
- Extrayez les caractéristiques de chaque image en cliquant sur Traitement > Extraction des caractéristiques, en sélectionnant PINHOLE comme modèle de caméra et en partageant toutes les images. Laissez les paramètres restants par défaut. Dans les zones avec beaucoup de texture, max_num_features peut être réduite pour augmenter l’efficacité de la méthode.
- Effectuez le rapprochement des caractéristiques en cliquant sur Traitement > Correspondance des caractéristiques, à l’aide des paramètres par défaut.
- Calculez SfM en cliquant sur Reconstruction > Démarrer la reconstruction pour obtenir les positions et orientations de la caméra, à l’aide des paramètres COLMAP par défaut.
- Réduisez les erreurs de reprojection à l’aide de l’ajustement de l’ensemble en cliquant sur Reconstruction > Ajustement de l’ensemble.
- Générez une représentation 3D dense de la scène en cliquant sur Reconstruction > Reconstruction dense, avec des sorties comprenant des poses de caméra et des points reconstruits.
3. Reconstruction de scène 3D photoréaliste à l’aide d’un éclaboussage gaussien (GS)
- Exécutez le fichier train.py avec les paramètres -s, -m et -r, où -s spécifie le chemin du projet COLMAP, -m définit le chemin de sortie pour le splatting gaussien (s’il n’est pas spécifié, un chemin par défaut est généré) et -r redimensionne les images, généralement défini entre 2 et 4.
REMARQUE : Le fichier train.py se trouve dans le dépôt officiel de Gaussian Splatting https://github.com/graphdeco-inria/gaussian-splatting. - Localisez le fichier .ply généré par le splatting gaussien dans le chemin de sortie pour une utilisation ultérieure dans Unity.
4. Rendu en réalité virtuelle avec Unity et Gaussian splatting
- Connectez le casque VR à l’ordinateur. Cette méthode dépend du casque VR utilisé.
- Utilisez Unity Hub pour créer un projet 3D avec la version 2022.3.44f1. Installez Unity version 2022.3.44f1 si nécessaire. Accédez à Projets > Nouveau projet, sélectionnez la version 2022.3.44f1 et le modèle 3D (Core), définissez un nom et un emplacement de projet, puis cliquez sur Créer un projet pour le générer avec les paramètres par défaut.
- Installez un plug-in pour gérer le casque VR et simplifiez le développement d’applications, y compris des tâches telles que l’accès au joystick et le suivi oculaire. Pour ce faire, via l’Asset Store Unity à l’aide du gestionnaire de packages, cliquez sur Fenêtre > Gestionnaire de packages.
- Utilisez le plug-in UnityGaussianSplatting pour générer une ressource à partir de la sortie Gaussian Splatting. Pour ce faire, via l’Asset Store Unity à l’aide du gestionnaire de packages. Pour générer cette ressource, accédez à Outils > GaussianSplats > Créer GaussianSplatAsset et fournissez le fichier .ply généré par Gaussian Splatting.
- Utilisez le plug-in UltraLeap pour améliorer la détection des mains, améliorant ainsi l’interaction avec l’utilisateur. Pour l’installer, accédez à Unity Asset Store > Gestionnaire de packages , puis cliquez sur Fenêtre > Gestionnaire de packages.
- Utilisez le plugin whisper.unity pour transcrire l’audio capturé par le microphone du casque VR. Installez-le comme décrit à l’étape 4.5.
- Utilisez un modèle LLM pour générer des réponses. Installez le plugin LLMUnity pour permettre l’utilisation de ce LLM. Installez-le comme décrit à l’étape 4.5.
- Créez un GameObject vide et ajoutez un script LLM, puis cliquez sur le bouton Télécharger le modèle pour sélectionner un modèle par défaut. Pour les caractères, ajoutez un objet vide et attachez-y le script LLMCharacter, où le nom et le rôle peuvent être spécifiés.
- Utilisez le SDK Meta - Voice pour générer de l’audio à partir de la réponse produite par LLM. Pour ce faire, installez un plug-in de synthèse vocale via l’Asset Store Unity à l’aide du gestionnaire de packages en cliquant sur Fenêtre > Gestionnaire de packages.
- Utilisez des casques VR pour permettre une interaction immersive.
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Résultats
Dans cette section, nous abordons les résultats représentatifs, les points forts et les limites du pipeline proposé. Les résultats de l’application de la méthode proposée sont les suivants. La figure 3 montre la position de la caméra (en rouge) et le nuage de points dense. Des groupes de caméras ayant des origines communes représentent des projections à partir de la même image équirectangulaire.
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Discussion
Cette étude présente une nouvelle méthodologie pour la reconstruction 3D photoréaliste et l’interaction avec l’environnement virtuel à l’aide d’images à 360 degrés et de techniques de rendu avancées. Les étapes critiques, les défis et les implications du système proposé sont abordés ci-dessous.
Étapes critiques
L’une des étapes clés du pipeline proposé est la capture d’images. À l’aide d’une caméra à 360 degrés positionnée à différentes hau...
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Déclarations de divulgation
Les auteurs déclarent qu’ils n’ont pas d’intérêts financiers concurrents connus ou de relations personnelles qui auraient pu sembler influencer les travaux rapportés dans cet article.
Remerciements
Cet article fait partie de la subvention PID2022-138453OB-I00 financée par MICIU/AEI/ 10.13039/501100011033 et par FEDER A way of make Europe.
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Matériaux
| Nom | Entreprise | Numéro de catalogue | Commentaires |
|---|---|---|---|
| GPU NVIDIA GeForce RTX 2080 | NVIDIA | TU104-400A | Dispositif de traitement et de reconstruction d’images ; |
| Insta360 X4 | Insta360 | CINSABMA-H | Dispositif d’acquisition de données pour la reconstruction |
| Méta-quête III | Méta | 899-00582-01 | Dispositif de visualisation et d’interaction avec la reconstruction |
| Carte mémoire Evo Plus 128 GB | Samsung | MB-MC128KA/UE | carte mémoire pour 360° ; Stockage de photos |
Références
- Zollmann, S., et al. Augmented Reality for Construction Site Monitoring and Documentation. Proceedings IEEE. 102 (2), 137-154 (2012).
- Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. A comprehensive review of vision-based 3d reconstruction methods. Sensors. 24 (7), 2314(2024).
- Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).
- Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. 3d gaussian splatting for real-time radiance field rendering. ACM Trans. Graph. 42 (4), 139-141 (2023).
- Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).
- Remondino, F., El-Hakim, S. Image-based 3D modelling: A review. Photogrammet Record. 21 (115), 269-291 (2006).
- Özyeşil, O., Voroninski, V., Basri, R., Singer, A. A survey of structure from motion. Acta Numerica. 26, 305-364 (2017).
- Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).
- Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review. IEEE Access. 12, 96797-96820 (2024).
- Zhang, M., Ding, H., Naumceska, M., Zhang, Y. Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions. Behav Sci. 12 (5), 138(2023).
- Failla, C., et al. Virtual reality for autism: unlocking learning and growth. Front Psychol. 15, 1417717(2024).
- Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. arXiv. , (2024).
- Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. arXiv. , (2025).
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Réimpressions et autorisations
