Paysages savants photoréalistes pour la réalité augmentée

Notre recherche se concentre sur la création de reconstructions 3D photoréalistes à partir d’images à 360 degrés pour construire des environnements virtuels immersifs. Il explore comment cela peut soutenir la thérapie, l’éducation et la validation industrielle. Les approches courantes incluent l’extraction à partir de mouvements et l’extérieur multivue, souvent à l’aide d’outils tels que COLMAP. Les méthodes récentes offrent des résultats plus rapides et plus réalistes visuellement pour les applications immersives.

Le défi comprend les coûts de calcul d’un traçage passionné, d’un flux de test à peine faible et de l’insertion d’une estimation graphique de la post-caméra, qui affectent directement le coût et la qualité. Nous résolvons l’absence de système de gardien 3D totaliste qui interagissent lentement dans l’arc B et prennent en charge l’utilisation dynamique en interagissant avec un capteur précis.

[Narrateur] Pour commencer, placez une caméra à 360 degrés sur un trépied à hauteur réglable. Sélectionnez une série de positions dans l’environnement pour la numérisation, à l’aide d’un motif de maillage carré où chaque bord est espacé de 1,5 mètre. À chaque point de maillage, capturez des images à trois hauteurs différentes d’environ 0,4 mètre, 1,2 mètre et deux mètres. Convertissez les images à 360 degrés au format équi-rectangulaire, à l’aide d’un outil comme l’application Insta 360. Sélectionnez l’image, appuyez sur le bouton d’exportation. Choisissez le mode d’exportation de photos 360 et exportez-la sous forme d’image au rapport deux pour un. Utilisez le script Equi2Pers.py pour extraire 16 à neuf images en perspective de format à partir de chaque image équirectangulaire avec un champ de vision horizontal de 90 degrés. Appliquez des angles horizontaux de zéro, 45, 90, 135, 180, 225, 270 et 315 degrés, ainsi que des angles verticaux basés sur la hauteur. Ensuite, cliquez sur déposer un nouveau projet pour créer un nouveau projet COLMAP. Spécifiez le chemin d’accès aux images et créez une nouvelle base de données. Cliquez sur traitement, suivi de l’extraction des caractéristiques pour extraire les caractéristiques de chaque image. Sélectionnez le sténopé comme modèle d’appareil photo et partagez toutes les images. Laissez les paramètres restants comme structure de calcul par défaut pour le mouvement en cliquant sur reconstruction et lancez la reconstruction pour obtenir les positions et orientations de la caméra, en utilisant les paramètres COLMAP par défaut. Cliquez sur reconstruction et choisissez l’ajustement du faisceau pour minimiser les erreurs de reprojection. Générez maintenant une représentation 3D dense en choisissant une reconstruction dense avec des sorties, y compris des poses de caméra et des points reconstruits. Pour une reconstruction 3D photoréaliste, à l’aide du splatting gaussien, exécutez le script train.py, en utilisant les paramètres moins S, moins M et moins R. Localisez le fichier .py généré dans le répertoire de sortie spécifié pour l’importation ultérieure dans Unity. Connectez le casque de réalité virtuelle à l’ordinateur, en suivant les instructions spécifiques au modèle de casque utilisé. Utilisez Unity Hub pour créer un projet 3D avec la version 2022.44f1. Accédez à projets, cliquez sur Nouveau projet. Sélectionnez le modèle de pipeline de rendu 3D intégré. Définissez le nom et l’emplacement du projet, puis cliquez sur Créer un projet. Pour gérer le casque VR et simplifier les tâches de développement, installez un plug-in à partir de l’Asset Store Unity via le gestionnaire de packages en cliquant sur la fenêtre et le gestionnaire de packages. Utilisez le plug-in de splatting gaussien Unity pour convertir la sortie de splatting gaussien en une ressource utilisable. Améliorez le suivi des mains en installant le plugin ultra elite via le gestionnaire de paquets depuis l’Asset Store Unity. Transcrivez l’audio à partir du microphone du casque VR, à l’aide du plug-in whisper.unity. Installez-le à l’aide du gestionnaire de paquets. Activez la génération de réponses, à l’aide d’un modèle de langage volumineux en installant le plug-in LLM Unity. Installez-le via le gestionnaire de paquets comme indiqué précédemment. Générez de la parole à partir des réponses générées par LLM à l’aide du SDK meta voice. Installez un plug-in de synthèse vocale à partir de l’Asset Store Unity via le gestionnaire de packages en cliquant sur la fenêtre et le gestionnaire de packages. Enfin, utilisez le casque VR pour découvrir et interagir avec l’environnement immersif. Des groupes de positions de caméra dérivées d’origines équirectangulaires partagées ont été utilisés pour générer des nuages de points denses pour la reconstruction vue, révélant une cartographie spatiale cohérente des angles de capture. La méthode proposée, utilisant le splatting gaussien, a produit une reconstruction photoréaliste, ressemblant étroitement à l’environnement réel. Les utilisateurs pouvaient interagir efficacement avec l’environnement reconstruit grâce à la réalité virtuelle, en maintenant l’immersion et la conscience spatiale, avec des visuels présentés à l’intérieur du casque correspondant à la configuration de la pièce. Des environnements virtuels familiers et inconnus ont été développés en fonction d’objectifs thérapeutiques, sur la base des commentaires de thérapeutes professionnels. Un agent virtuel a été rendu dans l’espace reconstruit, permettant aux utilisateurs de s’engager dans des scénarios interactifs réalistes grâce à la réalité virtuelle, l’agent apparaissant comme une figure réaliste dans la vue du casque. Les reconstructions virtuelles reproduisaient avec précision des points de vue spécifiques lorsqu’elles étaient basées sur des images d’entrée, mais les écarts de perspective entraînaient des limitations de rendu notables. Par rapport à la sortie de nuages de points COLMAP, le splatting gaussien a produit une reconstruction visuellement plus continue et plus réaliste, adaptée à l’interaction en temps réel, bien qu’avec une précision métrique réduite.