Este artículo presenta un sistema para la reconstrucción fotorrealista en 3D utilizando imágenes de 360 grados, Splatting Gaussiano e integración de realidad virtual. El enfoque se puede aplicar a diferentes aplicaciones como la educación, simulando entornos de aprendizaje; construcción, para simular obras fuera de las obras y recuperar métricas; o la sanidad, para formar a las personas autistas en tareas de la vida diaria.
Se requiere una suscripción a JoVE para ver este contenido. Inicie sesión o comience su prueba gratuita.
Artículo de método
Paisajes Aprendidos Fotorrealistas para Realidad Aumentada
* These authors contributed equally
En este artículo
Resumen
Resumen
La capacidad de crear reconstrucciones 3D fotorrealistas de entornos del mundo real a partir de imágenes en color estándar tiene numerosas aplicaciones en campos como la atención médica, la educación y la industria. Este artículo presenta un sistema novedoso que integra técnicas avanzadas como la estructura a partir del movimiento, el registro incremental de escenas y el splatting gaussiano para reconstruir modelos 3D detallados. Estos modelos se integran a la perfección en entornos de realidad virtual para permitir una interacción inmersiva. El proceso comienza con la captura de imágenes de 360 grados utilizando un patrón basado en matrices para una cobertura completa. Las imágenes se procesan utilizando COLMAP para estimar las poses de la cámara y generar una nube de puntos dispersa. El salpicado gaussiano refina la reconstrucción optimizando las posiciones, las formas y la apariencia de los puntos para producir entornos 3D altamente realistas. Luego, estos modelos se renderizan en Unity, lo que permite la interacción mediante auriculares de realidad virtual y admite funciones adicionales, como avatares impulsados por modelos de lenguaje grandes. Un caso de uso demuestra la versatilidad del sistema. En la atención médica, el enfoque crea espacios virtuales controlados y familiares para la terapia, particularmente beneficiosos para las personas con trastornos del espectro autista. Los entornos inmersivos y los avatares interactivos proporcionan un entorno seguro y cómodo para la terapia personalizada. Este sistema ofrece ventajas significativas, como alta fidelidad visual, facilidad de adquisición de imágenes y experiencias de usuario inmersivas. Sin embargo, persisten desafíos, como el costo computacional del Splatting Gaussiano y su dependencia de la estimación precisa de la pose de la cámara. Al superar estas limitaciones, este método tiene el potencial de transformar aplicaciones en diversos dominios, que van desde las intervenciones terapéuticas hasta el diseño industrial y la preservación cultural.
Introducción
La capacidad de recrear e interactuar con paisajes 3D se ha vuelto crítica en muchas áreas diferentes de las aplicaciones de tecnología moderna. Las técnicas tradicionales para crear representaciones virtuales de ubicaciones reales a veces se basan en modelos rígidos y laboriososy mediciones manuales. Las técnicas avanzadas de visión artificial han surgido como opciones viables para la reconstrucción e interacción automatizada en 3D con el fin de superar estas limitaciones2.
El desarrollo de modelos 3D complejos a partir de fotografías de 360 grados es una característica notable de este progreso. Se puede obtener información espacial precisa identificando las áreas exactas en las que se tomaron las fotos utilizando herramientas de última generación como COLMAP3. El proceso se mejora aún más con Gaussian Splatting4, que permite recrear escenarios complicados en 3D con buena calidad.
La incorporación de estos modelos 3D en sistemas de realidad virtual (RV) abre nuevas vías de exploración y participación más allá de la reconstrucción. Para aumentar la participación, los usuarios pueden medir objetos del mundo real, como puertas y mesas, moverse por el espacio virtual e incluso agregar objetos digitales y avatares. Estos avatares pueden producir respuestas dinámicas e interactivas utilizando Grandes Modelos de Lenguaje (LLM), lo que da lugar a experiencias inmersivas5.
Este trabajo presenta una metodología para crear representaciones tridimensionales de un entorno del mundo real utilizando imágenes regulares en color y mostrarlas dentro de una configuración de realidad virtual. El sistema se basa en tuberías de estructura a partir del movimiento y de splatting gaussiano de propósito general. El sistema es adecuado para la creación de otras aplicaciones en la construcción o la atención médica.
El proyecto propuesto produce representaciones tridimensionales visualmente realistas y atractivas de entornos reales, que es su principal ventaja. Además, utiliza imágenes en color, que son muy convenientes en comparación con otros enfoques que requieren sensores costosos como LiDAR o cámaras de luz estructurada6. La razón de ser de la propuesta es que la capacidad de crear fácilmente representaciones tridimensionales visualmente atractivas tiene muchas aplicaciones. Se puede utilizar en la construcción para el control de calidad, en la atención médica para tratar a personas autistas en un entorno conocido y controlado, o en el entretenimiento para incluir una representación precisa de una ubicación real en un videojuego.
El desarrollo de sistemas para la reconstrucción 3D y la interacción con entornos virtuales ha avanzado significativamente en los últimos años, impulsado por la integración de tecnologías de visión artificial, aprendizaje automático y realidad virtual2. A continuación se describen los componentes y metodologías clave pertinentes para este trabajo.
La reconstrucción 3D precisa se basa en el procesamiento de imágenes para extraer información espacial y geométrica. Los métodos tradicionales como Structure from Motion (SfM)7 y Multi-View Stereo (MVS)8 se han utilizado ampliamente para estimar las poses de la cámara y generar densas nubes de puntos. Herramientas como COLMAP son reconocidas por su robustez en la realización de estas tareas, combinando SfM y MVS para producir modelos 3D de alta precisión a partir de conjuntos de datos de imágenes. Sin embargo, siguen existiendo limitaciones a la hora de lidiar con iluminación compleja, texturas y entornos altamente dinámicos.
Los avances recientes incluyen Gaussian Splatting9, que utiliza una representación basada en puntos para producir reconstrucciones fotorrealistas con mayor eficiencia que los métodos tradicionales basados en malla. El salpicado gaussiano permite una visualización más suave y una representación espacial más precisa, especialmente en escenas con detalles intrincados.
Una vez que se han reconstruido los modelos 3D, transformarlos a formatos compatibles con la realidad virtual es crucial para la interacción inmersiva. El uso de sistemas de realidad virtual se ha expandido más allá del entretenimiento a áreas como la educación, la atención médicay el diseño industrial. Los marcos de realidad virtual modernos permiten una navegación fluida, la interacción con objetos digitales y un realismo mejorado, lo que los hace adecuados para aplicaciones que requieren una alta participación del usuario.
La integración de características interactivas como objetos virtuales y avatares mejora significativamente la funcionalidad y la profundidad de los sistemas de realidad virtual (VR). Los avatares impulsados por Grandes Modelos de Lenguaje (LLM) facilitan interacciones conversacionales realistas, lo que permite experiencias de usuario dinámicas y adaptables. En particular, estas tecnologías han demostrado potencial en contextos terapéuticos, permitiendo interacciones personalizadas basadas en el comportamiento o el estado emocional del usuario. Por ejemplo, este estudio11 desarrolló una aplicación de realidad virtual que utiliza avatares como chatbots impulsados por LLM para entrenar a personas autistas en habilidades de comunicación vocacional, lo que destaca la adaptabilidad de los avatares impulsados por LLM en la terapia. Además, los LLM se integraron en entornos de realidad aumentada para promover la inclusión y el compromiso, respaldando aún más el potencial terapéutico de los avatares impulsados por LLM.
Los entornos virtuales se utilizan cada vez más en entornos terapéuticos, especialmente para las personas con Trastorno del Espectro Autista (TEA). Los estudios demuestran que los espacios virtuales familiares y controlados pueden reducir la ansiedad y aumentar la participación durante las sesiones de terapia11. Los avatares en estos entornos pueden actuar como facilitadores, administrando la terapia de una manera que se sienta segura y accesible para el paciente.
A pesar de los avances, persisten desafíos, incluido el costo computacional de la reconstrucción 3D, el mantenimiento de la alta fidelidad en entornos virtuales y la garantía de una integración fluida entre sistemas. Sin embargo, el desarrollo continuo de algoritmos y hardware más eficientes, así como los avances en las herramientas impulsadas por la IA, brindan oportunidades para una mayor innovación en esta área. Este artículo presenta un sistema novedoso para la reconstrucción 3D y la interacción con entornos virtuales utilizando imágenes de 360 grados. El enfoque integra técnicas como la localización de imágenes mediante COLMAP, la reconstrucción de alta calidad mediante salpicaduras gaussianas y la compatibilidad con la realidad virtual para la exploración inmersiva. Al incorporar objetos digitales y avatares interactivos impulsados por LLM, el sistema permite aplicaciones en terapia personalizada para personas con TEA y verificación de proyectos de construcción. Estas herramientas proporcionan un marco integral para crear entornos virtuales adaptativos que mejoran las prácticas terapéuticas e industriales. En la figura 1 se muestra la canalización de la propuesta.
Figura 1: Canalización del sistema. Diagrama de la tubería propuesta para la reconstrucción fotorrealista del entorno compuesto por el entorno real, las imágenes 360°, las proyecciones obtenidas, el proceso SfM, el proceso de Splatting Gaussiano y la integración con Realidad Virtual. Haga clic aquí para ver una versión más grande de esta figura.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Protocolo
1. Captura de imágenes
- Coloque la cámara de 360° en un trípode que tenga una altura ajustable. Seleccione una serie de posiciones dentro del entorno que se va a escanear, siguiendo un patrón de malla cuadrada en el que cada borde está espaciado a 1,5 m de distancia.
- Capture imágenes a tres alturas diferentes en cada punto seleccionado de la malla: aproximadamente 0,4 m, 1,2 m y 2 m.
- Convierta las imágenes de 360° en imágenes de formato equirrectangular. Utilice la aplicación Ista360, por ejemplo. Seleccione la imagen, presione el botón Exportar , elija el modo de foto Exportar 360 y expórtela como una imagen con una proporción de 2:1.
- Extraiga imágenes en perspectiva en formato 16:9 de cada imagen equirrectangular con un campo de visión horizontal de 90°. Utilice los siguientes ángulos horizontales para todas las imágenes: 0, 45, 90, 135, 180, 225, 270, 315. Para imágenes tomadas a una altura de 0,4 m, utilice ángulos verticales 0, 50. Para imágenes tomadas a una altura de 1,2 m, utilice ángulos verticales -50, 0, 50. Para imágenes tomadas a una altura de 2 m, utilice ángulos verticales -50, 0. Para el proceso de extracción, utilice el script de Python Equi2Pers.py (Archivo de codificación suplementario 1; Figura 2).
Figura 2: Imágenes equirrectangulares a proyecciones. Diagrama de cómo se convierte una imagen equirrectangular en una proyección de mapa cúbico. Haga clic aquí para ver una versión más grande de esta figura.
2. Estimación de la posición de la cámara con COLMAP
- Para crear un nuevo proyecto de COLMAP, haga clic en Archivo > nuevo proyecto y, a continuación, especifique la ruta de acceso a las imágenes y cree una nueva base de datos.
- Extraiga las características de cada imagen haciendo clic en Procesamiento > Extracción de características, seleccionando ESTENOPEICO como modelo de cámara y compartiendo todas las imágenes. Deje los parámetros restantes como predeterminados. En áreas con mucha textura, se pueden reducir max_num_features para aumentar la eficiencia del método.
- Realice la coincidencia de características haciendo clic en Procesando > Coincidencia de características, utilizando los parámetros predeterminados.
- Calcule SfM haciendo clic en Reconstrucción > Iniciar reconstrucción para obtener las posiciones y orientaciones de la cámara, utilizando los parámetros COLMAP predeterminados.
- Minimice los errores de reproyección mediante el ajuste de paquete haciendo clic en Reconstrucción > Ajuste de paquete.
- Genere una representación 3D densa de la escena haciendo clic en Reconstrucción > Reconstrucción densa, con salidas que incluyen poses de cámara y puntos reconstruidos.
3. Reconstrucción fotorrealista de escenas en 3D mediante salpicado gaussiano (GS)
- Ejecute el archivo train.py con los parámetros -s, -m y -r, donde -s especifica la ruta del proyecto COLMAP, -m define la ruta de salida para el Splatting Gaussiano (si no se especifica, se genera una predeterminada) y -r reescala las imágenes, normalmente entre 2 y 4.
NOTA: El archivo train.py se encuentra en el repositorio oficial de Gaussian Splatting https://github.com/graphdeco-inria/gaussian-splatting. - Localice el archivo .ply generado por el Splatting Gaussiano en la ruta de salida para su uso posterior en Unity.
4. Renderizado en realidad virtual con Unity y splatting gaussiano
- Conecte el casco de realidad virtual a la computadora. Este método depende del casco de realidad virtual utilizado.
- Utilice Unity Hub para crear un proyecto 3D con la versión 2022.3.44f1. Instale la versión 2022.3.44f1 de Unity si es necesario. Vaya a Proyectos > nuevo proyecto, seleccione la versión 2022.3.44f1 y la plantilla 3D (Core), establezca un nombre y una ubicación del proyecto y haga clic en Crear proyecto para generarlo con la configuración predeterminada.
- Instale un complemento para administrar auriculares de realidad virtual y simplificar el desarrollo de aplicaciones, incluidas tareas como el acceso al joystick y el seguimiento ocular. Haga esto a través de la Asset Store de Unity usando el Administrador de Paquetes haciendo clic en Ventana > Administrador de Paquetes.
- Utilice el complemento UnityGaussianSplatting para generar un activo a partir de la salida de Gaussian Splatting. Hazlo a través de la Asset Store de Unity usando el Administrador de Paquetes. Para generar este recurso, vaya a Herramientas > GaussianSplats > Crear GaussianSplatAsset y proporcione el archivo .ply generado por Gaussian Splatting.
- Utilice el complemento UltraLeap para mejorar la detección de manos, mejorando la interacción del usuario. Para instalar esto, vaya a Unity Asset Store > Administrador de paquetes y haga clic en Ventana > Administrador de paquetes.
- Utilice el complemento whisper.unity para transcribir el audio capturado por el micrófono del auricular de realidad virtual. Instale esto como se describe en el paso 4.5.
- Utilice un modelo LLM para generar respuestas. Instale el complemento LLMUnity para habilitar el uso de este LLM. Instale esto como se describe en el paso 4.5.
- Cree un GameObject vacío y agregue un script LLM, luego haga clic en el botón descargar modelo para seleccionar un modelo predeterminado. Para los caracteres, agregue un objeto vacío y adjunte el script LLMCharacter a él, donde se pueden especificar el nombre y el rol.
- Utilice el SDK de Meta - Voice para generar audio a partir de la respuesta producida por LLM. Para lograr esto, instale un complemento de texto a voz a través de la Asset Store de Unity utilizando el Administrador de paquetes haciendo clic en Ventana > Administrador de paquetes.
- Utilice auriculares de realidad virtual para permitir una interacción inmersiva.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Resultados
En esta sección, se discuten los resultados representativos, los puntos fuertes y las limitaciones de la tubería propuesta. Los resultados de la aplicación del método propuesto son los siguientes. La figura 3 muestra la posición de la cámara (en rojo) y la densa nube de puntos. Los grupos de cámaras con orígenes comunes representan proyecciones de la misma imagen equirrectangular.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Discusión
Este estudio presenta una metodología novedosa para la reconstrucción fotorrealista en 3D y la interacción en entornos virtuales utilizando imágenes de 360 grados y técnicas avanzadas de renderizado. A continuación se analizan los pasos críticos, los desafíos y las implicaciones del sistema propuesto.
Pasos críticos
Uno de los pasos clave en la canalización propuesta es la captura de imágenes. Utilizando una cámara de 360 grados colocada a ...
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Divulgaciones
Los autores declaran que no tienen intereses financieros o relaciones personales contrapuestas que puedan haber influido en el trabajo reportado en este artículo.
Agradecimientos
Este trabajo forma parte de la subvención PID2022-138453OB-I00 financiada por MICIU/AEI/ 10.13039/501100011033 y por FEDER A way of making Europe.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Materiales
| Nombre | Empresa | Número de catálogo | Comentarios |
|---|---|---|---|
| GPU NVIDIA GeForce RTX 2080 | NVIDIA | TU104-400A | Dispositivo para procesamiento y reconstrucción de imágenes |
| Insta360 X4 | Insta360 | CINSABMA-H | Dispositivo de adquisición de datos para la reconstrucción |
| Meta Quest III | Meta | 899-00582-01 | Dispositivo para visualizar e interactuar con la reconstrucción |
| Tarjeta de memoria Evo Plus 128 GB | Samsung | MB-MC128KA/UE | Tarjeta de memoria para 360° almacenamiento de fotos |
Referencias
- Zollmann, S., et al. Augmented Reality for Construction Site Monitoring and Documentation. Proceedings IEEE. 102 (2), 137-154 (2012).
- Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. A comprehensive review of vision-based 3d reconstruction methods. Sensors. 24 (7), 2314(2024).
- Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).
- Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. 3d gaussian splatting for real-time radiance field rendering. ACM Trans. Graph. 42 (4), 139-141 (2023).
- Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).
- Remondino, F., El-Hakim, S. Image-based 3D modelling: A review. Photogrammet Record. 21 (115), 269-291 (2006).
- Özyeşil, O., Voroninski, V., Basri, R., Singer, A. A survey of structure from motion. Acta Numerica. 26, 305-364 (2017).
- Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).
- Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review. IEEE Access. 12, 96797-96820 (2024).
- Zhang, M., Ding, H., Naumceska, M., Zhang, Y. Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions. Behav Sci. 12 (5), 138(2023).
- Failla, C., et al. Virtual reality for autism: unlocking learning and growth. Front Psychol. 15, 1417717(2024).
- Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. arXiv. , (2024).
- Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. arXiv. , (2025).
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Reimpresiones y permisos
