Paisajes Aprendidos Fotorrealistas para Realidad Aumentada

Resumen

Este artículo presenta un sistema para la reconstrucción fotorrealista en 3D utilizando imágenes de 360 grados, Splatting Gaussiano e integración de realidad virtual. El enfoque se puede aplicar a diferentes aplicaciones como la educación, simulando entornos de aprendizaje; construcción, para simular obras fuera de las obras y recuperar métricas; o la sanidad, para formar a las personas autistas en tareas de la vida diaria.

Resumen

La capacidad de crear reconstrucciones 3D fotorrealistas de entornos del mundo real a partir de imágenes en color estándar tiene numerosas aplicaciones en campos como la atención médica, la educación y la industria. Este artículo presenta un sistema novedoso que integra técnicas avanzadas como la estructura a partir del movimiento, el registro incremental de escenas y el splatting gaussiano para reconstruir modelos 3D detallados. Estos modelos se integran a la perfección en entornos de realidad virtual para permitir una interacción inmersiva. El proceso comienza con la captura de imágenes de 360 grados utilizando un patrón basado en matrices para una cobertura completa. Las imágenes se procesan utilizando COLMAP para estimar las poses de la cámara y generar una nube de puntos dispersa. El salpicado gaussiano refina la reconstrucción optimizando las posiciones, las formas y la apariencia de los puntos para producir entornos 3D altamente realistas. Luego, estos modelos se renderizan en Unity, lo que permite la interacción mediante auriculares de realidad virtual y admite funciones adicionales, como avatares impulsados por modelos de lenguaje grandes. Un caso de uso demuestra la versatilidad del sistema. En la atención médica, el enfoque crea espacios virtuales controlados y familiares para la terapia, particularmente beneficiosos para las personas con trastornos del espectro autista. Los entornos inmersivos y los avatares interactivos proporcionan un entorno seguro y cómodo para la terapia personalizada. Este sistema ofrece ventajas significativas, como alta fidelidad visual, facilidad de adquisición de imágenes y experiencias de usuario inmersivas. Sin embargo, persisten desafíos, como el costo computacional del Splatting Gaussiano y su dependencia de la estimación precisa de la pose de la cámara. Al superar estas limitaciones, este método tiene el potencial de transformar aplicaciones en diversos dominios, que van desde las intervenciones terapéuticas hasta el diseño industrial y la preservación cultural.

Introducción

La capacidad de recrear e interactuar con paisajes 3D se ha vuelto crítica en muchas áreas diferentes de las aplicaciones de tecnología moderna. Las técnicas tradicionales para crear representaciones virtuales de ubicaciones reales a veces se basan en modelos rígidos y laboriosos^{y mediciones} manuales. Las técnicas avanzadas de visión artificial han surgido como opciones viables para la reconstrucción e interacción automatizada en 3D con el fin de superar estas limitaciones².

El desarrollo de modelos 3D complejos a partir de fotografías de 360 grados es una característica notable de este progre....

Protocolo

1. Captura de imágenes

1. Coloque la cámara de 360° en un trípode que tenga una altura ajustable. Seleccione una serie de posiciones dentro del entorno que se va a escanear, siguiendo un patrón de malla cuadrada en el que cada borde está espaciado a 1,5 m de distancia.
2. Capture imágenes a tres alturas diferentes en cada punto seleccionado de la malla: aproximadamente 0,4 m, 1,2 m y 2 m.
3. Convierta las imágenes de 360° en imágenes de formato equirrectangular. Utilice la aplicación Ista360, por ejemplo. Seleccione la imagen, presione el botón Exportar , elija el modo de foto Exportar 3....

Resultados

En esta sección, se discuten los resultados representativos, los puntos fuertes y las limitaciones de la tubería propuesta. Los resultados de la aplicación del método propuesto son los siguientes. La figura 3 muestra la posición de la cámara (en rojo) y la densa nube de puntos. Los grupos de cámaras con orígenes comunes representan proyecciones de la misma imagen equirrectangular.

Discusión

Este estudio presenta una metodología novedosa para la reconstrucción fotorrealista en 3D y la interacción en entornos virtuales utilizando imágenes de 360 grados y técnicas avanzadas de renderizado. A continuación se analizan los pasos críticos, los desafíos y las implicaciones del sistema propuesto.

Pasos críticos
Uno de los pasos clave en la canalización propuesta es la captura de imágenes. Utilizando una cámara de 360 grados colocada a .......

Materiales

Lista de materiales utilizados en este artículo

Nombre	Empresa	Número de catálogo	Comentarios
GPU NVIDIA GeForce RTX 2080	NVIDIA	TU104-400A	Dispositivo para procesamiento y reconstrucción de imágenes
Insta360 X4	Insta360	CINSABMA-H	Dispositivo de adquisición de datos para la reconstrucción
Meta Quest III	Meta	899-00582-01	Dispositivo para visualizar e interactuar con la reconstrucción
Tarjeta de memoria Evo Plus 128 GB	Samsung	MB-MC128KA/UE	Tarjeta de memoria para 360° almacenamiento de fotos