Name: Paisagens aprendidas fotorrealistas para realidade aumentada (Vídeo) | JoVE Journal
Uploaded: 2025-06-27T13:20:00.000+00:00
Duration: 6 min 54 s
Description: Aprenda a criar reconstruções 3D fotorrealistas a partir de imagens 360 graus usando Gaussian splatting e COLMAP. Este método computacional permite ambientes imersivos para terapia, educação e validação industrial em realidade virtual.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

1. Captura de imagem
<ol>
	<li>Coloque a câmera de 360° em um tripé com altura ajustável. Selecione uma série de posições dentro do ambiente a ser digitalizado, seguindo um padrão de malha quadrada onde cada borda é espaçada 1,5 m.</li>
	<li>Capture imagens em três alturas diferentes em cada ponto selecionado da malha: aproximadamente 0,4 m, 1,2 m e 2 m.</li>
	<li>Converta as imagens em 360° em imagens de formato equirretangular. Use o aplicativo Ista360, por exemplo. Selecione a imagem, pressione o botão Exportar , escolha o modo de foto Exportar 360 e exporte-a como uma imagem de proporção 2:1.</li>
	<li>Extraia imagens em perspectiva no formato 16:9 de cada imagem equirretangular com um campo de visão horizontal de 90°. Use os seguintes ângulos horizontais para todas as imagens: 0, 45, 90, 135, 180, 225, 270, 315. Para imagens tiradas a uma altura de 0,4 m, use ângulos verticais 0, 50. Para imagens tiradas a uma altura de 1,2 m, use ângulos verticais -50, 0, 50. Para imagens tiradas a uma altura de 2 m, use ângulos verticais -50, 0. Para o processo de extração, use o script Python Equi2Pers.py (Arquivo de Codificação Suplementar 1; Figura 2).</li>
</ol>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/68386/68386fig2.jpg"> 
Figura 2: Imagens equirretangulares para projeções. Diagrama de como uma imagem equirretangular é convertida em uma projeção de mapa de cubo. <a href="https://www.jove.com/files/ftp_upload/68386/68386fig2large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
2. Estimativa da pose da câmera com COLMAP
<ol>
	<li>Crie um novo projeto COLMAP clicando em Arquivo &gt; Novo Projeto, especifique o caminho para as imagens e crie um novo banco de dados.</li>
	<li>Extraia recursos para cada imagem clicando em Processamento &gt; Extração de recursos, selecionando PINHOLE como um modelo de câmera e compartilhando para todas as imagens. Deixe os parâmetros restantes como padrão. Em áreas com muita textura, max_num_features pode ser reduzido para aumentar a eficiência do método.</li>
	<li>Execute a correspondência de recursos clicando em Processamento &gt; Correspondência de recursos, usando os parâmetros padrão.</li>
	<li>Calcule o SfM clicando em Reconstrução &gt; Iniciar Reconstrução para obter as posições e orientações da câmera, usando os parâmetros COLMAP padrão.</li>
	<li>Minimize os erros de reprojeção usando o ajuste do pacote clicando em Reconstrução &gt; Ajuste do pacote.</li>
	<li>Gere uma representação 3D densa da cena clicando em Reconstrução &gt; Reconstrução densa, com saídas que incluem poses de câmera e pontos reconstruídos.</li>
</ol>
3. Reconstrução de cena 3D fotorrealista usando splatting gaussiano (GS)
<ol>
	<li>Execute o arquivo train.py com os parâmetros -s, -m e -r, onde -s especifica o caminho do projeto COLMAP, -m define o caminho de saída para Gaussian Splatting (se não for especificado, um padrão é gerado) e -r redimensiona as imagens, normalmente definidas entre 2 e 4. NOTA: O arquivo train.py está no repositório oficial do Gaussian Splatting https://github.com/graphdeco-inria/gaussian-splatting.</li>
	<li>Localize o arquivo .ply gerado pelo Gaussian Splatting no caminho de saída para uso posterior no Unity.</li>
</ol>
4. Renderização em realidade virtual com Unity e splatting gaussiano
<ol>
	<li>Conecte o fone de ouvido VR ao computador. Esse método depende do fone de ouvido VR usado.</li>
	<li>Use o Unity Hub para criar um projeto 3D com a versão 2022.3.44f1. Instale o Unity versão 2022.3.44f1, se necessário. Vá para Projetos &gt; Novo Projeto, selecione a versão 2022.3.44f1 e o modelo 3D (Core), defina um nome e local de projeto e clique em Criar Projeto para gerá-lo com as configurações padrão.</li>
	<li>Instale um plug-in para gerenciar o headset VR e simplificar o desenvolvimento de aplicativos, incluindo tarefas como acessar o joystick e o rastreamento ocular. Faça isso por meio do Unity Asset Store usando o Gerenciador de Pacotes clicando em Janela &gt; Gerenciador de Pacotes.</li>
	<li>Use o plug-in UnityGaussianSplatting para gerar um ativo a partir da saída do Gaussian Splatting. Faça isso por meio da Unity Asset Store usando o Package Manager. Para gerar esse ativo, vá para Ferramentas &gt; GaussianSplats &gt; Criar GaussianSplatAsset e forneça o arquivo .ply gerado pelo Gaussian Splatting.</li>
	<li>Use o plug-in UltraLeap para melhorar a detecção de mãos, aprimorando a interação do usuário. Para instalá-lo, acesse o Unity Asset Store &gt; Package Manager e clique em Window &gt; Package Manager.</li>
	<li>Use o plug-in whisper.unity para transcrever o áudio capturado pelo microfone do headset de VR. Instale-o conforme descrito na etapa 4.5.</li>
	<li>Use um modelo LLM para gerar respostas. Instale o plug-in LLMUnity para habilitar o uso deste LLM. Instale-o conforme descrito na etapa 4.5.<ol>
		<li>Crie um GameObject vazio e adicione um script LLM e, em seguida, clique no botão de download do modelo para selecionar um modelo padrão. Para os caracteres, adicione um objeto vazio e anexe o script LLMCharacter a ele, onde o nome e a função podem ser especificados.</li>
	</ol>
	</li>
	<li>Use o SDK do Meta - Voice para gerar áudio a partir da resposta produzida pelo LLM. Para conseguir isso, instale um plug-in de conversão de texto em fala por meio do Unity Asset Store usando o Gerenciador de Pacotes clicando em Window &gt; Package Manager.</li>
	<li>Use fones de ouvido VR para permitir uma interação imersiva.</li>
</ol>

<ol><li>Zollmann, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality+for+Construction+Site+Monitoring+and+Documentation%5BTitle%5D)+AND+%22Proceedings+IEEE%22%5BJournal%5D)">Augmented Reality for Construction Site Monitoring and Documentation.</a> Proceedings IEEE. 102 (2), 137-154 (2012).</li>
<li>Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comprehensive+review+of+vision-based+3d+reconstruction+methods%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">A comprehensive review of vision-based 3d reconstruction methods.</a> Sensors. 24 (7), 2314(2024).</li>
<li>Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).</li>
<li>Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+gaussian+splatting+for+real-time+radiance+field+rendering%5BTitle%5D)+AND+%22ACM+Trans.+Graph%22%5BJournal%5D)">3d gaussian splatting for real-time radiance field rendering.</a> ACM Trans. Graph. 42 (4), 139-141 (2023).</li>
<li>Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).</li>
<li>Remondino, F., El-Hakim, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image-based+3D+modelling%3A+A+review%5BTitle%5D)+AND+%22Photogrammet+Record%22%5BJournal%5D)">Image-based 3D modelling: A review.</a> Photogrammet Record. 21 (115), 269-291 (2006).</li>
<li>Özyeşil, O., Voroninski, V., Basri, R., Singer, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+structure+from+motion%5BTitle%5D)+AND+%22Acta+Numerica%22%5BJournal%5D)">A survey of structure from motion.</a> Acta Numerica. 26, 305-364 (2017).</li>
<li>Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).</li>
<li>Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gaussian+Splatting%3A+3D+Reconstruction+and+Novel+View+Synthesis%3A+A+Review%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review.</a> IEEE Access. 12, 96797-96820 (2024).</li>
<li>Zhang, M., Ding, H., Naumceska, M., Zhang, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+Reality+Technology+as+an+Educational+and+Intervention+Tool+for+Children+with+Autism+Spectrum+Disorder%3A+Current+Perspectives+and+Future+Directions%5BTitle%5D)+AND+%22Behav+Sci%22%5BJournal%5D)">Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions.</a> Behav Sci. 12 (5), 138(2023).</li>
<li>Failla, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+for+autism%3A+unlocking+learning+and+growth%5BTitle%5D)+AND+%22Front+Psychol%22%5BJournal%5D)">Virtual reality for autism: unlocking learning and growth.</a> Front Psychol. 15, 1417717(2024).</li>
<li>Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aHuang%2C+B+%22arXiv%22">arXiv</a>. , (2024).</li>
<li>Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aZhang%2C+Y+%22arXiv%22">arXiv</a>. , (2025).</li>
</ol>

A capacidade de recriar e interagir com paisagens 3D tornou-se crítica em muitas áreas diferentes de aplicações de tecnologia moderna. As técnicas tradicionais para criar representações virtuais de locais reais às vezes dependem de modelos rígidos e trabalhosos e medições manuais1. Técnicas avançadas de visão computacional surgiram como opções viáveis para reconstrução e interação 3D automatizadas, a fim de superar essas limitações2.
O desenvolvimento de modelos 3D complexos a partir de fotografias de 360 graus é uma característica notável desse progresso. Informações espaciais precisas podem ser obtidas identificando as áreas exatas em que as fotos foram tiradas usando ferramentas de última geração, como o COLMAP3. O processo é aprimorado ainda mais pelo Gaussian Splatting4, que permite que configurações complicadas sejam recriadas em 3D com boa qualidade.
A incorporação desses modelos 3D em sistemas de Realidade Virtual (VR) abre novos caminhos para exploração e engajamento além da reconstrução. Para aumentar o engajamento, os usuários podem medir objetos do mundo real, como portas e mesas, mover-se pelo espaço virtual e até adicionar objetos digitais e avatares. Esses avatares podem produzir respostas dinâmicas e interativas usando Large Language Models (LLMs), resultando em experiências imersivas5.
Este trabalho apresenta uma metodologia para criar representações tridimensionais de um ambiente do mundo real usando imagens coloridas regulares e exibi-las em uma configuração de realidade virtual. O sistema depende de tubulações de estrutura de movimento e gaussianas de uso geral. O sistema é adequado para a criação de outras aplicações na construção ou na saúde.
O pipeline proposto produz representações tridimensionais visualmente realistas e atraentes de ambientes reais, que é sua principal vantagem. Além disso, utiliza imagens coloridas, que são muito convenientes em comparação com outras abordagens que requerem sensores caros, como LiDARs ou câmeras de luz estruturada6. A lógica por trás da proposta é que a capacidade de criar facilmente representações tridimensionais visualmente atraentes tem muitas aplicações. Ele pode ser usado na construção para controle de qualidade, na área da saúde para tratar pessoas autistas em um ambiente conhecido e controlado ou no entretenimento para incluir uma representação precisa de um local real em um videogame.
O desenvolvimento de sistemas para reconstrução 3D e interação com ambientes virtuais avançou significativamente nos últimos anos, impulsionado pela integração de tecnologias de visão computacional, aprendizado de máquina e realidade virtual2. Os principais componentes e metodologias relevantes para este trabalho são descritos abaixo.
A reconstrução 3D precisa depende do processamento de imagens para extrair informações espaciais e geométricas. Métodos tradicionais, como Structure from Motion (SfM)7 e Multi-View Stereo (MVS)8 , têm sido amplamente utilizados para estimar poses de câmeras e gerar nuvens de pontos densas. Ferramentas como o COLMAP são reconhecidas por sua robustez na execução dessas tarefas, combinando SfM e MVS para produzir modelos 3D altamente precisos a partir de conjuntos de dados de imagens. No entanto, permanecem limitações ao lidar com iluminação complexa, texturas e ambientes altamente dinâmicos.
Avanços recentes incluem o Gaussian Splatting9, que usa uma representação baseada em pontos para produzir reconstruções fotorrealistas com maior eficiência do que os métodos tradicionais baseados em malha. O Splatting Gaussiano permite uma visualização mais suave e uma representação espacial mais precisa, especialmente em cenas com detalhes intrincados.
Uma vez que os modelos 3D tenham sido reconstruídos, transformá-los em formatos compatíveis com VR é crucial para uma interação imersiva. O uso de sistemas de RV se expandiu além do entretenimento em áreas como educação, saúde10 e design industrial. As estruturas modernas de RV permitem navegação perfeita, interação com objetos digitais e realismo aprimorado, tornando-as adequadas para aplicativos que exigem alto envolvimento do usuário.
A integração de recursos interativos, como objetos virtuais e avatares, aumenta significativamente a funcionalidade e a profundidade dos sistemas de realidade virtual (VR). Os avatares alimentados por Large Language Models (LLMs) facilitam interações de conversação realistas, permitindo experiências de usuário dinâmicas e adaptáveis. Em particular, essas tecnologias têm mostrado potencial em contextos terapêuticos, permitindo interações personalizadas com base no comportamento do usuário ou no estado emocional. Por exemplo, este estudo11 desenvolveu um aplicativo de RV usando avatares como chatbots alimentados por LLMs para treinar indivíduos autistas em habilidades de comunicação vocacional, destacando a adaptabilidade de avatares com LLM na terapia. Além disso, os LLMs foram incorporados em ambientes de realidade aumentada para promover a inclusão e o engajamento, apoiando ainda mais o potencial terapêutico dos avatares orientados por LLM.
Os ambientes virtuais estão sendo cada vez mais usados em ambientes terapêuticos, principalmente para indivíduos com Transtorno do Espectro do Autismo (TEA). Estudos mostram que espaços virtuais familiares e controlados podem reduzir a ansiedade e aumentar o engajamento durante as sessões de terapia11. Os avatares nesses ambientes podem atuar como facilitadores, oferecendo terapia de uma forma segura e acessível ao paciente.
Apesar do progresso, os desafios permanecem, incluindo o custo computacional da reconstrução 3D, mantendo a alta fidelidade em ambientes virtuais e garantindo uma integração suave entre os sistemas. No entanto, o desenvolvimento contínuo de algoritmos e hardware mais eficientes, bem como os avanços nas ferramentas orientadas por IA, oferecem oportunidades para mais inovação nessa área. Este artigo apresenta um novo sistema para reconstrução 3D e interação com ambientes virtuais usando imagens em 360 graus. A abordagem integra técnicas como localização de imagens usando COLMAP, reconstrução de alta qualidade usando splatting gaussiano e compatibilidade com VR para exploração imersiva. Ao incorporar objetos digitais e avatares interativos alimentados por LLMs, o sistema permite aplicações em terapia personalizada para indivíduos com TEA e verificação de projetos de construção. Essas ferramentas fornecem uma estrutura abrangente para a criação de ambientes virtuais adaptativos que aprimoram as práticas terapêuticas e industriais. A Figura 1 mostra o pipeline de propostas.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/68386/68386fig1.jpg"> 
Figura 1: Pipeline do sistema. Diagrama da tubulação proposta para reconstrução fotorrealista do ambiente composto pelo ambiente real, as imagens 360°, as projeções obtidas, o processo SfM, o processo de Splatting Gaussiano e a integração com a Realidade Virtual. <a href="https://www.jove.com/files/ftp_upload/68386/68386fig1large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>

<table><tbody><tr><td>Placas de vídeo NVIDIA GeForce RTX 2080</td><td>NVIDIA</td><td>TU104-400A</td><td>Dispositivo para processamento e reconstrução de imagens&nbsp;</td></tr><tr><td>Insta360 X4</td><td>Insta360</td><td>CINSABMA-H</td><td>Dispositivo de aquisição de dados para reconstrução</td></tr><tr><td>Meta Quest III</td><td>Meta</td><td>899-00582-01</td><td>Dispositivo para visualização e interação com a reconstrução</td></tr><tr><td>Cartão de Memória Evo Plus 128 GB</td><td>Samsung</td><td>MB-MC128KA/UE</td><td>cartão de memória para 360&deg; Armazenamento de fotos</td></tr></tbody></table>

paisagens aprendidas fotorrealistas para realidade aumentada

Photorealistic Learned Landscapes for Augmented Reality

Nesta seção, são discutidos resultados representativos, pontos fortes e limitações do pipeline proposto. Os resultados da aplicação do método proposto são os seguintes. A Figura 3 mostra a posição da câmera (em vermelho) e a nuvem de pontos densa. Grupos de câmeras com origens comuns representam projeções da mesma imagem equirretangular.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/68386/68386fig3.jpg"> 
...

Paisagens aprendidas fotorrealistas para realidade aumentada

The ability to create photorealistic 3D reconstructions of real-world environments from standard color images has numerous applications in fields such as ...

photorealistic-learned-landscapes-for-augmented-reality

Research

JoVE Journal

Engineering

Engenharia

Este vídeo demonstra o uso de realidade aumentada (AR) para ressecção de tumor, onde uma amostra de tumor digitalizada em 3D é visualizada como um holograma em uma tela montada na cabeça. Os cirurgiões podem manipular e travar o holograma no lugar para garantir a remoção precisa do tumor.

Visualização baseada em realidade aumentada de uma amostra de tumor ressecado

Este estudo apresenta um paradigma experimental para um teste de usabilidade combinando avaliações subjetivas e objetivas. A avaliação objetiva adotou os métodos Neuro-Information-Systems (NeuroIS) e a avaliação subjetiva adotou um questionário de usabilidade e uma escala NASA-Task Load Index (NASA-TLX).

Avaliação da Usabilidade da Realidade Aumentada: Um Estudo de Sistemas de Neuro-Informação

Este artigo apresenta o projeto e a implementação de um módulo de cirurgia automática baseado em reconstrução 3D baseada em realidade aumentada (AR). O sistema permite a cirurgia remota, permitindo que os cirurgiões inspecionem características reconstruídas e repliquem os movimentos cirúrgicos da mão como se estivessem realizando a cirurgia nas proximidades.

Cirurgia Automática no Implante Percutâneo da Valva Aórtica com Realidade Aumentada

Este protocolo oferece um guia para implementar o rastreamento de marcadores infravermelhos para fantasmas em movimento livre (por exemplo, órgãos) e visualização holográfica usando Realidade Aumentada. Além disso, descreve uma configuração para validação pré-clínica de sistemas de navegação holográfica usando rastreamento eletromagnético em fantasmas em movimento livre.

Abordagem técnica para rastreamento infravermelho para navegação de tecidos moles com um display holográfico montado na cabeça e validação pré-clínica

Fotovoltaicos orgânicos (OPV) materiais são inerentemente heterogênea em escala nanométrica. Heterogeneidade de materiais em nanoescala OPV afeta o desempenho de dispositivos fotovoltaicos. Neste trabalho, nós descrevemos um protocolo de medidas quantitativas de características elétricas e mecânicas de materiais OPV com sub-resolução de 100 nm.

Condutividade quantitativa concorrente e Medidas mecânicas de materiais fotovoltaicos orgânicos utilizando AFM

Relatamos uma alteração no processo de HF tratado in situ de Si (001) para um estado de superfície hidrófilo ou hidrófobo por irradiação de amostras em câmaras de microfluidos cheios com H 2 O 2 / H 2 O solução (0,01% -0,5%) ou soluções de metanol usando laser UV pulsado de baixa fluência de pulso relativa.

Seletiva Área Modificação de Superfície Wettability Silicon por Pulsed Laser irradiação UV em meio líquido

Devido à importância e ampla utilização de paládio, ouro e cobalto   metais em equipamentos de alta tecnologia, a sua recuperação e reciclagem constituem um importante desafio industrial. O sistema de recuperação de metal aqui descrito é uma low-cost simples, significa para a eficaz detecção, remoção e recuperação destes metais da mina urbana.

Detecção e recuperação de paládio, do ouro e cobalto Metais da Mina Urbana Usando novos sensores / adsorventes Designados com poros em nanoescala em forma de roda de carroça

Descrevemos uma técnica para inscrever grades de Bragg de fibra idêntica em cada núcleo de uma fibra multicore. Isso é obtido introduzindo uma superfície adicional no caminho óptico para mitigar as lentes pela superfície curva do revestimento da fibra.

Escrevendo redes de Bragg em fibras Multicore

Métodos experimentais para investigação de processos de resfriamento em estado sólido e caracterização das propriedades do material elastocalórico de Ligas com Memória de Forma (SMA) são apresentados. Um equipamento de teste personalizado foi projetado para controlar e monitorar detalhadamente os processos de resfriamento elastocalórico. Além disso, fornece uma plataforma de validação para abordagens de modelagem termomecanicamente acopladas.

Métodos experimentais para processos de resfriamento Elastocaloric Investigação de Memória de Forma baseada e Validação de Modelo

Demonstramos a manipulação precisa de moléculas orgânicas individuais em uma superfície metálica com a ponta de um microscópio de varredura acionado em 3D pela mão do experimentador usando um sistema de captura de movimento e óculos de realidade virtual totalmente imersivos.

Mão Controlado Manipulação de solteiro moléculas através de um Scanning Probe Microscope com uma interface de realidade virtual 3D

Aprenda a criar reconstruções 3D fotorrealistas a partir de imagens 360 graus usando Gaussian splatting e COLMAP. Este método computacional permite ambientes imersivos para terapia, educação e validação industrial em realidade virtual.

Paisagens aprendidas fotorrealistas para realidade aumentada

Explorar mais vídeos