Paisagens aprendidas fotorrealistas para realidade aumentada

Este artigo apresenta um sistema para reconstrução 3D fotorrealista usando imagens de 360 graus, Gaussian Splatting e integração de realidade virtual. A abordagem pode ser aplicada a diferentes aplicações, como educação, simulação de ambientes de aprendizagem; construção, para simular obras fora do local e recuperar métricas; ou saúde, para treinar pessoas autistas em tarefas da vida diária.

Nossa pesquisa se concentra na criação de reconstruções 3D fotorrealistas a partir de imagens de 360 graus para construir ambientes virtuais imersivos. Ele explora como isso pode apoiar a terapia, a educação e a validação industrial. As abordagens comuns incluem extração de movimentos e multiview exterior, geralmente usando ferramentas como COLMAP. Métodos recentes como oferecem resultados mais rápidos e visualmente realistas para aplicativos imersivos.

O desafio inclui os custos computacionais de plotagem apaixonada, fluxo de teste dificilmente baixo e inserção de uma estimativa de pós-câmera gráfica, que afetam diretamente o custo e a qualidade. Abordamos a falta de um sistema de custódia 3D totalístico que interaja lentamente com o arco B e suporte o uso dinâmico que interage diretamente com o sensor preciso.

[Narrador] Para começar, coloque uma câmera de 360 graus em um tripé com altura ajustável. Selecione uma série de posições dentro do ambiente para digitalização, usando um padrão de malha quadrada em que cada borda é espaçada de 1,5 metros. Em cada ponto de malha, capture imagens em três alturas diferentes de aproximadamente 0,4 metros, 1,2 metros e dois metros. Converta as imagens em 360 graus para o formato equi-retangular, usando uma ferramenta como o aplicativo Insta 360. Selecione a imagem, pressione o botão de exportação. Escolha o modo de exportação de foto 360 e exporte-o como uma imagem de proporção de dois para um. Use o script Equi2Pers.py para extrair imagens em perspectiva de 16 a nove formatos de cada imagem equirretangular com um campo de visão horizontal de 90 graus. Aplique ângulos horizontais de zero, 45, 90, 135, 180, 225, 270 e 315 graus e ângulos verticais com base na altura. Em seguida, clique em arquivar um novo projeto para criar um novo projeto COLMAP. Especifique o caminho para as imagens e crie um novo banco de dados. Clique em processamento, seguido de extração de recursos para extrair recursos para cada imagem. Selecione pinhole como o modelo da câmera e compartilhe todas as imagens. Deixe os parâmetros restantes como estrutura de cálculo padrão para movimento clicando em reconstrução e inicie a reconstrução para obter as posições e orientações da câmera, usando os parâmetros COLMAP padrão. Clique em reconstrução e escolha o ajuste do pacote para minimizar os erros de reprojeção. Agora gere uma representação vista em 3D densa escolhendo uma reconstrução densa com saídas, incluindo poses de câmera e pontos reconstruídos. Para reconstrução vista em 3D fotorrealista, usando splatting gaussiano, execute o script train.py, usando os parâmetros menos S, menos M e menos R. Localize o arquivo .py gerado no diretório de saída especificado para importação subsequente no Unity. Conecte o fone de ouvido de realidade virtual ao computador, seguindo as instruções específicas para o modelo de fone de ouvido usado. Use o Unity Hub para criar um projeto 3D com a versão 2022.44f1. Navegue até projetos, clique em novo projeto. Selecione o modelo de pipeline de renderização interno 3D. Defina o nome e o local do projeto e clique em criar projeto. Para gerenciar o headset VR e simplificar as tarefas de desenvolvimento, instale um plug-in da Unity Asset Store por meio do gerenciador de pacotes clicando em window e package manager. Use o plug-in de splatting gaussiano do Unity para converter a saída de splatting gaussiano em um ativo utilizável. Melhore o rastreamento manual instalando o plug-in ultra elite por meio do gerenciador de pacotes da Unity Asset Store. Transcreva o áudio do microfone do headset de RV usando o plug-in whisper.unity. Instale-o usando o gerenciador de pacotes. Habilite a geração de respostas, usando um modelo de linguagem grande, instalando o plug-in LLM Unity. Instale-o por meio do gerenciador de pacotes, conforme demonstrado anteriormente. Gere fala a partir de respostas geradas pelo LLM, usando o SDK do meta voice. Instale um plug-in de conversão de texto em fala da Unity Asset Store por meio do gerenciador de pacotes clicando em janela e gerenciador de pacotes. Por fim, use o fone de ouvido VR para experimentar e interagir com o ambiente imersivo. Grupos de posições de câmera derivadas de origens equi-retangulares compartilhadas foram usados para gerar nuvens de pontos densas para reconstrução vista, revelando um mapeamento espacial consistente dos ângulos de captura. O método proposto, usando splatting gaussiano, produziu uma reconstrução fotorrealista, muito semelhante ao ambiente real. Os usuários podem interagir efetivamente com o ambiente reconstruído por meio da realidade virtual, mantendo a imersão e a consciência espacial, com visuais apresentados dentro do fone de ouvido combinando com a configuração da sala. Ambientes virtuais familiares e desconhecidos foram desenvolvidos com objetivos terapêuticos em mente, com base no feedback de terapeutas profissionais. Um agente virtual foi renderizado no espaço reconstruído, permitindo que os usuários se envolvessem em cenários interativos realistas por meio de VR, com o agente aparecendo como uma figura realista na visualização do fone de ouvido. As reconstruções virtuais replicaram pontos de vista específicos, com precisão, quando baseadas em imagens de entrada, mas os desvios de perspectiva resultaram em limitações de renderização perceptíveis. Em comparação com a saída da nuvem de pontos COLMAP, o splatting gaussiano produziu uma reconstrução visualmente mais contínua e realista, adequada para interação em tempo real, embora com precisão métrica reduzida.