Paisagens aprendidas fotorrealistas para realidade aumentada

Resumo

Este artigo apresenta um sistema para reconstrução 3D fotorrealista usando imagens de 360 graus, Gaussian Splatting e integração de realidade virtual. A abordagem pode ser aplicada a diferentes aplicações, como educação, simulação de ambientes de aprendizagem; construção, para simular obras fora do local e recuperar métricas; ou saúde, para treinar pessoas autistas em tarefas da vida diária.

Resumo

A capacidade de criar reconstruções 3D fotorrealistas de ambientes do mundo real a partir de imagens coloridas padrão tem inúmeras aplicações em áreas como saúde, educação e indústria. Este artigo apresenta um novo sistema que integra técnicas avançadas, como estrutura de movimento, registro incremental de cena e Gaussian Splatting para reconstruir modelos 3D detalhados. Esses modelos são perfeitamente integrados a ambientes de realidade virtual para permitir uma interação imersiva. O pipeline começa com a captura de imagens de 360 graus usando um padrão baseado em matriz para cobertura abrangente. As imagens são processadas usando COLMAP para estimar poses de câmera e gerar uma nuvem de pontos esparsa. O Gaussian Splatting refina a reconstrução otimizando as posições, formas e aparência dos pontos para produzir ambientes 3D altamente realistas. Esses modelos são renderizados no Unity, permitindo a interação por headsets de VR e dando suporte a recursos adicionais, como avatares controlados por grandes modelos de linguagem. Um caso de uso demonstra a versatilidade do sistema. Na área da saúde, a abordagem cria espaços virtuais controlados e familiares para terapia, particularmente benéficos para pessoas com transtornos do espectro do autismo. Os ambientes imersivos e avatares interativos fornecem um ambiente seguro e confortável para terapia personalizada. Este sistema oferece vantagens significativas, incluindo alta fidelidade visual, facilidade de aquisição de imagens e experiências de usuário imersivas. No entanto, os desafios permanecem, como o custo computacional do Gaussian Splatting e sua dependência da estimativa precisa da pose da câmera. Ao superar essas limitações, esse método tem o potencial de transformar aplicações em vários domínios, desde intervenções terapêuticas até design industrial e preservação cultural.

Introdução

A capacidade de recriar e interagir com paisagens 3D tornou-se crítica em muitas áreas diferentes de aplicações de tecnologia moderna. As técnicas tradicionais para criar representações virtuais de locais reais às vezes dependem de modelos rígidos e trabalhosos e medições manuais¹. Técnicas avançadas de visão computacional surgiram como opções viáveis para reconstrução e interação 3D automatizadas, a fim de superar essas limitações².

O desenvolvimento de modelos 3D complexos a partir de fotografias de 360 graus é uma característica notável desse progresso. Informações espaciais precisas podem ser obtidas identificando as áreas exatas em que as fotos foram tiradas usando ferramentas de última geração, como o COLMAP³. O processo é aprimorado ainda mais pelo Gaussian Splatting⁴, que permite que configurações complicadas sejam recriadas em 3D com boa qualidade.

A incorporação desses modelos 3D em sistemas de Realidade Virtual (VR) abre novos caminhos para exploração e engajamento além da reconstrução. Para aumentar o engajamento, os usuários podem medir objetos do mundo real, como portas e mesas, mover-se pelo espaço virtual e até adicionar objetos digitais e avatares. Esses avatares podem produzir respostas dinâmicas e interativas usando Large Language Models (LLMs), resultando em experiências imersivas⁵.

Este trabalho apresenta uma metodologia para criar representações tridimensionais de um ambiente do mundo real usando imagens coloridas regulares e exibi-las em uma configuração de realidade virtual. O sistema depende de tubulações de estrutura de movimento e gaussianas de uso geral. O sistema é adequado para a criação de outras aplicações na construção ou na saúde.

O pipeline proposto produz representações tridimensionais visualmente realistas e atraentes de ambientes reais, que é sua principal vantagem. Além disso, utiliza imagens coloridas, que são muito convenientes em comparação com outras abordagens que requerem sensores caros, como LiDARs ou câmeras de luz estruturada⁶. A lógica por trás da proposta é que a capacidade de criar facilmente representações tridimensionais visualmente atraentes tem muitas aplicações. Ele pode ser usado na construção para controle de qualidade, na área da saúde para tratar pessoas autistas em um ambiente conhecido e controlado ou no entretenimento para incluir uma representação precisa de um local real em um videogame.

O desenvolvimento de sistemas para reconstrução 3D e interação com ambientes virtuais avançou significativamente nos últimos anos, impulsionado pela integração de tecnologias de visão computacional, aprendizado de máquina e realidade virtual². Os principais componentes e metodologias relevantes para este trabalho são descritos abaixo.

A reconstrução 3D precisa depende do processamento de imagens para extrair informações espaciais e geométricas. Métodos tradicionais, como Structure from Motion (SfM)⁷ e Multi-View Stereo (MVS)⁸ , têm sido amplamente utilizados para estimar poses de câmeras e gerar nuvens de pontos densas. Ferramentas como o COLMAP são reconhecidas por sua robustez na execução dessas tarefas, combinando SfM e MVS para produzir modelos 3D altamente precisos a partir de conjuntos de dados de imagens. No entanto, permanecem limitações ao lidar com iluminação complexa, texturas e ambientes altamente dinâmicos.

Avanços recentes incluem o Gaussian Splatting⁹, que usa uma representação baseada em pontos para produzir reconstruções fotorrealistas com maior eficiência do que os métodos tradicionais baseados em malha. O Splatting Gaussiano permite uma visualização mais suave e uma representação espacial mais precisa, especialmente em cenas com detalhes intrincados.

Uma vez que os modelos 3D tenham sido reconstruídos, transformá-los em formatos compatíveis com VR é crucial para uma interação imersiva. O uso de sistemas de RV se expandiu além do entretenimento em áreas como educação, saúde¹⁰ e design industrial. As estruturas modernas de RV permitem navegação perfeita, interação com objetos digitais e realismo aprimorado, tornando-as adequadas para aplicativos que exigem alto envolvimento do usuário.

A integração de recursos interativos, como objetos virtuais e avatares, aumenta significativamente a funcionalidade e a profundidade dos sistemas de realidade virtual (VR). Os avatares alimentados por Large Language Models (LLMs) facilitam interações de conversação realistas, permitindo experiências de usuário dinâmicas e adaptáveis. Em particular, essas tecnologias têm mostrado potencial em contextos terapêuticos, permitindo interações personalizadas com base no comportamento do usuário ou no estado emocional. Por exemplo, este estudo¹¹ desenvolveu um aplicativo de RV usando avatares como chatbots alimentados por LLMs para treinar indivíduos autistas em habilidades de comunicação vocacional, destacando a adaptabilidade de avatares com LLM na terapia. Além disso, os LLMs foram incorporados em ambientes de realidade aumentada para promover a inclusão e o engajamento, apoiando ainda mais o potencial terapêutico dos avatares orientados por LLM.

Os ambientes virtuais estão sendo cada vez mais usados em ambientes terapêuticos, principalmente para indivíduos com Transtorno do Espectro do Autismo (TEA). Estudos mostram que espaços virtuais familiares e controlados podem reduzir a ansiedade e aumentar o engajamento durante as sessões de terapia¹¹. Os avatares nesses ambientes podem atuar como facilitadores, oferecendo terapia de uma forma segura e acessível ao paciente.

Apesar do progresso, os desafios permanecem, incluindo o custo computacional da reconstrução 3D, mantendo a alta fidelidade em ambientes virtuais e garantindo uma integração suave entre os sistemas. No entanto, o desenvolvimento contínuo de algoritmos e hardware mais eficientes, bem como os avanços nas ferramentas orientadas por IA, oferecem oportunidades para mais inovação nessa área. Este artigo apresenta um novo sistema para reconstrução 3D e interação com ambientes virtuais usando imagens em 360 graus. A abordagem integra técnicas como localização de imagens usando COLMAP, reconstrução de alta qualidade usando splatting gaussiano e compatibilidade com VR para exploração imersiva. Ao incorporar objetos digitais e avatares interativos alimentados por LLMs, o sistema permite aplicações em terapia personalizada para indivíduos com TEA e verificação de projetos de construção. Essas ferramentas fornecem uma estrutura abrangente para a criação de ambientes virtuais adaptativos que aprimoram as práticas terapêuticas e industriais. A Figura 1 mostra o pipeline de propostas.

Figura 1: Pipeline do sistema. Diagrama da tubulação proposta para reconstrução fotorrealista do ambiente composto pelo ambiente real, as imagens 360°, as projeções obtidas, o processo SfM, o processo de Splatting Gaussiano e a integração com a Realidade Virtual. Clique aqui para ver uma versão maior desta figura.

Protocolo

1. Captura de imagem

1. Coloque a câmera de 360° em um tripé com altura ajustável. Selecione uma série de posições dentro do ambiente a ser digitalizado, seguindo um padrão de malha quadrada onde cada borda é espaçada 1,5 m.
2. Capture imagens em três alturas diferentes em cada ponto selecionado da malha: aproximadamente 0,4 m, 1,2 m e 2 m.
3. Converta as imagens em 360° em imagens de formato equirretangular. Use o aplicativo Ista360, por exemplo. Selecione a imagem, pressione o botão Exportar , escolha o modo de foto Exportar 360 e exporte-a como uma imagem de proporção 2:1.
4. Extraia imagens em perspectiva no formato 16:9 de cada imagem equirretangular com um campo de visão horizontal de 90°. Use os seguintes ângulos horizontais para todas as imagens: 0, 45, 90, 135, 180, 225, 270, 315. Para imagens tiradas a uma altura de 0,4 m, use ângulos verticais 0, 50. Para imagens tiradas a uma altura de 1,2 m, use ângulos verticais -50, 0, 50. Para imagens tiradas a uma altura de 2 m, use ângulos verticais -50, 0. Para o processo de extração, use o script Python Equi2Pers.py (Arquivo de Codificação Suplementar 1; Figura 2).

Figura 2: Imagens equirretangulares para projeções. Diagrama de como uma imagem equirretangular é convertida em uma projeção de mapa de cubo. Clique aqui para ver uma versão maior desta figura.

2. Estimativa da pose da câmera com COLMAP

1. Crie um novo projeto COLMAP clicando em Arquivo > Novo Projeto, especifique o caminho para as imagens e crie um novo banco de dados.
2. Extraia recursos para cada imagem clicando em Processamento > Extração de recursos, selecionando PINHOLE como um modelo de câmera e compartilhando para todas as imagens. Deixe os parâmetros restantes como padrão. Em áreas com muita textura, max_num_features pode ser reduzido para aumentar a eficiência do método.
3. Execute a correspondência de recursos clicando em Processamento > Correspondência de recursos, usando os parâmetros padrão.
4. Calcule o SfM clicando em Reconstrução > Iniciar Reconstrução para obter as posições e orientações da câmera, usando os parâmetros COLMAP padrão.
5. Minimize os erros de reprojeção usando o ajuste do pacote clicando em Reconstrução > Ajuste do pacote.
6. Gere uma representação 3D densa da cena clicando em Reconstrução > Reconstrução densa, com saídas que incluem poses de câmera e pontos reconstruídos.

3. Reconstrução de cena 3D fotorrealista usando splatting gaussiano (GS)

1. Execute o arquivo train.py com os parâmetros -s, -m e -r, onde -s especifica o caminho do projeto COLMAP, -m define o caminho de saída para Gaussian Splatting (se não for especificado, um padrão é gerado) e -r redimensiona as imagens, normalmente definidas entre 2 e 4.
   NOTA: O arquivo train.py está no repositório oficial do Gaussian Splatting https://github.com/graphdeco-inria/gaussian-splatting.
2. Localize o arquivo .ply gerado pelo Gaussian Splatting no caminho de saída para uso posterior no Unity.

4. Renderização em realidade virtual com Unity e splatting gaussiano

1. Conecte o fone de ouvido VR ao computador. Esse método depende do fone de ouvido VR usado.
2. Use o Unity Hub para criar um projeto 3D com a versão 2022.3.44f1. Instale o Unity versão 2022.3.44f1, se necessário. Vá para Projetos > Novo Projeto, selecione a versão 2022.3.44f1 e o modelo 3D (Core), defina um nome e local de projeto e clique em Criar Projeto para gerá-lo com as configurações padrão.
3. Instale um plug-in para gerenciar o headset VR e simplificar o desenvolvimento de aplicativos, incluindo tarefas como acessar o joystick e o rastreamento ocular. Faça isso por meio do Unity Asset Store usando o Gerenciador de Pacotes clicando em Janela > Gerenciador de Pacotes.
4. Use o plug-in UnityGaussianSplatting para gerar um ativo a partir da saída do Gaussian Splatting. Faça isso por meio da Unity Asset Store usando o Package Manager. Para gerar esse ativo, vá para Ferramentas > GaussianSplats > Criar GaussianSplatAsset e forneça o arquivo .ply gerado pelo Gaussian Splatting.
5. Use o plug-in UltraLeap para melhorar a detecção de mãos, aprimorando a interação do usuário. Para instalá-lo, acesse o Unity Asset Store > Package Manager e clique em Window > Package Manager.
6. Use o plug-in whisper.unity para transcrever o áudio capturado pelo microfone do headset de VR. Instale-o conforme descrito na etapa 4.5.
7. Use um modelo LLM para gerar respostas. Instale o plug-in LLMUnity para habilitar o uso deste LLM. Instale-o conforme descrito na etapa 4.5.
   1. Crie um GameObject vazio e adicione um script LLM e, em seguida, clique no botão de download do modelo para selecionar um modelo padrão. Para os caracteres, adicione um objeto vazio e anexe o script LLMCharacter a ele, onde o nome e a função podem ser especificados.
8. Use o SDK do Meta - Voice para gerar áudio a partir da resposta produzida pelo LLM. Para conseguir isso, instale um plug-in de conversão de texto em fala por meio do Unity Asset Store usando o Gerenciador de Pacotes clicando em Window > Package Manager.
9. Use fones de ouvido VR para permitir uma interação imersiva.

Resultados

Nesta seção, são discutidos resultados representativos, pontos fortes e limitações do pipeline proposto. Os resultados da aplicação do método proposto são os seguintes. A Figura 3 mostra a posição da câmera (em vermelho) e a nuvem de pontos densa. Grupos de câmeras com origens comuns representam projeções da mesma imagem equirretangular.

...

Discussão

Este estudo apresenta uma nova metodologia para reconstrução 3D fotorrealista e interação em ambiente virtual usando imagens de 360 graus e técnicas avançadas de renderização. As etapas críticas, desafios e implicações do sistema proposto são discutidos abaixo.

Etapas críticas
Uma das principais etapas do pipeline proposto é a captura de imagens. Usando uma câmera de 360 graus posicionada em várias alturas e locais, um conjunto de dados abr...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Placas de vídeo NVIDIA GeForce RTX 2080	NVIDIA	TU104-400A	Dispositivo para processamento e reconstrução de imagens
Insta360 X4	Insta360	CINSABMA-H	Dispositivo de aquisição de dados para reconstrução
Meta Quest III	Meta	899-00582-01	Dispositivo para visualização e interação com a reconstrução
Cartão de Memória Evo Plus 128 GB	Samsung	MB-MC128KA/UE	cartão de memória para 360° Armazenamento de fotos