Tecnologia de Turismo de Realidade Aumentada baseada em um algoritmo ORB aprimorado e matriz de homografia

Resumo

Este estudo apresenta um método aprimorado de correspondência de pontos de características e registro 3D para o turismo de realidade aumentada, aprimorando o alinhamento, a estabilidade e a precisão do aparelhamento. Combinando ORB aprimorado, fluxo óptico LK e matriz de homografia aprimorada, a abordagem alcança taxas de correspondência correta e precisão de registro mais altas, melhorando a fusão de cenas virtuais e reais em aplicações turísticas.

Resumo

Este estudo propõe um método aprimorado de correspondência de pontos de características e registro 3D para aplicações de turismo de realidade aumentada. Esse método resolve questões como mau alinhamento, baixa estabilidade em ambientes complexos e baixa precisão de correspondência de características. Um método aprimorado de correspondência de pontos de características para imagens turísticas é introduzido, que combina o algoritmo Speeded Up Robust Features (SURF) com um algoritmo aprimorado Oriented FAST e Rotated BRIEF. Neste método, os pontos de característica são inicialmente detectados usando o algoritmo SURF, e sua orientação é determinada por meio de análise de resposta de wavelets. O método de fluxo óptico Lucas-Kanade é empregado para rastreamento de pontos de características. O algoritmo de consenso por amostra aleatória é então usado para eliminar pontos mal acompanhados. Além disso, uma técnica de registro 3D para turismo em realidade aumentada baseada em uma matriz de homografia aprimorada é proposta para superar as limitações das matrizes de homografia tradicionais, como baixa precisão de correspondência e eficiência de registro. O desempenho do método proposto foi analisado por meio de experimentos comparativos com os algoritmos SIFT, SURF e ORB originais sob várias transformações de imagem, incluindo escala, desfoque, iluminação e rotação. A taxa correta de correspondência e o tempo de correspondência foram usados como métricas de avaliação. Testes de simulação foram realizados para registro 3D usando diferentes modelos 3D. A precisão do registro e as contagens bem-sucedidas de registro foram avaliadas sob as mudanças rotacionais. Os resultados indicaram que a taxa média de correspondência correta do algoritmo proposto aumentou em 44,08%, 36,51% e 16,09% sob variação de escala em comparação com o algoritmo de transformação de características invariantes em escala, algoritmo de características robustas aceleradas e algoritmo não aprimorado, respectivamente. A taxa correta de correspondência sob transformação fuzzy aumentou em 33,46%, 19,65% e 9,35%, respectivamente. A precisão média do registro da técnica proposta de registro 3D foi de 98,74% sob transformação rotacional. Os resultados revelam que a abordagem sugerida pelo estudo pode melhorar com sucesso o efeito de fusão virtual e real da cena, oferecendo uma abordagem inovadora para o uso da tecnologia de realidade aumentada na indústria de viagens.

Introdução

A tecnologia emergiu como uma ferramenta fundamental para promover o progresso sinérgico da cultura e do turismo na economia digital em rápida^{transformação.} Nos últimos anos, a tecnologia de realidade aumentada (AR) tem visto um aumento na adoção em diversos setores, incluindo turismo, educação, medicina e indústria. AR é um campo emergente dentro do cenário tecnológico mais^{amplo 2}. No campo do turismo, essa tecnologia consegue sobrepor informações virtuais a cenas reais, proporcionando uma experiência imersiva e interativa para os turistas. Essa tecnologia pode não apenas aprimorar a experiência de viagem dos turistas, mas também inovar o cenário do consumo turístico e promover a transformação digital da cultura e da indústria^{do turismo 3}. No entanto, a adoção generalizada da RA em ambientes turísticos dinâmicos e não estruturados ainda é prejudicada por desafios técnicos significativos. As técnicas existentes de RA frequentemente apresentam baixa robustez em aplicações práticas. Eles são caracterizados por baixa precisão de correspondência de características, alinhamento inadequado entre objetos virtuais e reais, e estabilidade limitada sob condições ambientais complexas, como escalas variáveis, mudanças na iluminação e^{oclusões 4}. Essas limitações podem levar a uma experiência frustrante do usuário, com conteúdo virtual tremendo, se deslocando ou falhando em ancorar adequadamente, minando assim a sensação de imersão e realismo. Portanto, explorar uma técnica robusta e eficiente de RA para o turismo, que possa operar de forma confiável em ambientes reais, é uma prioridade atual de pesquisa. Como um algoritmo rápido de extração de pontos de características (FPE) e descrição, o FAST orientado e o BRIEF girado (ORB) são amplamente usados em FPE de imagem devido à sua alta eficiência e invariância^{rotacional 5}.

Zhang et ^al.6 propuseram um método FPE aprimorado para mapas densos ORB-SLAM2, visando melhorar a eficiência e reduzir o custo de adquirir mapas 3D de ambientes internos. O método realizou extração eficiente de pontos de características (FP) por meio da consistência assintótica da amostra para reduzir o uso da memória. Descobriu-se que o método poderia ser usado para o processo de navegação com precisão superior em FPE e alta eficiência^{de rastreamento 6}. Wu propôs um algoritmo rápido de correspondência de características que combina ORB e consenso aleatório de amostra (RANSAC) para tratar questões de erro rotacional em grande escala, baixa taxa de alinhamento, aleatoriedade e instabilidade. A eficácia dessa abordagem foi comprovada pelos achados, que demonstraram que o método proposto apresentava alta precisão de correspondência FP e estabilidade^{robusta 7}. Chen et al. propuseram um método de correspondência de características que combina o ORB aprimorado com o algoritmo de fluxo óptico (OF) Lucas-Kanade (LK) para resolver o problema da baixa precisão do correspondimento de características da imagem. O método utilizava o método de contraste de Michelson para FPE, e a estrutura quadtree era usada para homogeneizar os FPs extraídos e reduzir a quantidade computacional de correspondência de características. Os resultados demonstraram que a uniformidade e a precisão do método em FP foram melhoradas em 0,22% e 50,47%, respectivamente^{, 8}. Zuo et al. propuseram um algoritmo de esfera aprimorado para o acoplamento FP de imagens de campo óptico totalmente focadas, visando aumentar a precisão e robustez do método FPE e de correspondência da imagem. O método foi aprimorado refinando o algoritmo convencional ORB para aumentar o número e a precisão do FPE para imagens totalmente focadas em campo^{de luz 9}. Anggara et al. sugeriram um método de extração de características que funde o mapa de cores e o detector ORB em AR. O método primeiro extraía as características de speckle e de borda da imagem usando um método de rastreamento de características naturais baseado em características e, em seguida, convertia a imagem colorida para uma imagem em tons de cinza usando um detector ORB, na tentativa de melhorar a eficiência da detecção das características. Os resultados indicaram que a abordagem sugerida poderia melhorar com sucesso a extração^{de características 10}.

Devido à sua capacidade de combinar com precisão dados virtuais e cenas reais com tecnologias de RA, a matriz de homografia (HM) tem despertado muito interesse nos últimos^{anos 11,12}. Kim et al. propuseram um sistema de AR online em tempo real baseado no HM. O método utilizava uma câmera 3D com localização simultânea e construção de mapas para rastrear as informações da cena, e um HM era usado para preencher os quadros de origem da imagem na tentativa de melhorar a qualidade da imagem. Os resultados demonstraram que o método poderia reduzir efetivamente inconsistências visuais e artefatos e melhorar a experiência do usuário^{de RA 13}. Clement propôs um método de descrição de características de aprimoramento de direção baseado em filtragem em três níveis baseado em rastreamento de AR. O método utilizava um HM para descrever o movimento do alvo entre diferentes quadros, a fim de melhorar a robustez do alinhamento de características da imagem. Os resultados indicaram que o método alcançou pontuações de repetibilidade de 100%, 100% e 99% para mudança de iluminação, mudança de desfoque e mudança de ponto de vista, respectivamente¹⁴. Liu et al. propuseram um método local de correspondência de movimento para sensoriamento remoto de imagens baseado em HM, visando eliminar o correspondimento incorreto de características da imagem. O método em questão representava a consistência do movimento local da imagem por HM e introduziu um método de reamostragem. Os resultados demonstraram que o método proposto apresentou desempenho superior de^{correspondência 15}.

Como revisado acima, a busca técnica por um robusto alinhamento de recursos e registro é fundamentalmente impulsionada pela demanda de sua aplicação para criar experiências de usuário atraentes. Para situar esse trabalho técnico no contexto mais amplo da pesquisa em turismo de RA, é essencial se envolver com estudos recentes que examinam empiricamente os efeitos psicológicos e comportamentais da RA sobre os turistas. Por exemplo, Zhu et al. exploraram o mecanismo pelo qual a autenticidade e o transporte narrativo no turismo de RA influenciam o boca a boca por meio do apego de RA, utilizando modelagem estrutural de equações. Os resultados revelaram que o anexo AR media a relação entre autenticidade, transporte narrativo e boca a boca, oferecendo uma abordagem inovadora para o marketing de turismo^{de patrimônio 15}. Simultaneamente, Ngan e Lei analisaram o impacto da RA nas experiências de eventos esportivos e revisitaram a intenção. O estudo indicou que usuários de RA apresentaram engajamento cognitivo significativamente maior e que dimensões experienciais impactaram significativamente a intenção de revisitar, confirmando a eficácia da RA em aumentar a atratividade e a imersão dos^{eventos 16}. Além disso, Zhu et al. investigaram o mecanismo de impacto da presença turística nas experiências de RA no Boca a Boca (WOM), utilizando dados de pesquisa de uma exposição de RA no Museu do Palácio. Os resultados demonstraram que a presença poderia influenciar positivamente a OMM, e a autenticidade desempenhou um papel mediador significativo^{nesse aspecto.}

Em conclusão, um corpo significativo de pesquisas foi conduzido por inúmeros estudiosos sobre técnicas de AR baseadas no algoritmo ORB com HM, obtendo resultados superiores. No entanto, o algoritmo ORB ainda sofre de baixa robustez e ineficiência do FPE sob mudança de escala, mudança de iluminação e oclusão¹⁸. Além disso, a HM tradicional costuma ser um gargalo caracterizado por baixa precisão de correspondência e eficiência de registro. Isso leva ao desalinhamento e instabilidade de objetos virtuais em ambientes turísticos dinâmicos. A discrepância entre o desempenho dos métodos atuais e os requisitos para experiências estáveis e imersivas de RA no turismo continua sendo um desafio crítico e não resolvido. Para enfrentar esses desafios persistentes e possibilitar uma experiência de RA mais estável e imersiva no turismo, este estudo tem como objetivo aumentar a eficácia do FPE e do registro 3D. Este trabalho possui três contribuições teóricas. Primeiro, apresenta uma nova estrutura de correspondência de características que combina a propriedade de invariante em escala do detector SURF com a eficiência computacional aprimorada do descritor ORB. Essa integração é aprimorada pela determinação da orientação das características por meio da resposta wavelet e pelo refinamento do conjunto de pontos usando critérios de canto de Harris. Isso fornece um modelo teórico mais robusto para correspondência de características sob transformações, tornando-o mais do que apenas sequencial. Segundo, introduz um aprimoramento teórico no processo de estimativa de homografia ao empregar um método de retrocálculo de objetos virtuais-reais. Essa abordagem visa superar as limitações das matrizes de homografia tradicionais oferecendo um modelo de projeção mais estável e preciso para registro 3D. Por fim, ao combinar sistematicamente esses componentes aprimorados, o estudo oferece uma abordagem teórica consolidada para alcançar uma fusão virtual-real superior, especificamente adaptada às complexidades dos cenários de turismo ao ar livre.

Essa técnica aprimorada é altamente relevante para os principais atores do turismo. Ela permite que profissionais de marketing de destinos e operadores turísticos desenvolvam aplicações de RA estáveis e imersivas que funcionam como propostas de valor únicas. Para gestores de sítios de patrimônio cultural, oferece uma ferramenta confiável para criar sobreposições educacionais sem danificar artefatos físicos. Em última análise, para os turistas, o método aprimora diretamente a experiência ao proporcionar uma fusão fluida e estável da informação virtual com o ambiente real. Isso elimina a frustração de conteúdo virtual desalinhado ou com tremores. Como resultado, a imersão é significativamente mais profunda, a compreensão contextual é enriquecida e a satisfação geral com o serviço turístico aumenta. A inovação dessa pesquisa é a seguinte: (1) A imagem é suavizada por filtragem Gaussiana e a resposta wavelet é utilizada para determinar a direção dos FPs. Além disso, para aumentar a precisão e estabilidade da detecção de FP, os melhores FPs são filtrados integrando-se à técnica de detecção de pontos de canto de Harris. (2) O algoritmo RANSAC é introduzido para eliminar os FPs mal rastreados, a fim de melhorar ainda mais a robustez do correspondimento de características. (3) A HM é aprimorada pelo método de cálculo de retrocálculo de objetos virtuais-reais, que visa abordar as limitações da HM tradicional, como baixa precisão de correspondência de FP e eficiência de registro.

Protocolo

Esta seção propõe primeiro um método de correspondência FP para imagens de turismo combinando SURF e um algoritmo ORB aprimorado para melhorar a robustez do acoplamento FP. Depois, o estudo propõe uma técnica de registro 3D para turismo de AR baseada em HM aprimorada para potencializar o efeito de fusão entre informação virtual e o mundo real. Os experimentos foram realizados usando conjuntos de dados de imagens disponíveis publicamente. Especificamente, foi utilizado o conjunto de dados Oxford Visual Geometry Group (VGG), que inclui sequências de imagens com variações em escala, desfoque, iluminação e ponto de vista, e é amplamente adotado para avaliar algoritmos de correspondência e registro de características em visão computacional. Não foi necessária aprovação de comitê ético para o uso deste conjunto de dados público.

Combinando SURF e um algoritmo ORB aprimorado para correspondência de FP em imagens de turismo

Com o desenvolvimento em expansão da indústria do turismo, a demanda por tecnologia de RA em serviços turísticos automatizados está aumentando. O algoritmo ORB é um algoritmo eficiente de detecção e descrição de FP. A tecnologia de RA tem sido amplamente^{utilizada 19}. No entanto, no processo de correspondência de imagens de turismo por FP, o algoritmo ORB existente sofre de defeitos como baixa robustez a mudanças de escala, baixa precisão no correspondimento de características e o processo^{demorado de 20}. Para aumentar a precisão e robustez do matching, este estudo propõe um método robusto de correspondência de características integrando o SURF com um algoritmo ORB aprimorado. Para alcançar a invariância de escala, a imagem de entrada passa por filtragem Gaussiana e construção em pirâmide. O algoritmo SURF detecta FPs invariantes em escala, com orientações determinadas por respostas wavelet. A qualidade dos recursos é melhorada ao refinar os pontos iniciais usando o critério de canto de Harris e manter os mais distintos. O método de fluxo óptico Lucas-Kanade acompanha características entre quadros, e o algoritmo RANSAC elimina pontos incompatíveis. A lacuna metodológica abordada aqui não é apenas a aplicação sequencial do SURF e do ORB, mas uma estratégia inovadora de hibridização projetada para superar as limitações específicas dos híbridos padrão em ambientes turísticos complexos. Diferentemente das abordagens convencionais SURF-ORB, que usam SURF para detecção e aplicam diretamente um descritor ORB, o método atual introduz duas melhorias críticas. Primeiro, a orientação de cada FP localizada pelo SURF é recalculada usando sua resposta de wavelet. Isso fornece uma estimativa direcional mais robusta do que o SURF sozinho usando o método padrão baseado em wavelets de Haar. Segundo, e mais importante, os pontos SURF iniciais não são usados diretamente. Em vez disso, são rigorosamente refinados usando o critério de canto de Harris para filtrar pontos não distintivos com respostas baixas localizados em regiões planas ou ao longo de bordas.

Pré-processamento de imagem

Na fase de pré-processamento das imagens de turismo, o estudo extrai as características de imagens em tons de cinza. Para caracterizar ainda mais as características locais da imagem, o estudo utiliza o componente gradiente para identificar e classificar a imagem^{como 21}. A equação (1) demonstrou sua expressão.

(1)

Na Equação (1), I(x,y) denota o valor em pixels da imagem na coordenada (x,y).  denota o vetor gradiente da imagem em (x,y). e exibem as derivadas parciais da imagem nas direções x e y, respectivamente. T denota a transposição do vetor gradiente.

Detecção de pontos de características

Após reconhecer a imagem pelos componentes do gradiente, o estudo utiliza características do teste de segmentos acelerados (FAST) no algoritmo ORB para detectar os FPs da imagem. Além disso, os FPs são violentamente correspondidos usando o algoritmo de descrição binary robust independent elementary features (^{BRIEF) 22}. O esquema da detecção e correspondência de características desse algoritmo é mostrado na Figura 1.

Figura 1: Diagrama esquemático da correspondência de características entre o algoritmo FAST de detecção de características e o algoritmo de descrição BRIEF. Por favor, clique aqui para ver uma versão maior desta figura.

A Figura 1 ilustra o processo de detecção de características dos algoritmos FAST e BRIEF. A Figura 1A é um diagrama esquemático da detecção de características usando o algoritmo FAST. Um modelo circular de 16 pixels é usado para comparar o brilho ao redor do pixel central para rápida detecção das características dos cantos na imagem. A Figura 1B é um diagrama esquemático de correspondência de características no algoritmo BRIEF. Ao selecionar vários pares de pixels ao redor dos pontos de características para comparação em escala de cinza, descritores binários são gerados, e o ajuste de força bruta é usado para alcançar a correspondência dos pontos de características entre duas imagens. O aprimoramento envolve a utilização inicial do método de filtragem gaussiana, que serve para suavizar a imagem e mitigar ruído de alta frequência. Subsequentemente, o método de amostragem reduzida é empregado para reduzir a resolução espacial da imagem, reduzindo assim a complexidade computacional enquanto preserva as características primárias da imagem. O estudo emprega um método de construção de pirâmide de imagem, aproveitando as duas técnicas mencionadas para garantir que FPs de imagem exibam propriedades de invariância de escala²³. A expressão para suavizar a imagem por um filtro gaussiano passa-baixa é mostrada na Equação (2).

(2)

Na Equação (2), g_e(x,y) denota a função de filtro Gaussana. e é o desvio padrão (DS) da função Gaussana. exp denota a função exponencial. A pirâmide de imagens construída por filtragem Gaussiana é mostrada esquematicamente na Figura 2.

Figura 2: Diagrama esquemático da pirâmide de imagens construído por filtragem gaussiana. Por favor, clique aqui para ver uma versão maior desta figura.

A Figura 2 mostra a estrutura da pirâmide de imagens, onde múltiplas imagens de resolução inferior são gradualmente geradas por filtragem gaussiana e amostragem descendente. Entre elas, o filtro Gaussiano reduz o ruído de alta frequência na imagem ao desfocá-la por meio de uma operação de convolução. Como um ponto de verificação visual durante essa etapa de pré-processamento, a pirâmide de imagem gerada pode ser exibida. Deve-se notar que cada nível da pirâmide apresenta uma resolução progressivamente menor da imagem original. Há um aumento perceptível na borração e uma redução nos detalhes finos devido à aplicação do filtro Gaussiano e da amostragem descendente. Para aumentar a eficácia da identificação dos FPs em uma imagem, o estudo emprega um algoritmo SURF para localizar esses FPs na imagem. Esse método envolve quantificar a região ao redor do FP e aproveitar a resposta wavelet para determinar a direção do FP. Devido à existência de FPs duplicados e inválidos extraídos pelo SURF, seu número excessivo reduzirá a velocidade de reconhecimento das características da imagem alvo (TI). Portanto, o estudo utiliza o algoritmo de detecção de pontos de Harris para identificar os FPs ideais de^{imagem 24}. A equação (3) mostra o valor de resposta angular do algoritmo.

(3)

Na Equação (3), H denota a matriz de Harris. u(x,y) denota a função de peso da janela. I_x e_{I y} denotam o tamanho do valor cinza (GV) do ponto pixel. A denota o valor de resposta do ângulo de Harris. det H e traceH denotam, respectivamente, o determinante e o traço da matriz de Harris. k denota o valor do coeficiente. O esquema da direção dos FPs selecionados pelo algoritmo SURF e a janela deslizante do algoritmo de detecção de ângulo Harris são mostrados na Figura 3.

Figura 3: Diagrama esquemático do algoritmo SURF, seleção de FP e janela deslizante para o algoritmo de detecção de cantos Harris. Por favor, clique aqui para ver uma versão ampliada desta figura.

A Figura 3 mostra a composição do algoritmo SURF para detectar FPs em uma imagem. A Figura 3A mostra o diagrama esquemático da seleção de direção dos pontos de característica no algoritmo SURF. Ao calcular a direção principal da resposta da wavelet de Haar na vizinhança do ponto de características, determina-se a direção invariante de rotação do ponto de característica, geralmente representada intuitivamente por setas ou segmentos de linha direcionais. A Figura 3B é um diagrama esquemático da janela deslizante do algoritmo de detecção de cantos Harris, mostrando o processo de movimento da janela dentro da área da imagem. Pontos de canto são detectados calculando as mudanças em escala de cinza dos pixels dentro da janela, e áreas com altos valores de resposta são identificadas como pontos de canto.

Correspondência de características

Após detectar FPs de imagem, o estudo utiliza o método LK OF para rastrear os FPs detectados da imagem. Esse método calcula o movimento entre quadros de imagem vizinhos acompanhando o movimento dos FPs na imagem para alcançar a correspondência de FP na sequência de vídeo. O método LK OF precisa satisfazer as suposições de pixel constante GV, movimento pequeno e consistência de movimento regional ao calcular o movimento entre quadros de imagem^{adjacentes 25}. O método Lucas-Kanade é estrategicamente adotado considerando sua eficiência computacional, crucial para aplicações de turismo de RA em tempo real. Suas suposições são mitigadas dentro do contexto específico. A alta taxa de quadros da captura de vídeo geralmente garante pequenos deslocamentos entre quadros, o que atende à exigência de movimento reduzido. Embora a constância absoluta do brilho seja ideal, a janela curta de rastreamento entre quadros consecutivos minimiza violações graves. Mais importante ainda, o algoritmo RANSAC subsequente lida robustamente com potenciais erros de rastreamento decorrentes de violações de suposições filtrando outliers. Assim, o LK serve como um rastreador inicial eficiente cuja saída é rigorosamente validada, tornando-o adequado para um sistema em tempo real, no qual a velocidade e robustez do balanceamento são essenciais. De acordo com a suposição de pixel constante GV, a expressão é mostrada na Equação (4).

(4)

Na Equação (4), I(x,y,t) denota o pixel GV da imagem na posição (x,y) no momento t. I_x e I_x denotam o deslocamento do pixel nas direções x e y, respectivamente. i e j denotam os componentes OF do ponto pixel. I_x, I_y e_{I t} denotam a diferença da imagem nas direções x, y e t, respectivamente. A suposição de consistência do movimento regional é calculada na Equação (5).

(5)

Na Equação (5), I_tb denota a derivada parcial do ponto pixel b no domínio na direção temporal t . v x v denota o tamanho da área do domínio selecionada. b denota todos os pontos de pixel dentro do domínio. Em conclusão, o presente estudo utiliza o descritor BRIEF para corresponder aos FPs rastreados e o algoritmo RANSAC para rejeitar os FPs que são mal rastreados pelo ORB. Essa combinação de métodos serve para aumentar a robustez do matching de características²⁶. A Figura 4 exibe o diagrama esquemático do método LK OF.

Figura 4: Diagrama esquemático do método LK OF. Por favor, clique aqui para ver uma versão ampliada desta figura.

A Figura 4 mostra o processo de implementação do LK streaming optical hair, que utiliza um método iterativo de otimização para o deslocamento FP entre quadros adjacentes. Para validação qualitativa do algoritmo de correspondência de características, os FPs combinados entre o modelo e as imagens de teste podem ser sobrepostos visualmente. Pares de pontos corretamente combinados normalmente são conectados por linhas verdes ou marcados com indicadores verdes. Por outro lado, o algoritmo RANSAC pode exibir valores atípicos com marcadores vermelhos. Isso proporciona uma avaliação visual imediata da robustez e precisão da correspondência antes da análise quantitativa. O estudo utiliza o algoritmo RANSAC para calcular a HM dos FPs correspondentes na imagem, eliminando assim aqueles que não são corretamente correspondidos. Os FPs que são corretamente correspondidos são então mantidos. Nesse caso, a expressão HM e do parâmetro de escala do algoritmo RANSAC são mostradas na Equação (6).

(6)

Na Equação (6), M denota HM. M denota o elemento na matriz M. S denota o parâmetro da escala. (x,y) e (x',y') denotam respectivamente as localizações FP da imagem modelo e da imagem de teste. Após adquirir as coordenadas dos FPs da imagem de teste, o estudo realiza uma análise comparativa das distâncias entre elas e as FPs correspondentes. A equação (7) ilustra que também atualiza o número de iterações e determina o número de pontos internos.

E = log(1 - c)/log(1 - ηⁿ) (7)

Na Equação (7), E são as iterações. c denota o nível de confiança. η denota a proporção de pontos internos. n é a quantidade de amostras. Então, a expressão para o DS da iteração E é mostrada na Equação (8).

(8)

Na Equação (8), S_d(E) denota o SD. A melhoria do algoritmo ORB descrita acima demonstrou fornecer uma base de correspondência de características de alta qualidade para a tecnologia subsequente de registro 3D. Essa melhoria mostra maior precisão e robustez em cenas complexas. Algumas dessas cenas incluem mudança de escala, mudança de luz e oclusão.

O pseudocódigo para ORB aprimorado com SURF e homografia aprimorada para o turismo de AR é o seguinte.

Algoritmo 1: ORB aprimorado com SURF e Homografia Aprimorada para Turismo de AR
Entrada: Sequência de imagens de turismo I, modelo virtual 3D M
Saída: Cena AR renderizada com objeto virtual registrado
Passo 1: Pré-processamento de imagem
1: I_gray ← ConvertToGrayscale(I)
2: I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3: Pirâmide ← BuildImagePyramid(I_smooth, níveis=4, escala=1,2)

Passo 2: Detecção de Pontos de Recursos
4: keypoints_SURF ← SURF_Detect(Pirâmide, LimiarDe Hesse=1000)
5: para cada KP em keypoints_SURF fazer
6: orientação ← ComputeWaveletResponse(kp)
7: fim para
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0,04)
9: descritores ← ImprovedORB_Describe(keypoints_Harris)

Passo 3: Correspondência de Características
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, janela=15×15)
11: matches ← BruteForceMatcher(descritores)
12: inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)

Passo 4: Registro 3D com Homografia Aprimorada
13: H_improved ← ComputeImprovedHomography (inliers, camera_intrinsics)
14: R, t ← DecomposiçãoHomografia(H_improved)
15: pose ← ComposeCameraPose(R, t)// Passo 5: Renderização em AR
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, pose, fundo=Eu)
18: retorno scene_rendered

Técnica de registro 3D em turismo AR baseada em HM aprimorada

Após a correspondência precisa das características das imagens turísticas pelo método de correspondência FP, ela precisa ser aplicada ainda mais à tecnologia de RA. A tecnologia de registro 3D é fundamental para a realização de sistemas de RA. Ele calcula as informações de pose da câmera no mundo real por meio da projeção de uma imagem turística alvo. Isso permite a correspondência e fusão precisas de objetos virtuais e cenas^{reais 27}. A HM pode mapear o objeto virtual para o mundo real a partir da perspectiva do usuário, o que potencializa o efeito de fusão entre a informação virtual e o mundo real. Além disso, pode resolver o problema de registrar a realidade virtual quando o logo está parcialmente obscurecido. No entanto, a eficiência do registro HM na tecnologia real de registro 3D é baixa, o que leva ao desalinhamento dos objetos virtuais, o que leva à instabilidade dos objetos^{virtuais 28}. Portanto, este estudo propõe uma técnica de registro 3D baseada em uma HM aprimorada. Usando pares FP precisos da Fase 1, a HM aprimorada é calculada por meio de um método de retrocálculo de objeto virtual para real que incorpora intrínsecos da câmera. Esse método aborda efetivamente a baixa eficiência de registro e o desalinhamento de objetos virtuais em relação aos métodos tradicionais em cenas dinâmicas. A matriz é decomposta em uma matriz de rotação e um vetor de translação para definir a pose da câmera. O motor de renderização OpenGL projeta com precisão modelos virtuais 3D no fluxo de vídeo ao vivo com base nos parâmetros da pose. Modelos de mapeamento de texturas e iluminação garantem uma fusão fisicamente consistente.

Registro e visualização 3D

Para a realização da técnica de registro 3D, o estudo precisa primeiro construir um modelo de imagem por orifício para mapear o mundo real 3D em uma imagem 2D. A expressão desse modelo é apresentada na Equação (9).

(9)

Na Equação (9), X, Y e O denotam os três eixos da câmera CS. (x,y,f) denota o vetor coordenado. f denota a distância focal (FL). λ denota o fator de escala. Como demonstrado na Figura 5, o estudo atual examina as propriedades de imagem da câmera estenopeica utilizando a relação de transformação entre o CS da imagem e o CS da câmera.

Figura 5: Modelo de imagem por orifício estenopeico e a relação entre pontos espaciais e pontos de projeção plana. Por favor, clique aqui para ver uma versão maior desta figura.

A Figura 5 mostra a estrutura básica da imagem por orifício estenopeico. A Figura 5A é um diagrama esquemático do modelo de imagem por orifício estenopeico, que descreve a estrutura geométrica básica de projetar uma cena tridimensional em um plano de imagem bidimensional através de um pequeno orifício no centro da câmera, refletindo os princípios de propagação de raios e projeção em perspectiva. A Figura 5B ilustra ainda mais o processo de projetar pontos espaciais nos pontos correspondentes no plano de imagem através do centro da câmera, esclarecendo a relação proporcional entre distância focal, coordenadas dos pontos da imagem e coordenadas dos pontos do objeto. Após construir o modelo de imagem por orifício estenopeico, o estudo utiliza ainda o HM para construir o mapeamento de relação entre o modelo e as imagens reais da cena capturadas sob câmera. Assume-se que os pontos de correspondência de características de duas imagens I₁ e_{I 2} estão no mesmo plano. O plano precisa satisfazer a expressão mostrada na Equação (10).

N^Z P + d = 0 (10)

Na Equação (10), P denota o plano. N denota o vetor normal do plano P. d denota a distância do plano P até a origem. Z denota o vetor de translação. Para rotações e translações, o estudo utiliza o método de decomposição em valores singulares para sua extração. A expressão é mostrada na Equação (11)²⁹.

(11)

Na Equação (11), p₁ e p₂ denotam as coordenadas de pixels dos pares de pontos de sombras que correspondem às características nas imagens I₁ e I₂, respectivamente. r₁ e r₂ denotam os fatores de escala dos pontos de pixel nas imagens I₁ e I₂, respectivamente. K denota a matriz de referência interna da câmera. R denota a matriz de rotação. O HM possui alta complexidade computacional e é propenso ao problema do erro de correspondência de FP. Portanto, o estudo a aprimora utilizando o método de cálculo inverso de objetos virtuais^{e reais 30}. A expressão melhorada da HM é exibida na Equação (12).

(12)

Na Equação (12), M' denota a HM melhorada. f_x e_{f y} denotam as FLs da câmera ao longo dos eixos X e Y, respectivamente. U e v denotam as coordenadas principais dos pontos. γ denota o parâmetro de desfasamento. A transformação física do método é mostrada na Equação (13).

(13)

Na Equação (13), T' denota a matriz física de transformação. t_x,_{t, y} e t_o denotam os componentes de rotação dos três eixos coordenados. [R|Z] denota a matriz de transformação do mundo e da câmera CS. Na implementação da tecnologia AR, a expressão do mapeamento entre o template e a imagem da cena real em viagem é mostrada na Equação (14).

(14)

Na Equação (14), I_s e_{I d} denotam os pontos na referência e no TIs, respectivamente. O estudo calcula ainda a precisão do alinhamento da HM melhorada para investigar a eficácia do alinhamento do método, conforme expresso na Equação (15).

(15)

Na Equação (15), P_re(M') denota a precisão do alinhamento do HM melhorado. (x_{a,y a,o a}) denota os FPs reais. (x _{b,y b,o b}) denota os FPs alinhados. n denota o número de grupos de pontos correspondidos. A Figura 6 mostra o mapeamento entre o diagrama esquemático e as fotos do HM atualizado.

Figura 6: Mapeamento da relação das imagens e do diagrama esquemático da HM melhorada. Por favor, clique aqui para ver uma versão maior desta figura.

Como ilustrado na Figura 6, há uma correspondência clara entre a imagem modelo e o TI. Após a aplicação do HM aprimorado, um ponto de verificação visual chave envolve a distorção e o alinhamento da imagem do modelo com a imagem da cena de alvo. As bordas do template projetado devem se alinhar de perto com as características correspondentes no TI. Durante a renderização final em AR, inspecione visualmente o modelo virtual 3D para garantir que ele esteja ancorado de forma persistente e precisa à posição e orientação corretas na cena do mundo real. Não deve haver tremor ou desalinhamento perceptível conforme a perspectiva da câmera muda.

O estudo demonstra o mapeamento da imagem modelo por meio de uma matriz de influência aprimorada, mas para o quê. Para alcançar interação em tempo real entre objetos virtuais e paisagens turísticas reais, o estudo utiliza a tecnologia OpenGL para renderizar modelos 3D para a construção do sistema de turismo de RA. A técnica primeiro configura o contexto OpenGL, carrega o modelo 3D dos elementos turísticos virtuais e calcula com mapeamento de texturas e iluminação. Depois, o fluxo de vídeo em tempo real capturado pela câmera é usado como fundo para fornecer referência para a renderização de objetos virtuais. Objetos virtuais são sobrepostos com precisão ao mundo real usando um HM, que os exibe na posição e orientação corretas para fundi-los com a cena do mundo real. No sistema de turismo de RA, no qual o vídeo é capturado pela biblioteca OpenCV para o vídeo em tempo real do^{tour 31}. O processamento de imagens utiliza um algoritmo ORB otimizado para identificar e combinar características em quadros de vídeo. No módulo de registro 3D, o estudo utiliza uma HM aprimorada para fundir virtual e realidade. A saída final e a interação são exibidas por meio da tecnologia OpenGL. O processo de implementação da tecnologia de turno de AR é ilustrado na Figura 7, que demonstra o processo geral de implementação da tecnologia de tour de RA. A Figura 7 apresenta o fluxograma de implementação do sistema da tecnologia de turismo de RA. Após a inicialização do sistema, o fluxo de vídeo em tempo real é capturado pela câmera, da qual a imagem alvo é extraída. O processo então entra na fase de processamento de características, realizando sequencialmente extração e descrição de pontos de características para construir características de imagem. Se a correspondência de pontos de característica for bem-sucedida, o sistema avança para a fase de registro de rastreamento 3D, onde os parâmetros da pose da câmera são calculados. Isso é combinado com modelos 3D da biblioteca de materiais virtuais para alcançar a fusão virtual-real, e o efeito final de AR fundido é exibido ao usuário em tempo real. Se o matching falhar, o algoritmo RANSAC é empregado para eliminar pontos desajustados, e a etapa de processamento de características é reinserida para garantir estabilidade e robustez do sistema. Todo o processo forma um ciclo fechado completo, desde a aquisição de imagens e processamento de recursos até o registro 3D, fusão virtual-real e exibição interativa, ilustrando o caminho técnico para que sistemas de turismo de RA alcancem uma fusão virtual-real estável em tempo real em cenas dinâmicas.

Figura 7: Diagrama esquemático do processo de implementação da tecnologia de turismo de RA. Por favor, clique aqui para ver uma versão maior desta figura.

Montagem experimental e materiais

Para garantir a reprodutibilidade dos experimentos, as especificações de hardware, o ambiente de software e os conjuntos de dados usados neste estudo estão listados explicitamente na Tabela 1.

Categoria	Item	Especificação / Versão
Hardware	Câmera	Logitech C920 HD Pro Webcam
	Processador de Computador	Processador AMD Ryzen 7 3700X de 8 Núcleos
	Memória de Computador	32 GB de RAM
	Sistema Operacional	Windows 10 (64 bits)
Software e Bibliotecas	Linguagem de Programação	C++
	Ambiente de Desenvolvimento	Microsoft Visual Studio 2019
	Biblioteca de Visão Computacional	OpenCV 4.5.1
	API de Gráficos	OpenGL 4.6
	Plataforma de Simulação	Ferramentas de Simulação Visual Studio
Conjunto de dados	Conjunto de Dados Primário	Conjunto de Dados Oxford

Tabela 1: Configuração experimental: especificações de hardware, software e conjunto de dados.

No OpenCV, o desfoque Gaussiano é aplicado usando a função GaussianBlur(). A pirâmide de imagens é construída usando buildPyramid(). O detector SURF é inicializado com SURF.create(), definindo o limiar de Hesse para 400. A resposta de canto de Harris é calculada usando cornerHarris(), e a supressão não máxima é aplicada posteriormente para filtrar os pontos-chave. O fluxo óptico LK é calculado usando a função calcOpticalFlowPyrLK(), que implementa o método piramidal de Lucas-Kanade. A função findHomography() é utilizada para estimativa de homografia, com a flag de método definida como RANSAC para aproveitar o limiar de reprojeção especificado. O HM resultante é então usado com perspectiveTransform() para validar pontos de inlier. No pipeline de renderização OpenGL, o HM é convertido em uma pose de câmera e definido usando glLoadMatrix(). Os modelos virtuais 3D são carregados como arquivos .obj e renderizados usando comandos padrão de transformação OpenGL (glTranslate, glRotate). O feed de vídeo em tempo real do OpenCV é passado para o OpenGL como uma textura usando glTexImage2D() para alcançar a sobreposição final da AR. Os parâmetros-chave para os algoritmos usados neste estudo estão explicitamente definidos na Tabela 2.

Algoritmo / Componente	Parâmetro	Valor
Filtro Gaussiano	Tamanho do núcleo	5 × 5 pixels
	Desvio padrão	1.2
Fluxo Óptico LK	Tamanho da janela	15 × 15 pixels
RANSAC	Iterações máximas	2000
	Limiar de reprojeção	3.0 pixels
Detector de características ORB	Número máximo de recursos	1000
	Fator de escala (Pirâmide)	1.2
	Número de níveis de pirâmide	4
Detector de características SURF	Limiar de Hesse	1000
Detector de canto Harris	Tamanho da abertura	3
	K-valor	0.04

Tabela 2: Parâmetros-chave do algoritmo para reprodutibilidade.

Resultados

Desempenho do algoritmo combinado SURF e ORB aprimorado para correspondência FP de imagens turísticas

Para estabelecer linhas de base robustas de desempenho e comparações de controle, o algoritmo proposto é avaliado com base em três algoritmos amplamente utilizados de correspondência de características: a transformada de características invariante à escala (SIFT), as características robustas aceleradas (SURF) e o algoritmo ORB original, não ap...

Discussão

O estudo propôs um método de correspondência FP para imagens de turismo combinando SURF e um algoritmo ORB aprimorado, com o objetivo de melhorar a precisão do matching das características. Para realizar ainda mais a correspondência precisa e fusão entre os objetos propostos e a cena real, o estudo propôs uma técnica de registro 3D de turismo de AR baseada em HM melhorada. Quanto ao registro 3D, os achados ilustraram que o ARA era de 98,74% e o número médio de SRs para registro 3D sob tr...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Processador AMD Ryzen 7 3700X de 8 Núcleos	AMD	Ryzen 7 3700X
Câmera	Logitech	C920 HD Pro Webcam
Memória de Computador	/	32 GB de RAM
Logitech C920 HD Pro Webcam	Logitech	C920
Microsoft Visual Studio 2019	Microsoft	2019
OpenCV	Fundação OpenCV	4.5.1
OpenGL	Grupo Khronos	4.6
Conjunto de Dados Oxford	Universidade de Oxford	/
Linguagem de Programação	/	C++
Ferramentas de Simulação Visual Studio	Microsoft	Incluído no VS 2019
Windows 10 (64 bits)	Microsoft	10 (64 bits)