Tecnología de turismo de realidad aumentada basada en un algoritmo ORB mejorado y una matriz de homografía

Resumen

Este estudio presenta un método mejorado de emparejamiento de puntos de características y registro 3D para el turismo de realidad aumentada, mejorando la alineación, la estabilidad y la precisión de la correspondencia. Combinando ORB mejorado, flujo óptico LK y matriz de homografía mejorada, el enfoque logra tasas de coincidencia correctas y mayor precisión de registro, mejorando la fusión de escenas virtual-real en aplicaciones turísticas.

Resumen

Este estudio propone un método mejorado de emparejamiento de puntos de características y un método de registro 3D para aplicaciones de turismo de realidad aumentada. Este método aborda problemas como una mala alineación, baja estabilidad en entornos complejos y baja precisión en la adaptación de características. Se introduce un método mejorado de emparejamiento de puntos de características para imágenes turísticas, que combina el algoritmo Speeded Up Robust Features (SURF) con un algoritmo mejorado de Oriented FAST y Rotated BRIEF. En este método, los puntos de característica se detectan inicialmente mediante el algoritmo SURF, y su orientación se determina mediante análisis de respuesta de ondas. El método óptico de flujo Lucas-Kanade se emplea para el seguimiento de puntos de características. El algoritmo de consenso de muestra aleatoria se utiliza entonces para eliminar puntos mal seguidos. Además, se propone una técnica de registro 3D para turismo en realidad aumentada basada en una matriz de homografía mejorada para superar las limitaciones de las matrices de homogografía tradicionales, como la baja precisión de emparejamiento y eficiencia de registro. El rendimiento del método propuesto fue analizado mediante experimentos comparativos con los algoritmos SIFT, SURF y ORB originales bajo diversas transformaciones de imagen, incluyendo escala, desenfoque, iluminación y rotación. Se utilizaron la tasa correcta de emparejamiento y el tiempo de emparejamiento como métricas de evaluación. Se realizaron pruebas de simulación para el registro 3D utilizando diferentes modelos 3D. La precisión del registro y los recuentos exitosos de inscripción se evaluaron bajo cambios rotativos. Los resultados indicaron que la tasa media de coincidencia correcta del algoritmo propuesto aumenta en un 44,08%, 36,51% y un 16,09% bajo variación de escala en comparación con el algoritmo de transformación de características invariantes a escala, el algoritmo de características robustas aceleradas y el algoritmo no mejorado, respectivamente. La tasa de emparejamiento correcto bajo la transformación difusa aumentó en un 33,46%, 19,65% y 9,35%, respectivamente. La precisión media del registro de la técnica propuesta de registro 3D fue del 98,74% bajo transformación rotacional. Los resultados revelan que el enfoque sugerido por el estudio puede mejorar con éxito el efecto de fusión virtual y real de la escena y ofrece un enfoque novedoso para el uso de la tecnología de realidad aumentada en la industria de los viajes.

Introducción

La tecnología ha surgido como una herramienta clave para promover el progreso sinérgico de la cultura y el turismo en una economía digital en rápida^{evolución 1}. En los últimos años, la tecnología de realidad aumentada (AR) ha experimentado un aumento en su adopción en diversos sectores, incluyendo turismo, educación, medicina e industria. La RA es un campo emergente dentro del panorama tecnológico^{más amplio 2}. En el ámbito del turismo, esta tecnología es capaz de superponer información virtual en escenas reales, proporcionando una experiencia inmersiva e interactiva para los turistas. Esta tecnología no solo puede mejorar la experiencia de viaje de los turistas, sino también innovar en el panorama del consumo turístico y promover la transformación digital de la cultura y la industria^turística. Sin embargo, la adopción generalizada de la RA en entornos turísticos dinámicos y no estructurados sigue estando obstaculizada por importantes desafíos técnicos. Las técnicas existentes de RA suelen mostrar poca robustez en aplicaciones prácticas. Se caracterizan por una baja precisión en la emparejamiento de características, una alineación inadecuada entre objetos virtuales y reales, y una estabilidad limitada bajo condiciones ambientales complejas, como escalas variables, cambios en la iluminación y^{oclusiones 4}. Estas limitaciones pueden provocar una experiencia de usuario frustrante, con contenido virtual que tiembla, se desvía o no se ancla adecuadamente, minando así la sensación de inmersión y realismo. Por lo tanto, explorar una técnica de RA robusta y eficiente para el turismo que pueda operar de forma fiable en entornos reales es una prioridad actual de investigación. Como algoritmo rápido de extracción de puntos de características (FPE) y descripción, el FAST orientado y el BRIEF rotado (ORB) se utilizan ampliamente en FPE de imagen debido a su alta eficiencia e invariancia^{rotacional 5}.

Zhang et ^al.6 propusieron un método FPE mejorado para mapas densos ORB-SLAM2, con el objetivo de mejorar la eficiencia y reducir el coste de adquirir mapas 3D de entornos interiores. El método realizó una extracción eficiente de puntos de características (FP) mediante consistencia asintótica de la muestra para reducir el uso de memoria. Se descubrió que el método podía utilizarse para el proceso de navegación con una precisión superior en FPE y alta eficiencia^{de seguimiento 6}. Wu propuso un algoritmo rápido de correspondencia de características que combina ORB y consenso aleatorio de muestra (RANSAC) para abordar los problemas de error rotacional a gran escala, baja tasa de alineamiento, aleatoriedad e inestabilidad. La eficacia de este enfoque quedó corroborada por los hallazgos, que demostraron que el método propuesto mostraba alta precisión de emparejamiento FP y una estabilidad^{robusta 7}. Chen et al. propusieron un método de emparejamiento de características que combina el ORB mejorado con el algoritmo de flujo óptico (OF) Lucas-Kanade (LK) para abordar el problema de baja precisión en la coincidencia de características de imagen. El método utilizaba el método de contraste de Michelson para FPE, y la estructura quadtree se empleaba para homogeneizar los FP extraídos y así reducir la cantidad computacional de emparejamiento de características. Los resultados demostraron que la uniformidad y precisión FP del método mejoraron un 0,22% y un 50,47%, respectivamente⁸. Zuo et al. propusieron un algoritmo mejorado de esfera para la adaptación FP de imágenes de campo óptico totalmente enfocadas, con el objetivo de mejorar la precisión y robustez del método FPE y de emparejamiento de imagen. El método se mejoró refinando el algoritmo convencional ORB para aumentar el número y la precisión de FPE para imágenes totalmente enfocadas en campo^{de luz 9}. Anggara et al. sugirieron un método de extracción de características que fusiona el mapa de colores y el detector ORB en AR. El método primero extraía las características de moteado y borde de la imagen utilizando un método de seguimiento de características naturales basado en características y luego convertía la imagen en color a una imagen en escala de grises usando un detector ORB para mejorar la eficiencia de detección de dichas características. Los resultados indicaron que el enfoque sugerido podría mejorar con éxito la extracción^{de características 10}.

Debido a su capacidad para combinar con precisión datos virtuales y escenas reales con tecnologías de RA, la matriz de homografía (HM) ha despertado mucho interés en los últimos^{años 11,12}. Kim y colaboradores propusieron un sistema de AR en línea en tiempo real basado en HM. El método utilizaba una cámara 3D con localización y construcción simultánea de mapas para rastrear la información de la escena, y se utilizaba una HM para rellenar los fotogramas fuente de la imagen en un intento de mejorar la calidad de la imagen. Los resultados demostraron que el método podía reducir eficazmente las inconsistencias y artefactos visuales y mejorar la experiencia del usuario^{de la RA 13}. Clement propuso un método de descripción de características de seguimiento de dirección basado en filtrado de tres niveles. El método empleaba una HM para describir el movimiento del objetivo entre diferentes fotogramas con el fin de mejorar la robustez de la coincidencia de características de la imagen. Los resultados indicaron que el método alcanzó puntuaciones de repetibilidad del 100%, 100% y 99% para cambio de iluminación, cambio de desenfoque y cambio de punto de vista, respectivamente¹⁴. Liu et al. propusieron un método de ajuste local de movimiento para la teledetección de imágenes basado en HM, con el objetivo de eliminar la coincidencia incorrecta de características de la imagen. El método en cuestión representaba la consistencia del movimiento local de la imagen por HM e introdujo un método de remuestreo. Los resultados demostraron que el método propuesto mostró un desempeño de emparejamiento superior¹⁵.

Como se ha revisado anteriormente, la búsqueda técnica de una sólida coincidencia de características y el registro está fundamentalmente impulsada por la demanda de su aplicación para crear experiencias de usuario atractivas. Para situar este trabajo técnico en el contexto más amplio de la investigación sobre el turismo de RA, es esencial implicarse en estudios recientes que examinan empíricamente los efectos psicológicos y conductuales de la RA en los turistas. Por ejemplo, Zhu et al. exploraron el mecanismo por el cual la autenticidad y el transporte narrativo en el turismo de RA influyen en el boca a boca a través de la conexión de RA, utilizando modelado de ecuaciones estructurales. Los resultados revelaron que el anexo de AR media la relación entre autenticidad, transporte narrativo y boca a boca, proporcionando un enfoque fresco para el marketing turístico^{patrimonial 15}. Simultáneamente, Ngan y Lei analizaron el impacto de la RA en las experiencias de eventos deportivos y la intención de revisar. Su estudio indicó que los usuarios de RA mostraron un compromiso cognitivo significativamente mayor y que las dimensiones experienciales impactaron significativamente en la intención de revisitar, confirmando la eficacia de la RA para aumentar la atractividad e inmersión de los^{eventos 16}. Además, Zhu et al. investigaron el mecanismo de impacto de la presencia turística en las experiencias de RA sobre el boca a boca (WOM), utilizando datos de encuestas de una exposición de RA en el Museo del Palacio. Los resultados demostraron que la presencia podía influir positivamente en la OMA, y la autenticidad jugó un papel mediador significativo en^{ese aspecto 17}.

En conclusión, numerosos estudiosos han realizado un cuerpo significativo de investigación sobre técnicas de AR basadas en el algoritmo ORB con HM, que han dado resultados superiores. Sin embargo, el algoritmo ORB sigue sufriendo de baja robustez e ineficiencia del FPE bajo cambio de escala, cambio de iluminación y oclusión¹⁸. Además, la HM tradicional suele ser un cuello de botella caracterizado por una baja precisión de emparejamiento y eficiencia de registro. Esto conduce a la desalineación e inestabilidad de los objetos virtuales en entornos turísticos dinámicos. La discrepancia entre el rendimiento de los métodos actuales y los requisitos para experiencias de RA estables e inmersivas en el turismo sigue siendo un desafío crítico y sin abordar. Para abordar estos desafíos persistentes y permitir una experiencia de RA más estable e inmersiva en el turismo, este estudio está motivado para aumentar la eficacia de la FPE y el registro 3D. Este trabajo tiene tres contribuciones teóricas. En primer lugar, presenta un nuevo marco de emparejamiento de características que combina la propiedad de invariante a escala del detector SURF con la mejora de la eficiencia computacional del descriptor ORB. Esta integración se mejora determinando la orientación de características mediante respuesta wavelet y refinando el conjunto de puntos usando criterios de esquinas de Harris. Esto proporciona un modelo teórico más robusto para la correspondencia de características bajo transformaciones, haciéndolo más que secuencial. En segundo lugar, introduce una mejora teórica en el proceso de estimación de la homogografía empleando un método de retrocálculo de objetos virtuales y reales. Este enfoque pretende superar las limitaciones de las matrices tradicionales de homografía ofreciendo un modelo de proyección más estable y preciso para el registro 3D. Finalmente, al combinar sistemáticamente estos componentes mejorados, el estudio ofrece un enfoque teórico consolidado para lograr una fusión virtual-real superior, específicamente adaptado a las complejidades de los escenarios de turismo al aire libre.

Esta técnica mejorada es muy relevante para los principales actores del turismo. Permite a los responsables de marketing de destinos y operadores turísticos desarrollar aplicaciones de RA estables e inmersivas que sirven como propuestas de valor únicas. Para los gestores de sitios de patrimonio cultural, ofrece una herramienta fiable para crear superposiciones educativas sin dañar objetos físicos. En última instancia, para los turistas, el método mejora directamente la experiencia al proporcionar una fusión fluida y estable de la información virtual con el entorno real. Esto elimina la frustración de contenido virtual desalineado o tembloroso. Como resultado, la inmersión es significativamente más profunda, la comprensión contextual se enriquece y la satisfacción general con el servicio turístico aumenta. La innovación de esta investigación es la siguiente: (1) La imagen se suaviza mediante filtrado gaussiano y la respuesta wavelet se utiliza para determinar la dirección de las FP. Además, para aumentar la precisión y estabilidad de la detección de FP, los mejores FP se filtran integrándolos con la técnica de detección de puntos de esquina de Harris. (2) Se introduce el algoritmo RANSAC para eliminar los FP mal rastreados y así mejorar aún más la robustez de la coincidencia de características. (3) La HM se mejora mediante el método de cálculo inverso de objetos virtual-reales, que busca abordar las limitaciones de la HM tradicional, como la baja precisión de emparejamiento de FP y la eficiencia del registro.

Protocolo

Esta sección propone primero un método de emparejamiento FP para imágenes turísticas combinando SURF y un algoritmo ORB mejorado para mejorar la robustez del emparejamiento FP. Después, el estudio propone una técnica de registro 3D en turismo de RA basada en una HM mejorada para potenciar el efecto de fusión entre la información virtual y el mundo real. Los experimentos se realizaron utilizando conjuntos de datos de imágenes disponibles públicamente. Concretamente, se utilizó el conjunto de datos Oxford Visual Geometry Group (VGG), que incluye secuencias de imágenes con variaciones en escala, desenfoque, iluminación y punto de vista, y es ampliamente utilizado para evaluar algoritmos de emparejamiento y registro de características en visión por ordenador. No se requería la aprobación de un comité ético para el uso de este conjunto de datos públicamente disponible.

Combinando SURF y un algoritmo ORB mejorado para la coincidencia de FP en imágenes turísticas

Con el auge del desarrollo de la industria turística, la demanda de tecnología AR en servicios turísticos automatizados está aumentando. El algoritmo ORB es un algoritmo eficiente de detección y descripción de FP. La tecnología de RA ha sido ampliamente^{utilizada 19}. Sin embargo, en el proceso de emparejar imágenes turísticas por FP, el algoritmo ORB existente sufre defectos como poca robustez a cambios de escala, baja precisión en la correspondencia de características y que consume^{mucho tiempo 20}. Para aumentar la precisión y robustez del emparejamiento, este estudio propone un método robusto de emparejamiento de características que integra SURF con un algoritmo ORB mejorado. Para lograr la invariancia de escala, la imagen de entrada pasa por filtrado gaussiano y construcción en pirámide. El algoritmo SURF detecta FPs invariantes a escala, con orientaciones determinadas mediante respuestas en wavelet. La calidad de las características mejora refinando los puntos iniciales usando el criterio de las esquinas de Harris y manteniendo los más distintivos. El método de flujo óptico Lucas-Kanade rastrea características a través de tramas, y el algoritmo RANSAC elimina puntos desajustados. La brecha metodológica que aquí aborda no es simplemente la aplicación secuencial de SURF y ORB, sino una novedosa estrategia de hibridación diseñada para superar las limitaciones específicas de los híbridos estándar en entornos turísticos complejos. A diferencia de los enfoques convencionales SURF-ORB, que usan SURF para la detección y luego aplican directamente un descriptor ORB, el método actual introduce dos mejoras críticas. Primero, la orientación de cada FP localizado por SURF se recalcula usando su respuesta en wavelet. Esto proporciona una estimación direccional más robusta que SURF solo usando el método estándar basado en wavelet de Haar. Segundo, y más importante, los puntos iniciales de SURF no se usan directamente. En su lugar, se refinan rigurosamente usando el criterio de las esquinas de Harris para filtrar puntos no distintivos con respuestas bajas situadas en regiones planas o a lo largo de los bordes.

Preprocesamiento de imagen

En la etapa de preprocesamiento de imágenes turísticas, el estudio extrae las características de imágenes en escala de grises. Para caracterizar aún más las características locales de la imagen, el estudio utiliza el componente de gradiente para identificar y clasificar la imagen^{como 21}. La ecuación (1) demostró su expresión.

(1)

En la ecuación (1) I(x,y) denota el valor en píxel de la imagen en la coordenada (x,y).  denota el vector de gradiente de la imagen en (x,y). y muestran las derivadas parciales de la imagen en las direcciones x e y, respectivamente. T denota la transpuesta del vector gradiente.

Detección de puntos de característica

Tras reconocer la imagen por componentes de gradiente, el estudio utiliza características de la prueba de segmentos acelerados (FAST) en el algoritmo ORB para detectar los FP de la imagen. Además, los FP están violentamente emparejados usando el algoritmo de descripción binario robusto de características elementales independientes (BRIEF^{) 22}. El esquema de detección y coincidencia de características de este algoritmo se muestra en la Figura 1.

Figura 1: Diagrama esquemático de la comparación de características entre el algoritmo de detección de características FAST y el algoritmo de descripción BRIEF. Por favor, haga clic aquí para ver una versión ampliada de esta figura.

La Figura 1 ilustra el proceso de detección de características de los algoritmos FAST y BRIEF. La Figura 1A es un diagrama esquemático de la detección de características utilizando el algoritmo FAST. Se utiliza una plantilla circular de 16 píxeles para comparar el brillo alrededor del píxel central y así detectar rápidamente las características de las esquinas en la imagen. La Figura 1B es un diagrama esquemático de la coincidencia de características en el algoritmo BRIEF. Seleccionando varios pares de píxeles alrededor de los puntos de características para la comparación en escala de grises, se generan descriptores binarios y se utiliza la correspondencia por fuerza bruta para lograr la correspondencia de puntos de característica entre dos imágenes. La mejora implica la utilización inicial del método de filtrado gaussiano, que sirve para suavizar la imagen y mitigar el ruido de alta frecuencia. Posteriormente, se emplea el método de muestreo reducido para reducir la resolución espacial de la imagen, disminuyendo así la complejidad computacional mientras se preservan las características principales de la imagen. El estudio emplea un método de construcción de pirámides de imagen, aprovechando las dos técnicas mencionadas para asegurar que las FP de imagen presenten propiedades de invariancia^{de escala 23}. La expresión para suavizar la imagen mediante un filtro gaussiano pasa bajos se muestra en la Ecuación (2).

(2)

En la ecuación (2), g_e(x,y) denota la función de filtro gaussiana. e es la desviación estándar (DE) de la función gaussiana. exp denota la función exponencial. La pirámide de imágenes construida por filtrado gaussiano se muestra esquemáticamente en la Figura 2.

Figura 2: Diagrama esquemático de la pirámide de imágenes construido mediante filtrado gaussiano. Por favor, haga clic aquí para ver una versión ampliada de esta figura.

La Figura 2 muestra la estructura pirámide de imagen, donde se generan gradualmente múltiples imágenes de menor resolución mediante filtrado gaussiano y muestreo descendente. Entre ellas, el filtro Gaussiano reduce el ruido de alta frecuencia en la imagen al desenfocarla mediante una operación de convolución. Como punto de control visual durante esta etapa de preprocesamiento, se puede mostrar la pirámide de imagen generada. Cabe señalar que cada nivel de la pirámide presenta una resolución progresivamente menor que la imagen original. Se observa un aumento notable en la borrosidad y una reducción en los detalles finos debido al filtrado gaussiano aplicado y al muestreo descendente. Para mejorar la eficacia de identificar las FP en una imagen, el estudio emplea un algoritmo SURF para localizar estas FP en la imagen. Este método implica cuantificar la región circundante de la FP y aprovechar la respuesta de la wavelet para determinar la dirección de la FP. Debido a la existencia de FP duplicados e inválidos extraídos por SURF, su número excesivo reducirá la velocidad de reconocimiento de las características de imagen objetivo (TI). Por ello, el estudio utiliza el algoritmo de detección de puntos de ángulo Harris para identificar los FP óptimos^{de imagen 24}. La ecuación (3) muestra el valor de respuesta angular del algoritmo.

(3)

En la ecuación (3), H denota la matriz de Harris. u(x,y) denota la función de peso de la ventana. I_x e_{I y} denotan el tamaño del valor gris (GV) del punto del píxel. A denota el valor de respuesta del ángulo de Harris. det H y traceH denotan respectivamente el determinante y la traza de la matriz de Harris. k denota el valor del coeficiente. El esquema de la dirección de los FPs seleccionados por el algoritmo SURF y la ventana deslizante del algoritmo de detección de ángulos de Harris se muestran en la Figura 3.

Figura 3: Diagrama esquemático del algoritmo SURF, selección de FP y ventana deslizante para el algoritmo de detección de esquinas de Harris. Por favor, haz clic aquí para ver una versión ampliada de esta figura.

La Figura 3 muestra la composición del algoritmo SURF para detectar FPs en una imagen. La Figura 3A muestra el diagrama esquemático de la selección de dirección de los puntos de rasgo en el algoritmo SURF. Calculando la dirección principal de la respuesta de la onda de Haar en el entorno del punto de rasgo, se determina la dirección invariante de rotación del punto de rasgo, normalmente representada intuitivamente mediante flechas o segmentos de línea direccionales. La Figura 3B es un diagrama esquemático de la ventana deslizante del algoritmo de detección de esquinas de Harris, que muestra el proceso de movimiento de la ventana dentro del área de la imagen. Los puntos de esquina se detectan calculando los cambios en escala de grises de los píxeles dentro de la ventana, y las áreas con valores de respuesta altos se identifican como puntos de esquina.

Coincidencia de características

Tras detectar FPs de imagen, el estudio utiliza el método LK OF para rastrear los FP detectados. Este método calcula el movimiento entre fotogramas de imagen vecinos siguiendo el movimiento de los FP en la imagen para lograr la coincidencia FP en la secuencia de vídeo. El método LK OF debe cumplir las suposiciones de GV constante en píxeles, movimiento pequeño y consistencia de movimiento regional al calcular el movimiento entre fotogramas de imagen^{adyacentes 25}. El método Lucas-Kanade se adopta estratégicamente considerando su eficiencia computacional, crucial para aplicaciones de turismo de realidad aumentada en tiempo real. Sus supuestos se mitigan dentro del contexto específico. La alta tasa de fotogramas de la captura de vídeo generalmente garantiza desplazamientos entre fotogramas pequeños, lo que satisface el requisito de movimiento reducido. Aunque la constancia absoluta del brillo es ideal, la corta ventana de seguimiento entre fotogramas consecutivos minimiza las violaciones graves. Lo más importante es que el algoritmo RANSAC posterior gestiona de forma robusta los posibles errores de seguimiento derivados de violaciones de suposiciones filtrando los valores atípicos. Así, LK sirve como un rastreador inicial eficiente cuya salida se valida rigurosamente, lo que la hace adecuada para un sistema en tiempo real en el que la velocidad de equilibrio y la robustez son esenciales. Según la suposición de GV píxel constante, la expresión se muestra en la Ecuación (4).

(4)

En la ecuación (4), i(x,y,t) denota el píxel GV de la imagen en la posición (x,y) en el momento t . I_x e_{I x} denotan el desplazamiento del píxel en las direcciones x e y, respectivamente. i y j denotan los componentes OF del punto píxel. I_x,_{I y y t} denotan la diferencia de la imagen en las direcciones x, y y t, respectivamente. La suposición de consistencia del movimiento regional se calcula en la Ecuación (5).

(5)

En la ecuación (5), I_tb denota la derivada parcial del punto píxel b en el dominio en la dirección temporal t . v x v denota el tamaño del área de dominio seleccionada. b denota todos los puntos de píxel dentro del dominio. En conclusión, el presente estudio emplea el descriptor BRIEF para coincidir con los FP rastreados y el algoritmo RANSAC para rechazar los FP que son mal rastreados por el ORB. Esta combinación de métodos sirve para mejorar la robustez de la adaptación de características²⁶. La Figura 4 muestra el diagrama esquemático del método LK OF.

Figura 4: Diagrama esquemático del método LK OF. Por favor, haz clic aquí para ver una versión ampliada de esta figura.

La Figura 4 muestra el proceso de implementación del pelo óptico en streaming LK, que utiliza un método de optimización iterativa para el desplazamiento de FP entre fotogramas adyacentes. Para la validación cualitativa del algoritmo de emparejamiento de características, los FP emparejados entre la plantilla y las imágenes de prueba pueden superponerse visualmente. Los pares de puntos correctamente emparejados suelen estar conectados por líneas verdes o marcados con indicadores verdes. Por el contrario, el algoritmo RANSAC puede mostrar valores atípicos con marcadores rojos. Esto proporciona una evaluación visual inmediata de la robustez y precisión de la coincidencia antes del análisis cuantitativo. El estudio emplea el algoritmo RANSAC para calcular la HM de los FP correspondientes en la imagen, eliminando así aquellos que no están correctamente emparejados. Los FP que se emparejan con precisión se conservan después. En este caso, la HM y la expresión del parámetro de escala del algoritmo RANSAC se muestran en la Ecuación (6).

(6)

En la ecuación (6), M denota el HM. m denota el elemento de la matriz M. S denota el parámetro de escala. (x,y) y (x',y') denotan las ubicaciones FP de la imagen plantilla y la imagen de prueba, respectivamente. Tras adquirir las coordenadas de los FP de la imagen de prueba, el estudio realiza un análisis comparativo de las distancias entre ellos y los FP emparejados. La ecuación (7) ilustra que también actualiza el número de iteraciones y determina el número de puntos interiores.

E = log(1 - c)/log(1 - ηⁿ) (7)

En la ecuación (7), E son las iteraciones. c denota el nivel de confianza. η denota la proporción de puntos interiores. n es la cantidad de muestras. Entonces la expresión para el SD de la iteración E se muestra en la ecuación (8).

(8)

En la ecuación (8), S_d(E) denota el SD. La mejora del algoritmo ORB descrita anteriormente ha demostrado proporcionar una base de compatibilidad de características de alta calidad para la posterior tecnología de registro 3D. Esta mejora muestra mayor precisión y robustez en escenas complejas. Algunas de estas escenas incluyen cambio de escala, cambio de luz y oclusión.

El pseudocódigo para mejorar el ORB con SURF y la homografía mejorada para el turismo de AR es el siguiente.

Algoritmo 1: ORB mejorado con SURF y Homografía mejorada para el turismo de AR
Entrada: Secuencia de imágenes turísticas I, modelo virtual 3D M
Salida: Escena AR renderizada con objeto virtual registrado
Paso 1: Preprocesamiento de imágenes
1: I_gray ← ConvertToGrayscale(I)
2: I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3: Pirámide ← BuildImagePyramid(I_smooth, niveles=4, escala=1.2)

Paso 2: Detección de puntos de característica
4: keypoints_SURF ← SURF_Detect(Pirámide, Umbral de Hessiano=1000)
5: para cada KP en keypoints_SURF hacer
6: orientación ← ComputeWaveletResponse(kp)
7: fin para
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0,04)
9: descriptores ← ImprovedORB_Describe(keypoints_Harris)

Paso 3: Emparejamiento de características
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11: coincidencias ← BruteForceMatcher(descriptors)
12: inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)

Paso 4: Registro 3D con Homografía Mejorada
13: H_improved ← ComputeImprovedHomography (inliers, camera_intrinsics)
14: R, t ← DescomponerHomografía(H_improved)
15: pose ← ComposeCameraPose(R, t)// Paso 5: Renderizado en AR
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, pose, fondo=Yo)
18: Regreso scene_rendered

Técnica de registro 3D en turismo de AR basada en una HM mejorada

Tras comparar con precisión las características de las imágenes turísticas mediante el método de emparejamiento FP, debe aplicarse aún más a la tecnología de RA. La tecnología de registro 3D es una tecnología fundamental para la realización de sistemas de RA. Calcula la información de pose de la cámara en el mundo real mediante la proyección de una imagen turística objetivo. Esto permite la coincidencia y fusión precisa de objetos virtuales y escenas^{reales 27}. La HM puede mapear el objeto virtual al mundo real desde la perspectiva del usuario, lo que potencia el efecto de fusión entre la información virtual y el mundo real. Además, puede resolver el problema de registrar la realidad virtual cuando el logotipo está parcialmente oculto. Sin embargo, la eficiencia de registro de HM en la tecnología real de registro 3D es baja, y esto conduce a la desalineación de objetos virtuales, lo que provoca la inestabilidad de los objetos^{virtuales 28}. Por ello, este estudio propone una técnica de registro 3D basada en una HM mejorada. Utilizando pares FP precisos de la Fase 1, la HM mejorada se calcula mediante un método de retrocálculo de objeto virtual-real que incorpora intrínseca de cámara. Este método aborda eficazmente la baja eficiencia de registro y la desalineación de objetos virtuales de los métodos tradicionales en escenas dinámicas. La matriz se descompone en una matriz de rotación y un vector de traslación para definir la pose de la cámara. El motor de renderizado OpenGL proyecta con precisión modelos virtuales 3D en la transmisión de vídeo en directo basándose en parámetros de pose. El mapeo de texturas y los modelos de iluminación aseguran una fusión físicamente consistente.

Registro y visualización 3D

Para la realización de la técnica de registro 3D, el estudio primero necesita construir un modelo de imagen estenopeica para mapear el mundo real 3D a una imagen 2D. La expresión de este modelo se muestra en la Ecuación (9).

(9)

En la ecuación (9), X, Y y O denotan los tres ejes de la cámara CS. (x,y,f) denota el vector de coordenadas. f denota la distancia focal (FL). λ denota el factor de escala. Como se demuestra en la Figura 5, el estudio actual examina las propiedades de imagen de la cámara estenopeica utilizando la relación de transformación entre el CS de imagen y el CS de la cámara.

Figura 5: Modelo de imagen estenopeica y la relación entre puntos espaciales y puntos de proyección plana. Por favor, haga clic aquí para ver una versión ampliada de esta figura.

La Figura 5 muestra la estructura básica de la imagen estenopeica. La Figura 5A es un diagrama esquemático del modelo de imagen estenopeica, que describe la estructura geométrica básica de proyectar una escena tridimensional sobre un plano de imagen bidimensional a través de un pequeño orificio en el centro de la cámara, reflejando los principios de propagación de rayos y proyección en perspectiva. La Figura 5B ilustra además el proceso de proyectar puntos espaciales sobre los puntos correspondientes del plano de imagen a través del centro de la cámara, aclarando la relación proporcional entre la distancia focal, las coordenadas de los puntos de imagen y las coordenadas de los puntos objetos. Tras construir el modelo de imagen estenopeica, el estudio emplea además la HM para construir el mapeo de relaciones entre la plantilla y las imágenes reales de la escena capturadas con cámara. Se asume que los puntos de coincidencia de características de dos imágenes I₁ e_{I 2} están en el mismo plano. El plano debe satisfacer la expresión mostrada en la Ecuación (10).

N^Z P + d = 0 (10)

En la ecuación (10), P denota el plano. N denota el vector normal del plano P. d denota la distancia desde el plano P hasta el origen. Z denota el vector de traslación. Para rotaciones y traslaciones, el estudio utiliza el método de descomposición en valores singulares para su extracción. La expresión se muestra en la Ecuación (11)²⁹.

(11)

En la ecuación (11), p₁ y p₂ denotan las coordenadas de píxeles de los pares de puntos de sombras que coinciden con las características en las imágenes I₁ e I₂, respectivamente. r₁ y r₂ denotan los factores de escalado de los puntos de píxel en las imágenes I₁ e I₂, respectivamente. K denota la matriz de referencia interna de la cámara. R denota la matriz de rotación. El HM tiene una alta complejidad computacional y es propenso al problema del error de emparejamiento FP. Por ello, el estudio lo mejora utilizando el método de cálculo inverso de objetos virtuales^{y reales 30}. La expresión mejorada de HM se muestra en la Ecuación (12).

(12)

En la ecuación (12), M' denota la HM mejorada. f_x y f_y denotan las FL de la cámara a lo largo de los ejes X y Y, respectivamente. U y v denotan las coordenadas principales de los puntos. γ denota el parámetro de sesgo. La transformación física del método se muestra en la Ecuación (13).

(13)

En la ecuación (13), T' denota la matriz de transformación física. t_x,_{t, y} y_{t o} denotan los componentes de rotación de los tres ejes coordenados. [R|Z] denota la matriz de transformación del mundo y la cámara CS. En la implementación de la tecnología AR, la expresión del mapeo entre la plantilla y la imagen de la escena real en movimiento se muestra en la Ecuación (14).

(14)

En la ecuación (14), I_s e_{I d} denotan los puntos en la referencia y en TIs, respectivamente. El estudio calcula además la precisión del alineamiento del HM mejorado para investigar la efectividad del alineamiento del método, tal como se expresa en la Ecuación (15).

(15)

En la ecuación (15), P_re(M') denota la precisión del alineamiento de la HM mejorada. (x_{a,y a,o a}) denota los FP reales. (x_{b,y b,o b}) denota los FP alineados. n denota el número de grupos de puntos emparejados. La Figura 6 muestra el mapeo entre el diagrama esquemático y las fotos del HM mejorado.

Figura 6: Relación de mapeo de imágenes y el diagrama esquemático de la HM mejorada. Haz clic aquí para ver una versión ampliada de esta figura.

Como se ilustra en la Figura 6, existe una correspondencia clara entre la imagen plantilla y el TI. Tras la aplicación del HM mejorado, un punto de control visual clave implica la deformación y alineación de la imagen plantilla con la imagen de la escena objetivo. Los bordes de la plantilla proyectada deben alinearse estrechamente con las características correspondientes en el TI. Durante el renderizado final en AR, inspecciona visualmente el modelo virtual 3D para asegurarte de que está anclado de forma persistente y precisa a la posición y orientación correctas en la escena real. No debería haber vibraciones ni desalineaciones notables a medida que cambia la perspectiva de la cámara.

El estudio demuestra el mapeo de la imagen plantilla mediante una matriz de influencia mejorada pero sin éxito. Para lograr la interacción en tiempo real entre objetos virtuales y paisajes turísticos reales, el estudio utiliza la tecnología OpenGL para renderizar modelos 3D para la construcción del sistema de turismo de RA. La técnica primero establece el contexto OpenGL, carga el modelo 3D de los elementos turísticos virtuales y calcula mediante mapeo de texturas e iluminación. Luego, el flujo de vídeo en tiempo real capturado por la cámara se utiliza como fondo para proporcionar referencia para renderizar objetos virtuales. Los objetos virtuales se superponen con precisión al mundo real mediante una HM, que los muestra en la posición y orientación correctas para integrarlos con la escena real. En el sistema de turismo de RA, en el que el vídeo se captura a través de la biblioteca OpenCV para el vídeo en tiempo real del^{tour 31}. El procesamiento de imágenes utiliza un algoritmo ORB optimizado para identificar y comparar características en los fotogramas de vídeo. En el módulo de registro 3D, el estudio utiliza una HM mejorada para fusionar lo virtual y la realidad. La salida final y la interacción se muestran mediante tecnología OpenGL. El proceso de implementación de la tecnología de tours AR se ilustra en la Figura 7, que muestra el proceso general de implementación de la tecnología de tours AR. La Figura 7 presenta el diagrama de flujo de implementación del sistema de la tecnología turística de RA. Tras el arranque del sistema, el flujo de vídeo en tiempo real se captura primero a través de la cámara, de donde se extrae la imagen objetivo. El proceso entra entonces en la etapa de procesamiento de características, realizando secuencialmente la extracción y descripción de puntos de características para construir características de imagen. Si la correspondencia de puntos de característica tiene éxito, el sistema pasa a la fase de registro de seguimiento 3D, donde se calculan los parámetros de pose de la cámara. Esto se combina con modelos 3D de la biblioteca de materiales virtuales para lograr la fusión virtual-real, y el efecto final de AR fusionado se muestra al usuario en tiempo real. Si la coincidencia falla, se emplea el algoritmo RANSAC para eliminar puntos desajustados y se vuelve a introducir en la etapa de procesamiento de características para garantizar la estabilidad y robustez del sistema. Todo el proceso forma un circuito cerrado completo, desde la adquisición de imágenes y el procesamiento de características hasta el registro 3D, fusión virtual-real y visualización interactiva, ilustrando la vía técnica para que los sistemas turísticos de RA logren una fusión virtual-real estable y en tiempo real en escenas dinámicas.

Figura 7: Diagrama esquemático del proceso de implementación de la tecnología turística de RA. Haz clic aquí para ver una versión ampliada de esta figura.

Montaje experimental y materiales

Para garantizar la reproducibilidad de los experimentos, las especificaciones de hardware, el entorno de software y los conjuntos de datos utilizados en este estudio se enumeran explícitamente en la Tabla 1.

Categoría	Punto	Especificación / Versión
Hardware	Cámara	Logitech C920 HD Pro Webcam
	Procesador de ordenador	Procesador AMD Ryzen 7 3700X de 8 núcleos
	Memoria de ordenador	32 GB de RAM
	Sistema operativo	Windows 10 (64 bits)
Software y bibliotecas	Lenguaje de programación	C++
	Entorno de Desarrollo	Microsoft Visual Studio 2019
	Biblioteca de Visión por Ordenador	OpenCV 4.5.1
	API gráfica	OpenGL 4.6
	Plataforma de simulación	Herramientas de simulación de Visual Studio
Conjunto de datos	Conjunto de datos primario	Conjunto de datos de Oxford

Tabla 1: Configuración experimental: especificaciones de hardware, software y conjuntos de datos.

En OpenCV, el desenfoque gaussiano se aplica usando la función GaussianBlur(). La pirámide de imágenes se construye usando buildPyramid(). El detector SURF se inicializa con SURF.create(), estableciendo el umbral de Hesse en 400. La respuesta de las esquinas de Harris se calcula usando cornerHarris(), y posteriormente se aplica la supresión no máxima para filtrar los puntos clave. El flujo óptico LK se calcula usando la función calcOpticalFlowPyrLK(), que implementa el método piramidal de Lucas-Kanade. La función findHomography() se utiliza para la estimación de la homografía, con la bandera del método configurada en RANSAC para aprovechar el umbral de reproyección especificado. El HM resultante se utiliza entonces con perspectiveTransform() para validar puntos internos. En la tubería de renderizado OpenGL, la HM se convierte en una pose de cámara y se establece usando glLoadMatrix(). Los modelos virtuales 3D se cargan como archivos .obj y se renderizan usando comandos estándar de transformación OpenGL (glTranslate, glRotate). La señal de vídeo en tiempo real de OpenCV se pasa a OpenGL como una textura usando glTexImage2D() para lograr la superposición final de la AR. Los parámetros clave para los algoritmos utilizados en este estudio están definidos explícitamente en la Tabla 2.

Algoritmo / Componente	Parámetro	Valor
Filtro Gaussiano	Tamaño del núcleo	5 × 5 píxeles
	Desviación estándar	1.2
Flujo óptico LK	Tamaño de la ventana	15 × 15 píxeles
RANSAC	Iteraciones máximas	2000
	Umbral de reproyección	3.0 píxeles
Detector de características ORB	Número máximo de características	1000
	Factor de escala (Pirámide)	1.2
	Número de niveles piramidales	4
Detector de características SURF	Umbral de Hesse	1000
Detector de esquinas Harris	Tamaño de apertura	3
	valor k	0.04

Tabla 2: Parámetros clave del algoritmo para la reproducibilidad.

Resultados

Rendimiento del algoritmo combinado SURF y ORB mejorado para la comparación FP de imágenes turísticas

Para establecer líneas base robustas de rendimiento y comparaciones de control, el algoritmo propuesto se evalúa frente a tres algoritmos de emparejamiento de características ampliamente utilizados: la transformada de características invariantes a escala (SIFT), las características robustas aceleradas (SURF) y el algoritmo ORB original, sin me...

Discusión

El estudio propuso un método de emparejamiento FP para imágenes turísticas combinando SURF y un algoritmo ORB mejorado, con el objetivo de mejorar la precisión del emparejamiento de características. Para lograr aún más la compatibilidad precisa y fusión entre los objetos propuestos y la escena real, el estudio propuso una técnica de registro 3D en turismo de RA basada en una mejor HM. En cuanto al registro 3D, los resultados ilustraron que el ARA era del 98,74% y el número medio de SRs p...

Materiales

Lista de materiales utilizados en este artículo

Nombre	Empresa	Número de catálogo	Comentarios
Procesador AMD Ryzen 7 3700X de 8 núcleos	AMD	Ryzen 7 3700X
Cámara	Logitech	Cámara web C920 HD Pro
Memoria de ordenador	/	32 GB de RAM
Logitech C920 HD Pro Webcam	Logitech	C920
Microsoft Visual Studio 2019	Microsoft	2019
OpenCV	Fundación OpenCV	4.5.1
OpenGL	Grupo Khronos	4.6
Conjunto de datos de Oxford	Universidad de Oxford	/
Lenguaje de programación	/	C++
Herramientas de simulación de Visual Studio	Microsoft	Incluido en VS 2019
Windows 10 (64 bits)	Microsoft	10 (64 bits)