Technologie touristique en réalité augmentée basée sur un algorithme ORB amélioré et une matrice d’homographie

Résumé

Cette étude présente une méthode améliorée de correspondance des points de caractéristiques et d’enregistrement 3D pour le tourisme en réalité augmentée, améliorant l’alignement, la stabilité et la précision de l’appariement. Combinant un flux optique ORB amélioré, un flux optique LK et une matrice d’homographie améliorée, l’approche atteint des taux de correspondance correcte et une précision d’enregistrement plus élevés, améliorant la fusion de scènes virtuelles-réelles dans les applications touristiques.

Résumé

Cette étude propose une méthode améliorée de correspondance des points de caractéristiques et d’enregistrement 3D pour les applications de tourisme en réalité augmentée. Cette méthode traite des problèmes tels que le mauvais alignement, la faible stabilité dans des environnements complexes et une faible précision de correspondance des caractéristiques. Une méthode améliorée de mise en relation de points de caractéristiques pour les images touristiques est introduite, combinant l’algorithme Speeded Up Robust Features (SURF) avec un algorithme amélioré Oriented FAST et Rotated BRIEF. Dans cette méthode, les points de caractéristique sont initialement détectés à l’aide de l’algorithme SURF, et leur orientation est déterminée par analyse de réponse par ondelettes. La méthode optique de flux Lucas-Kanade est utilisée pour le suivi des points de caractéristiques. L’algorithme de consensus par échantillon aléatoire est alors utilisé pour éliminer les points mal tracés. De plus, une technique d’enregistrement 3D pour le tourisme en réalité augmentée, basée sur une matrice d’homographie améliorée, est proposée pour surmonter les limites des matrices d’homographie traditionnelles, telles que la faible précision d’appariement et l’efficacité de l’enregistrement. La performance de la méthode proposée a été analysée par des expériences comparatives avec les algorithmes SIFT, SURF et ORB originaux sous diverses transformations d’image, notamment l’échelle, le flou, l’illumination et la rotation. Le taux de correspondance et le temps de correspondance corrects ont été utilisés comme indicateurs d’évaluation. Des tests de simulation ont été réalisés pour l’enregistrement 3D à partir de différents modèles 3D. La précision des inscriptions et les décomptes réussis ont été évalués selon les changements de rotation. Les résultats ont indiqué que le taux moyen de correspondance correcte de l’algorithme proposé est augmenté de 44,08 %, 36,51 % et 16,09 % sous variation d’échelle par rapport à l’algorithme de transformation des caractéristiques invariantes à l’échelle, algorithme des caractéristiques robustes accélérées et algorithme non amélioré, respectivement. Le taux d’appariement correct sous la transformation floue a augmenté respectivement de 33,46 %, 19,65 % et 9,35 %. La précision moyenne de l’enregistrement de la technique d’enregistrement 3D proposée était de 98,74 % sous transformation rotationnelle. Les résultats révèlent que l’approche suggérée par l’étude peut améliorer avec succès l’effet de fusion virtuelle et réelle de la scène et offre une approche innovante de l’utilisation de la technologie de réalité augmentée dans l’industrie du voyage.

Introduction

La technologie est devenue un outil clé pour promouvoir le progrès synergique de la culture et du tourisme dans une économie numérique en rapide^{évolution 1}. Ces dernières années, la technologie de réalité augmentée (RA) a connu une adoption rapide dans divers secteurs, notamment le tourisme, l’éducation, la médecine et l’industrie. La RA est un domaine émergent dans le paysage technologique plus^{large 2}. Dans le domaine du tourisme, cette technologie est capable de superposer des informations virtuelles à des scènes réelles, offrant une expérience immersive et interactive aux touristes. Cette technologie peut non seulement améliorer l’expérience de voyage des touristes, mais aussi innover la scène de la consommation touristique et promouvoir la transformation numérique de la culture et de l’industrie^{touristique 3}. Cependant, l’adoption généralisée de la RA dans les environnements touristiques dynamiques et non structurés reste freinée par d’importants défis techniques. Les techniques existantes de RA présentent souvent une faible robustesse dans les applications pratiques. Ils se caractérisent par une faible précision de correspondance des caractéristiques, un alignement insuffisant entre objets virtuels et réels, et une stabilité limitée dans des conditions environnementales complexes, telles que des échelles variables, des changements d’éclairage et des^{occlusions 4}. Ces limitations peuvent entraîner une expérience utilisateur frustrante, avec des saccades de contenu virtuel qui saccade, dérivent ou ne s’ancrent pas correctement, ce qui sape le sentiment d’immersion et de réalisme. Par conséquent, explorer une technique de RA robuste et efficace pour le tourisme, capable de fonctionner de manière fiable dans des contextes réels, est une priorité actuelle de recherche. En tant qu’algorithme d’extraction rapide de points de caractéristiques (FPE) et de description, le FAST orienté et le BRIEF roté (ORB) sont largement utilisés en FPE d’image en raison de son haut rendement et de son invariance^{rotationnelle 5}.

Zhang et ^al.6 ont proposé une méthode FPE améliorée pour les cartes denses ORB-SLAM2, visant à améliorer l’efficacité et à réduire le coût d’acquisition de cartes 3D d’environnements intérieurs. La méthode a permis d’extraire efficacement les points de caractéristiques (FP) au moyen d’une cohérence asymptotique de l’échantillon afin de réduire l’utilisation de la mémoire. Il a été constaté que la méthode pouvait être utilisée pour le processus de navigation avec une précision FPE supérieure et une grande efficacité de suivi⁶. Wu a proposé un algorithme de correspondance rapide de caractéristiques qui combine ORB et consensus d’échantillon aléatoire (RANSAC) pour traiter les problèmes d’erreur d’alignement rotationnel à grande échelle, de faible taux d’alignement, de hasard et d’instabilité. L’efficacité de cette approche a été confirmée par les résultats, qui ont démontré que la méthode proposée présentait une grande précision d’adaptation FP et une stabilité^{robuste 7}. Chen et al. ont proposé une méthode de correspondance de caractéristiques qui combine l’ORB amélioré avec l’algorithme de flux optique (OF) Lucas-Kanade (LK) afin de résoudre le problème de faible précision de l’appariement des caractéristiques d’image. La méthode utilisait la méthode de contraste de Michelson pour la FPE, et la structure quadtree était employée pour homogénéiser les FP extraits afin de réduire la quantité calculée de correspondance des caractéristiques. Les résultats ont démontré que l’uniformité et la précision des FP de la méthode étaient respectivement améliorées de^0,22 % et 50,47 %. Zuo et al. ont proposé un algorithme de sphère amélioré pour l’appariement FP d’images optiques entièrement focalisées, visant à améliorer la précision et la robustesse de la méthode FPE et d’appariement de l’image. La méthode a été améliorée en affinant l’algorithme ORB conventionnel afin d’augmenter le nombre et la précision de la FPE pour des images entièrement focalisées dans le champ^{lumineux 9}. Anggara et al. ont suggéré une méthode d’extraction de caractéristiques fusionnant la carte colorimétrique et le détecteur ORB dans AR. La méthode extrayait d’abord les caractéristiques de tache et de contour de l’image en utilisant une méthode de suivi des caractéristiques naturelles basée sur les caractéristiques, puis convertissait l’image couleur en image en niveaux de gris à l’aide d’un détecteur ORB afin d’améliorer l’efficacité de détection des caractéristiques. Les résultats indiquaient que l’approche suggérée pourrait améliorer avec succès l’extraction^{des caractéristiques 10}.

En raison de sa capacité à combiner avec précision des données virtuelles et des scènes réelles avec les technologies AR, la matrice d’homographie (HM) a suscité beaucoup d’intérêt ces^{dernières années 11,12}. Kim et al. ont proposé un système de RA en ligne en temps réel basé sur HM. La méthode utilisait une caméra 3D avec localisation et construction simultanées de cartes pour suivre les informations de la scène, et une HM était utilisée pour remplir les images sources de l’image afin d’améliorer la qualité de l’image. Les résultats ont démontré que la méthode pouvait efficacement réduire les incohérences visuelles et les artefacts et améliorer l’expérience utilisateur^{de la RA 13}. Clement a proposé une méthode de description des caractéristiques à suivi AR basée sur le suivi en trois niveaux et améliorant la direction. La méthode utilisait une HM pour décrire le mouvement de la cible entre différentes images afin d’améliorer la robustesse de l’appariement des caractéristiques de l’image. Les résultats ont indiqué que la méthode a obtenu des scores de répétabilité de 100 %, 100 % et 99 % pour le changement d’éclairage, le flou et le changement de point de vue, respectivement¹⁴. Liu et al. ont proposé une méthode locale de correspondance de mouvement pour la télédétection des images basée sur HM, visant à éliminer les erreurs de correspondance des caractéristiques de l’image. La méthode étudiée représentait la cohérence du mouvement local de l’image par HM et introduisait une méthode de rééchantillonnage. Les résultats ont démontré que la méthode proposée présentait une performance d’appariement supérieure¹⁵.

Comme mentionné ci-dessus, la poursuite technique d’une correspondance robuste des fonctionnalités et de l’enregistrement est fondamentalement motivée par la demande pour son application afin de créer des expériences utilisateur attrayantes. Pour situer ce travail technique dans le contexte plus large de la recherche sur le tourisme en RA, il est essentiel de s’engager dans des études récentes qui examinent empiriquement les effets psychologiques et comportementaux de la RA sur les touristes. Par exemple, Zhu et al. ont exploré le mécanisme par lequel l’authenticité et le transport narratif dans le tourisme AR influencent le bouche-à-oreille via l’attachement AR, en utilisant la modélisation structurelle des équations. Les résultats ont révélé que l’attachement AR médie la relation entre authenticité, transport narratif et bouche-à-oreille, offrant une approche nouvelle du marketing du tourisme^{patrimonial 15}. Parallèlement, Ngan et Lei ont analysé l’impact de la RA sur les expériences des événements sportifs et ont revisité l’intention. Leur étude a indiqué que les utilisateurs de RA présentaient un engagement cognitif significativement plus élevé et que les dimensions expérientielles influençaient significativement l’intention de revisiter, confirmant l’efficacité de la RA pour accroître l’attractivité et l’immersion des^{événements 16}. De plus, Zhu et al. ont étudié le mécanisme d’impact de la présence touristique dans les expériences AR sur le bouche-à-oreille (WOM), en utilisant des données d’enquête d’une exposition AR au Palace Museum. Les résultats ont démontré que la présence pouvait influencer positivement la MOM, et que l’authenticité jouait un rôle important dans la médiation à ce^{niveau-là 17}.

En conclusion, un corpus important de recherches a été mené par de nombreux chercheurs sur les techniques AR basées sur l’algorithme ORB avec HM, donnant des résultats supérieurs. Cependant, l’algorithme ORB souffre toujours d’une faible robustesse et d’une inefficacité de la FPE sous changement d’échelle, changement d’illumination et occlusion¹⁸. De plus, la HM traditionnelle est souvent un goulot d’étranglement caractérisé par une faible précision d’appariement et une faible efficacité d’enregistrement. Cela conduit à un désalignement et à une instabilité des objets virtuels dans des environnements touristiques dynamiques. L’écart entre la performance des méthodes actuelles et les exigences pour des expériences AR stables et immersives dans le tourisme reste un défi critique et non abordé. Pour relever ces défis persistants et permettre une expérience AR plus stable et immersive dans le tourisme, cette étude vise à accroître l’efficacité de la FPE et de l’enregistrement 3D. Ce travail comporte trois contributions théoriques. Premièrement, il présente un nouveau cadre de correspondance de caractéristiques qui combine la propriété d’invariant à l’échelle du détecteur SURF avec l’efficacité computationnelle améliorée du descripteur ORB. Cette intégration est renforcée en déterminant l’orientation des caractéristiques via la réponse en ondelettes et en affinant l’ensemble de points selon les critères de coin de Harris. Cela fournit un modèle théorique plus robuste pour la correspondance des caractéristiques sous transformations, ce qui le rend plus qu’un simple séquentiel. Deuxièmement, elle introduit une amélioration théorique du processus d’estimation par homographie en employant une méthode de rétrocalcul d’objets réels virtuels. Cette approche vise à surmonter les limites des matrices d’homographie traditionnelles en offrant un modèle de projection plus stable et précis pour l’enregistrement 3D. Enfin, en combinant systématiquement ces composantes améliorées, l’étude propose une approche théorique consolidée pour atteindre une fusion virtuel-réel supérieure, spécifiquement adaptée aux complexités des scénarios de tourisme en plein air.

Cette technique améliorée est très pertinente pour les principaux acteurs du tourisme. Elle permet aux marketeurs de destinations et aux tour-opérateurs de développer des applications AR stables et immersives qui offrent une proposition de valeur unique. Pour les gestionnaires de sites du patrimoine culturel, il offre un outil fiable pour créer des superpositions éducatives sans endommager les artefacts physiques. En fin de compte, pour les touristes, cette méthode améliore directement l’expérience en offrant une fusion fluide et stable de l’information virtuelle avec l’environnement réel. Cela élimine la frustration liée au contenu virtuel mal aligné ou tremblant. En conséquence, l’immersion est nettement plus profonde, la compréhension contextuelle s’enrichit et la satisfaction globale envers le service touristique augmente. L’innovation de cette recherche est la suivante : (1) L’image est lissée par un filtrage gaussienne, et la réponse en ondelettes est utilisée pour déterminer la direction des FP. De plus, pour augmenter la précision et la stabilité de la détection de points de départ, les meilleurs FP sont filtrés en s’intégrant à la technique de détection de points d’angle de Harris. (2) L’algorithme RANSAC est introduit pour éliminer les FP mal suivis afin d’améliorer la robustesse de l’appariement des caractéristiques. (3) La HM est améliorée par la méthode de calcul inverse des objets virtuels-réels, qui vise à répondre aux limitations de la HM traditionnelle, telles que la faible précision de correspondance FP et une faible efficacité d’enregistrement.

Protocole

Cette section propose d’abord une méthode de correspondance FP pour les images touristiques combinant SURF et un algorithme ORB amélioré pour améliorer la robustesse de l’appariement FP. Ensuite, l’étude propose une technique d’enregistrement 3D pour le tourisme AR basée sur une HM améliorée afin d’améliorer l’effet de fusion entre l’information virtuelle et le monde réel. Les expériences ont été menées à partir de jeux de données d’images accessibles au public. Plus précisément, l’ensemble de données Oxford Visual Geometry Group (VGG) a été utilisé, qui comprend des séquences d’images avec des variations d’échelle, de flou, d’éclairage et de point de vue, et est largement adopté pour évaluer les algorithmes de correspondance et d’enregistrement des caractéristiques en vision par ordinateur. Aucune approbation d’un comité éthique n’était requise pour l’utilisation de ce jeu de données accessible au public.

Combinant SURF et un algorithme ORB amélioré pour la correspondance FP dans les images touristiques

Avec le développement florissant de l’industrie touristique, la demande pour la technologie AR dans les services touristiques automatisés est en hausse. L’algorithme ORB est un algorithme efficace de détection et de description des FP. La technologie RA a été largement^{utilisée 19}. Cependant, lors du processus de correspondance FP des images touristiques, l’algorithme ORB existant souffre de défauts tels que une faible robustesse aux changements d’échelle, une faible précision de correspondance de caractéristiques et un^{délai chronophage de 20}. Pour augmenter la précision et la robustesse de l’appariement, cette étude propose une méthode robuste d’appariement de caractéristiques intégrant SURF avec un algorithme ORB amélioré. Pour obtenir une invariance d’échelle, l’image d’entrée subit un filtrage gaussienne et une construction pyramidale. L’algorithme SURF détecte les FP invariants à l’échelle, avec des orientations déterminées via des réponses en ondelettes. La qualité des caractéristiques est améliorée en affinant les points initiaux selon le critère des coins de Harris et en conservant les points les plus distinctifs. La méthode optique de flux Lucas-Kanade suit les caractéristiques à travers les trames, et l’algorithme RANSAC élimine les points incompatibles. La lacune méthodologique abordée ici n’est pas seulement l’application séquentielle de SURF et ORB, mais une stratégie d’hybridation novatrice conçue pour surmonter les limites spécifiques des hybrides standards dans des environnements touristiques complexes. Contrairement aux approches SURF-ORB conventionnelles, qui utilisent SURF pour la détection puis appliquent directement un descripteur ORB, la méthode actuelle introduit deux améliorations essentielles. Premièrement, l’orientation de chaque FP localisée par SURF est recalculée en utilisant sa réponse en ondelette. Cela fournit une estimation directionnelle plus robuste que SURF seul utilisant la méthode standard basée sur les ondelettes de Haar. Deuxièmement, et plus important encore, les points SURF initiaux ne sont pas utilisés directement. Au lieu de cela, ils sont rigoureusement affinés en utilisant le critère d’angle de Harris pour filtrer les points non distinctifs à faibles réponses, situés dans des régions plates ou le long des arêtes.

Prétraitement d’image

Au stade de prétraitement des images touristiques, l’étude extrait les caractéristiques des images en niveaux de gris. Pour mieux caractériser les caractéristiques locales de l’image, l’étude utilise la composante dégradée pour identifier et classer l’image²¹. L’équation (1) en a démontré l’expression.

(1)

Dans l’équation (1), I(x,y) désigne la valeur en pixels de l’image à la coordonnée (x,y).  désigne le vecteur dégradé de l’image en (x,y). et afficher les dérivées partielles de l’image dans les directions x et y, respectivement. T désigne la transposée du vecteur gradient.

Détection des points de caractéristiques

Après avoir reconnu l’image par des composantes de dégradé, l’étude utilise les caractéristiques du test des segments accélérés (FAST) dans l’algorithme ORB pour détecter les FP de l’image. De plus, les FP sont violemment correspondus à l’aide de l’algorithme binaire de description des caractéristiques élémentaires indépendantes robustes (^{BRIEF) 22}. Le schéma de détection et de correspondance de cet algorithme est présenté à la Figure 1.

Figure 1 : Schéma de la correspondance des caractéristiques entre l’algorithme FAST de détection des caractéristiques et l’algorithme de description BRIEF. Veuillez cliquer ici pour voir une version agrandie de cette figure.

La figure 1 illustre le processus de détection des caractéristiques des algorithmes FAST et BRIEF. La figure 1A est un schéma de la détection des caractéristiques utilisant l’algorithme FAST. Un gabarit circulaire de 16 pixels est utilisé pour comparer la luminosité autour du pixel central afin de détecter rapidement les éléments des coins de l’image. La figure 1B est un schéma de correspondance de caractéristiques dans l’algorithme BRIEF. En sélectionnant plusieurs paires de pixels autour des points de caractéristiques pour la comparaison en niveaux de gris, des descripteurs binaires sont générés, et une correspondance par force brute est utilisée pour obtenir la correspondance des points de caractéristiques entre deux images. L’amélioration implique l’utilisation initiale de la méthode de filtrage gaussienne, qui sert à lisser l’image et à atténuer le bruit des hautes fréquences. Par la suite, la méthode de downsampling est employée pour réduire la résolution spatiale de l’image, diminuant ainsi la complexité de calcul tout en préservant les caractéristiques principales de l’image. L’étude utilise une méthode de construction pyramidale d’images, s’appuyant sur les deux techniques mentionnées ci-dessus pour garantir que les FP d’image présentent des propriétés d’invariance d’échelle²³. L’expression pour lisser l’image par un filtre gaussienne passe-bas est montrée dans l’équation (2).

(2)

Dans l’équation (2), g_e(x,y) désigne la fonction de filtre gaussienne. e est l’écart-type (DE) de la fonction gaussienne. exp désigne la fonction exponentielle. La pyramide d’images construite par filtrage gaussienne est représentée de façon schématique à la Figure 2.

Figure 2 : Schéma schématique de la pyramide d’images construite par filtrage gaussienne. Veuillez cliquer ici pour voir une version agrandie de cette figure.

La figure 2 montre la structure pyramidale d’images, où plusieurs images de résolution inférieure sont progressivement générées par filtrage gaussienne et un échantillonnage descendant. Parmi eux, le filtre gaussien réduit le bruit à haute fréquence dans l’image en le floutant via une opération de convolution. En tant que point de contrôle visuel durant cette étape de prétraitement, la pyramide d’images générée peut être affichée. Il convient de noter que chaque niveau de la pyramide présente une résolution progressivement inférieure à celle de l’image originale. On observe une augmentation notable du flou et une réduction des détails fins grâce au filtrage gaussien appliqué et au downsampling. Pour améliorer l’efficacité de l’identification des FP dans une image, l’étude utilise un algorithme SURF pour localiser ces FP dans l’image. Cette méthode consiste à quantifier la région environnante du FP et à exploiter la réponse des ondelettes pour déterminer la direction du FP. En raison de l’existence de FP dupliqués et invalides extraits par SURF, leur nombre excessif réduira la vitesse de reconnaissance des caractéristiques de l’image cible (TI). Ainsi, l’étude utilise l’algorithme de détection de points d’angle Harris pour identifier les FP d’image^{optimaux 24}. L’équation (3) affiche la valeur de la réponse angulaire de l’algorithme.

(3)

Dans l’équation (3), H désigne la matrice de Harris. u(x,y) désigne la fonction de poids de la fenêtre. I_x et_{I y} désignent la taille de la valeur grise (GV) du point pixel. A désigne la valeur de réponse de l’angle de Harris. det H et traceH désignent respectivement le déterminant et la trace de la matrice de Harris. k désigne la valeur du coefficient. Le schéma de la direction des FP sélectionnés par l’algorithme SURF et la fenêtre glissante de l’algorithme de détection d’angle de Harris sont présentés à la Figure 3.

Figure 3 : Schéma de l’algorithme SURF, sélection FP et fenêtre glissante pour l’algorithme de détection de coins de Harris. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

La figure 3 montre la composition de l’algorithme SURF pour détecter les FP dans une image. La figure 3A montre le schéma de sélection de direction des points de caractéristiques dans l’algorithme SURF. En calculant la direction principale de la réponse des ondelettes de Haar dans le voisinage du point de trait, la direction invariante de rotation du point de trait est déterminée, généralement représentée intuitivement par des flèches ou des segments de ligne directionnels. La figure 3B est un schéma de la fenêtre coulissante de l’algorithme de détection des coins de Harris, montrant le processus de déplacement de la fenêtre dans la zone de l’image. Les points d’angle sont détectés en calculant les changements en niveaux de gris des pixels à l’intérieur de la fenêtre, et les zones à haute réponse sont identifiées comme points d’angle.

Appariement des caractéristiques

Après avoir détecté les FP d’image, l’étude utilise la méthode LK OF pour suivre les FP détectés. Cette méthode calcule le mouvement entre les images d’image voisines en suivant le mouvement des FP dans l’image afin d’obtenir une correspondance FP dans la séquence vidéo. La méthode LK OF doit satisfaire aux hypothèses de GV constant en pixel, de petit mouvement et de cohérence du mouvement régional lors du calcul du mouvement entre les images^{adjacentes 25}. La méthode Lucas-Kanade est adoptée stratégiquement en tenant compte de son efficacité computationnelle, cruciale pour les applications de tourisme en réalité augmentée en temps réel. Ses hypothèses sont atténuées dans le contexte spécifique. Le taux d’images élevé de la capture vidéo assure généralement de petits déplacements entre images, ce qui répond à l’exigence de petits mouvements. Bien que la constance absolue de luminosité soit idéale, la courte fenêtre de suivi entre les images consécutives minimise les violations graves. Plus important encore, l’algorithme RANSAC qui subséquente gère de manière robuste les erreurs de suivi potentielles résultant de violations d’hypothèses en filtrant les valeurs aberrantes. Ainsi, LK sert de suivi initial efficace dont la sortie est rigoureusement validée, ce qui le rend adapté à un système temps réel où l’équilibrage de vitesse et de robustesse est essentielle. Selon l’hypothèse de pixel constant GV, l’expression est indiquée dans l’équation (4).

(4)

Dans l’équation (4), I(x,y,t) désigne le pixel GV de l’image à la position (x,y) au moment t . I_x et I_x désignent respectivement le déplacement du pixel dans les directions x et y. i et j désignent les composantes OF du point du pixel. I_x, I_y et_{I t} désignent la différence de l’image dans les directions x, y et t, respectivement. L’hypothèse de cohérence du mouvement régional est calculée dans l’équation (5).

(5)

Dans l’équation (5), I_tb désigne la dérivée partielle du point pixel b dans le domaine dans la direction temporelle t . v x v désigne la taille de l’aire de domaine sélectionnée. b désigne tous les points pixels du domaine. En conclusion, la présente étude utilise le descripteur BRIEF pour faire correspondre les FP suivis et l’algorithme RANSAC pour rejeter les FP mal suivis par l’ORB. Cette combinaison de méthodes contribue à renforcer la robustesse de l’appariement de caractéristiques²⁶. La figure 4 présente le schéma de la méthode LK OF.

Figure 4 : Schéma de la méthode LK OF. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

La figure 4 montre le processus d’implémentation du flux de cheveux optiques LK, qui utilise une méthode d’optimisation itérative pour le déplacement FP entre trames adjacentes. Pour la validation qualitative de l’algorithme de correspondance de caractéristiques, les FP appariés entre le modèle et les images de test peuvent être superposés visuellement. Les paires de points correctement appariées sont généralement reliées par des lignes vertes ou marquées par des indicateurs verts. Inversement, l’algorithme RANSAC peut afficher les valeurs aberrantes avec des marqueurs rouges. Cela permet une évaluation visuelle immédiate de la robustesse et de la précision de la correspondance avant l’analyse quantitative. L’étude utilise l’algorithme RANSAC pour calculer la HM des FP correspondants dans l’image, éliminant ainsi ceux qui ne sont pas correctement appariés. Les FP qui sont précisément correspondus sont ensuite conservés. Dans ce cas, l’expression HM et du paramètre d’échelle de l’algorithme RANSAC sont illustrées dans l’équation (6).

(6)

Dans l’équation (6), M désigne HM. m désigne l’élément de la matrice M. S désigne le paramètre d’échelle. (x,y) et (x',y') désignent respectivement les emplacements FP de l’image modèle et de l’image de test. Après avoir acquis les coordonnées des FP de l’image test, l’étude réalise une analyse comparative des distances entre elles et les FP appariées. L’équation (7) illustre qu’elle met également à jour le nombre d’itérations et détermine le nombre de points intérieurs.

E = log(1 - c)/log(1 - ηⁿ) (7)

Dans l’équation (7), E correspond aux itérations. C désigne le niveau de confiance. η désigne la proportion de points intérieurs. n est la quantité d’échantillons. Ensuite, l’expression pour l’écart écarté de l’itération E est présentée dans l’équation (8).

(8)

Dans l’équation (8), S_d(E) désigne le D. L’amélioration de l’algorithme ORB décrite ci-dessus s’avère fournir une base de correspondance de caractéristiques de haute qualité pour la technologie d’enregistrement 3D ultérieure. Cette amélioration montre une plus grande précision et robustesse dans les scènes complexes. Certaines de ces scènes incluent un changement d’échelle, un changement de lumière et une obstruction.

Le pseudocode pour améliorer l’ORB avec SURF et une homographie améliorée pour le tourisme AR est le suivant.

Algorithme 1 : ORB amélioré avec SURF et homographie améliorée pour le tourisme AR
Entrée : Séquence d’images touristiques I, modèle virtuel 3D M
Sortie : Scène AR rendue avec objet virtuel enregistré
Étape 1 : Prétraitement d’image
1 : I_gray ← ConvertToGrayscale(I)
2 : I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3 : Pyramide ← BuildImagePyramid(I_smooth, niveaux=4, échelle=1,2)

Étape 2 : Détection des points de caractéristiques
4 : keypoints_SURF ← SURF_Detect(Pyramide, SeuilSessouse=1000)
5 : pour chaque KP dans keypoints_SURF faire
6 : orientation ← ComputeWaveletResponse(kp)
7 : fin pour
8 : keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0,04)
9 : descripteurs ← ImprovedORB_Describe(keypoints_Harris)

Étape 3 : Appariement des caractéristiques
10 : keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, fenêtre=15×15)
11 : correspondance ← BruteForceMatcher(descriptors)
12 : inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)

Étape 4 : Enregistrement 3D avec homographie améliorée
13 : H_improved ← ComputeImprovedHomography (inliers, camera_intrinsics)
14 : R, t ← DécomposeHomographie(H_improved)
15 : pose ← ComposeCameraPose(R, t)// Étape 5 : Rendu AR
16 : virtual_object ← Charge3DModel(M)
17 : scene_rendered ← OpenGL_Render(virtual_object, pose, arrière-plan=I)
18 : retour scene_rendered

Technique d’enregistrement 3D du tourisme AR basée sur une HM améliorée

Après avoir fait correspondre avec précision les caractéristiques des images touristiques via la méthode de correspondance FP, il faut l’appliquer davantage à la technologie AR. La technologie d’enregistrement 3D est une technologie fondamentale pour la réalisation des systèmes AR. Il calcule l’information de pose de la caméra dans le monde réel à travers la projection d’une image touristique cible. Cela permet une correspondance précise et une fusion d’objets virtuels et de scènes^{réelles 27}. Le HM peut mapper l’objet virtuel au monde réel du point de vue de l’utilisateur, ce qui renforce l’effet de fusion entre l’information virtuelle et le monde réel. De plus, cela peut résoudre le problème de l’enregistrement de la réalité virtuelle lorsque le logo est partiellement caché. Cependant, l’efficacité de l’enregistrement de HM dans la technologie d’enregistrement 3D réelle est faible, ce qui conduit à un désalignement des objets virtuels, ce qui entraîne l’instabilité des objets^{virtuels 28}. Par conséquent, cette étude propose une technique d’enregistrement 3D basée sur une HM améliorée. En utilisant des paires FP précises de la Phase 1, la HM améliorée est calculée via une méthode de rétrocalcul virtuel-à-objet réel qui intègre les intrinsèques de la caméra. Cette méthode traite efficacement la faible efficacité d’enregistrement et le désalignement des objets virtuels des méthodes traditionnelles dans les scènes dynamiques. La matrice est décomposée en une matrice de rotation et un vecteur de translation pour définir la pose de la caméra. Le moteur de rendu OpenGL projette précisément des modèles virtuels 3D dans le flux vidéo en direct en fonction des paramètres de pose. Le mappage de textures et les modèles d’éclairage assurent une fusion physiquement cohérente.

Enregistrement et visualisation 3D

Pour la réalisation de la technique d’enregistrement 3D, l’étude doit d’abord construire un modèle d’imagerie par sténopé pour cartographier le monde réel 3D sur une image 2D. L’expression de ce modèle est affichée dans l’équation (9).

(9)

Dans l’équation (9), X, Y et O désignent les trois axes de la caméra CS. (x,y,f) désigne le vecteur de coordonnées. f désigne la distance focale (FL). λ désigne le facteur d’échelle. Comme illustré à la Figure 5, l’étude actuelle examine les propriétés d’imagerie de la caméra à sténopé en utilisant la relation de transformation entre le CS de l’image et le CS de la caméra.

Figure 5 : Modèle d’imagerie par sténopé et la relation entre les points spatiaux et les points de projection plans. Veuillez cliquer ici pour voir une version agrandie de cette figure.

La figure 5 montre la structure de base de l’imagerie par sténopé. La figure 5A est un schéma du modèle d’imagerie par trou d’épingole, qui décrit la structure géométrique de base de la projection d’une scène tridimensionnelle sur un plan d’imagerie bidimensionnel à travers un petit trou au centre de la caméra, reflétant les principes de propagation des rayons et de projection en perspective. La figure 5B illustre également le processus de projection des points spatiaux sur les points correspondants du plan d’imagerie à travers le centre de la caméra, clarifiant la relation proportionnelle entre la distance focale, les coordonnées des points d’image et les coordonnées des points objet. Après avoir construit le modèle d’imagerie par sténopé, l’étude utilise également la HM pour établir la correspondance de relations entre le gabarit et les images réelles de la scène capturées par caméra. On suppose que les points correspondants des caractéristiques de deux images I₁ et_{I 2} sont dans le même plan. Le plan doit satisfaire l’expression présentée dans l’équation (10).

N^Z P + d = 0 (10)

Dans l’équation (10), P désigne le plan. N désigne le vecteur normal du plan P. d désigne la distance entre le plan P et l’origine. Z désigne le vecteur de translation. Pour les rotations et translations, l’étude utilise la méthode de décomposition en valeurs singulières pour leur extraction. L’expression est montrée dans l’équation (11)²⁹.

(11)

Dans l’équation (11), p₁ et p₂ désignent les coordonnées des pixels des paires d’ombres correspondant aux traits dans les images I₁ et I₂, respectivement. r₁ et r₂ désignent respectivement les facteurs d’échelle des points de pixels dans les images I₁ et I₂. K désigne la matrice de référence interne de la caméra. R désigne la matrice de rotation. La HM présente une grande complexité de calcul et est sujette au problème de l’erreur d’appariement FP. Par conséquent, l’étude l’améliore en utilisant la méthode de calcul inverse des objets virtuels^{et réels 30}. L’expression améliorée de la HM est affichée dans l’équation (12).

(12)

Dans l’équation (12), M’désigne l’HM amélioré. f_x et_{f y} désignent respectivement les FL de la caméra le long des axes X et Y. U et v désignent les coordonnées principales des points. γ désigne le paramètre de décalage. La transformation physique de la méthode est illustrée dans l’équation (13).

(13)

Dans l’équation (13), T’désigne la matrice de transformation physique. t_x,_{t, y} et t_o désignent les composantes de rotation des trois axes de coordonnées. [R|Z] désigne la matrice de transformation du monde et de la caméra CS. Dans la mise en œuvre de la technologie AR, l’expression de la correspondance entre le gabarit et l’image de la scène réelle en déplacement est illustrée dans l’équation (14).

(14)

Dans l’équation (14), I_s et_{I d} désignent respectivement les points sur la référence et TIs. L’étude calcule également la précision de l’alignement de la HM améliorée afin d’étudier l’efficacité de l’alignement de la méthode, telle qu’exprimée dans l’équation (15).

(15)

Dans l’équation (15), P_re(M') désigne la précision d’alignement de la HM améliorée. (x_{a,y a,o a}) désigne les FP réels. (x_{b,y b,o b}) désigne les FP alignés. n désigne le nombre de groupes de points appariés. La figure 6 montre la correspondance entre le schéma et les photos de la HM améliorée.

Figure 6 : Correspondance cartographique des images et du schéma de la HM améliorée. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Comme illustré à la Figure 6, il existe une correspondance claire entre l’image modèle et le TI. Après l’application de la HM améliorée, un point de contrôle visuel clé consiste à déformer et aligner l’image modèle sur l’image de la scène cible. Les bords du modèle projeté doivent s’aligner étroitement avec les caractéristiques correspondantes du TI. Lors du rendu final en AR, inspectez visuellement le modèle 3D virtuel pour vous assurer qu’il est ancré de manière persistante et précise à la bonne position et orientation dans la scène réelle. Il ne devrait y avoir aucun tremblement ou désalignement perceptible lorsque la perspective de la caméra change.

L’étude démontre la correspondance de l’image modèle à travers une matrice d’influence améliorée mais sans importance. Pour assurer une interaction en temps réel entre objets virtuels et paysages touristiques réels, l’étude utilise la technologie OpenGL pour rendre des modèles 3D destinés à la construction du système touristique AR. La technique configure d’abord le contexte OpenGL, charge le modèle 3D des éléments touristiques virtuels, et calcule grâce à la cartographie de textures et à l’éclairage. Ensuite, le flux vidéo en temps réel capturé par la caméra sert de fond pour fournir une référence pour le rendu des objets virtuels. Les objets virtuels sont précisément superposés au monde réel à l’aide d’une HM, qui rend les objets virtuels dans la bonne position et orientation pour les fusionner avec la scène réelle. Dans le système de tourisme AR, la vidéo est capturée via la bibliothèque OpenCV pour la vidéo en temps réel de la visite³¹. Le traitement d’image utilise un algorithme ORB optimisé pour identifier et faire correspondre les caractéristiques dans les images vidéo. Dans le module d’enregistrement 3D, l’étude utilise une HM améliorée pour fusionner le virtuel et la réalité. La sortie finale et l’interaction sont affichées via la technologie OpenGL. Le processus de mise en œuvre de la technologie de tournée AR est illustré à la Figure 7, qui illustre le processus global de mise en œuvre de la technologie de tournée RA. La figure 7 présente le diagramme de flux de mise en œuvre du système de la technologie touristique AR. Après le démarrage du système, le flux vidéo en temps réel est d’abord capturé via la caméra, à partir de laquelle l’image cible est extraite. Le processus entre alors dans la phase de traitement des caractéristiques, effectuant séquentiellement l’extraction des points de caractéristiques et la description pour construire les caractéristiques de l’image. Si la correspondance des points de caractéristiques réussit, le système passe à la phase d’enregistrement du suivi 3D, où les paramètres de pose de la caméra sont calculés. Cela est combiné avec des modèles 3D issus de la bibliothèque de matériaux virtuels pour obtenir une fusion virtuelle-réelle, et l’effet final de fusible AR est affiché à l’utilisateur en temps réel. Si l’appariement échoue, l’algorithme RANSAC est utilisé pour éliminer les points incompatibles, et l’étape de traitement des caractéristiques est réintroduite pour garantir la stabilité et la robustesse du système. L’ensemble du processus forme une boucle fermée complète, de l’acquisition d’images et le traitement des fonctionnalités à l’enregistrement 3D, la fusion virtuelle-réelle et l’affichage interactif, illustrant le parcours technique permettant aux systèmes de tourisme en RA d’atteindre une fusion virtuelle-réelle stable en temps réel dans des scènes dynamiques.

Figure 7 : Schéma du processus de mise en œuvre de la technologie touristique RA. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Installation expérimentale et matériaux

Pour garantir la reproductibilité des expériences, les spécifications matérielles, l’environnement logiciel et les ensembles de données utilisés dans cette étude sont explicitement listés dans le Tableau 1.

Catégorie	Objet	Spécification / Version
Matériel	Caméra	Logitech C920 HD Pro Webcam
	Processeur informatique	Processeur AMD Ryzen 7 3700X 8 cœurs
	Mémoire informatique	32 Go de RAM
	Système d’exploitation	Windows 10 (64 bits)
Logiciels et bibliothèques	Langage de programmation	C++
	Environnement de développement	Microsoft Visual Studio 2019
	Bibliothèque de vision par ordinateur	OpenCV 4.5.1
	API graphique	OpenGL 4.6
	Plateforme de simulation	Outils de simulation Visual Studio
Jeu de données	Ensemble de données primaire	Jeu de données d’Oxford

Tableau 1 : Configuration expérimentale : spécifications matérielles, logicielles et de jeux de données.

Dans OpenCV, le flou gaussien est appliqué à l’aide de la fonction GaussianBlur(). La pyramide d’images est construite en utilisant buildPyramid(). Le détecteur SURF est initialisé avec SURF.create(), fixant le seuil hessois à 400. La réponse de coin de Harris est calculée à l’aide de cornerHarris(), et une suppression non maximale est ensuite appliquée pour filtrer les points clés. Le flux optique LK est calculé à l’aide de la fonction calcOpticalFlowPyrLK(), qui implémente la méthode pyramidale de Lucas-Kanade. La fonction findHomography() est utilisée pour l’estimation de l’homographie, avec le drapeau de méthode réglé sur RANSAC pour exploiter le seuil de reprojection spécifié. Le HM résultant est ensuite utilisé avec perspectiveTransform() pour valider les points d’inlier. Dans le pipeline de rendu OpenGL, la HM est convertie en pose de caméra et définie à l’aide de glLoadMatrix(). Les modèles virtuels 3D sont chargés sous forme de fichiers .obj et rendus à l’aide de commandes de transformation OpenGL standard (glTranslate, glRotate). Le flux vidéo en temps réel d’OpenCV est transmis à OpenGL sous forme de texture utilisant glTexImage2D() pour obtenir la superposition finale de la réalité augmentée. Les paramètres clés des algorithmes utilisés dans cette étude sont explicitement définis dans le tableau 2.

Algorithme / Composant	Paramètre	Valeur
Filtre gaussienne	Taille du noyau	5 × 5 pixels
	Écart-type	1.2
Flux optique LK	Taille de la fenêtre	15 × 15 pixels
RANSAC	Itérations maximales	2000
	Seuil de reprojection	3,0 pixels
Détecteur de caractéristiques ORB	Nombre maximal de fonctionnalités	1000
	Facteur d’échelle (pyramide)	1.2
	Nombre de niveaux pyramidaux	4
Détecteur de caractéristiques SURF	Seuil de jute	1000
Détecteur d’angle Harris	Taille de l’ouverture	3
	valeur k	0.04

Tableau 2 : Paramètres clés de l’algorithme pour la reproductibilité.

Résultats

Performance de l’algorithme combiné SURF et amélioré ORB pour la correspondance FP des images touristiques

Pour établir des références robustes de performance et des comparaisons de contrôles, l’algorithme proposé est évalué par rapport à trois algorithmes de correspondance de caractéristiques largement utilisés : la transformée de caractéristiques invariante à l’échelle (SIFT), les caractéristiques robustes accélérées (SURF) et l’algorithme O...

Discussion

L’étude proposait une méthode de correspondance FP pour les images touristiques combinant SURF et un algorithme ORB amélioré, visant à améliorer la précision de l’appariement des caractéristiques. Pour mieux réaliser une correspondance précise et une fusion entre les objets proposés et la scène réelle, l’étude a proposé une technique d’enregistrement 3D en tourisme AR basée sur une amélioration de la HM. Concernant l’enregistrement 3D, les résultats ont montré que l’ARA était de 98,74 % ...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Processeur AMD Ryzen 7 3700X 8 cœurs	AMD	Ryzen 7 3700X
Caméra	Logitech	C920 HD Pro Webcam
Mémoire informatique	/	32 Go de RAM
Logitech C920 HD Pro Webcam	Logitech	C920
Microsoft Visual Studio 2019	Microsoft	2019
OpenCV	Fondation OpenCV	4.5.1
OpenGL	Groupe Khronos	4.6
Jeu de données d’Oxford	Université d’Oxford	/
Langage de programmation	/	C++
Outils de simulation Visual Studio	Microsoft	Inclus dans VS 2019
Windows 10 (64 bits)	Microsoft	10 (64 bits)