Technologia turystyczna w rozszerzonej rzeczywistości oparta na ulepszonym algorytmie ORB i macierzy homograficznej

Podsumowanie

Badanie to przedstawia ulepszoną metodę dopasowywania punktów cech i rejestracji w 3D dla turystyki w rozszerzonej rzeczywistości, poprawiając wyrównanie, stabilność i dokładność dopasowania. Łącząc ulepszony ORB, przepływ optyczny LK oraz ulepszoną macierz homograficzną, podejście to pozwala na wyższe wskaźniki poprawnych dopasowań i dokładność rejestracji, poprawiając fuzję scen wirtualno-rzeczywistych w zastosowaniach turystycznych.

Streszczenie

Niniejsze badanie proponuje ulepszone dopasowanie punktów cech oraz metodę rejestracji w 3D dla zastosowań turystycznych w rozszerzonej rzeczywistości. Ta metoda rozwiązuje problemy takie jak słabe wyrównanie, niska stabilność w złożonych środowiskach oraz niska dokładność dopasowania cech. Wprowadzono ulepszoną metodę dopasowywania punktów cech dla obrazów turystycznych, która łączy algorytm Speeded Up Robust Features (SURF) z ulepszonym algorytmem Oriented FAST i Rotated BRIEF. W tej metodzie punkty cech są początkowo wykrywane za pomocą algorytmu SURF, a ich orientacja określana jest za pomocą analizy odpowiedzi falkowej. Do śledzenia punktów cech stosuje się optyczną metodę przepływu Lucas-Kanade. Następnie algorytm konsensusu losowego próbowania jest używany do eliminacji błędnie śledzonych punktów. Ponadto proponowana jest technika rejestracji 3D w zakresie turystyki rozszerzonej opartej na ulepszonej macierzy homograficznej, aby przezwyciężyć ograniczenia tradycyjnych macierzy homograficznych, takie jak niska dokładność dopasowania i efektywność rejestracji. Wydajność proponowanej metody została przeanalizowana poprzez eksperymenty porównawcze z algorytmami SIFT, SURF i oryginalnymi ORB, podając różne transformacje obrazu, w tym skalę, rozmycie, oświetlenie i rotację. Prawidłowy wskaźnik dopasowania i czas dopasowania były wykorzystywane jako metryki ewaluacji. Przeprowadzono testy symulacyjne rejestracji 3D z użyciem różnych modeli 3D. Dokładność rejestracji i liczenie wyników poprawnych zostało ocenione w ramach zmian rotacyjnych. Wyniki wskazywały, że średni wskaźnik poprawnego dopasowania proponowanego algorytmu wzrasta odpowiednio o 44,08%, 36,51% i 16,09% w porównaniu do algorytmu transformacji cech niezmienników skalowych, algorytmu przyspieszonych cech odpornych oraz algorytmu nieulepszonego. Wskaźnik poprawnego dopasowania przy transformacji rozmytej wzrósł odpowiednio o 33,46%, 19,65% i 9,35%. Średnia dokładność rejestracji proponowanej techniki rejestracji 3D wyniosła 98,74% przy transformacji rotacyjnej. Wyniki pokazują, że proponowane podejście badania może skutecznie poprawić efekt wirtualnej i rzeczywistej fuzji sceny oraz oferuje świeże podejście do wykorzystania technologii rzeczywistości rozszerzonej w branży turystycznej.

Wprowadzenie

Technologia stała się kluczowym narzędziem promującym synergiczny rozwój kultury i turystyki w szybko zmieniającej się gospodarce cyfrowej¹. W ostatnich latach technologia rozszerzonej rzeczywistości (AR) odnotowała gwałtowny wzrost wpływu w różnych sektorach, w tym turystyce, edukacji, medycynie i przemyśle. AR to rozwijająca się dziedzina w szerszym krajobrazie technologicznym². W dziedzinie turystyki technologia ta potrafi nałożyć wirtualne informacje na rzeczywiste sceny, zapewniając turystom immersyjne, interaktywne doświadczenie. Ta technologia może nie tylko wzbogacić doświadczenia turystów, ale także innowować scenę konsumpcji turystycznej i promować cyfrową transformację branży kultury i turystyki³. Jednak powszechne wdrożenie AR w dynamicznych i nieustrukturyzowanych środowiskach turystycznych nadal jest utrudnione przez poważne wyzwania techniczne. Istniejące techniki AR często wykazują słabą odporność w praktycznych zastosowaniach. Charakteryzują się niską dokładnością dopasowania cech, niewystarczającym wyrównaniem między obiektami wirtualnymi a rzeczywistymi oraz ograniczoną stabilnością w złożonych warunkach środowiskowych, takich jak zmienne skale, zmiany oświetlenia czy zasłony⁴. Te ograniczenia mogą prowadzić do frustrującego doświadczenia użytkownika, gdy wirtualne treści drgają, dryfują lub nie są prawidłowo zakotwiczone, co podważa poczucie immersji i realizmu. Dlatego obecnie priorytetem badań jest poszukiwanie solidnej i efektywnej techniki AR dla turystyki, która może niezawodnie działać w rzeczywistych warunkach. Jako algorytm szybkiego wyodrębniania punktów cech (FPE) i opisu, zorientowane FAST i rotowane BRIEF (ORB) są szeroko stosowane w FPE obrazów ze względu na wysoką efektywność i niezmienniczość rotacji⁵.

Zhang i ^in.6 zaproponowali ulepszoną metodę FPE dla gęstych map ORB-SLAM2, mającą na celu poprawę efektywności i obniżenie kosztów pozyskiwania map 3D środowisk wewnętrznych. Metoda przeprowadzała efektywne wyodrębnianie punktów cech (FP) za pomocą asymptotycznej spójności próbek, aby zmniejszyć zużycie pamięci w celu ograniczenia zużycia danych. Stwierdzono, że metoda ta może być stosowana w procesie nawigacyjnym z wyższą dokładnością FPE i wysoką efektywnością śledzenia⁶. Wu zaproponował algorytm szybkiego dopasowywania cech, który łączy ORB i konsensus losowej próby (RANSAC), aby rozwiązać problemy dużych błędów rotacyjnych w wyrównaniu, niskiego wskaźnika wyrównania, losowości i niestabilności. Skuteczność tego podejścia została potwierdzona przez wyniki, które wykazały, że proponowana metoda wykazuje wysoką dokładność dopasowywania FP i solidną stabilność⁷. Chen i in. zaproponowali metodę dopasowania cech, która łączy ulepszony ORB z algorytmem przepływu optycznego (OF) Lucas-Kanade (LK), aby rozwiązać problem niskiej dokładności dopasowywania cech obrazu. Metoda wykorzystywała metodę kontrastu Michelsona dla FPE, a struktura drzewa quadtree służyła do homogenizacji wyodrębnionych FP, aby zmniejszyć obliczeniową ilość dopasowania cech. Wyniki wykazały, że jednolitość i dokładność metody FP poprawiły się odpowiednio o 0,22% i 50,47%, czyli^{o 8}. Zuo i in. zaproponowali ulepszony algorytm kul do dopasowania FP dla w pełni ostrych obrazów pola optycznego, mający na celu zwiększenie dokładności i odporności FPE oraz metody dopasowania obrazu. Metoda została ulepszona przez udoskonalenie konwencjonalnego algorytmu ORB, aby zwiększyć liczbę i precyzję FPE dla obrazów w pełni ostrych na polu świetlnym⁹. Anggara i in. zaproponowali metodę ekstrakcji cech, która łączy mapę kolorów i detektor ORB w AR. Metoda najpierw wyodrębniła cechy plamkowe i krawędziowe obrazu za pomocą naturalnej metody śledzenia cech opartych na cechach, a następnie przekształciła obraz kolorowy na obraz w odcieniach szarości za pomocą detektora ORB, aby poprawić efektywność detekcji tych cech. Wyniki wskazywały, że proponowane podejście może skutecznie poprawić ekstrację cech¹⁰.

Dzięki zdolności do precyzyjnego łączenia wirtualnych danych i rzeczywistych scen z technologiami AR, macierz homograficzna (HM) wzbudziła^{w ostatnich latach} duże zainteresowanie^. Kim i in. zaproponowali system AR działający w czasie rzeczywistym online oparty na HM. Metoda wykorzystywała kamerę 3D z jednoczesną lokalizacją i budowaniem map do śledzenia informacji o scenie, a HM był używany do wypełniania klatek źródłowych obrazu, aby poprawić jakość obrazu. Wyniki wykazały, że metoda ta może skutecznie redukować niespójności wizualne i artefakty oraz poprawiać doświadczenie użytkownika AR¹³. Clement zaproponował trzypoziomową metodę opisu cech śledzenia AR opartą na trójpoziomowym filtrowaniu i wzmacniającą kierunek. Metoda wykorzystywała HM do opisu ruchu celu między różnymi klatkami, aby poprawić odporność dopasowywania cech obrazu. Wyniki wskazywały, że metoda osiągnęła powtarzalność 100%, 100% i 99% dla zmiany oświetlenia, zmiany rozmycia i zmiany punktu widzenia, odpowiednio¹⁴. Liu i in. zaproponowali lokalną metodę dopasowania ruchu dla obrazów teledetekcji opartą na HM, mającą na celu wyeliminowanie nieprawidłowego dopasowania cech obrazu. Rozważana metoda odzwierciedlała spójność lokalnego ruchu obrazu przez HM i wprowadziła metodę ponownego próbkowania. Wyniki wykazały, że proponowana metoda wykazuje lepsze dopasowanie¹⁵.

Jak omówiono powyżej, techniczne dążenie do solidnego dopasowywania funkcji i rejestracji jest zasadniczo napędzane zapotrzebowaniem na to, by aplikacja tworzyła atrakcyjne doświadczenia użytkownika. Aby umieścić tę pracę techniczną w szerszym kontekście badań turystyki AR, niezbędne jest zaangażowanie się w najnowsze badania, które empirycznie analizują psychologiczne i behawioralne skutki AR na turystów. Na przykład Zhu i in. badali mechanizm, dzięki któremu autentyczność i narracyjny transport w turystyce AR wpływają na pocztę pantoflową za pomocą AR attachment, wykorzystując modelowanie równań strukturalnych. Wyniki wykazały, że załącznik AR pośredniczy w relacji między autentycznością, narracyjnym transportem a pocztą pantoflową, oferując świeże podejście do marketingu turystyki dziedzictwa¹⁵. Równocześnie Ngan i Lei analizowali wpływ AR na doświadczenia z wydarzeniami sportowymi i ponownie rozważali intencje. Ich badanie wykazało, że użytkownicy AR wykazywali znacząco wyższe zaangażowanie poznawcze oraz że wymiary doświadczalne znacząco wpływały na zamiar powrotu, co potwierdza skuteczność AR w zwiększaniu atrakcyjności i immersji wydarzeń¹⁶. Ponadto Zhu i in. badali mechanizm wpływu obecności turystów w doświadczeniach AR na Word-of-Mouth (WOM), wykorzystując dane z badań z wystawy AR w Palace Museum. Wyniki wykazały, że obecność może pozytywnie wpływać na WOM, a autentyczność odgrywała tam istotną rolę mediacyjną¹⁷.

Podsumowując, liczni badacze przeprowadzili znaczący zakres badań nad technikami AR opartymi na algorytmie ORB z użyciem HM, co przyniosło lepsze wyniki. Jednak algorytm ORB nadal cierpi na słabą odporność i nieefektywność FPE przy zmianie skali, zmianie oświetlenia i zasłonie¹⁸. Ponadto tradycyjna metoda HM często jest wąskim gardłem charakteryzującym się niską dokładnością dopasowania i efektywnością rejestracji. Prowadzi to do niedopasowania i niestabilności obiektów wirtualnych w dynamicznych środowiskach turystycznych. Rozbieżność między wydajnością obecnych metod a wymaganiami dotyczącymi stabilnych, immersyjnych doświadczeń AR w turystyce pozostaje kluczowym, nierozwiązanym wyzwaniem. Aby sprostać tym uporczywym wyzwaniom i umożliwić bardziej stabilne oraz immersyjne doświadczenie AR w turystyce, celem tego badania są zwiększenie efektywności rejestracji FPE i 3D. Praca ta zawiera trzy wkłady teoretyczne. Po pierwsze, przedstawia nowy framework dopasowujący cechy, który łączy skalowo niezmienną właściwość detektora SURF z lepszą wydajnością obliczeniową deskryptora ORB. Integracja ta jest wzmacniana poprzez określenie orientacji cech za pomocą odpowiedzi falkowej oraz doprecyzowanie zestawu punktów przy użyciu kryteriów narożników Harrisa. Zapewnia to bardziej solidny teoretyczny model zgodności cech pod transformacjami, czyniąc go czymś więcej niż tylko sekwencją. Po drugie, wprowadza teoretyczne rozszerzenie procesu estymacji homografii poprzez zastosowanie metody wstecznej analizy wirtualno-rzeczywistego obiektu. To podejście ma na celu przezwyciężenie ograniczeń tradycyjnych macierzy homograficznych poprzez oferowanie bardziej stabilnego i precyzyjnego modelu projekcji do rejestracji 3D. Wreszcie, systematycznie łącząc te ulepszone komponenty, badanie oferuje skonsolidowane podejście teoretyczne do osiągnięcia zaawansowanej fuzji wirtualno-realnej, dostosowane specjalnie do złożoności scenariuszy turystyki outdoorowej.

Ta ulepszona technika jest bardzo istotna dla kluczowych interesariuszy turystyki. Umożliwia to marketerom destynacyjnym i operatorom wycieczek tworzenie stabilnych i immersyjnych aplikacji AR, które stanowią unikalne propozycje wartości. Dla zarządców miejsc dziedzictwa kulturowego stanowi to niezawodne narzędzie do tworzenia nakładek edukacyjnych bez uszkadzania artefaktów fizycznych. Ostatecznie dla turystów metoda ta bezpośrednio wzbogaca doświadczenie, zapewniając płynne i stabilne połączenie wirtualnych informacji z rzeczywistym środowiskiem. Eliminuje to frustrację związaną z niedopasowanymi lub drgającymi treściami wirtualnymi. W efekcie immersja jest znacznie głębsza, zrozumienie kontekstu wzbogacone, a ogólne zadowolenie z usług turystycznych wzrasta. Innowacyjność tych badań jest następująca: (1) Obraz jest wygładzany filtrem Gaussa, a odpowiedź falkowa wykorzystywana jest do określenia kierunku FP. Ponadto, aby zwiększyć dokładność i stabilność detekcji FP, najlepsze FP są filtrowane przez integrację z techniką wykrywania punktów narożnych Harrisa. (2) Wprowadzono algorytm RANSAC, aby wyeliminować błędnie śledzone FP i jeszcze bardziej poprawić odporność dopasowywania cech. (3) HM jest ulepszony metodą obliczania wirtualno-rzeczywistych obiektów wstecznych, która ma na celu rozwiązanie ograniczeń tradycyjnego HM, takich jak niska dokładność dopasowania FP i efektywność rejestracji.

Protokół

Ta sekcja najpierw proponuje metodę dopasowywania FP dla obrazów turystycznych, łączącą SURF i ulepszony algorytm ORB, aby zwiększyć odporność dopasowywania FP. Następnie badanie proponuje technikę rejestracji turystyki AR 3D, opartą na ulepszonej HM, aby wzmocnić efekt fuzji informacji wirtualnej ze światem rzeczywistym. Eksperymenty przeprowadzono na podstawie publicznie dostępnych zbiorów danych obrazowych. Konkretnie wykorzystano zestaw danych Oxford Visual Geometry Group (VGG), który obejmuje sekwencje obrazów z różnicami w skali, rozmyciu, oświetleniu i punkcie widzenia, i jest szeroko stosowany do oceny algorytmów dopasowania i rejestracji cech w widzeniu komputerowym. Nie było wymagane zatwierdzenie przez komisję etyczną do korzystania z tego publicznie dostępnego zbioru danych.

Połączenie SURF i ulepszonego algorytmu ORB do dopasowania FP w obrazach turystycznych

Wraz z dynamicznym rozwojem branży turystycznej, rośnie zapotrzebowanie na technologię AR w zautomatyzowanych usługach turystycznych. Algorytm ORB jest efektywnym algorytmem wykrywania i opisu FP. Technologia AR jest szeroko stosowana¹⁹. Jednak w procesie dopasowania obrazów turystycznych FP istniejący algorytm ORB cierpi na wady takie jak słaba odporność na zmiany skali, niska dokładność dopasowania cech oraz czasochłonność²⁰. Aby zwiększyć dokładność i odporność dopasowaniu, badanie to proponuje solidną metodę dopasowywania cech integrującą SURF z ulepszonym algorytmem ORB. Aby osiągnąć niezmienniczość skali, obraz wejściowy podlega filtrowaniu gaussowskiemu i konstrukcji piramidy. Algorytm SURF wykrywa FP niezmienne skalowo, a orientacje są określane za pomocą odpowiedzi falkowych. Jakość cech poprawia się poprzez doprecyzowanie punktów początkowych za pomocą kryterium narożnika Harrisa i zachowanie najbardziej charakterystycznych. Metoda przepływu optycznego Lucasa-Kanade'a śledzi cechy między klatkami, a algorytm RANSAC eliminuje niedopasowane punkty. Metodologiczna luka omawiana tutaj to nie tylko sekwencyjne stosowanie SURF i ORB, lecz nowatorska strategia hybrydyzacji zaprojektowana w celu przezwyciężenia specyficznych ograniczeń standardowych hybryd w złożonych środowiskach turystycznych. W przeciwieństwie do konwencjonalnych podejść SURF-ORB, które wykorzystują SURF do wykrywania, a następnie bezpośrednio stosują deskryptor ORB, obecna metoda wprowadza dwa kluczowe ulepszenia. Najpierw orientacja każdego FP zlokalizowanego przez SURF jest ponownie obliczana na podstawie jego odpowiedzi falkowej. Zapewnia to bardziej solidne oszacowanie kierunkowe niż sam SURF, korzystając ze standardowej metody opartej na falkach Haara. Po drugie, i co ważniejsze, początkowe punkty SURF nie są używane bezpośrednio. Zamiast tego są one rygorystycznie doprecyzowane za pomocą kryterium narożnika Harrisa, aby odfiltrować punkty niecharakterystyczne o niskich odpowiedziach zlokalizowanych w płaskich obszarach lub wzdłuż krawędzi.

Wstępne przetwarzanie obrazu

W fazie wstępnego przetwarzania zdjęć turystycznych badanie wyodrębnia cechy z obrazów w odcieniach szarości. Aby dalej scharakteryzować lokalne cechy obrazu, badanie wykorzystuje komponent gradientu do identyfikacji i klasyfikacji obrazu²¹. Równanie (1) pokazało jego wyrażenie.

 (1)

W równaniu (1) I(x,y) oznacza wartość pikselową obrazu na współrzędnych (x,y). oznacza wektor gradientu obrazu w (x,y). i wyświetla pochodne cząstkowe obrazu odpowiednio w kierunku x i y. T oznacza transpozycję wektora gradientu.

Wykrywanie punktów cech

Po rozpoznaniu obrazu za pomocą składowych gradientu, badanie wykorzystuje cechy przyspieszonego testu segmentów (FAST) w algorytmie ORB do wykrywania FP obrazu. Ponadto FP są gwałtownie dopasowane za pomocą binarnego, odpornego algorytmu opisu niezależnych elementarnych cech (BRIEF)²². Schemat wykrywania i dopasowania cech tego algorytmu przedstawiono na Rysunku 1.

Rysunek 1: Schematyczny diagram dopasowania cech między wykrywaniem cech algorytmu FAST a algorytmem opisu BRIEF. Prosimy kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 1 ilustruje proces wykrywania cech w algorytmach FAST i BRIEF. Rysunek 1A to schematyczny diagram wykrywania cech z wykorzystaniem algorytmu FAST. Do porównywania jasności wokół centralnego piksela w celu szybkiego wykrywania narożników obrazu używa się szablonu o rozmiarze 16 pikseli. Rysunek 1B to schematyczny diagram dopasowania cech w algorytmie BRIEF. Wybierając kilka par pikseli wokół punktów cech do porównania w skalach szarości, generowane są deskryptory binarne, a dopasowanie brute force służy do uzyskania zgodności punktów cech między dwoma obrazami. Ulepszenie polega na początkowym zastosowaniu metody filtrowania gaussowskiego, która ma na celu wygładzenie obrazu i ograniczenie szumów wysokich częstotliwości. Następnie stosuje się metodę próbkowania w dół w celu zmniejszenia rozdzielczości przestrzennej obrazu, co zmniejsza złożoność obliczeniową przy jednoczesnym zachowaniu podstawowych cech obrazu. Badanie wykorzystuje metodę konstrukcji piramidy obrazu, wykorzystując wspomniane dwie techniki, aby zapewnić, że FP obrazów wykazują własności niezmienniczości skalowej²³. Wyrażenie wygładzania obrazu za pomocą filtra dolnoprzepustowego Gaussa przedstawiono w równaniu (2).

(2)

W równaniu (2) g_e(x,y) oznacza funkcję filtra Gaussa. e jest odchyleniem standardowym (SD) funkcji Gaussa. exp oznacza funkcję wykładniczą. Piramida obrazów skonstruowana przez filtrowanie Gaussa jest schematycznie przedstawiona na Rysunku 2.

Rysunek 2: Schematyczny diagram piramidy obrazowej skonstruowany przez filtrowanie Gaussa. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2 przedstawia strukturę piramidy obrazowej, gdzie wielokrotne obrazy o niższej rozdzielczości są stopniowo generowane przez filtrowanie i próbkowanie w dół Gaussa. Wśród nich filtr Gaussa redukuje szum wysokich częstotliwości w obrazie poprzez rozmycie go za pomocą operacji splotowej. Jako wizualny punkt kontrolny podczas tego etapu wstępnego przetwarzania można wyświetlić wygenerowaną piramidę obrazu. Należy zauważyć, że każdy poziom piramidy prezentuje stopniowo niższą rozdzielczość względem oryginalnego obrazu. Zauważalny jest wzrost rozmycia i redukcji drobnych szczegółów dzięki zastosowaniu filtracji i próbkowania w dół Gaussa. Aby zwiększyć skuteczność identyfikacji FP na obrazie, badanie wykorzystuje algorytm SURF do lokalizacji tych FP na obrazie. Metoda ta polega na ilościowym określeniu otaczającego obszaru FP oraz wykorzystaniu odpowiedzi falkowej do określenia kierunku FP. Ze względu na istnienie zduplikowanych i nieprawidłowych FP wyodrębnionych przez SURF, ich nadmierna liczba obniża szybkość rozpoznawania cech obrazów docelowych (TI). Dlatego badanie wykorzystuje algorytm wykrywania kąta Harrisa do identyfikacji optymalnego obrazu FPs²⁴. Równanie (3) pokazuje wartość odpowiedzi kątowej algorytmu.

(3)

W równaniu (3) H oznacza macierz Harrisa. u(x,y) oznacza funkcję wagi okna. I_x i_{I y} oznaczają rozmiar wartości szarości (GV) punktu pikselowego. A oznacza wartość odpowiedzi kąta Harrisa. det H i traceH oznaczają odpowiednio wyznacznik i ślad macierzy Harrisa. k oznacza wartość współczynnika. Schemat kierunku FP wybranych przez algorytm SURF oraz okno przesuwne algorytmu wykrywania kątów Harrisa pokazano na Rysunku 3.

Rysunek 3: Schemat algorytmu SURF, wybór FP i przesuwane okno dla algorytmu wykrywania narożników Harrisa. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 3 przedstawia skład algorytmu SURF do wykrywania FP na obrazie. Rysunek 3A przedstawia schematyczny diagram wyboru kierunku punktów cech w algorytmie SURF. Obliczając główny kierunek odpowiedzi falki Haara w sąsiedztwie punktu cechowego, określa się niezmienny kierunek obrotu punktu cechy, zwykle intuicyjnie reprezentowany strzałkami lub odcinkami kierunku. Rysunek 3B to schematyczny diagram przesuwanego okna algorytmu wykrywania narożników Harrisa, pokazujący proces przesuwania okna w obrębie obszaru obrazu. Punkty narożne wykrywa się poprzez obliczenie zmian w skali szarości pikseli w oknie, a obszary o wysokich wartościach odpowiedzi są identyfikowane jako punkty narożne.

Dopasowanie cech

Po wykryciu FP obrazu, badanie wykorzystuje metodę LK OF do śledzenia wykrytych FP obrazu. Ta metoda oblicza ruch między sąsiednimi klatkami obrazu, śledząc ruch FP w obrazie, aby uzyskać dopasowanie FP w sekwencji wideo. Metoda LK OF musi spełniać założenia stałego GV pikseli, małego ruchu i spójności ruchu regionu przy obliczaniu ruchu między sąsiadującymi klatkami obrazu²⁵. Metoda Lucasa-Kanade jest strategicznie stosowana ze względu na jej efektywność obliczeniową, która jest kluczowa dla zastosowań turystyki AR w czasie rzeczywistym. Jego założenia są łagodzone w konkretnym kontekście. Wysoka liczba klatek na sekundę podczas rejestracji wideo zazwyczaj zapewnia niewielkie przesunięcia między klatkami, co spełnia wymagania dotyczące niewielkiego ruchu. Chociaż absolutna stałość jasności jest idealna, krótkie okno śledzenia między kolejnymi klatkami minimalizuje poważne naruszenia. Co najważniejsze, kolejny algorytm RANSAC solidnie radzi sobie z potencjalnymi błędami śledzenia wynikającymi z naruszeń założeń poprzez filtrowanie wartości odstających. W ten sposób LK pełni rolę wydajnego początkowego trackera, którego wyniki są rygorystycznie weryfikowane, co czyni go odpowiednim dla systemu czasu rzeczywistego, w którym kluczowe jest wyważenie szybkości i odporności. Zgodnie z założeniem stałej wartości pikseli GV, wyrażenie przedstawiono w równaniu (4).

(4)

W równaniu (4) I(x,y,t) oznacza piksel GV obrazu w pozycji (x,y) w momencie t . I_x i_{I x} oznaczają przesunięcie piksela odpowiednio w kierunku x i y. i i j oznaczają składowe OF punktu pikselowego. I_x,_{I y} i_T oznaczają różnicę obrazu odpowiednio w kierunkach x, y i t. Założenie regionalnej spójności ruchu oblicza się w równaniu (5).

(5)

W równaniu (5) I_tb oznacza pochodną cząstkową punktu b-tego piksela w dziedzinie w kierunku czasu t . V x V oznacza rozmiar wybranego obszaru dziedziny. b oznacza wszystkie punkty pikselowe w obrębie domeny. Podsumowując, niniejsze badanie wykorzystuje deskryptor BRIEF do dopasowania śledzonych FP oraz algorytmu RANSAC, aby odrzucić FP błędnie śledzone przez ORB. To połączenie metod zwiększa odporność dopasowywania cech²⁶. Rysunek 4 przedstawia schematyczny diagram metody LK OF.

Rysunek 4: Schemat metody LK OF. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 4 przedstawia proces implementacji strumieniowania optycznego hair LK, który wykorzystuje iteracyjny sposób optymalizacji przemieszczeń FP między sąsiednimi klatkami. Dla jakościowej weryfikacji algorytmu dopasowania cech, dopasowane FP między obrazem szablonu a testem mogą być nakładane wizualnie. Poprawnie dopasowane pary punktów są zazwyczaj połączone zielonymi liniami lub oznaczone zielonymi wskaźnikami. Z kolei algorytm RANSAC może wyświetlać wartości odstające z czerwonymi znacznikami. Zapewnia to natychmiastową wizualną ocenę odporności i dokładności dopasowania przed analizą ilościową. Badanie wykorzystuje algorytm RANSAC do obliczania HM odpowiadających im FP na obrazie, eliminując tym samym te, które nie są poprawnie dopasowane. Następnie zachowują się dokładnie dopasowane FP. W tym przypadku wyrażenie HM oraz parametrów skali algorytmu RANSAC przedstawiono w równaniu (6).

(6)

W równaniu (6) M oznacza HM. m oznacza pierwiastek w macierzy M. S oznacza parametr skali. (x,y) i (x',y') oznaczają odpowiednio lokalizacje FP obrazu szablonowego i obrazu testowego. Po uzyskaniu współrzędnych FP obrazu testowego, badanie przeprowadza analizę porównawczą odległości między nimi a dopasowanymi FP. Równanie (7) pokazuje, że aktualizuje także liczbę iteracji i określa liczbę punktów wewnętrznych.

E = log(1 - c)/log(1 - ηⁿ) (7)

W równaniu (7) E to iteracje. c oznacza poziom pewności. η oznacza proporcję punktów wewnętrznych. n to ilość próbek. Następnie wyrażenie dla SD iteracji E pokazano w równaniu (8).

(8)

W równaniu (8) S_d(E) oznacza SD. Ulepszenie opisanego powyżej algorytmu ORB okazało się stanowić wysokiej jakości podstawę do dopasowywania cech dla późniejszej technologii rejestracji 3D. Ta poprawa świadczy o większej dokładności i odporności w złożonych scenach. Niektóre z tych scen to zmiana skali, zmiany światła i zasłona.

Pseudokod ulepszonego ORB z SURF oraz rozszerzonej homografii turystyki AR jest następujący.

Algorytm 1: Ulepszony ORB z SURF i rozszerzoną homografią dla turystyki AR
Input: sekwencja obrazów turystycznych I, wirtualny model 3D M
Wyjście: Renderowana scena AR z zarejestrowanym obiektem wirtualnym
Krok 1: Wstępne przetwarzanie obrazu
1: I_gray ← Przekonwertowanie Do Skali Szarości(I)
2: I_smooth ← GaussianBlur(I_gray, jądro=5×5, σ=1,2)
3: Pyramid ← BuildImagePyramid(I_smooth, poziomy=4, skala=1.2)

Krok 2: Wykrywanie punktów cech
4: keypoints_SURF ← SURF_Detect(Piramida, próg heski=1000)
5: dla każdego kp w keypoints_SURF zrobić
6: orientacja ← ComputeWaveletResponse(kp)
7: koniec dla
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0.04)
9: opisy ← ImprovedORB_Describe(keypoints_Harris)

Krok 3: Dopasowywanie cech
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11: mecze ← BruteForceMatcher (opisy)
12: inliers, H ← RANSAC(dopasowania, maxIteracje=2000, reprojThreshold=3.0)

Krok 4: Rejestracja 3D z ulepszoną homografią
13: H_improved ← ComputeImprovedHomography(inliers, camera_intrinsics)
14: R, t ← DecomposeHomography(H_improved)
15: pozowanie ← KompozycjaKameraPozycja(R, t)// Krok 5: Renderowanie AR
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, poza, tło=ja)
18: powrót scene_rendered

Technika rejestracji turystyki AR 3D oparta na ulepszonej technice HM

Po dokładnym dopasowaniu cech obrazów turystycznych za pomocą metody dopasowania FP, należy ją dalej zastosować do technologii AR. Technologia rejestracji 3D jest podstawową technologią realizacji systemów AR. Oblicza informacje o pozze kamery w rzeczywistym świecie poprzez projekcję docelowego obrazu turystycznego. Umożliwia to dokładne dopasowanie i fuzję obiektów wirtualnych i rzeczywistych scen²⁷. HM może mapować wirtualny obiekt na rzeczywisty świat z perspektywy użytkownika, co wzmacnia efekt fuzji informacji wirtualnej ze światem rzeczywistym. Ponadto może rozwiązać problem rejestracji wirtualnej rzeczywistości, gdy logo jest częściowo zasłonięte. Jednak efektywność rejestracji HM w rzeczywistej technologii rejestracji 3D jest niska, co prowadzi do niewyrównania obiektów wirtualnych, co prowadzi do niestabilności obiektów wirtualnych²⁸. Dlatego badanie to proponuje technikę rejestracji 3D opartą na ulepszonym HM. Korzystając z dokładnych par FP z Fazy 1, ulepszona HM jest obliczana za pomocą metody wstecznej wirtualno-realnej z obiektami, która uwzględnia elementy kamery. Ta metoda skutecznie rozwiązuje niską efektywność rejestracji oraz niedopasowanie obiektów wirtualnych w tradycyjnych metodach w scenach dynamicznych. Macierz rozkłada się na macierz obrotu i wektor translacji, aby zdefiniować pozycję kamery. Silnik renderujący OpenGL precyzyjnie projektuje wirtualne modele 3D do strumienia wideo na żywo na podstawie parametrów pozycji. Mapowanie tekstur i modele oświetlenia zapewniają fizycznie spójną fuzję.

Rejestracja i wizualizacja 3D

Aby zrealizować technikę rejestracji 3D, badanie najpierw musi zbudować model obrazowania z otworkiem, aby odwzorować rzeczywisty świat 3D na obraz 2D. Wyrażenie tego modelu przedstawiono w równaniu (9).

(9)

W równaniu (9) X, Y i O oznaczają trzy osie kamery CS. (x,y,f) oznacza wektor współrzędnych. f oznacza ogniskową (FL). λ oznacza współczynnik skali. Jak pokazano na Rysunku 5, obecne badanie bada właściwości obrazowania kamery otworkowej przy użyciu relacji transformacyjnej między obrazem CS a CS kamery.

Rysunek 5: Model obrazowania dziurkowego i relacja między punktami przestrzennymi a płaskimi punktami projekcji. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 5 przedstawia podstawową strukturę obrazowania otworkowego. Rysunek 5A to schematyczny diagram modelu obrazowania z otworkiem, który opisuje podstawową strukturę geometryczną rzutowania sceny trójwymiarowej na dwuwymiarową płaszczyznę obrazowania przez mały otwór w centrum kamery, odzwierciedlając zasady propagacji promieni i projekcji perspektywicznej. Rysunek 5B dodatkowo ilustruje proces rzutowania punktów przestrzennych na odpowiadające im punkty na płaszczyźnie obrazowania przez środek kamery, wyjaśniając proporcjonalną zależność między ogniskową, współrzędnymi punktu obrazu i współrzędnymi punktu obiektu. Po stworzeniu modelu obrazowania dziurkowego, badanie wykorzystuje HM do skonstruowania mapowania relacji między szablonem a rzeczywistymi obrazami scen pod kątem kamery. Zakłada się, że punkty dopasowania cech dwóch obrazów I₁ i_{I 2} znajdują się w tej samej płaszczyźnie. Płaszczyzna musi spełniać wyrażenie pokazane w równaniu (10).

N^Z P + d = 0 (10)

W równaniu (10) P oznacza płaszczyznę. N oznacza wektor normalny płaszczyzny P. d oznacza odległość od płaszczyzny P do początku punktu położenia. Z oznacza wektor translacji. Dla rotacji i translacji badanie wykorzystuje metodę dekompozycji wartości osobliwych do ich wyodrębnienia. Wyrażenie przedstawiono w równaniu (11)²⁹.

(11)

W równaniu (11) p₁ i_{p 2} oznaczają współrzędne pikselowe cech pasujących do par punktów cieni na obrazach I₁ i_{I 2} , odpowiednio. r₁ i_{r 2} oznaczają współczynniki skalowania punktów pikseli na obrazach I₁ i_{I 2} odpowiednio. K oznacza wewnętrzną macierz odniesienia kamery. R oznacza macierz obrotu. HM charakteryzuje się wysoką złożonością obliczeniową i jest podatny na problem błędów dopasowania FP. Dlatego badanie udoskonala go poprzez zastosowanie metody odwrotności obiektów wirtualnych i rzeczywistych³⁰. Ulepszone wyrażenie HM jest przedstawione w równaniu (12).

(12)

W równaniu (12) M' oznacza ulepszony HM. f_x i_{f y} oznaczają FL kamery odpowiednio wzdłuż osi X i Y. U i V oznaczają współrzędne punktowe główne. γ oznacza parametr skośności. Fizyczna transformacja metody została przedstawiona w równaniu (13).

(13)

W równaniu (13) T' oznacza macierz transformacji fizycznej. t_x,_{t y} i_{t o} oznaczają składowe obrotu trzech osi współrzędnych. [R|Z] oznacza macierz transformacji świata i kamery CS. W implementacji technologii AR wyrażenie odwzorowania między szablonem a obrazem rzeczywistej sceny podróżującej pokazano w równaniu (14).

(14)

W równaniu (14) I_s i_d oznaczają odpowiednio punkty na punkcie odniesienia i TI. Badanie dodatkowo oblicza dokładność wyrównania ulepszonego HM, aby zbadać skuteczność wyrównania metody, jak wyrażono w równaniu (15).

(15)

W równaniu (15) P_re(M') oznacza dokładność wyrównania ulepszonego HM. (_{x a,y a,o a}) oznacza rzeczywiste FP. (_{x b,y b,o b}) oznacza wyrównane FP. n oznacza liczbę grup dopasowanych punktów. Rysunek 6 przedstawia odwzorowanie między schematem a zdjęciami zmodernizowanego HM.

Rysunek 6: Relacje odwzorowania obrazów i schematu ulepszonego HM. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Jak pokazano na Rysunku 6, istnieje wyraźna zgodność między obrazem szablonu a TI. Po zastosowaniu ulepszonego HM, kluczowym punktem wizualnym jest odkształcenie i wyrównanie obrazu szablonu do docelowego obrazu sceny. Krawędzie projektowanego szablonu powinny ściśle pokrywać się z odpowiadającymi im cechami w TI. Podczas końcowego renderowania AR obejrzyj wizualnie wirtualny model 3D, aby upewnić się, że jest on trwale i precyzyjnie zakotwiczony we właściwej pozycji i orientacji w rzeczywistej scenie. Nie powinno być zauważalnych drgań ani niewyrównania przy zmianie perspektywy kamery.

Badanie demonstruje mapowanie obrazu szablonu za pomocą rozszerzonej macierzy wpływów "ale nie". Aby zapewnić interakcję w czasie rzeczywistym między obiektami wirtualnymi a rzeczywistymi krajobrazami turystycznymi, badanie wykorzystuje technologię OpenGL do renderowania modeli 3D do budowy systemu turystycznego AR. Technika najpierw konfiguruje kontekst OpenGL, ładuje trójwymiarowy model wirtualnych elementów turystycznych oraz oblicza z mapowaniem tekstur i oświetleniem. Następnie strumień wideo w czasie rzeczywistym zarejestrowany przez kamerę jest wykorzystywany jako tło, które stanowi referencję do renderowania obiektów wirtualnych. Obiekty wirtualne są dokładnie nakładane na rzeczywisty świat za pomocą HM, który renderuje je w odpowiedniej pozycji i orientacji, aby połączyć je ze sceną w rzeczywistym świecie. W systemie turystyki AR, w którym nagranie wideo jest nagrywane przez bibliotekę OpenCV dla czasu rzeczywistego z trasy³¹. Przetwarzanie obrazu wykorzystuje zoptymalizowany algorytm ORB do identyfikacji i dopasowywania cech w klatkach wideo. W module rejestracji 3D badanie wykorzystuje ulepszony HM do połączenia wirtualności i rzeczywistości. Końcowy wynik i interakcja są wyświetlane za pomocą technologii OpenGL. Proces wdrażania technologii AR tours przedstawiono na Rysunku 7, który pokazuje cały proces wdrażania technologii AR tour. Rysunek 7 przedstawia schemat wdrożenia systemu technologii turystycznej AR. Po uruchomieniu systemu strumień wideo w czasie rzeczywistym jest najpierw rejestrowany przez kamerę, z której wyodrębniany jest obraz docelowy. Proces następnie przechodzi w etap przetwarzania cech, wykonując sekwencyjnie ekstrakcję punktów cech i opis w celu stworzenia cech obrazowych. Jeśli dopasowanie punktów cech zakończy się sukcesem, system przechodzi do fazy rejestracji śledzenia 3D, podczas której obliczane są parametry pozycji kamery. Jest to łączone z modelami 3D z wirtualnej biblioteki materiałów, aby osiągnąć wirtualną fuzję rzeczywistych, a końcowy efekt fuzji AR jest wyświetlany użytkownikowi w czasie rzeczywistym. Jeśli dopasowanie nie zadziała, stosuje się algorytm RANSAC do eliminacji punktów niedopasowanych, a etap przetwarzania cech jest ponownie wprowadzany, aby zapewnić stabilność i odporność systemu. Cały proces tworzy pełną zamkniętą pętlę od akwizycji obrazu i przetwarzania cech po rejestrację 3D, fuzję wirtualno-rzeczywiste oraz interaktywne wyświetlanie, ilustrując techniczną ścieżkę systemów turystyki AR do osiągnięcia stabilnej fuzji wirtualno-realnej w dynamicznych scenach w czasie rzeczywistym.

Rysunek 7: Schematyczny diagram procesu wdrażania technologii turystyki AR. Prosimy kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Wyposażenie eksperymentalne i materiały

Aby zapewnić powtarzalność eksperymentów, specyfikacje sprzętowe, środowisko programowe oraz zestawy danych użyte w tym badaniu zostały wyraźnie wymienione w Tabeli 1.

Kategoria	Przedmiot	Specyfikacja / Wersja
Sprzęt	Kamera	Kamera internetowa Logitech C920 HD Pro
	Procesor komputerowy	Procesor AMD Ryzen 7 3700X 8-rdzeniowy
	Pamięć komputerowa	32 GB RAM
	System operacyjny	Windows 10 (64-bitowy)
Oprogramowanie i biblioteki	Język programowania	C++
	Środowisko rozwoju	Microsoft Visual Studio 2019
	Biblioteka Widzenia Komputerowego	OpenCV 4.5.1
	API graficzne	OpenGL 4.6
	Platforma symulatorska	Narzędzia symulacyjne Visual Studio
Zbiór danych	Zbiór danych pierwotnych	Oxford Dataset

Tabela 1: Konfiguracja eksperymentalna: sprzęt, oprogramowanie i specyfikacje zbioru danych.

W OpenCV rozmycie Gaussa jest stosowane za pomocą funkcji GaussianBlur(). Piramida obrazu jest konstruowana za pomocą buildPyramid(). Detektor SURF jest inicjowany za pomocą SURF.create(), ustawiając próg Hessian na 400. Odpowiedź narożnika Harrisa obliczana jest za pomocą cornerHarris(), a następnie stosuje się tłumienie nie-maksymalne, aby filtrować punkty kluczowe. Przepływ optyczny LK jest obliczany za pomocą funkcji calcOpticalFlowPyrLK(), która implementuje piramidalną metodę Lucasa-Kanade'a. Funkcja findHomography() jest wykorzystywana do estymacji homografii, z flagą metody ustawioną na RANSAC, aby wykorzystać określony próg reprojekcji. Powstały HM jest następnie używany z perspectiveTransform() do walidacji punktów linijowych. W potoku renderowania OpenGL HM jest konwertowany na pozę kamery i ustawiany za pomocą glLoadMatrix(). Wirtualne modele 3D są ładowane jako .obj pliki i renderowane za pomocą standardowych poleceń transformacji OpenGL (glTranslate, glRotate). Transmisja wideo w czasie rzeczywistym z OpenCV jest przekazywana do OpenGL jako tekstura za pomocą glTexImage2D(), aby uzyskać ostateczną nakładkę AR. Kluczowe parametry dla algorytmów użytych w tym badaniu są wyraźnie określone w Tabeli 2.

Algorytm / Komponent	Parametr	Wartość
Filtr Gaussa	Rozmiar jądra	5 × 5 pikseli
	Odchylenie standardowe	1.2
LK Optical Flow	Rozmiar okna	15 × 15 pikseli
RANSAC	Maksymalne iteracje	2000
	Próg reprojekcji	3,0 pikseli
Detektor cech ORB	Maksymalna liczba cech	1000
	Współczynnik skali (piramida)	1.2
	Liczba poziomów piramid	4
Detektor cech SURF	Próg Hessowski	1000
Detektor narożników Harrisa	Rozmiar otworu	3
	wartość k-wartość	0.04

Tabela 2: Kluczowe parametry algorytmu dla powtarzalności.

Wyniki

Wydajność połączonego algorytmu SURF i ulepszonego ORB do dopasowywania obrazów turystycznych FP

Aby ustalić solidne bazowe wyniki i porównania kontroli, proponowany algorytm jest oceniany w odniesieniu do trzech szeroko stosowanych algorytmów dopasowywania cech: transformacji cech niezmiennych skalą (SIFT), przyspieszonych cech odpornych (SURF) oraz oryginalnego, nieulepszonego algorytmu ORB. Algorytmy te pełnią rolę grup kontrolnych, umożliwiając bezpośrednią ocenę postępów ...

Dyskusja

Badanie zaproponowało metodę dopasowywania FP dla obrazów turystycznych, łączącą SURF i ulepszony algorytm ORB, mającą na celu poprawę dokładności dopasowania cech. Aby lepiej osiągnąć dokładne dopasowanie i połączenie proponowanych obiektów z rzeczywistością, badanie zaproponowało technikę rejestracji turystyki AR 3D opartą na ulepszonej HM. Jeśli chodzi o rejestrację 3D, wyniki wykazały, że ARA wynosiła 98,74%, a średnia liczba SR dla rejestracji 3D w transformacji rotacyjnej wynosiła 68. Wskazywał on, że wskaźnik sukc...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Procesor AMD Ryzen 7 3700X 8-rdzeniowy	AMD	Ryzen 7 3700X
Kamera	Logitech	Kamera internetowa C920 HD Pro
Pamięć komputerowa	/	32 GB RAM
Kamera internetowa Logitech C920 HD Pro	Logitech	C920
Microsoft Visual Studio 2019	Microsoft	2019
OpenCV	Fundacja OpenCV	4.5.1
OpenGL	Grupa Khronos	4.6
Oxford Dataset	Uniwersytet Oksfordzki	/
Język programowania	/	C++
Narzędzia symulacyjne Visual Studio	Microsoft	Uwzględnione w VS 2019
Windows 10 (64-bitowy)	Microsoft	10 (64-bitowy)