개선된 ORB 알고리즘과 호모그래피 매트릭스를 기반으로 한 증강현실 관광 기술

요약

본 연구는 증강현실 관광을 위한 향상된 특징 포인트 매칭 및 3D 등록 방법을 제시하여 정렬, 안정성, 매칭 정확도를 향상시킵니다. 향상된 ORB, LK 광흐름, 개선된 호모그래피 행렬을 결합하여 더 높은 정확한 매칭률과 등록 정확도를 달성하여 관광 응용에서 가상현실 장면 융합을 향상시킵니다.

초록

본 연구는 증강현실 관광 애플리케이션을 위한 향상된 특징 포인트 매칭 및 3D 등록 방법을 제안합니다. 이 방법은 정렬 불량, 복잡한 환경에서의 낮은 안정성, 낮은 특징 일치 정확도 등의 문제를 해결합니다. 관광 이미지에 대한 개선된 특징점 매칭 방법이 도입되었는데, 이는 Speeded Up Robust Features(SURF) 알고리즘과 향상된 방향 FAST 및 회전 BRIEF 알고리즘을 결합한 것입니다. 이 방법에서는 특징점이 처음에 SURF 알고리즘을 사용하여 감지되고, 웨이브릿 응답 분석을 통해 그 방향을 결정합니다. 특징점 추적에는 루카스-카나데 광유량 방법이 사용됩니다. 무작위 표본 합의 알고리즘을 사용해 잘못된 추적된 점을 제거합니다. 또한, 개선된 호모그래피 행렬을 기반으로 한 증강현실 관광 3D 등록 기법이 제안되어, 낮은 매칭 정확도와 등록 효율성 등 기존 호모그래피 행렬의 한계를 극복할 수 있습니다. 제안된 방법의 성능은 SIFT, SURF, 기존 ORB 알고리즘을 스케일, 블러, 조명, 회전 등 다양한 이미지 변환 하에서 비교 실험을 통해 분석되었습니다. 정확한 매칭률과 매칭 시간이 평가 지표로 사용되었습니다. 다양한 3D 모델을 사용하여 3D 등록 시뮬레이션 테스트가 수행되었습니다. 등록 정확도와 성공적인 등록 횟수는 순환 변경 하에 평가되었습니다. 결과는 제안된 알고리즘의 평균 정답 일치율이 스케일 변이 알고리즘, 스케일 불변 특징 변환 알고리즘, 가속화된 강건 특징 알고리즘, 미개선 알고리즘보다 각각 44.08%, 36.51%, 16.09% 증가함을 나타냈다. 퍼지 변환 하에서 올바른 매칭률은 각각 33.46%, 19.65%, 9.35% 증가했습니다. 제안된 3D 등록 기법의 평균 등록 정확도는 회전 변환 하에서 98.74%였습니다. 연구 결과는 이 연구가 제안한 접근법이 가상 및 현실 세계의 융합 효과를 성공적으로 개선할 수 있으며, 여행 산업에서 증강현실 기술을 활용하는 데 신선한 접근법을 제시함을 보여줍니다.

서론

기술은 빠르게 변화하는 디지털 경제에서 문화와 관광의 시너지 발전을 촉진하는 핵심 도구로 부상^{했습니다.} 최근 몇 년간 증강현실(AR) 기술은 관광, 교육, 의학, 산업 등 다양한 분야에서 채택이 급증하고 있습니다. AR은 더 넓은 기술 환경에서 떠오르는 신흥 분야입니다. 관광 분야에서 이 기술은 가상 정보를 실제 장면에 겹쳐 관광객에게 몰입감 있고 상호작용적인 경험을 제공합니다. 이 기술은 관광객의 여행 경험을 향상시킬 뿐만 아니라 관광 소비 장면을 혁신하고 문화 및^{관광 산업의} 디지털 전환을 촉진할 수 있습니다. 하지만 역동적이고 비구조화된 관광 환경에서 AR의 광범위한 도입은 여전히 상당한 기술적 도전으로 인해 제약을 받고 있습니다. 기존의 AR 기법은 실용에서 견고성이 부족한 경우가 많습니다. 특징은 특징 매칭 정확도가 낮고, 가상 객체와 실제 객체 간의 정렬이 부적절하며, 다양한 축척, 조명 변화, 가림 현상과 같은 복잡한 환경 조건에서의 안정성 제한이 특징입니다^. 이러한 한계는 가상 콘텐츠가 떨리거나 표류하거나 제대로 고정되지 못하는 등 사용자 경험을 좌절하게 만들어 몰입감과 현실감을 저해할 수 있습니다. 따라서 실제 환경에서 신뢰성 있게 작동할 수 있는 견고하고 효율적인 AR 기법을 탐구하는 것이 현재 연구 우선순위입니다. 빠른 특징점 추출(FPE) 및 설명 알고리즘으로서, 방향 FAST와 회전 BRIEF(ORB)는 높은 효율과 회전 불^{변성 덕분에} 이미지 FPE에서 널리 사용됩니다.

Zhang 등은 ORB-SLAM2 밀집 지도에 대한 향상된 FPE ^{방법을 제안하}여, 실내 환경의 3D 지도 획득 시 효율성을 높이고 비용을 절감하는 것을 목표로 했습니다. 이 방법은 점근적 샘플 일관성을 통해 메모리 사용을 줄이기 위해 특징점(FP)을 효율적으로 추출했습니다. 이 방법은 우수한 FPE 정확도와 높은 추적 효율을 가진 항법 과정에 적용될 수 있음이 밝혀졌습니다^. Wu는 대규모 회전 정렬 오류, 낮은 정렬률, 무작위성, 불안정성 문제를 해결하기 위해 ORB와 무작위 표본 합의(RANSAC)를 결합한 빠른 특징 매칭 알고리즘을 제안했습니다. 이 접근법의 효능은 제안된 방법이 높은 FP 매칭 정확도와 견고한 안정성을 보였음을 입증한 결과로 입증^{되었습니다.} Chen 등은 개선된 ORB와 Lucas-Kanade(LK) 광학 흐름(OF) 알고리즘을 결합하여 이미지 특징 일치의 낮은 정확도 문제를 해결한 특징 매칭 방법을 제안했습니다. 이 방법은 FPE에 마이클슨 대비법을 사용했으며, 쿼드트리 구조를 사용해 추출된 FP들을 균질화하여 특징 매칭의 계산량을 줄였습니다. 결과는 이 방법의 FP 균일성과 정확도가 각각 0.22%와 50.47% 향상되었음을 보여주^었다. Zuo 등은 완전 초점 광장 이미지의 FP 매칭을 위한 향상된 구형 알고리즘을 제안하여, 이미지 FPE 및 매칭 방법의 정확성과 견고성을 향상시키는 것을 목표로 했습니다. 이 방법은 기존 ORB 알고리즘을 정제하여 광장 완전^{초점 이미지의} FPE 수와 정밀도를 증강하여 향상되었다. 앙가라 등은 AR에서 컬러 맵과 ORB 검출기를 융합하는 특징 추출 방법을 제안했습니다. 이 방법은 먼저 특징 기반 자연 특징 추적 방법을 사용해 이미지의 스펙클과 엣지 특징을 추출한 후, ORB 검출기를 사용해 컬러 이미지를 회색 이미지로 변환하여 특징 탐지 효율을 높이려 했습니다. 결과는 제안된 접근법이 특징 추출을 성공적으로 개선할 수 있음을 시사했다^.

가상 데이터와 실제 장면을 AR 기술과 정확히 결합할 수 있는 능력 덕분에 호모그래피 매트릭스(HM)는 최근 몇 년간 많은 관심을 받고 있습니다^11,12. Kim 등은 HM을 기반으로 한 실시간 온라인 AR 시스템을 제안했습니다. 이 방법은 3D 카메라를 이용해 동시 위치 추적과 지도 제작을 수행하며, 이미지 소스 프레임을 채우는 데 HM을 사용해 화질을 향상시키려 했습니다. 결과는 이 방법이 시각적 불일치와 아티팩트를 효과적으로 줄이고 AR 사용자 경험을 향상시킬 수 있음을 보여주었다¹³. 클레멘트는 3단계 필터링 기반 AR 추적 방향 강화 특징 설명 방법을 제안했습니다. 이 방법은 이미지 특징 매칭의 견고성을 높이기 위해 서로 다른 프레임 간 타겟의 움직임을 설명하기 위해 HM을 사용했습니다. 결과는 이 방법이 조명 변화, 흐림 변화, 시점 변화에 대해 각각 100%, 100%, 99%의 반복성 점수를 달성했음을 나타^냈다. Liu 등은 HM을 기반으로 한 원격 탐사 이미지를 위한 국소 모션 매칭 방법을 제안하여 이미지 특징의 잘못된 매칭을 제거하는 것을 목표로 했습니다. 고려 중인 방법은 HM에 의한 이미지 국소 운동의 일관성을 나타내며 재샘플링 방법을 도입했습니다. 연구 결과는 제안된 방법이 우수한 매칭 성능을 보였음을 보여주었다¹⁵.

앞서 검토했듯이, 견고한 기능 매칭과 등록의 기술적 추구는 근본적으로 매력적인 사용자 경험을 만들기 위한 애플리케이션에 대한 수요에 의해 추진됩니다. 이 기술적 연구를 AR 관광 연구의 더 넓은 맥락에서 위치시키기 위해서는 AR이 관광객에게 미치는 심리적·행동적 영향을 실증적으로 조사한 최근 연구들과 교류하는 것이 필수적입니다. 예를 들어, Zhu 등은 구조 방정식 모델링을 사용하여 AR 관광에서 진정성과 내러티브 운송이 AR 부착을 통해 입소문에 미치는 메커니즘을 탐구했습니다. 결과는 AR 부착물이 진정성, 내러티브 이동, 입소문 간의 관계를 매개하여 유^{산 관광 마케팅}에 신선한 접근법을 제공한다는 것을 밝혀냈습니다. 동시에 Ngan과 Lei는 AR이 스포츠 이벤트 경험에 미치는 영향과 의도 재검토를 분석했습니다. 연구는 AR 사용자가 인지적 참여가 유의미하게 높았으며, 경험적 차원이 재방문 의도에 유의미하게 영향을 미친다는 점을 보여주어 AR이 이벤트의 매력과 몰입도를 높이는 데 효과적임을 확인시켰습니다¹⁶. 더 나아가, Zhu 등은 궁전박물관에서 열린 AR 전시회의 설문 데이터를 활용해 관광객의 존재가 입소문(WOM)에 미치는 영향을 조사했습니다. 결과는 존재가 WOM에 긍정적인 영향을 미칠 수 있음을 보여주었으며, 진정성이 중요한 매개 역할을 했다는 것을 보여주었다¹⁷.

결론적으로, ORB 알고리즘과 HM을 기반으로 한 AR 기법에 관한 수많은 학자들이 상당한 연구를 수행하여 우수한 결과를 얻었습니다. 하지만 ORB 알고리즘은 여전히 스케일, 조명 변화, 폐쇄¹⁸ 상황에서 FPE의 견고성과 비효율성으로 고통받고 있습니다. 더불어, 전통적인 HM은 매칭 정확도와 등록 효율이 낮아 병목 현상이 되는 경우가 많습니다. 이로 인해 역동적인 관광 환경에서 가상 객체의 불균형과 불안정성이 발생합니다. 현재 방법의 성능과 관광에서 안정적이고 몰입감 있는 AR 경험에 대한 요구사항 간의 격차는 여전히 중대한 해결되지 않은 과제로 남아 있습니다. 이러한 지속적인 문제를 해결하고 관광 분야에서 보다 안정적이고 몰입감 있는 AR 경험을 가능하게 하기 위해, 본 연구는 FPE 및 3D 등록의 효과를 높이기 위해 동기부여되었습니다. 이 연구는 세 가지 이론적 기여를 한다. 첫째, SURF 검출기의 스케일 불변 특성과 ORB 디스크립터의 향상된 계산 효율성을 결합한 새로운 특징 매칭 프레임워크를 제시합니다. 이 통합은 웨이블릿 응답을 통해 특징 방향을 결정하고 해리스 코너 기준을 사용하여 점 집합을 정제함으로써 강화됩니다. 이는 변환 하에서의 특징 대응에 대한 보다 견고한 이론적 모델을 제공하여 단순한 순차적 대응을 넘어선다. 둘째, 가상-실수 객체 역계산 방법을 사용하여 호모그래피 추정 과정에 이론적 향상을 도입합니다. 이 접근법은 전통적인 호모그래피 행렬의 한계를 극복하여 3D 등록을 위한 보다 안정적이고 정밀한 투영 모델을 제공하는 것을 목표로 합니다. 마지막으로, 이러한 개선된 요소들을 체계적으로 결합함으로써, 이 연구는 야외 관광 시나리오의 복잡성에 맞춘 우수한 가상현실 융합을 달성하기 위한 통합된 이론적 접근법을 제시합니다.

이 개선된 기술은 주요 관광 이해관계자들에게 매우 중요합니다. 이 프로그램은 목적지 마케터와 여행사가 안정적이고 몰입감 있는 AR 애플리케이션을 개발하여 독특한 가치 제안을 제공할 수 있도록 합니다. 문화유산 관리자에게는 물리적 유물을 손상시키지 않고 교육용 오버레이를 만드는 신뢰할 수 있는 도구를 제공합니다. 궁극적으로 관광객들에게 이 방법은 가상 정보와 실제 환경이 원활하고 안정적으로 융합되어 경험을 직접적으로 향상시킵니다. 이렇게 하면 가상 콘텐츠가 정렬이 맞지 않거나 떨리는 불편함을 없앨 수 있습니다. 그 결과 몰입이 훨씬 깊어지고, 맥락적 이해가 풍부해지며, 관광 서비스에 대한 전반적인 만족도가 향상됩니다. 이 연구의 혁신성은 다음과 같습니다: (1) 이미지는 가우시안 필터링으로 부드럽게 처리되고, 웨이블릿 응답을 이용해 FP의 방향을 결정합니다. 더불어, FP 검출의 정확성과 안정성을 높이기 위해 최고의 FP는 Harris 코너 포인트 검출 기법과 통합하여 필터링됩니다. (2) RANSAC 알고리즘이 도입되어 잘못 추적된 FP를 제거하여 특징 매칭의 견고성을 더욱 향상시킵니다. (3) HM은 전통적인 HM의 한계인 낮은 FP 매칭 정확도와 등록 효율성 등 한계를 해결하려는 가상 실물 역계산 방법으로 강화됩니다.

프로토콜

이 절에서는 먼저 SURF와 개선된 ORB 알고리즘을 결합하여 FP 매칭의 견고성을 높이는 관광 이미지용 FP 매칭 방법을 제안합니다. 그 후, 이 연구는 개선된 HM을 기반으로 한 AR 관광 3D 등록 기법을 제안하여 가상 정보와 현실 세계 간의 융합 효과를 강화합니다. 실험은 공개된 이미지 데이터셋을 사용하여 수행되었습니다. 구체적으로, Oxford Visual Geometry Group(VGG) 데이터셋이 활용되었으며, 이 데이터셋은 축척, 흐림, 조명, 시점에서 변형된 이미지 시퀀스를 포함하며, 컴퓨터 비전에서 특징 매칭 및 정식 알고리즘 평가에 널리 채택되고 있습니다. 이 공개된 데이터셋의 사용에 윤리 위원회의 승인은 필요하지 않았습니다.

관광 이미지에서 FP 매칭을 위한 SURF와 개선된 ORB 알고리즘의 결합

관광 산업의 급성장과 함께 자동화 관광 서비스에서 AR 기술에 대한 수요가 증가하고 있습니다. ORB 알고리즘은 효율적인 FP 탐지 및 기술 알고리즘입니다. AR 기술은^{널리 사용되어} 왔습니다. 그러나 관광 이미지 FP 매칭 과정에서 기존 ORB 알고리즘은 축척 변화에 대한 견고성이 부족하고, 특징 매칭 정확도가 낮으며, 시간이 많이 소요되는²⁰ 가지 결함을 겪고 있습니다. 매칭의 정확성과 견고성을 높이기 위해, 본 연구는 SURF와 개선된 ORB 알고리즘을 통합한 견고한 특징 매칭 방법을 제안합니다. 스케일 불변성을 달성하기 위해 입력 이미지는 가우시안 필터링과 피라미드 구성을 거칩니다. SURF 알고리즘은 웨이브릿 응답에 의해 방향이 결정되는 스케일 불변 FP를 감지합니다. 특징 품질은 해리스 코너 기준을 사용해 초기 점을 다듬고 가장 독특한 점들을 유지함으로써 향상됩니다. 루카스-카나데 광유동 방법은 프레임 간 특징을 추적하며, RANSAC 알고리즘은 불일치 점을 제거합니다. 여기서 다루는 방법론적 격차는 단순히 SURF와 ORB의 순차적 적용이 아니라, 복잡한 관광 환경에서 표준 잡종의 특정 한계를 극복하기 위해 고안된 새로운 하이브리드화 전략입니다. 기존 SURF-ORB 접근법이 SURF를 감지한 후 ORB 디스크립터를 직접 적용하는 것과 달리, 본 방법은 두 가지 중요한 향상을 도입합니다. 먼저, SURF에 의해 국소화된 각 FP의 방향을 웨이블릿 응답을 사용하여 재계산합니다. 이는 표준 하르 웨이브릿 기반 방법을 사용하는 SURF만으로는 더 견고한 방향성 추정을 제공합니다. 둘째, 그리고 더 중요한 점은, 초기 SURF 포인트가 직접적으로 사용되지 않는다는 것입니다. 대신, 해리스 코너 기준을 사용하여 평평한 영역이나 가장자리에 위치한 응답이 낮은 구별되지 않는 점을 걸러내기 위해 엄격히 정제됩니다.

이미지 전처리

관광 이미지의 전처리 단계에서 연구는 그레이스케일 이미지에서 특징을 추출합니다. 이미지의 국부적 특징을 추가로 특성화하기 위해, 연구는 기울기 성분을 사용하여 이미지²¹을 식별하고 분류합니다. 식(1)은 그 식을 증명했다.

(1)

식(1)에서 I(x,y)는 좌표 (x,y)에 있는 이미지의 픽셀 값을 나타냅니다.  는 (x,y)에서 이미지의 그라데이언트 벡터를 나타냅니다. 그리고 각각 x방향과 y 방향으로 이미지의 편미분을 표시합니다. T는 기울기 벡터의 전치를 나타냅니다.

특징 포인트 검출

그라데이언트 성분으로 이미지를 인식한 후, 연구는 ORB 알고리즘의 가속 세그먼트 테스트(FAST)에서 얻은 특징을 사용하여 이미지의 FP를 탐지합니다. 더불어, FP들은 이진 강인성 독립적 기본 특징(BRIEF) 설명 알고리즘²²를 사용하여 강렬하게 매칭됩니다. 이 알고리즘의 특징 검출 및 매칭 도식은 그림 1에 나와 있습니다.

그림 1: FAST 알고리즘의 특징 탐지와 BRIEF 설명 알고리즘 간의 특징 매칭 개략 도식. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하세요.

그림 1은 FAST 및 BRIEF 알고리즘의 특징 탐지 과정을 보여줍니다. 그림 1A는 FAST 알고리즘을 사용한 특징 검출의 회로도입니다. 16픽셀 원형 템플릿을 사용해 이미지 내 모서리 특징을 빠르게 감지하기 위해 중앙 픽셀 주변의 밝기를 비교합니다. 그림 1B는 BRIEF 알고리즘에서의 특징 일치 도식입니다. 특징점 주변에 여러 쌍의 픽셀을 선택해 그레이스케일 비교를 수행함으로써 이진 기술자가 생성되고, 무차별 대입 방식으로 두 이미지 간 특징점의 대응을 달성합니다. 이 향상은 이미지를 부드럽게 하고 고주파 잡음을 완화하는 가우시안 필터링 기법의 초기 활용을 포함합니다. 이후 다운샘플링 방법을 사용하여 이미지의 공간 해상도를 줄여 계산 복잡도를 줄이면서도 이미지의 주요 특징을 보존합니다. 이 연구는 이미지 피라미드 구성 방법을 사용하여 앞서 언급한 두 기법을 활용하여 이미지 FP가 스케일 불변성 특성을 보인다는 것을 보장한다²³. 저역 통과 가우시안 필터로 이미지를 부드럽게 만드는 식은 식(2)에 나와 있다.

(2)

식(2)에서 g_e(x,y)는 가우시안 필터 함수를 나타냅니다. e는 가우시안 함수의 표준편차(SD)이다. EXP는 지수 함수를 나타냅니다. 가우시안 필터링으로 구성된 이미지 피라미드는 그림 2에 도식적으로 나타난다.

그림 2: 가우시안 필터링으로 구성된 이미지 피라미드의 회로도. 이 그림의 더 큰 버전을 보려면 여기를 클릭하세요.

그림 2 는 가우시안 필터링과 다운샘플링을 통해 여러 개의 저해상도 이미지를 점진적으로 생성하는 이미지 피라미드 구조를 보여줍니다. 그중 가우시안 필터는 합성곱 연산을 통해 이미지의 고주파 잡음을 흐리게 하여 줄여줍니다. 이 전처리 단계에서 시각적 체크포인트로 생성된 이미지 피라미드를 표시할 수 있습니다. 피라미드의 각 층은 원본 이미지의 해상도가 점차 낮아진다는 점에 주목해야 합니다. 가우시안 필터링과 다운샘플링을 적용하면서 흐림이 눈에 띄게 증가하고 세세한 디테일이 감소합니다. 이미지 내 FPs를 식별하는 효율성을 높이기 위해, 연구는 이미지 내 FPs를 위치시키는 SURF 알고리즘을 사용합니다. 이 방법은 FP의 주변 영역을 정량화하고 웨이브릿 응답을 활용해 FP의 방향을 파악하는 방식을 포함합니다. SURF로 추출된 중복되거나 유효하지 않은 FP가 존재하기 때문에, 과도한 수는 목표 이미지(TI) 특징의 인식 속도를 저하시킵니다. 따라서 연구는 해리스 각도점 검출 알고리즘을 활용하여 최적의 이미지 FPs²⁴를 식별합니다. 식(3)은 알고리즘의 각도 응답 값을 나타냅니다.

(3)

식(3)에서 H는 해리스 행렬을 나타냅니다. u(x,y)는 창의 가중치 함수를 나타냅니다. I_x와 I_y는 픽셀 점의 회색 값(GV) 크기를 나타냅니다. A는 해리스 각도의 응답 값을 나타냅니다. det H와 traceH는 각각 해리스 행렬의 행렬식과 trace를 나타냅니다. k는 계수값을 나타냅니다. SURF 알고리즘이 선택한 FP 방향과 해리스 각도 검출 알고리즘의 슬라이딩 윈도우의 회로도는 그림 3에 나타난다.

그림 3: SURF 알고리즘의 회로도, 해리스 코너 검출 알고리즘의 FP 선택 및 슬라이딩 윈도우. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 3 은 이미지 내 FP를 감지하는 SURF 알고리즘의 구성을 보여줍니다. 그림 3A 는 SURF 알고리즘에서의 특징점 방향 선택의 회로도를 보여줍니다. 특징점 이웃에서 하르 웨이브릿 응답의 주 방향을 계산함으로써, 특징점의 회전 불변 방향을 결정하며, 보통 화살표나 방향선 분분으로 직관적으로 표현됩니다. 그림 3B 는 해리스 코너 검출 알고리즘의 슬라이딩 윈도우의 회로도로, 이미지 영역 내에서 윈도우의 이동 과정을 보여줍니다. 모서리 점은 창 내 픽셀의 회색 변화를 계산하여 감지하며, 응답 값이 높은 영역은 모서리 점으로 식별됩니다.

특징 매칭

이미지 FP를 탐지한 후, 연구는 LK OF 방법을 사용하여 탐지된 이미지 FP를 추적합니다. 이 방법은 이미지 내 FP의 움직임을 추적하여 비디오 시퀀스에서 FP 매칭을 달성함으로써 인접한 이미지 프레임 간 움직임을 계산합니다. LK OF 방법은 인접한 이미지^{프레임 25} 간의 움직임을 계산할 때 일정한 픽셀 GV, 작은 움직임, 영역 운동 일관성 가정을 충족해야 합니다. 루카스-카나데 방법은 실시간 AR 관광 응용에 매우 중요한 계산 효율성을 고려해 전략적으로 채택되었습니다. 그 가정들은 특정 맥락에서 완화됩니다. 비디오 캡처의 높은 프레임 속도는 일반적으로 작은 프레임 간 변위를 보장하여 작은 움직임 요구를 충족합니다. 절대 밝기 일정이 이상적이지만, 연속된 프레임 사이의 짧은 트래킹 창은 심각한 위반을 최소화합니다. 가장 중요한 점은, 이후 RANSAC 알고리즘이 가정 위반으로 인한 잠재적 추적 오류를 이상치를 필터링하여 견고하게 처리한다는 것입니다. 따라서 LK는 출력이 엄격히 검증된 효율적인 초기 추적기 역할을 하여, 속도와 견고성의 균형이 필수적인 실시간 시스템에 적합합니다. 상수 픽셀 GV의 가정에 따라, 식은 식(4)에 나타난다.

(4)

식(4)에서 I(x,y,t)는 모멘트 t 에서 위치(x,y)에 있는 이미지의 픽셀 GV를 나타냅니다. I_x와 I_x 는 각각 픽셀이 x와 y 방향으로 이동하는 위치를 나타냅니다. i와 j는 픽셀 점의 OF 성분을 나타낸다. I_x,_{I y},_{I t} 는 각각 x, y, t 방향에서의 이미지 차이를 나타냅니다. 지역 운동 일관성 가정은 식(5)에서 계산됩니다.

(5)

식(5)에서 I_tb는 시간 방향 t에서 도메인 내 b번째 픽셀 점의 편미분을 나타냅니다. V x V는 선택된 도메인 영역의 크기를 나타냅니다. B는 도메인 내 모든 픽셀 점을 나타낸다. 결론적으로, 본 연구는 추적된 FP를 매칭하기 위해 BRIEF 디스크립터를, ORB에 의해 잘못 추적된 FP를 거부하기 위해 RANSAC 알고리즘을 사용합니다. 이러한 방법들의 조합은^{특징 매칭}의 견고성을 높이는 역할을 합니다. 그림 4 는 LK OF 방법의 회로도를 보여줍니다.

그림 4: LK OF 방법의 회로도. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 4 는 인접한 프레임 간 FP 변위를 반복 최적화 방법으로 사용하는 LK 스트리밍 광학 헤어의 구현 과정을 보여줍니다. 특징 매칭 알고리즘의 정성적 검증을 위해, 템플릿과 테스트 이미지 간의 매칭된 FP를 시각적으로 겹쳐 볼 수 있습니다. 올바르게 맞춰진 점 쌍은 보통 녹색 선으로 연결되거나 녹색 표시로 표시됩니다. 반대로 RANSAC 알고리즘은 빨간 마커가 포함된 이상치를 표시할 수 있습니다. 이를 통해 정량적 분석 전에 매칭 견고성과 정확성을 즉시 시각적으로 평가할 수 있습니다. 연구는 RANSAC 알고리즘을 사용하여 이미지 내 해당 FP들의 HM을 계산하여 올바르게 일치하지 않은 FP를 제거합니다. 정확하게 일치한 FP들은 그 후 유지됩니다. 이 경우 RANSAC 알고리즘의 HM과 스케일 매개변수 표현식은 식(6)에 나타난다.

(6)

식(6)에서 M은 HM을 나타내고, m은 행렬 M의 원소를 나타내며, S는 척도 매개변수를 나타냅니다. (x,y)와 (x',y')는 각각 템플릿 이미지와 테스트 이미지의 FP 위치를 나타냅니다. 테스트 이미지의 FP 좌표를 획득한 후, 연구는 이들 값과 매칭된 FP 간 거리를 비교 분석합니다. 식(7)은 반복 횟수와 내부 점의 수를 결정하는 것도 보여줍니다.

E = log(1 - c)/log(1 -^{η n}) (7)

식(7)에서 E는 반복 횟수입니다. c는 신뢰도(confidence levels)를 나타냅니다. η는 내부 점들의 비율을 나타냅니다. n은 샘플의 수입니다. 그러면 반복 E의 SD식은 식(8)에 나타난다.

(8)

식(8)에서 S_d(E)는 SD를 나타냅니다. 위에서 설명한 ORB 알고리즘의 개선은 이후 3D 정기 기술에 고품질 특징 매칭 기반을 제공하는 것으로 나타났습니다. 이 개선은 복잡한 장면에서 더 높은 정확도와 견고함을 보여줍니다. 이 장면들 중 일부는 스케일 변화, 빛 변화, 그리고 가림이 포함됩니다.

AR 관광을 위한 SURF와 향상된 호모그래피를 이용한 향상된 ORB의 의사코드는 다음과 같습니다.

알고리즘 1: AR 관광을 위한 SURF와 향상된 호모그래피를 적용한 개선된 ORB
입력: 관광 이미지 시퀀스 I, 3D 가상 모델 M
출력: 가상 객체가 등록된 렌더링된 AR 장면
1단계: 이미지 전처리
1: I_gray ← 그레이스케일(I) 변환
2: I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3: 피라미드 ← BuildImagePyramid(I_smooth, 레벨=4, 스케일=1.2)

2단계: 특징 포인트 감지
4: keypoints_SURF ← SURF_Detect(피라미드, 헤센 임계값=1000)
5: 각 kp에 대해 keypoints_SURF
6: ComputeWaveletResponse(kp)← 방향
7: 끝
8: keypoints_Harris ← 해리스코너필터(keypoints_SURF, k=0.04)
9: 묘사 ← ImprovedORB_Describe(keypoints_Harris)

3단계: 특징 매칭
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11: BruteForceMatcher(설명) ← 매치즈
12: inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)

4단계: 개선된 호모그래피를 이용한 3D 등록
13: H_improved ← ComputeImprovedHomography(인리어, camera_intrinsics)
14: R, t ← 분해상호모그래피(H_improved)
15: 포즈← ComposeCameraPose(R, t)// 5단계: AR 렌더링
16: virtual_object ← load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, 자세, 배경=I)
18: scene_rendered 귀국

개선된 HM을 기반으로 한 AR 관광 3D 등록 기법

FP 매칭 방식을 통해 관광 이미지의 특징을 정확히 일치시킨 후에는 AR 기술에 추가로 적용되어야 합니다. 3D 등록 기술은 AR 시스템 구현의 기초 기술입니다. 이 시스템은 목표 관광 이미지를 투사하여 실제 세계에서 카메라의 포즈 정보를 계산합니다. 이를 통해 가상 객체와 실제 장면의 정확한 매칭과 융합이 가능합니다²⁷. HM은 사용자의 시점에서 가상 객체를 현실 세계에 매핑할 수 있어, 가상 정보와 현실 세계 간의 융합 효과를 강화합니다. 더 나아가, 로고가 부분적으로 가려졌을 때 가상현실을 등록하는 문제도 해결할 수 있습니다. 하지만 실제 3D 등록 기술에서 HM의 등록 효율이 낮아 가상 객체 정렬 불안정을 초래하여 가상 객체²⁸의 불안정성을 초래합니다. 따라서 본 연구는 개선된 HM을 기반으로 한 3D 등록 기법을 제안합니다. 1단계에서 정확한 FP 쌍을 사용하여 카메라 내유 요소를 통합한 가상 투현실 객체 역계산 방법을 통해 향상된 HM을 계산합니다. 이 방법은 동적 장면에서 전통적인 방법의 낮은 등록 효율성과 가상 객체 정렬 불순을 효과적으로 해결합니다. 행렬은 회전 행렬과 평행 이동 벡터로 분해되어 카메라 자세를 정의합니다. OpenGL 렌더링 엔진은 포즈 파라미터에 따라 3D 가상 모델을 라이브 비디오 스트림에 정밀하게 투사합니다. 텍스처 매핑과 조명 모델은 물리적으로 일관된 융합을 보장합니다.

3D 등록 및 시각화

3D 정규 기법을 실현하기 위해서는 먼저 3D 실제 세계를 2D 이미지에 매핑하는 핀홀 이미징 모델을 구축해야 합니다. 이 모델의 표현은 식(9)에 나타났다.

(9)

식(9)에서 X, Y , O는 카메라 CS의 세 축을 나타냅니다. (x, y, f)는 좌표 벡터를 나타냅니다. f는 초점거리(FL)를 나타냅니다. λ는 척도 계수를 나타냅니다. 그림 5에서 보듯이, 본 연구는 이미지 CS와 카메라 CS 간의 변환 관계를 이용해 핀홀 카메라의 영상 특성을 조사합니다.

그림 5: 핀홀 영상 모델과 공간 점과 평면 투영점 간의 관계. 이 그림의 더 큰 버전을 보려면 여기를 클릭하세요.

그림 5 는 핀홀 이미징의 기본 구조를 보여줍니다. 그림 5A 는 핀홀 이미징 모델의 회로도로, 카메라 중앙의 작은 구멍을 통해 3차원 장면을 2차원 이미징 평면에 투영하는 기본 기하학적 구조를 설명합니다. 이는 광선 전파와 원근 투영의 원리를 반영합니다. 그림 5B 는 카메라 중심을 통해 영상 평면의 해당 점에 공간 점을 투영하는 과정을 추가로 보여주며, 초점 거리, 이미지 점 좌표, 물체 점 좌표 간의 비례 관계를 명확히 합니다. 핀홀 이미징 모델을 구축한 후, 연구는 HM을 사용해 카메라 캡처 하에서 템플릿과 실제 장면 이미지 간의 관계 매핑을 구축합니다. 두 이미지 I₁과 I₂의 특징이 일치하는 점들이 같은 평면에 있다고 가정한다. 평면은 식(10)에 나타난 식을 만족해야 합니다.

N^Z P + d = 0 (10)

식(10)에서 P는 평면을 나타냅니다. N은 평면 P의 법선 벡터를, d는 평면 P에서 원점까지의 거리를 나타냅니다. Z는 이동 벡터를 나타냅니다. 회전과 평행이동의 경우, 연구에서는 특이값 분해법을 사용하여 추출합니다. 이 식은 식(11)²⁹에 나타난다.

(11)

식(11)에서 p₁과_{p 2}는 각각 이미지 I₁과 I₂에서 그림자 점 쌍을 일치하는 특징의 픽셀 좌표를 나타냅니다. r₁과 r₂는 각각 이미지 I₁과 I₂ 의 픽셀 점들의 스케일링 인자를 나타냅니다. K는 카메라의 내부 기준 행렬을 나타냅니다. R은 회전 행렬을 나타냅니다. HM은 계산 복잡도가 높으며 FP 매칭 오차 문제에 취약합니다. 따라서 연구는 가상 및 실수 역계산법³⁰을 사용하여 이를 개선한다. 개선된 HM 식은 방정식 (12)에 표시되어 있다.

(12)

식(12)에서 M'은 개선된 HM을 나타냅니다. f_x와 f_y는 각각 X축과 Y 축을 따라 카메라의 FL을 나타냅니다. U와 V는 주점 좌표를 나타냅니다. γ 스큐 매개변수를 나타냅니다. 이 방법의 물리적 변환은 식(13)에 나타난다.

(13)

식(13)에서 T'는 물리적 변환 행렬을 나타냅니다. T_x,_{t y}, t_o는 세 좌표축의 회전 성분을 나타냅니다. [R|Z]는 세계와 카메라 CS의 변환 행렬을 나타냅니다. AR 기술 구현에서 템플릿과 실제 이동 장면의 이미지 간 매핑 표현은 식(14)에서 나타난다.

(14)

식(14)에서 I_s와 I_d는 각각 기준점과 TI의 점을 나타냅니다. 연구는 개선된 HM의 정렬 정확도를 추가로 계산하여 방법의 정렬 효과를 조사하는데, 이는 방정식(15)에 표현되어 있습니다.

(15)

식(15)에서 P_re(M')는 개선된 HM의 정렬 정확도를 나타냅니다. (x_{a,y a,o a})는 실제 FP를, (x_{b,y b,o b})는 정렬된 FPs를, n은 일치한 점들의 그룹 수를 나타냅니다. 그림 6 은 회로도와 업그레이드된 HM 사진 간의 매핑을 보여줍니다.

그림 6: 이미지 및 개선된 HM의 회로도적 관계. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하세요.

그림 6에서 볼 수 있듯이, 템플릿 이미지와 TI 사이에는 명확한 대응관계가 있습니다. 개선된 HM 적용 후, 주요 시각적 체크포인트는 템플릿 이미지를 대상 장면 이미지에 왜곡하고 정렬하는 것입니다. 투영된 템플릿의 가장자리는 TI의 해당 특징과 밀접하게 일치해야 합니다. 최종 AR 렌더링 과정에서는 가상 3D 모델을 시각적으로 점검하여 실제 장면에서 올바른 위치와 방향에 지속적으로 정확히 고정되어 있는지 확인하세요. 카메라 시점이 바뀔 때 눈에 띄는 흔들림이나 정렬 어긋나는 것은 없어야 합니다.

이 연구는 향상된 but-for(부트포 영향) 매트릭스를 통해 템플릿 이미지를 매핑하는 과정을 시연합니다. 가상 객체와 실제 관광 경관 간의 실시간 상호작용을 달성하기 위해, 연구는 OpenGL 기술을 활용해 AR 관광 시스템 구축을 위한 3D 모델을 렌더링합니다. 이 기법은 먼저 OpenGL 컨텍스트를 설정하고, 가상 관광 요소의 3D 모델을 로드한 뒤, 텍스처 매핑과 조명으로 계산합니다. 그 후 카메라가 캡처한 실시간 비디오 스트림을 배경으로 사용해 가상 객체 렌더링의 참조 자료를 제공합니다. 가상 객체는 HM을 사용해 실제 세계에 정확히 겹쳐지며, 이 장치는 가상 객체를 실제 장면과 자연스럽게 융합할 수 있도록 올바른 위치와 방향으로 렌더링합니다. AR 관광 시스템에서는 OpenCV 라이브러리를 통해 영상이 촬영되어 투어³¹의 실시간 영상을 제공합니다. 이미지 처리는 최적화된 ORB 알고리즘을 사용하여 비디오 프레임 내 특징을 식별하고 매칭합니다. 3D 등록 모듈에서는 개선된 HM을 사용해 가상과 현실을 융합합니다. 최종 출력과 상호작용은 OpenGL 기술을 통해 표시됩니다. AR 투어 기술의 구현 과정은 전체 구현 과정을 보여주는 그림 7에 나와 있습니다. 그림 7 은 AR 관광 기술의 시스템 구현 흐름도를 보여줍니다. 시스템 시작 후, 실시간 비디오 스트림이 먼저 카메라를 통해 캡처되고, 카메라에서 대상 이미지가 추출됩니다. 그 후 이 과정은 특징 처리 단계에 들어가 특징점 추출과 기술의 순서를 차례로 수행하여 이미지 특징을 구성합니다. 특징점 매칭이 성공하면, 시스템은 3D 추적 등록 단계로 넘어가 카메라 포즈 매개변수를 계산합니다. 이 효과는 가상 재료 라이브러리의 3D 모델과 결합되어 가상-현실 융합을 구현하며, 최종 퓨즈드 AR 효과가 실시간으로 사용자에게 표시됩니다. 매칭이 실패하면 RANSAC 알고리즘을 사용해 불매칭 지점을 제거하고, 시스템 안정성과 견고성을 보장하기 위해 특징 처리 단계가 다시 진입됩니다. 전체 과정은 이미지 획득과 특징 처리부터 3D 등록, 가상현실 융합, 인터랙티브 디스플레이에 이르기까지 완전한 폐쇄 루프를 형성하며, AR 관광 시스템이 동적 장면에서 실시간으로 안정적인 가상현실 융합을 달성하는 기술적 경로를 보여줍니다.

그림 7: AR 관광 기술 구현 과정의 개략 다이어그램. 이 그림의 더 큰 버전을 보려면 여기를 클릭해 주세요.

실험 장비 및 재료

실험의 재현성을 보장하기 위해, 이 연구에 사용된 하드웨어 사양, 소프트웨어 환경 및 데이터셋은 표 1에 명확히 나열되어 있습니다.

카테고리	항목	사양 / 버전
하드웨어	카메라	로지텍 C920 HD 프로 웹캠
	컴퓨터 프로세서	AMD 라이젠 7 3700X 8코어 프로세서
	컴퓨터 메모리	32GB RAM
	운영 체제	윈도우 10 (64비트)
소프트웨어 및 라이브러리	프로그래밍 언어	C++
	개발 환경	마이크로소프트 비주얼 스튜디오 2019
	컴퓨터 비전 라이브러리	OpenCV 4.5.1
	그래픽 API	OpenGL 4.6
	시뮬레이션 플랫폼	비주얼 스튜디오 시뮬레이션 도구
데이터셋	주요 데이터셋	옥스퍼드 데이터셋

표 1: 실험 구성: 하드웨어, 소프트웨어, 데이터셋 사양.

OpenCV에서는 Gaussian Blur() 함수를 사용하여 Gaussian Blur() 함수를 적용합니다. 이미지 피라미드는 buildPyramid()를 사용하여 구성됩니다. SURF 검출기는 SURF.create()로 초기화되며, 헤시안 임계값을 400으로 설정합니다. 해리스 코너 응답은 코너 해리스()를 사용하여 계산되며, 이후 비최대 억제를 적용하여 키포인트를 필터링합니다. LK 광흐름은 피라미드형 루카스-카나데 방법을 구현한 calcOpticalFlowPyrLK() 함수를 사용하여 계산됩니다. findHomography() 함수는 호모그래피 추정에 사용되며, 메서드 플래그는 RANSAC로 설정되어 지정된 재투영 임계값을 활용합니다. 그 결과 HM은 perspectiveTransform()과 함께 inlier 점을 검증하는 데 사용됩니다. OpenGL 렌더링 파이프라인에서는 HM을 카메라 포즈로 변환하고 glLoadMatrix()를 사용해 설정합니다. 3D 가상 모델은 .obj 파일로 로드되어 표준 OpenGL 변환 명령어(glTranslate, glRotate)로 렌더링됩니다. OpenCV의 실시간 비디오 피드는 glTexImage2D()를 사용하여 텍스처로 OpenGL에 전달되어 최종 AR 오버레이를 구현합니다. 본 연구에서 사용된 알고리즘의 핵심 매개변수는 표 2에 명확히 정의되어 있습니다.

알고리즘 / 컴포넌트	매개변수	가치
가우시안 필터	커널 크기	5 × 5 픽셀
	표준편차	1.2
LK 광유동	창 크기	15 × 15 픽셀
랜삭	최대 반복	2000
	재투영 임계값	3.0 픽셀
ORB 특징 검출기	최대 기능 수	1000
	스케일 팩터 (피라미드)	1.2
	피라미드 층의 수	4
SURF 특징 검출기	헤센 임계	1000
해리스 코너 감지기	조리개 크기	3
	k-값	0.04

표 2: 재현성을 위한 주요 알고리즘 매개변수.

결과

관광 이미지 FP 매칭을 위한 SURF와 개선된 ORB 알고리즘의 성능

견고한 성능 기준선을 설정하고 통제 비교를 하기 위해, 제안된 알고리즘은 세 가지 널리 사용되는 특징 매칭 알고리즘인 척도 불변 특징 변환(SIFT), 가속화된 강인 특징(SURF), 그리고 원래의 미개선 ORB 알고리즘과 비교하여 평가됩니다. 이 알고리즘들은 대조군 역할을 하여 제안된 개선으로 인한 성능 향상을 직접 평가할 수 있게 합니다.

이 연구는 먼저 제안된 알고리즘의 FP 정확 매칭률(CMR)과 매칭 시간(MT)을 이미지 스케일 변환 하에서 분석하고, 기존의 고급 특징 매칭 알고리즘과 비교합니다. 주황색 선은 SIFT를 나타냅니다. 보라색 선은 SURF를 나타냅니다. 파란 선은 ORB를 나타냅니다. 초록색 선은 제안된 알고리즘을 나타냅니다.

토론

연구는 SURF와 개선된 ORB 알고리즘을 결합한 관광 이미지용 FP 매칭 방법을 제안하여 특징의 매칭 정확도를 향상시키는 것을 목표로 했습니다. 제안된 물체와 실제 장면 간의 정확한 일치 및 융합을 더욱 실현하기 위해, 연구는 개선된 HM을 기반으로 한 AR 관광 3D 등록 기법을 제안했습니다. 3D 등록과 관련해 ARA는 98.74%이며, 회전 변환 하에서 3D 등록의 평균 SR 수는 68개임을 보여주었습니다. 개선된 HM의 3D 등록 성공률과 정확도가 더 높다는 것을 나타냈다. 모델 세대와 가상현실 핵융합 모듈은 각각 9.36ms와 4.12ms였습니다. 디스플레이 상호작용 모듈은 2.28ms였습니다. 사용자들의 AR 효과 점수는 76.68점에서 96.24점 사이였습니다. 평균 평점은 88.57점으로, 실시간 및 사용자 경험 모두 우수함을 나타냅니다. 이 연구는 핵심 전제를 보여줍니다: 전체 기술 파이프라인의 주요 병목 현상을 체계적으로 해결하고, 모듈 간 시너지 ...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
AMD 라이젠 7 3700X 8코어 프로세서	AMD	라이젠 7 3700X
카메라	로지텍	C920 HD 프로 웹캠
컴퓨터 메모리	/	32GB RAM
로지텍 C920 HD 프로 웹캠	로지텍	C920
마이크로소프트 비주얼 스튜디오 2019	마이크로소프트	2019
오픈CV	OpenCV 재단	4.5.1
오픈GL	크로노스 그룹	4.6
옥스퍼드 데이터셋	옥스퍼드 대학교	/
프로그래밍 언어	/	C++
비주얼 스튜디오 시뮬레이션 도구	마이크로소프트	VS 2019에 포함됨
윈도우 10 (64비트)	마이크로소프트	10 (64비트)