Технология дополненной реальности для туризма на основе усовершенствованного алгоритма ORB и матрицы гомографии

Краткое содержание

В данном исследовании представлены улучшенные методы сопоставления точек признаков и 3D-регистрации для туризма дополненной реальности, повышая выравнивание, стабильность и точность сопоставления. Сочетая улучшенный ORB, оптический поток LK и улучшенную матрицу гомографии, подход достигает более высоких показателей правильного сопоставления и точности регистрации, улучшая слияние виртуальной и реальной сцены в туристических приложениях.

Аннотация

В данном исследовании предлагается улучшенный метод сопоставления точек признаков и 3D-регистрации для туристических приложений дополненной реальности. Этот метод решает такие проблемы, как плохое выравнивание, низкая стабильность в сложных условиях и низкая точность сопоставления признаков. Вводится улучшенный метод сопоставления точек признаков для туристических изображений, который сочетает алгоритм Accelerated Up Robust Features (SURF) с усовершенствованными алгоритмами ориентированного FAST и Rotated BRIEF. В этом методе точки признаков изначально обнаруживаются с помощью алгоритма SURF, а их ориентация определяется с помощью анализа отклика вейвлетов. Метод оптического потока Лукаса-Канаде используется для отслеживания точек объектов. Алгоритм консенсуса случайной выборки затем используется для устранения ошибочно отслеживаемых точек. Кроме того, предлагается технология 3D-регистрации в дополненной реальности, основанная на улучшенной матрице гомографии, чтобы преодолеть ограничения традиционных матриц гомографии, такие как низкая точность сопоставления и эффективность регистрации. Производительность предлагаемого метода была проанализирована с помощью сравнительных экспериментов с алгоритмами SIFT, SURF и оригинального ORB при различных преобразованиях изображений, включая масштаб, размытие, освещение и вращение. В качестве метрик оценки использовались правильный коэффициент сопоставления и время сопоставления. Проводились симуляционные тесты для 3D-регистрации с использованием различных 3D-моделей. Точность регистрации и успешный подсчет регистрации оценивались в рамках ротационных изменений. Результаты показали, что средняя скорость правильного сопоставления предлагаемого алгоритма увеличивается на 44,08%, 36,51% и 16,09% при вариации масштаба по сравнению с алгоритмом преобразования признаков с инвариантным масштабом, алгоритмом ускоренного устойчивого признака и неулучшенным алгоритмом соответственно. Правильная скорость сопоставления при нечетком преобразовании увеличилась на 33,46%, 19,65% и 9,35% соответственно. Средняя точность регистрации предлагаемой техники 3D-регистрации составила 98,74% при вращательном преобразовании. Результаты показывают, что предлагаемый подход исследования может успешно улучшить эффект слияния виртуальной и реальной сцены и предлагает свежий подход к использованию технологий дополненной реальности в туристической индустрии.

Введение

Технологии стали ключевым инструментом для продвижения синергетического прогресса культуры и туризма в быстро меняющейся цифровой^{экономике 1}. В последние годы технологии дополненной реальности (AR) получили резкий оборот в различных секторах, включая туризм, образование, медицину и промышленность. AR — это развивающаяся область в более широком технологическом^{пространстве 2}. В сфере туризма эта технология способна накладывать виртуальную информацию на реальные сцены, обеспечивая туристам захватывающий и интерактивный опыт. Эта технология может не только улучшить туристические впечатления туристов, но и внести инновации в сферу потребления туризма и способствовать цифровой трансформации культуры и^{туристической индустрии 3}. Однако широкое внедрение AR в динамичных и неструктурированных туристических условиях по-прежнему затрудняется серьёзными техническими трудностями. Существующие методы AR часто демонстрируют низкую устойчивость на практике. Они характеризуются низкой точностью сопоставления признаков, недостаточным выравниванием виртуальных и реальных объектов, а также ограниченной стабильностью в сложных условиях окружающей среды, таких как изменение масштабов, изменения освещения и^{окклюзии 4}. Эти ограничения могут привести к раздражающему пользовательскому опыту: виртуальный контент дрожит, дрейфует или не закрепляется должным образом, что подрывает ощущение погружения и реализма. Поэтому исследование надёжной и эффективной технологии AR для туризма, которая может надёжно работать в реальных условиях, является приоритетом исследований. В качестве быстрого извлечения точек признаков (FPE) и алгоритма описания, ориентированный FAST и вращающийся BRIEF (ORB) широко используются в FPE изображений благодаря высокой эффективности и вращательной^{инвариантности 5}.

Чжан и ^др.6 предложили усовершенствованный метод FPE для карт с плотностью ORB-SLAM2, направленный на повышение эффективности и снижение затрат на получение 3D-карт внутренних помещений. Метод обеспечивал эффективное извлечение точек признаков (FP) с помощью асимптотической согласованности выборки для снижения использования памяти. Было установлено, что этот метод может применяться для навигационного процесса с превосходной точностью FPE и высокой эффективностью^{слежения 6}. Ву предложил быстрый алгоритм сопоставления признаков, который объединяет ORB и случайный консенсус выборки (RANSAC) для решения проблем крупномасштабной ошибки вращения, низкой скорости выравнивания, случайности и нестабильности. Эффективность этого подхода была подтверждена результатами, которые показали, что предлагаемый метод демонстрирует высокую точность сопоставления FP и надёжную^{стабильность 7}. Чен и др. предложили метод сопоставления признаков, который сочетает улучшенный ORB с алгоритмом оптического потока (LK) Лукаса-Канаде (LK) для решения проблемы низкой точности сопоставления признаков изображения. Метод использовал метод контраста Майкельсона для FPE, а структура quadtree применялась для гомогенизации извлечённых FP с целью уменьшения вычислительного количества согласования признаков. Результаты показали, что однородность и точность метода FP улучшились на 0,22% и 50,47% соответственно⁸. Цзо и др. предложили усовершенствованный алгоритм сферы для сопоставления FP полностью сфокусированных оптических изображений, с целью повышения точности и устойчивости FPE и метода сопоставления. Метод был усовершенствован за счёт усовершенствования традиционного алгоритма ORB для увеличения количества и точности FPE для полностью сфокусированных изображений с^{световым полем 9}. Анггара и др. предложили метод извлечения признаков, который объединяет цветовую карту и детектор ORB в AR. Метод сначала извлекал пятнистые и краевые особенности изображения с помощью метода отслеживания естественных признаков на основе признаков, а затем преобразовал цветное изображение в оттенки серого с помощью детектора ORB, чтобы повысить эффективность обнаружения этих признаков. Результаты показали, что предлагаемый подход может успешно улучшить извлечение^{признаков 10}.

Благодаря своей способности точно сочетать виртуальные данные и реальные сцены с помощью AR-технологий, гомографическая матрица (HM) привлекла большой интерес в последние^{годы 11, 12}. Ким и соавт. предложили онлайн-систему AR в реальном времени на базе HM. Метод использовал 3D-камеру с одновременной локализацией и построением карты для отслеживания информации о сцене, а также использовался HM для заполнения исходных кадров изображения с целью повышения качества изображения. Результаты показали, что метод может эффективно уменьшить визуальные несоответствия и артефакты, а также улучшить пользовательский опыт^{AR 13}. Клемент предложил трехуровневый метод описания объектов на основе фильтрации AR-отслеживания, улучшающий направление. Метод использовал HM для описания движения цели между разными кадрами с целью повышения устойчивости согласования признаков изображения. Результаты показали, что метод достиг баллов повторяемости 100%, 100% и 99% для изменения освещения, изменения размытия и изменения точки зрения соответственно¹⁴. Лю и др. предложили метод локального сопоставления движения для дистанционного зондирования изображений на основе HM, с целью устранения неправильного совпадения особенностей изображения. Рассматриваемый метод отражал согласованность локального движения изображения по HM и ввёл метод ресемплирования. Результаты показали, что предлагаемый метод демонстрирует более высокую эффективность^{сопоставления 15}.

Как уже было рассмотрено выше, техническое стремление к надёжному подбору и регистрации функций в основном обусловлено спросом на их применение для создания привлекательного пользовательского опыта. Чтобы поместить эту техническую работу в более широкий контекст исследований AR туризма, важно обратиться к недавним исследованиям, которые эмпирически изучают психологические и поведенческие эффекты AR на туристов. Например, Чжу и др. исследовали механизм, с помощью которого аутентичность и нарративная транспортировка в AR туризме влияют на сарафанное радио через прикрепление к AR, используя структурное уравнение. Результаты показали, что AR Attachment опосредует взаимосвязь между аутентичностью, повествовательным транспортом и сарафанным радио, предоставляя свежий подход к маркетингу туризма^{наследия 15}. Одновременно Нган и Лэй проанализировали влияние AR на впечатления от спортивных событий и намерение вернуться. Их исследование показало, что пользователи AR демонстрируют значительно более высокую когнитивную вовлечённость, а опытные аспекты существенно влияют на намерение вернуться, подтверждая эффективность AR в повышении привлекательности и погружения в события¹⁶. Кроме того, Чжу и др. исследовали механизм воздействия присутствия туристов в опыте AR на сарафанное радио (WOM), используя данные опросов с выставки AR в Музее дворца. Результаты показали, что присутствие может положительно влиять на WOM, а аутентичность сыграла значительную посредническую роль^{в этом 17}.

В заключение, многочисленные учёные провели значительное количество исследований по методам AR на основе алгоритма ORB с HM, что дало превосходные результаты. Однако алгоритм ORB по-прежнему страдает от низкой устойчивости и неэффективности FPE при изменении масштаба, изменении освещения и^{окклюзии 18}. Кроме того, традиционный HM часто представляет собой узкое место, характеризующееся низкой точностью согласования и эффективностью регистрации. Это приводит к несогласованности и нестабильности виртуальных объектов в динамичных туристических средах. Несоответствие между эффективностью текущих методов и требованиями к стабильному, иммерсивному опыту AR в туризме остаётся критичной и нерешённой проблемой. Чтобы решить эти постоянные проблемы и обеспечить более стабильный и погружающий опыт AR в туризме, данное исследование направлено на повышение эффективности FPE и 3D-регистрации. В этой работе есть три теоретических вклада. Во-первых, он представляет новую структуру для подбора признаков, которая сочетает масштабно-инвариантное свойство детектора SURF с повышенной вычислительной эффективностью дескриптора ORB. Эта интеграция усиливается за счёт определения ориентации признаков с помощью вейвлет-отклика и уточнения набора точек с использованием критериев углов Харриса. Это обеспечивает более надёжную теоретическую модель соответствия признаков при преобразованиях, делая её не просто последовательной. Во-вторых, он вводит теоретическое улучшение в процесс оценки гомографии за счёт использования метода виртуального реального объекта обратного вычисления. Этот подход направлен на преодоление ограничений традиционных матриц гомографии, предлагая более стабильную и точную модель проекции для 3D-регистрации. Наконец, систематически объединяя эти улучшенные компоненты, исследование предлагает консолидированный теоретический подход к достижению превосходного виртуального и реального слияния, специально адаптированный к сложностям сценариев туризма на открытом воздухе.

Эта улучшенная техника крайне актуальна для ключевых заинтересованных сторон туризма. Она позволяет маркетологам и туроператорам создавать стабильные и погружающие AR-приложения, которые служат уникальными ценностными предложениями. Для управляющих объектами культурного наследия это надёжный инструмент для создания образовательных наложений без повреждения физических артефактов. В конечном итоге для туристов этот метод напрямую улучшает опыт, обеспечивая плавное и стабильное слияние виртуальной информации с реальной средой. Это устраняет раздражение от неправильного или дрожащего виртуального контента. В результате погружение становится значительно глубже, контекстуальное понимание обогащается, а общее удовлетворение туристической услугой растёт. Инновационность этого исследования следующая: (1) Изображение сглаживается с помощью гауссовой фильтрации, а вейвлет-отклик используется для определения направления FP. Кроме того, для повышения точности и стабильности обнаружения FP лучшие FP фильтруются с помощью техники обнаружения угловых точек Харриса. (2) Алгоритм RANSAC внедряется для устранения ошибочных FP с целью дальнейшего повышения устойчивости сопоставления признаков. (3) HM усиливается методом вычисления обратного вычисления виртуальных и реальных объектов, который направлен на устранение ограничений традиционного HM, таких как низкая точность сопоставления FP и эффективность регистрации.

Протокол

В этом разделе впервые предлагается метод сопоставления FP для туристических изображений, сочетающий SURF и усовершенствованный алгоритм ORB для повышения устойчивости сопоставления FP. Затем в исследовании предлагается метод 3D-регистрации AR туризма, основанный на улучшенном HM, чтобы усилить эффект слияния виртуальной информации с реальным миром. Эксперименты проводились с использованием общедоступных наборов изображений. В частности, был использован набор данных Oxford Visual Geometry Group (VGG), который включает последовательности изображений с вариациями масштаба, размытия, освещения и точки зрения, и широко применяется для оценки алгоритмов сопоставления и регистрации признаков в компьютерном видении. Для использования этого общедоступного набора данных не требовалось одобрение этического комитета.

Сочетание SURF и улучшенного алгоритма ORB для сопоставления FP в туристических изображениях

С бурным развитием туристической отрасли спрос на AR-технологии в автоматизированных туристических сервисах растёт. Алгоритм ORB — это эффективный алгоритм обнаружения и описания FP. Технология AR широко используется¹⁹. Однако в процессе сопоставления туристических изображений FP существующий алгоритм ORB страдает от дефектов, таких как низкая устойчивость к изменениям масштаба, низкая точность сопоставления признаков и трудоёмкий²⁰. Для повышения точности и устойчивости сопоставления в этом исследовании предлагается надёжный метод сопоставления признаков, интегрирующий SURF с усовершенствованным алгоритмом ORB. Для достижения масштабной инвариантности входное изображение проходит гауссовскую фильтрацию и построение пирамиды. Алгоритм SURF обнаруживает масштабно-инвариантные FP, ориентации которых определяются с помощью вейвлет-откликов. Качество функций улучшается за счёт уточнения начальных точек с использованием критерия углов Харриса и сохранения самых отличительных. Метод оптического потока Лукаса-Канаде отслеживает особенности между кадрами, а алгоритм RANSAC устраняет несовпадающие точки. Методологический пробел, который здесь рассматривается, заключается не только в последовательном применении SURF и ORB, но и в новой стратегии гибридизации, направленной на преодоление специфических ограничений стандартных гибридов в сложных туристических условиях. В отличие от традиционных подходов SURF-ORB, которые используют SURF для обнаружения и затем применяют дескриптор ORB напрямую, настоящий метод вводит два критически важных улучшения. Во-первых, ориентация каждого FP, локализованного SURF, пересчитывается с помощью его вейвлетного отклика. Это обеспечивает более надёжную направленную оценку, чем только SURF, используя стандартный метод на основе вейвлетов Хаара. Во-вторых, и что важнее, начальные точки SURF не используются напрямую. Вместо этого они тщательно дорабатываются по критерию углов Харриса для фильтрации неотличительных точек с низким откликом, расположенных в плоских областях или вдоль краёв.

Предварительная обработка изображений

На этапе предварительной обработки туристических изображений исследование извлекает признаки из изображений в оттенках серого. Для дальнейшей характеристики локальных особенностей изображения в исследовании используется градиентный компонент для идентификации и классификации изображения²¹. Уравнение (1) продемонстрировало его выражение.

(1)

В уравнении (1) I(x,y) обозначает значение пикселя изображения в координате (x,y).  обозначает градиентный вектор изображения в точке (x,y). и отображать частичные производные изображения в направлениях x и y соответственно. T обозначает транспонирование вектора градиента.

Обнаружение точек признаков

После распознавания изображения по градиентным компонентам исследование использует функции теста ускоренных сегментов (FAST) в алгоритме ORB для обнаружения FP изображения. Кроме того, FP резко сопоставлены с помощью алгоритма описания бинарных устойчивых независимых элементарных признаков^{(BRIEF) 22}. Схема обнаружения признаков и сопоставления этого алгоритма показана на рисунке 1.

Рисунок 1: Схематическая диаграмма сопоставления признаков между алгоритмом FAST и алгоритмом описания BRIEF. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.

Рисунок 1 иллюстрирует процесс обнаружения признаков алгоритмов FAST и BRIEF. Рисунок 1A — схематическая диаграмма обнаружения признаков с использованием алгоритма FAST. Для сравнения яркости вокруг центрального пикселя используется круглый шаблон размером 16 пикселей для быстрого обнаружения углов на изображении. Рисунок 1B — схематическая диаграмма сопоставления признаков в алгоритме BRIEF. Выбирая несколько пар пикселей вокруг точек признаков для сравнения оттенков серого, генерируются двоичные дескрипторы, а для достижения соответствия точек признаков между двумя изображениями используется методом грубой силы. Улучшение включает первоначальное использование метода гауссовой фильтрации, который помогает сгладить изображение и снизить уровень высокочастотного шума. Впоследствии используется метод понижения дискретизации для снижения пространственного разрешения изображения, тем самым снижая вычислительную сложность и сохраняя основные характеристики изображения. В исследовании используется метод построения пирамиды изображений, применяя вышеупомянутые два метода для обеспечения проявления масштабно-инвариантных свойств FP^{изображений 23}. Выражение для сглаживания изображения низкочастотным гауссовым фильтром приведено в уравнении (2).

(2)

В уравнении (2) g_e(x,y) обозначает гауссовскую фильтрационную функцию. e — это стандартное отклонение (SD) гауссовой функции. exp обозначает экспоненциальную функцию. Пирамида изображения, построенная с помощью гауссовой фильтрации, схематически показана на рисунке 2.

Рисунок 2: Схематическая схема пирамиды изображения, построенной с помощью гауссовой фильтрации. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 2 показывает структуру пирамиды изображения, где несколько изображений с более низким разрешением постепенно генерируются с помощью гауссовой фильтрации и понижения дискретизации. Среди них гауссов фильтр уменьшает высокочастотный шум на изображении, размывая его с помощью операции свёртки. В качестве визуальной контрольной точки на этом этапе предварительной обработки может отображаться сгенерированная пирамида изображений. Следует отметить, что каждый уровень пирамиды показывает постепенно более низкое разрешение исходного изображения. Заметное увеличение размытости и уменьшение мелких деталей благодаря приложенной гауссовской фильтрации и понижению дискретизации. Для повышения эффективности идентификации FP на изображении используется алгоритм SURF для локализации этих FP на изображении. Этот метод включает количественную оценку окружающей области FP и использование волновой реакции для определения направления FP. Из-за наличия дублированных и недействительных FP, извлечённых с помощью SURF, их чрезмерное количество снижает скорость распознавания объектов целевого изображения (TI). Поэтому в исследовании используется алгоритм обнаружения угловых точек Харриса для определения оптимального изображения^FP24. Уравнение (3) отображает угловое значение отклика алгоритма.

(3)

В уравнении (3) H обозначает матрицу Харриса. u(x,y) обозначает функцию веса окна. I_x и_i y обозначают размер серого значения (GV) пиксельной точки. A обозначает значение отклика угла Харриса. det H и traceH обозначают определитель и след матрицы Харриса соответственно. k обозначает значение коэффициента. Схема направления FP, выбранных алгоритмом SURF, и скользящее окно алгоритма обнаружения угла Харриса показаны на рисунке 3.

Рисунок 3: Схематическая схема алгоритма SURF, выбора FP и скользящего окна для алгоритма обнаружения углов Харриса. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 3 показывает состав алгоритма SURF для обнаружения FP на изображении. На рисунке 3A показана схематическая диаграмма выбора направления точки признаков в алгоритме SURF. Вычисляя основное направление вейвлет-отклика Хаара в окрестности точки признака, определяется инвариантное направление вращения точки объекта, обычно интуитивно представленное стрелками или сегментами направленной линии. Рисунок 3B — это схема скользящего окна алгоритма обнаружения углов Харриса, показывающая процесс перемещения окна внутри области изображения. Угловые точки обнаруживаются путём вычисления изменений оттенков серого пикселей внутри окна, а области с высокими значениями отклика определяются как угловые точки.

Сопоставление признаков

После обнаружения FP на изображениях в исследовании используется метод LK OF для отслеживания обнаруженных FP изображений. Этот метод рассчитывает движение между соседними кадрами изображения, отслеживая движение FP в изображении для достижения соответствия FP в видеопоследовательности. Метод LK OF должен удовлетворять предположениям постоянного GV пикселя, малого движения и согласованности движения регионов при вычислении движения между соседними кадрами^{изображения 25}. Метод Лукаса-Канаде стратегически принят с учётом его вычислительной эффективности, что имеет решающее значение для приложений AR-туризма в реальном времени. Её предположения смягчаются в конкретном контексте. Высокая частота кадров в видеозахвате обычно обеспечивает небольшие межкадровые смещения, что удовлетворяет требования малого движения. Хотя абсолютная постоянная яркость идеальна, короткое окно отслеживания между последовательными кадрами минимизирует серьёзные нарушения. Самое главное — последующий алгоритм RANSAC надёжно справляется с потенциальными ошибками отслеживания, возникающими из-за нарушений предположения, фильтруя выбросы. Таким образом, LK служит эффективным начальным трекером, выход которого тщательно проверяется, что делает его подходящим для системы реального времени, где необходим баланс скорости и надёжности. Согласно предположению постоянного пикселя GV, выражение показано в уравнении (4).

(4)

В уравнении (4) I(x,y,t) обозначает пиксель GV изображения в позиции (x,y) в момент момента t . I_x и_I x обозначают смещение пикселя в направлениях x и y соответственно. i и j обозначают компоненты OF пиксельной точки. I_x,_{I y} и I_t обозначают разницу изображения в направлениях x, y и t соответственно. Предположение региональной согласованности движения вычислено в уравнении (5).

(5)

В уравнении (5) I_tb обозначает частную производную точки b-го пикселя в области в направлении времени t . v x v обозначает размер выбранной области домена. b обозначает все пиксельные точки внутри области. В заключение, в данном исследовании используется дескриптор BRIEF для сопоставления отслеживаемых FP и алгоритм RANSAC для отклонения FP, ошибочно отслеживаемых ORB. Такое сочетание методов служит для повышения устойчивости согласования^{признаков 26}. На рисунке 4 показана схематическая схема метода LK OF.

Рисунок 4: Схематическая схема метода LK OF. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 4 показывает процесс реализации потокового оптического волоса LK, который использует итеративный метод оптимизации для перемещения FP между соседними кадрами. Для качественной валидации алгоритма сопоставления признаков сопоставленные FP между шаблоном и тестовыми изображениями могут быть визуально наложены. Правильно совпадающие пары точек обычно соединяются зелёными линиями или помечаются зелёными индикаторами. В то же время алгоритм RANSAC может отображать выбросы с красными маркерами. Это обеспечивает мгновенную визуальную оценку устойчивости и точности сопоставления перед количественным анализом. В исследовании используется алгоритм RANSAC для вычисления HM соответствующих FP на изображении, тем самым исключая те, которые не совпадают корректно. Точно сопоставленные FP сохраняются. В этом случае выражение HM и масштабного параметра алгоритма RANSAC показаны в уравнении (6).

(6)

В уравнении (6) M обозначает HM. m — элемент матрицы M. S — параметр масштаба. (x,y) и (x',y') обозначают соответственно позиции FP шаблонного изображения и тестового изображения. После получения координат FP тестового изображения проводится сравнительный анализ расстояний между ними и сопоставленными FP. Уравнение (7) показывает, что оно также обновляет количество итераций и определяет количество внутренних точек.

E = log(1 - c)/log(1 - ηⁿ) (7)

В уравнении (7) E — это итерации. c обозначает уровень доверия. η обозначает долю внутренних точек. n — это количество образцов. Тогда выражение для SD итерации E показано в уравнении (8).

(8)

В уравнении (8) S_d(E) обозначает SD. Улучшение описанного выше алгоритма ORB обеспечивает высококачественную основу сопоставления признаков для последующей технологии 3D-регистрации. Это улучшение демонстрирует большую точность и надёжность в сложных сценах. Некоторые из этих сцен включают изменение масштаба, изменение света и окклюзию.

Псевдокод улучшенного ORB с SURF и улучшенной гомографией для AR туризма выглядит следующим образом.

Алгоритм 1: Улучшенный ORB с помощью SURF и улучшенной гомографии для AR туризма
Вход: последовательность туристических изображений I, 3D-виртуальная модель M
Вывод: Отрисованная AR-сцена с зарегистрированным виртуальным объектом
Шаг 1: Предварительная обработка изображений
1: I_gray ← ConvertToGrayscale(I)
2: I_smooth ← GaussianBlur(I_gray, ядро=5×5, σ=1.2)
3: Пирамида ← BuildImagePyramid(I_smooth, levels=4, масштаб=1.2)

Шаг 2: Обнаружение точек признаков
4: keypoints_SURF ← SURF_Detect(Пирамида, гессенский порог = 1000)
5: для каждого KP в keypoints_SURF делают
6: ориентация ← ComputeWaveletResponse(kp)
7: конец для
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0.04)
9: описания ← ImprovedORB_Describe(keypoints_Harris)

Шаг 3: Подбор признаков
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11: совпадения ← BruteForceMatcher (описания)
12: инлиеры, H ← RANSAC(совпадения, максимальные значения=2000, reprojThreshold=3.0)

Шаг 4: 3D-регистрация с улучшенной гомографией
13: H_improved ← ComputeImprovedHomography(inliers, camera_intrinsics)
14: R, t ← DecomposeHomography(H_improved)
15: позировать ← ComposeCameraPose(R, t)// Шаг 5: AR-рендеринг
16: virtual_object ← Load3DModel(M)
17: scene_rendered ← OpenGL_Render(virtual_object, поза, фон=I)
18: Вернуться scene_rendered

Техника 3D-регистрации в AR Tourism на основе улучшенной HM

После точного сопоставления характеристик туристических изображений с помощью метода сопоставления FP его необходимо дополнительно применять к технологии AR. Технология 3D-регистрации является основополагающей для реализации AR-систем. Он вычисляет информацию о позе камеры в реальном мире посредством проекции целевого туристического изображения. Это позволяет точно сопоставлять и слиять виртуальные объекты с реальными^{сценами 27}. HM может отображать виртуальный объект в реальном мире с точки зрения пользователя, что усиливает эффект слияния виртуальной информации с реальным миром. Кроме того, это может решить проблему регистрации виртуальной реальности, когда логотип частично скрыт. Однако эффективность регистрации HM в реальной технологии 3D-регистрации низка, что приводит к несогласованию виртуальных объектов, что приводит к нестабильности виртуальных^{объектов 28}. Поэтому в данном исследовании предлагается метод 3D-регистрации, основанный на улучшенном HM. Используя точные пары FP из Фазы 1, улучшенный HM вычисляется с помощью метода обратного вычисления виртуального объекта с учётом встроенных элементов камеры. Этот метод эффективно решает низкую эффективность регистрации и неправильное выравнивание виртуальных объектов традиционных методов в динамических сценах. Матрица разлагается на матрицу вращения и вектор трансляции для определения позы камеры. Движок рендеринга OpenGL точно проецирует 3D-виртуальные модели в прямой видеопоток на основе параметров позы. Текстурные карты и модели освещения обеспечивают физически согласованное слияние.

3D-регистрация и визуализация

Для реализации техники 3D-регистрации сначала необходимо построить модель изображения с отверстием для отображения 3D-реального мира на 2D-изображение. Выражение этой модели представлено в уравнении (9).

(9)

В уравнении (9) X, Y и O обозначают три оси камеры CS. (x,y,f) обозначает координатный вектор. f обозначает фокусное расстояние (FL). λ обозначает масштабный фактор. Как показано на рисунке 5, текущее исследование изучает свойства камеры с отверстием с помощью взаимосвязи преобразования между CS изображения и CS камеры.

Рисунок 5: Модель изображения с отверстиями и взаимосвязь между пространственными точками и планарными точками проекции. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой картины.

Рисунок 5 показывает основную структуру изображения с помощью пинхолов. Рисунок 5A — это схематическая схема модели изображения с отверстием, которая описывает базовую геометрическую структуру проекции трёхмерной сцены на двумерную плоскость через небольшое отверстие в центре камеры, отражая принципы распространения лучей и перспективной проекции. Рисунок 5B дополнительно иллюстрирует процесс проекции пространственных точек на соответствующие точки на плоскости изображения через центр камеры, проясняя пропорциональную зависимость между фокусным расстоянием, координатами точки изображения и координатами объектных точек. После построения модели изображения с отверстием исследование дополнительно использует HM для построения отображения отношений между шаблоном и реальными изображениями сцены при захвате камеры. Предполагается, что точки совпадения признаков двух изображений I₁ и_{I 2} находятся в одной плоскости. Плоскость должна удовлетворять выражению, приведённому в уравнении (10).

N^z P + d = 0 (10)

В уравнении (10) P обозначает плоскость. N обозначает нормальный вектор плоскости P. d — расстояние от плоскости P до начала координат. Z обозначает вектор трансляции. Для вращений и трансляций используется метод разложения сингулярных значений для их извлечения. Это выражение показано в уравнении (11)²⁹.

(11)

В уравнении (11) p₁ и_{p 2} обозначают координаты пикселей признаков, совпадающих пары точек теней на изображениях I₁ и_{I 2} соответственно. r₁ и r₂ обозначают коэффициенты масштабирования пиксельных точек на изображениях I₁ и_{I 2} соответственно. K обозначает внутреннюю опорную матрицу камеры. R обозначает матрицу вращения. HM обладает высокой вычислительной сложностью и склонен к проблеме ошибки сопоставления FP. Поэтому исследование улучшает его с помощью метода обратного вычисления виртуальных и реальных^{объектов 30}. Улучшенное выражение HM отображается в уравнении (12).

(12)

В уравнении (12) M' обозначает улучшенное HM. f_x и_{f y} обозначают FL камеры по осям X и Y соответственно. U и V обозначают основные координаты точки. γ обозначает параметр смещения. Физическое преобразование метода показано в уравнении (13).

(13)

В уравнении (13) T' обозначает матрицу физического преобразования. t_x,_{t y} и t_o обозначают компоненты вращения трёх осей координат. [R|Z] обозначает трансформационную матрицу мира и CS камеры. В реализации технологии AR выражение отображения между шаблоном и изображением реальной сцены передвижения показано в уравнении (14).

(14)

В уравнении (14) I_s и_{i d} обозначают точки на опоре и TI соответственно. В исследовании дополнительно рассчитывается точность выравнивания улучшенного HM для изучения эффективности выравнивания метода, выраженной в уравнении (15).

(15)

В уравнении (15) P_re(M') обозначает точность выравнивания улучшенного ГМ. (x_a,_{y a,o a}) — фактические FP. (x_{b,y b,o b}) — выровненные FP. n — количество групп совпадающих точек. На рисунке 6 показано отображение между схемой и фотографиями обновлённого HM.

Рисунок 6: Сопоставление изображений и схематическая диаграмма улучшенного ХМ. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.

Как показано на рисунке 6, существует явное соответствие между шаблонным изображением и TI. После применения улучшенного HM ключевой визуальной контрольной точкой является деформация и выравнивание шаблонного изображения на целевом изображении сцены. Рёбра проектируемого шаблона должны точно совпадать с соответствующими признаками в TI. Во время финального AR-рендеринга визуально осмотрите виртуальную 3D-модель, чтобы убедиться, что она устойчиво и точно закреплена в правильном положении и ориентации в реальной сцене. При изменении перспективы камеры не должно быть заметного дрожения или смещения.

Исследование демонстрирует отображение шаблонного изображения с помощью улучшенной матрици влияния but-for. Для достижения взаимодействия в реальном времени между виртуальными объектами и реальными туристическими пейзажами исследование использует технологию OpenGL для рендеринга 3D-моделей при построении системы AR-туризма. Техника сначала задаёт контекст OpenGL, загружает 3D-модель виртуальных туристических элементов и вычисляет с помощью текстурного отображения и освещения. Затем видеопоток в реальном времени, захваченный камерой, используется в качестве фона, чтобы служить ориентиром для рендеринга виртуальных объектов. Виртуальные объекты точно наложаются на реальный мир с помощью HM, который отображает виртуальные объекты в правильном положении и ориентации, чтобы смешать их с реальной сценой. В системе AR туризма, где видео записывается через библиотеку OpenCV для видео в реальном времени тура³¹. Обработка изображений использует оптимизированный алгоритм ORB для идентификации и сопоставления признаков в видеокадрах. В модуле 3D-регистрации исследование использует улучшенную ХМ для объединения виртуального и реального. Итоговый вывод и взаимодействие отображаются с помощью технологии OpenGL. Процесс внедрения технологии AR туров иллюстрирован на рисунке 7, где демонстрируется общий процесс внедрения технологии AR туров. На рисунке 7 представлена блок-схема внедрения системы технологии AR туристической системы. После запуска системы видеопоток в реальном времени сначала захватывается камерой, из которой извлекается целевое изображение. Затем процесс переходит к этапу обработки признаков, последовательно выполняя извлечение и описание точек признаков для построения объектов изображения. Если сопоставление точек признаков успешно проходит, система переходит к этапу регистрации 3D-трекинга, где рассчитываются параметры положения камеры. Это объединяется с 3D-моделями из виртуальной библиотеки материалов для достижения виртуального и реального слияния, а окончательный эффект слияния AR отображается пользователю в реальном времени. Если сопоставление не удаётся, используется алгоритм RANSAC для устранения несовпадающих точек, и этап обработки признаков возвращается для обеспечения стабильности и надёжности системы. Весь процесс представляет собой полный замкнутый цикл — от получения изображений и обработки признаков до 3D-регистрации, виртуального и реального слияния и интерактивного отображения, иллюстрируя технический путь для систем AR-туризма для достижения стабильного виртуального и реального слияния в динамических сценах в реальном времени.

Рисунок 7: Схематическая схема процесса внедрения технологии AR туризма. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.

Экспериментальная установка и материалы

Для обеспечения воспроизводимости экспериментов спецификации аппаратного обеспечения, программная среда и наборы данных, использованные в этом исследовании, явно перечислены в Таблице 1.

Категория	Предмет	Технические характеристики / Версия
Аппаратное обеспечение	Камера	Веб-камера Logitech C920 HD Pro
	Компьютерный процессор	Процессор AMD Ryzen 7 3700X с 8 ядрами
	Компьютерная память	32 ГБ ОЗУ
	Операционная система	Windows 10 (64-битная)
Программное обеспечение и библиотеки	Язык программирования	C++
	Среда развития	Microsoft Visual Studio 2019
	Библиотека компьютерного зрения	OpenCV 4.5.1
	Графический API	OpenGL 4.6
	Симуляционная платформа	Инструменты симуляции Visual Studio
Набор данных	Первичный набор данных	Оксфордский набор данных

Таблица 1: Экспериментальная настройка: аппаратное, программное обеспечение и спецификации наборов данных.

В OpenCV гауссианское размытие применяется с помощью функции GaussianBlur(). Пирамида изображения построена с помощью buildPyramid(). Детектор SURF инициализируется с помощью SURF.create(), устанавливая порог Гессиана на уровне 400. Отклик угла Харриса вычисляется с помощью cornerHarris(), и затем применяется немаксимальное подавление для фильтрации ключевых точек. Оптический поток LK вычисляется с помощью функции calcOpticalFlowPyrLK(), реализующей пирамидальный метод Лукаса-Канаде. Функция findHomography() используется для оценки гомографии, при этом флаг метода установлен на RANSAC для использования заданного порога репроекции. Полученный HM затем используется с перспективой Transform() для проверки инлиерных точек. В конвейере рендеринга OpenGL HM преобразуется в позу камеры и устанавливается с помощью glLoadMatrix(). 3D-виртуальные модели загружаются в виде .obj файлов и рендерятся с помощью стандартных команд трансформации OpenGL (glTranslate, glRotate). Видеопоток в реальном времени с OpenCV передаётся в OpenGL в виде текстуры с использованием glTexImage2D() для достижения финального AR-оверлея. Ключевые параметры алгоритмов, используемых в этом исследовании, явно определены в таблице 2.

Алгоритм / Компонент	Параметр	Ценность
Гауссов фильтр	Размер ядра	5 × 5 пикселей
	Стандартное отклонение	1.2
Оптический поток LK	Размер окна	15 × 15 пикселей
RANSAC	Максимальное количество итераций	2000
	Порог репроекции	3,0 пикселя
Детектор особенностей ORB	Максимальное количество функций	1000
	Коэффициент масштаба (пирамида)	1.2
	Количество уровней пирамиды	4
Детектор особенностей SURF	Гессенский порог	1000
Угловой детектор Харриса	Размер диафрагмы	3
	k-значение	0.04

Таблица 2: Ключевые параметры алгоритма для воспроизводимости.

Результаты

Производительность комбинированного алгоритма SURF и улучшенного ORB для сопоставления туристических изображений FP

Для установления надёжных базовых показателей производительности и сравнения управления предложенный алгоритм оценивается по трём широко используемым алгоритмам сопоставления признаков: масштабно-инвариантному преобразованию признаков (SIFT), ускоренному устойчивому признаку (SURF) и оригинальному, неусовершенствованному алгоритм...

Обсуждение

В исследовании был предложен метод сопоставления FP для туристических изображений, сочетающий SURF и усовершенствованный алгоритм ORB, с целью повышения точности сопоставления признаков. Для дальнейшего подтверждения точного сопоставления и слияния предлагаемых объектов с реальной сценой исследование предложило технику 3D-регистрации AR туризма на основе улучшенного HM. Что касается 3D-регистрации, результаты показали, что ARA составляет 98,74%, а среднее число SR для 3D-регистрации при ...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Процессор AMD Ryzen 7 3700X с 8 ядрами	AMD	Ryzen 7 3700X
Камера	Logitech	Веб-камера C920 HD Pro
Компьютерная память	/	32 ГБ ОЗУ
Веб-камера Logitech C920 HD Pro	Logitech	C920
Microsoft Visual Studio 2019	Microsoft	2019
OpenCV	Фонд OpenCV	4.5.1
OpenGL	Группа Khronos	4.6
Оксфордский набор данных	Оксфордский университет	/
Язык программирования	/	C++
Инструменты симуляции Visual Studio	Microsoft	Включено в VS 2019
Windows 10 (64-битная)	Microsoft	10 (64-битный)