改良されたORBアルゴリズムとホモグラフィー行列に基づく拡張現実観光技術

サマリー

本研究は、拡張現実観光のための特徴点マッチングおよび3D登録法の改良を提示し、アライメント、安定性、マッチング精度を向上させます。強化されたORB、LK光フロー、改良されたホモグラフィー行列を組み合わせることで、より高い正確照合率と登録精度を実現し、観光応用における仮想現実シーン融合を向上させます。

要約

本研究は、拡張現実観光アプリケーションにおける特徴点照合および3D登録方法の改良を提案します。この手法は、アライメントの不具合、複雑な環境での安定性の低さ、特徴照合精度の低さなどの問題に対処します。観光画像向けの改良された特徴点マッチング手法が導入されました。これは、Speeded Up Robust Features(SURF)アルゴリズムと、強化されたOriented FASTおよびRotated BRIEFアルゴリズムを組み合わせたものです。この方法では、特徴点は最初にSURFアルゴリズムを用いて検出され、その向きはウェーブレット応答解析によって決定されます。特徴点トラッキングにはルーカス・カナデ光学流法が用いられています。その後、ランダムサンプルコンセンサスアルゴリズムを用いて誤った点を除去します。さらに、改良されたホモグラフィー行列に基づく拡張現実観光3D登録技術が提案されており、従来のホモグラフィー行列の低いマッチング精度や登録効率の制約を克服します。提案された手法の性能は、スケール、ぼかし、照明、回転など様々な画像変換の下で、SIFT、SURF、オリジナルORBアルゴリズムとの比較実験を通じて分析されました。評価指標として、正しいマッチング率とマッチング時間が用いられました。異なる3Dモデルを用いた3Dレジスタレーションのシミュレーションテストが実施されました。登録の正確性と登録成功数はローテーション変更のもとで評価されました。結果は、提案アルゴリズムの平均正確マッチング率がスケール変動下でそれぞれスケール不変特徴変換アルゴリズム、高速化されたロバスト特徴アルゴリズム、未改善アルゴリズムに比べて44.08%、36.51%、16.09%増加していることを示しました。ファジィ変換時の正確マッチング率はそれぞれ33.46%、19.65%、9.35%増加しました。提案された3D定位技術の回転変換下での平均登録精度は98.74%でした。結果は、本研究の提案アプローチがシーンの仮想世界と現実世界の融合効果を効果的に改善できることを示し、旅行業界で拡張現実技術の活用に新鮮なアプローチをもたらすことを示しています。

概要

テクノロジーは、急速に変化するデジタル経済において文化と観光の相乗効果を高めるための重要なツールとして浮上^{しています。}近年、拡張現実(AR)技術は観光、教育、医療、産業など多様な分野で採用が急増しています。ARは、より広範な技術領域の中で新興の分野^です。観光分野では、この技術が仮想情報を実際のシーンに重ね合わせ、観光客に没入感のあるインタラクティブな体験を提供します。この技術は観光客の旅行体験を向上させるだけでなく、観光消費のシーンを革新し、文化・^{観光産業の}デジタルトランスフォーメーションを促進することができます。しかし、動的で構造化されていない観光環境でのARの広範な採用は、依然として重大な技術的課題によって妨げられています。既存のAR技術は、実用的な応用において堅牢性に欠けることが多いです。特徴付け精度の低さ、仮想オブジェクトと実際のオブジェクト間の不十分な整列、スケールの変化、照明の変化、遮蔽などの複雑な環境条件下での安定性の制限が特徴^です。これらの制限は、仮想コンテンツが揺れたりドリフトしたり、適切にアンカーできなかったりするなど、ユーザー体験をフラストレーションのたまりにし、没入感やリアリズムを損なうことがあります。したがって、現実世界で確実に機能する強固で効率的な観光AR技術の探求が現在の研究課題となっています。高速特徴点抽出(FPE)および記述アルゴリズムとして、指向FASTおよび回転BRIEF(ORB)は、その高い効率と回転不^変性5のため、画像FPEで広く使用されています。

Zhangら6は、ORB-SLAM2密集マップの効率向上と屋内環境の3Dマップ取得コスト削減を目指した強化されたFPE^{手法を提案}しました。この手法は、漸近サンプル一貫性を用いて機能点(FP)を効率的に抽出し、メモリ使用を削減しました。この方法は、優れたFPE精度と高い追尾効率を持つ航法プロセスに適用できることが判明しました^。Wuは、ORBとランダムサンプルコンセンサス(RANSAC)を組み合わせた高速特徴マッチングアルゴリズムを提案し、大規模な回転アラインメント誤差、低いアラインメント率、ランダム性、不安定性の問題に対処しました。このアプローチの有効性は、提案された手法が高いFPマッチング精度と堅牢な安定性を示すことが示された結果によって裏付けられました^。Chenらは、改良されたORBとLucas-Kanade(LK)オプティカルフロー(OF)アルゴリズムを組み合わせた特徴照合法を提案し、画像特徴照合の精度低下の問題に対処しました。この手法はFPEにミケルソンコントラスト法を用い、クアッドツリー構造を用いて抽出されたFPを均質化して特徴照合の計算量を減らしました。結果は、この手法のFP一様性と精度がそれぞれ0.22%と50.47%向上していることを示し^ました。Zuoらは、完全に焦点を合わせた光場画像のFPマッチングのための改良された球面アルゴリズムを提案し、画像FPEおよびマッチング手法の精度と堅牢性の向上を目指しました。この手法は、従来のORBアルゴリズムを改良することで、光場の全^{焦点画像に対する}FPEの数と精度を拡張することで強化されました。Anggaraらは、ARでカラーマップとORB検出器を融合させる特徴抽出法を提案しました。この手法はまず特徴ベースの自然特徴追跡法を用いて画像のスペックルやエッジの特徴を抽出し、その後ORB検出器を用いてカラー画像をグレースケール画像に変換して特徴の検出効率を向上させました。結果は、提案されたアプローチが特徴抽出を効果的に改善する可能性があることを示^{しました。}

仮想データと実際のシーンをAR技術で正確に組み合わせる能力から、ホモグラフィー行列(HM)は近年多くの注目を集め^{ています。}キムらは、HMに基づくリアルタイムオンラインARシステムを提案しました。この方法は、3Dカメラを用いて同時に位置定位と地図作成を行い、シーン情報を追跡し、画像元のフレームを埋めるためにHMを用いて画質を向上させようとしました。結果は、この手法が視覚的な不整合やアーティファクトを効果的に減らし、ARのユーザー体験を向上させることができることを示しました¹³。クレメントは、3層フィルタリングを用いたARトラッキング方向強化特徴記述法を提案しました。この手法では、異なるフレーム間のターゲットの動きを記述するためにHMを用いて、画像特徴照合の堅牢性を向上させました。結果は、照明の変化、ぼかしの変化、視点の変化でそれぞれ100%、100%、99%の再現性スコアを獲得したことを示しました¹⁴。Liuらは、HMに基づくリモートセンシング画像の局所動作マッチング法を提案し、画像特徴の誤ったマッチングを排除することを目指しました。検討中の手法は、HMによる画像局所運動の一貫性を表現し、リサンプリング法を導入しました。結果は提案された方法が優れた^{マッチング性能}を示したことを示しました。

前述の通り、堅牢な機能マッチングと登録の技術的追求は、そのアプリケーションが魅力的なユーザー体験を作り出す需要によって根本的に推進されています。この技術的研究をAR観光研究のより広い文脈に位置づけるためには、ARが観光客に与える心理的・行動的影響を実証的に検証した最近の研究に取り組むことが不可欠です。例えば、Zhuらは構造方程式モデリングを用いて、AR観光における真正性や物語の輸送がARの愛着を通じて口コミに影響を与えるメカニズムを探りました。結果は、ARアタッチメントが真正性、物語的交通手段、口コミの関係を媒介し、ヘリテージツーリズムマーケティングに新しいアプローチを提供することを示しました¹⁵。同時に、NganとLeiはARがスポーツイベント体験に与える影響を分析し、意図を再検討しました。彼らの研究では、ARユーザーが認知的関与が有意に高く、体験的側面が再訪の意欲に有意に影響を与えたことが示され、AR^{がイベントの}魅力と没入感を高める効果を裏付けました。さらに、Zhuらは、宮殿博物院でのAR展示の調査データを用いて、AR体験における観光客の存在が口コミ(WOM)に与える影響メカニズムを調査しました。結果は、存在がWOMに良い影響を与える可能性を示し、真正性が重要な媒介的役割を果たしたことを示しました¹⁷。

結論として、多くの研究者によるORBアルゴリズムを用いたAR技術に関する研究が行われており、優れた成果が得られています。しかし、ORBアルゴリズムはスケール変化、照明変化、オクルージョン¹⁸に対してFPEの堅牢性が低く非効率であることに悩まされています。さらに、従来のHMは、マッチング精度やレジストレーション効率が低いというボトルネックとなることが多いです。これにより、動的な観光環境における仮想オブジェクトの不整合や不安定性が生じます。現在の手法の性能と、観光における安定的で没入感のあるAR体験の要件との間にあるギャップは、依然として重大でありながら未解決の課題です。これらの継続的な課題に対応し、観光におけるより安定的で没入感のあるAR体験を可能にするために、本研究はFPEおよび3D登録の効果を高めることを目的としています。この研究には三つの理論的貢献があります。まず、SURF検出器のスケール不変特性とORBディスクリプタの計算効率向上を組み合わせた新しい特徴マッチングフレームワークを提示します。この統合は、ウェーブレット応答による特徴の向きを決定し、ハリスコーナー基準を用いて点集合を精緻化することで強化されます。これにより、変換下の特徴対応に対してより堅牢な理論モデルが提供され、単なる逐次的対応以上のものとなります。次に、仮想実物の逆算法を用いることでホモグラフィー推定プロセスに理論的な強化をもたらします。このアプローチは、従来のホモグラフィー行列の限界を克服し、3D登録のためのより安定で正確な射影モデルを提供することを目指しています。最後に、これらの改良された要素を体系的に組み合わせることで、アウトドアツーリズムの複雑さに特化した優れたバーチャルリアル融合を実現するための統合された理論的アプローチを提供します。

この改良された手法は、主要な観光関係者にとって非常に重要な内容です。これにより、デスティネーションマーケターやツアーオペレーターは、独自の価値提案として機能する安定的で没入感のあるARアプリケーションを開発できます。文化遺産管理者にとっては、物理的な遺物を傷つけずに教育的なオーバーレイを作成する信頼できるツールを提供します。最終的に、観光客にとってこの方法は、仮想情報と現実の環境をシームレスかつ安定した融合させることで、体験を直接向上させます。これにより、バーチャルコンテンツのズレや不安定なストレスが解消されます。その結果、没入感が大幅に深まり、文脈理解が豊かになり、観光サービスに対する全体的な満足度が高まります。この研究の革新性は以下の通りです:(1) 画像はガウスフィルタリングによって平滑化され、ウェーブレット応答を用いてFPの方向を決定する。さらに、FP検出の精度と安定性を高めるために、最良のFPはハリスコーナーポイント検出技術と統合してフィルタリングされます。(2) 誤ったFPを除去し、特徴照合の堅牢性をさらに向上させるためにRANSACアルゴリズムを導入しました。(3) HMは仮想実物逆算法によって強化されており、従来のHMの限界、例えばFPマッチング精度の低さやレジスタジアム効率の低下を解消することを目指しています。

プロトコル

本節ではまず、SURFと改良型ORBアルゴリズムを組み合わせた観光画像のFPマッチング手法を提案し、FPマッチングの堅牢性を向上させます。次に、改良されたHMに基づくARツーリズム3D登録技術を提案し、仮想情報と現実世界の融合効果を高める。実験は公開されている画像データセットを用いて行われました。具体的には、スケール、ぼかし、照明、視点に変化がある画像シーケンスを含むオックスフォード視覚幾何学グループ(VGG)データセットが利用されており、コンピュータビジョンにおける特徴照合および位置合わせアルゴリズムの評価に広く採用されています。この公開データセットの使用に倫理委員会の承認は必要ありませんでした。

観光画像におけるFPマッチングのためのSURFと改良されたORBアルゴリズムの組み合わせ

観光産業の急成長に伴い、自動化観光サービスにおけるAR技術の需要が高まっています。ORBアルゴリズムは効率的なFP検出および記述アルゴリズムです。AR技術は^{広く使われ}ています。しかし、観光画像のFPマッチングの過程で、既存のORBアルゴリズムはスケール変化に対する堅牢性が低く、特徴マッチング精度が低く、時間がかかる²⁰といった欠点を抱えています。マッチングの精度と堅牢性を高めるために、本研究はSURFと改良されたORBアルゴリズムを統合したロバスト特徴マッチング法を提案します。スケール不変性を得るために、入力画像にはガウスフィルタリングとピラミッド構成が行われます。SURFアルゴリズムは、ウェーブレット応答によって方向を決定するスケール不変FPを検出します。特徴品質は、ハリス角基準を用いて初期点を精緻化し、最も特徴的な点を保持することで向上します。Lucas-Kanadeオプティカルフロー法はフレーム間の特徴を追跡し、RANSACアルゴリズムは不一致点を除去します。ここで扱う方法論的ギャップは、単にSURFとORBの連続的応用だけでなく、複雑な観光環境における標準ハイブリッドの特定の限界を克服するための新しいハイブリッド化戦略です。従来のSURF-ORBアプローチがSURFを検出に用いてからORBディスクリプタを直接適用するのとは異なり、本手法は2つの重要な改良点を導入しています。まず、SURFで局在する各FPの向きをウェーブレット応答を用いて再計算します。これにより、標準的なハールウェーブレットベースの手法を用いたSURF単独よりも堅牢な方向推定が得られます。次に、そしてより重要なのは、最初のSURFポイントは直接使用されないことです。代わりに、ハリスコーナー基準を用いて厳密に精査され、平坦な領域や辺に位置する応答の低い非特徴点をフィルタリングします。

画像前処理

観光画像の前処理段階では、グレースケール画像から特徴を抽出します。画像の局所的特徴をさらに特徴付けるために、勾配成分を用いて画像²¹を識別・分類します。式(1)はその式を示しました。

(1)

式(1)では、座標 (x,y) における画像のピクセル値を表します。 は画像の勾配ベクトルを示します。 それぞれ x 方向と y 方向の画像の偏微分を表示します。Tは勾配ベクトルの転置を表します。

特徴点検出

勾配成分で画像を認識した後、ORBアルゴリズムの加速セグメントテスト(FAST)の特徴を用いて画像のFPを検出します。さらに、FPはバイナリロバスト独立基本特徴(BRIEF)記述アルゴリズム²²を用いて激しくマッチングされます。このアルゴリズムの特徴検出とマッチングの概説は 図1に示されています。

図1:FASTアルゴリズムの特徴検出とBRIEF記述アルゴリズムの特徴マッチングの概略図。この図の拡大版はこちらをクリックしてください。

図1はFASTおよびBRIEFアルゴリズムの特徴検出プロセスを示しています。 図1AはFASTアルゴリズムを用いた特徴検出の回路図です。中央ピクセル周辺の明るさを比較するために、16ピクセルの円形テンプレートが使用され、画像内の角の特徴を迅速に検出します。図1BはBRIEFアルゴリズムにおける特徴照合の回路図です。特徴点の周囲に複数のピクセルペアを選択してグレースケール比較を行うことで、二進記述子が生成され、2つの画像間の特徴点の対応を力当たりで実現します。この強化には、画像を滑らかにし高周波ノイズを軽減するガウスフィルタリング法の初期利用が含まれます。その後、ダウンサンプリング法を用いて画像の空間分解能を低減し、計算の複雑さを減らしつつ画像の主要な特徴を保持します。本研究は画像ピラミッド構築法を用い、前述の2つの手法を活用して画像FPがスケール不変性を示すことを保証しています²³。ローパス・ガウスフィルタによる画像の平滑化の式は式(2)に示されています。

(2)

式(2)において、g_e(x,y)はガウスフィルター関数を表します。e はガウス関数の標準偏差(SD)です。EXPは指数関数を表します。ガウスフィルタリングによって構築された像ピラミッドは 図2に概略的に示されています。

図2:ガウスフィルタリングで構築された像ピラミッドの回路図。この図の拡大版はこちらをクリックしてください。

図2 は、ガウスフィルタリングとダウンサンプリングによって複数の低解像度画像を徐々に生成する画像ピラミッド構造を示しています。その中で、ガウスフィルターは畳み込み演算によって画像をぼかすことで高周波ノイズを低減します。この前処理段階での視覚的なチェックポイントとして、生成された画像ピラミッドを表示できます。ピラミッドの各レベルは元の画像の解像度を徐々に低く表示していることに注意が必要です。ガウスフィルタリングとダウンサンプリングを適用したため、ぼやけが目立って増し、細かいディテールが減少しています。画像中のFP同定の効率を高めるために、本研究ではこれらのFPを画像内で局在化するためにSURFアルゴリズムを用いています。この手法は、FPの周囲領域を定量化し、ウェーブレット応答を活用してFPの方向を特定することを含みます。SURFによって抽出された重複または無効なFPが存在するため、その過多数はターゲット画像(TI)特徴の認識速度を低下させます。したがって、本研究はハリス角度点検出アルゴリズムを用いて最適な画像^FP24を特定します。式(3)はアルゴリズムの角度応答値を示します。

(3)

式(3)では、Hはハリス行列を表します。u(x,y) はウィンドウの重み関数を表します。I_x と I_y はピクセル点のグレー値(GV)の大きさを表します。Aはハリス角の応答値を示します。det H と traceH はそれぞれハリス行列の行列式とトレースを表します。kは係数の値を表します。SURFアルゴリズムによって選択されたFPの方向とハリス角度検出アルゴリズムのスライディングウィンドウの回路図は図3に示されています。

図3:SURFアルゴリズムの回路図、FP選択、ハリスコーナー検出アルゴリズムのスライディングウィンドウ。 この図の拡大版はこちらをクリックしてご覧ください。

図3 は画像中のFP検出のためのSURFアルゴリズムの構成を示しています。 図3A はSURFアルゴリズムにおける特徴点方向選択の回路図を示しています。特徴点近傍におけるハールウェーブレット応答の主な方向を計算することで、特徴点の回転不変方向が決定されます。通常は矢印や方向線分で直感的に表されます。 図3B はハリスコーナー検出アルゴリズムのスライドウィンドウの回路図で、画像領域内でウィンドウの移動過程を示しています。コーナーポイントはウィンドウ内のピクセルのグレースケール変化を計算することで検出され、応答値の高い領域はコーナーポイントとして識別されます。

特徴照合

画像FP検出の後、本研究ではLK OF法を用いて検出された画像FPを追跡します。この方法は、画像内のFPの動きを追跡することで、隣接する画像フレーム間の動きを計算し、ビデオシーケンス内でFPマッチングを実現します。LK OF法は、隣接する画像フレーム間の動きを計算する際に、一定ピクセルGV、小さな動き、領域運動の一貫性という仮定を満たす^{必要があります。}Lucas-Kanade手法は、リアルタイムAR観光アプリケーションにおいて重要な計算効率を考慮して戦略的に採用されています。その前提は特定の文脈の中で緩和されています。ビデオキャプチャの高速フレームレートは、一般的に小さなフレーム間の変位を保証し、小さな動きの要件を満たします。絶対明度の恒常性が理想的ですが、連続するフレーム間の短いトラッキングウィンドウは重大な違反を最小限に抑えます。最も重要なのは、その後のRANSACアルゴリズムが、仮定違反から生じるトラッキングエラーを外れ値フィルタリングすることで堅牢に処理していることです。したがって、LKは出力が厳密に検証された効率的な初期トラッカーとして機能し、速度と堅牢性のバランスが不可欠なリアルタイムシステムに適しています。一定ピクセルGVの仮定により、式(4)に示されます。

(4)

式(4)では、I(x,y,t)はモーメントtの位置(x,y)にある画像のピクセルGVを表します。I_x と I_{x は} 、それぞれピクセルの x 方向と y 方向への変位を表します。iとjはピクセル点のOF成分を表します。I_x、I_y、I_t はそれぞれ x、y、t 方向における画像の差を表します。地域運動の一貫性の仮定は式(5)で計算されます。

(5)

式(5)において、I_tb は時間方向 t におけるドメイン内の b 番目のピクセル点の偏微分を表します。V x V は選択されたドメイン領域の大きさを表します。B はドメイン内のすべてのピクセル点を表します。結論として、本研究ではBRIEFディスクリプタを用いて追跡されたFPを照合し、ORBによって誤ったFPを除外するためにRANSACアルゴリズムを用いています。この手法の組み合わせは^特徴照合の堅牢性を高める役割を果たします。 図4 はLK OF法の回路図を示しています。

図4:LK OF法の回路図。 この図の拡大版はこちらをクリックしてご覧ください。

図4 は、隣接するフレーム間のFP変位を反復最適化手法で用いるLKストリーミング光学毛の実装過程を示しています。特徴照合アルゴリズムの定性的検証のために、テンプレートとテスト画像間の一致FPを視覚的に重ね合わせることができます。正しくマッチングされたポイントペアは通常、緑の線で接続されるか、緑のインジケーターで示されます。逆に、RANSACアルゴリズムは赤いマーカーで外れ値を表示できます。これにより、定量分析の前にマッチングの堅牢性と正確性を即座に視覚的に評価できます。本研究では、画像中の対応するFPのHMをRANSACアルゴリズムで計算し、正しく一致していないものを除外しています。正確にマッチしたFPは保持されます。この場合、RANSACアルゴリズムのHMとスケールパラメータの式は式(6)に示されています。

(6)

式(6)では、MはHMを表し、mは行列Mの要素を表します。Sはスケールパラメータを表します。(x,y)と(x',y')はそれぞれテンプレート画像とテスト画像のFP位置を表します。テスト画像のFPの座標を取得した後、研究ではそれらと一致したFPとの距離の比較解析を行います。式(7)は、反復回数を更新し、内部点の数も決定していることを示しています。

E = log(1 - c)/log(1 -^{η n})(7)

式(7)では、Eは反復数を表します。cは信頼レベルを表します。ηは内部点の比率を示します。nはサンプル数です。このとき、反復EのSDの式は式(8)に示されます。

(8)

式(8)では、S_d(E)はSDを表します。上記のORBアルゴリズムの改良により、後の3Dレジスタジアム技術において高品質な特徴照合の基盤が提供されることが示されています。この改善により、複雑なシーンにおいてより高い精度と堅牢性が示されています。これらのシーンにはスケール変化、光の変化、遮蔽が含まれます。

ARツーリズムにおけるSURFを用いた改良ORBおよび強化ホモグラフィーの擬似コードは以下の通りです。

アルゴリズム1:ARツーリズムのためのSURFおよび強化ホモグラフィーを用いた改良ORB
入力:観光画像シーケンスI、3D仮想モデルM
出力:仮想オブジェクト登録済みのレンダリングARシーン
ステップ1:画像前処理
1: I_gray ← ConvertToGrayscale(I)
2: I_smooth ← GaussianBlur(I_gray, kernel=5×5, σ=1.2)
3: ピラミッド ← BuildImagePyramid(I_smooth、レベル=4、スケール=1.2)

ステップ2:特徴ポイント検出
4: keypoints_SURF ← SURF_Detect(ピラミッド、ヘッセン閾値=1000)
5: 各kpに対してkeypoints_SURF を
6: ComputeWaveletResponse(kp) ←向き
7:終了
8: keypoints_Harris ← HarrisCornerFilter(keypoints_SURF, k=0.04)
9: 記述子 ← ImprovedORB_Describe(keypoints_Harris)

ステップ3:特徴照合
10: keypoints_tracked ← LucasKanadeOpticalFlow(keypoints_Harris, window=15×15)
11:BruteForceMatcher(記述←マッチ)
12: inliers, H ← RANSAC(matches, maxIterations=2000, reprojThreshold=3.0)

ステップ4:改良されたホモグラフィーによる3Dレジスタレーション
13: H_improved ← ComputeImprovedHomography(インリエ、camera_intrinsics)
14: R, t ← DecomposeHomoography(H_improved)
15: pose ← ComposeCameraPose(R, t)// ステップ5:ARレンダリング
16: virtual_object ← Load3Dモデル(M)
17:scene_rendered ← OpenGL_Render(virtual_object、ポーズ、背景=I)
18:帰還scene_rendered

改良されたHMに基づくARツーリズム3D登録技術

観光画像の特徴をFPマッチング法で正確に照合した後、さらにAR技術に応用する必要があります。3D登録技術はARシステムの実現における基礎技術です。ターゲットとなる観光画像の投影を通じて、現実世界でのカメラの姿勢情報を計算します。これにより、仮想オブジェクトと実際のシーンの正確なマッチングと融合^{が可能になります。}HMはユーザーの視点から仮想オブジェクトを現実世界にマッピングでき、仮想情報と現実世界の融合効果を高めます。さらに、ロゴが部分的に隠れている場合の仮想現実の認識問題も解決できます。しかし、実際の3Dレジストレーション技術におけるHMのレジストレーション効率は低く、これが仮想オブジェクトの不整合を引き起こし、仮想オブジェクト²⁸の不安定性を引き起こします。したがって、本研究は改良型HMに基づく3Dレジストレーション技術を提案します。フェーズ1の正確なFPペアを用いて、カメラの内在要素を取り入れた仮想対現実オブジェクト逆算法で強化HMを計算します。この手法は、動的シーンにおける従来の手法による低いレジスタ効率や仮想オブジェクトの誤りに効果的に対処します。行列は回転行列と並進ベクトルに分解され、カメラポーズを定義します。OpenGLレンダリングエンジンは、ポーズパラメータに基づいて3D仮想モデルをライブ映像ストリームに正確に投影します。テクスチャマッピングとライティングモデルにより、物理的に一貫した融合が実現します。

3D正準と可視化

3Dレジストレーション技術を実現するには、まずピンホールイメージングモデルを構築し、3Dの実世界を2D画像にマッピングする必要があります。このモデルの式は式(9)に示されています。

(9)

式(9)では、X 、Y 、O はカメラの3つの軸 CS を表します。(x,y,f) は座標ベクトルを表します。fは焦点距離(FL)を表します。λはスケールファクターを表します。 図5に示されているように、本研究では画像CSとカメラCSの変換関係を用いてピンホールカメラのイメージング特性を調べています。

図5:ピンホールイメージングモデルと空間点と平面投影点の関係。この図の拡大版はこちらをクリックしてご覧ください。

図5 はピンホールイメージングの基本構造を示しています。 図5A はピンホールイメージングモデルの概略図であり、カメラ中央の小さな穴を通じて三次元シーンを二次元のイメージング面に投影する基本的な幾何学的構造を示しており、光線伝播と透視投影の原理を反映しています。 図5B は、カメラ中心を通じてイメージング面上の対応する点に空間点を投影する過程を示し、焦点距離、画像点座標、物体点座標の比例関係を明確にしています。ピンホールイメージングモデルを構築した後、本研究はHMを用いて、カメラキャプチャ下でテンプレートと実際のシーン画像との関係マッピングを構築します。2つの像_I1と_I2の点に対応する特徴は同じ平面上にあると仮定されます。平面は式(10)に示された式を満たす必要があります。

N^Z P + d = 0 (10)

式(10)では、Pは平面を表します。Nは平面Pの法線ベクトルを表し、dは平面Pから原点までの距離を表します。Zは並進ベクトルを表します。回転と平行移動については、特異値分解法を用いて抽出します。式は式(11)²⁹に示されています。

(11)

式(11)では、p₁とp₂はそれぞれ画像I₁とI₂の影の点対に対応する特徴のピクセル座標を表します。R₁とR₂は、それぞれ画像I₁とI₂のピクセル点のスケーリングファクターを表します。Kはカメラの内部参照行列を表します。Rは回転行列を表します。HMは計算複雑度が高く、FPマッチングエラーの問題に陥りやすいです。したがって、本研究では仮想と実物の逆計算法³⁰を用いてこれを改良しています。改良されたHM式は式(12)に示されています。

(12)

式(12)では、M'は改良HMを表します。f_xとf_yはそれぞれX軸とY軸に沿ったカメラのFLを表します。U と v は主点座標を表します。γ はスキューパラメータを表します。この手法の物理的変換は式(13)に示されています。

(13)

式(13)において、T'は物理変換行列を表します。T_X、T_Y、T_O は3つの座標軸の回転成分を表します。[R|Z] は世界の変換行列、カメラ CS を表します。AR技術の実装において、テンプレートと実際の移動シーンの画像とのマッピングの表現は式(14)に示されています。

(14)

式(14)では、I_、s、I_dはそれぞれ基準上の点とTIを表します。さらに、改良されたHMのアライメント精度を計算し、式(15)に表された方法でアライメント効果を調査します。

(15)

式(15)では、P_re(M')は改良されたHMのアライメント精度を表します。(x_{a,y a,o a})は実際のFPを表します。(x_{b,y b,o b})はアラインメントされたFPsを表し、nはマッチした点の群数を示します。 図6 は、回路図とアップグレードされたHMの写真とのマッピングを示しています。

図6:画像のマッピング関係と改良型HMの回路図。この図の拡大版はこちらをクリックしてください。

図6に示すように、テンプレートイメージとTIの間には明確な対応関係があります。改良型HMの適用後、重要な視覚チェックポイントとしてテンプレート画像をターゲットシーン画像に歪めて整列させることがあります。投影テンプレートのエッジはTI内の対応する特徴と密接に一致している必要があります。最終的なARレンダリング中は、仮想3Dモデルを視覚的に点検し、現実のシーン内で正しい位置と向きに持続的かつ正確に固定されているか確認します。カメラの視点が変わっても目立つ揺れやずれはないはずです。

本研究は、強化されたbut-for影響行列を通じてテンプレート画像のマッピングを示している。仮想オブジェクトと実際の観光風景のリアルタイムな相互作用を実現するために、本研究はOpenGL技術を用いてARツーリズムシステムの構築に3Dモデルをレンダリングします。この手法はまずOpenGLコンテキストを設定し、仮想観光要素の3Dモデルを読み込み、テクスチャマッピングとライティングで計算します。その後、カメラがキャプチャしたリアルタイムの映像ストリームを背景として使い、仮想オブジェクトのレンダリングの参照となります。仮想オブジェクトはHMを使って現実世界に正確に重ね合わせられ、仮想オブジェクトを正しい位置と向きでレンダリングして現実のシーンと融合させます。AR観光システムでは、動画がOpenCVライブラリを通じてキャプチャされ、^ツアー31のリアルタイム映像として再生されます。画像処理は最適化されたORBアルゴリズムを用いて、ビデオフレーム内の特徴を特定し照合します。3Dレジストレーションモジュールでは、改良されたHMを用いて仮想と現実を融合させています。最終的な出力とインタラクションはOpenGL技術を通じて表示されます。ARツアー技術の実装プロセスは 図7に示されており、ARツアー技術の全体的な実装プロセスを示しています。 図7 はAR観光技術のシステム実装フローチャートを示しています。システム起動後、リアルタイムのビデオストリームはまずカメラでキャプチャされ、そこからターゲット画像が抽出されます。その後、特徴処理段階に入り、逐次的に特徴点の抽出と記述を行い画像特徴を構築します。特徴点の照合が成功すると、システムは3Dトラッキングレジストレーションフェーズに進み、カメラの姿勢パラメータを計算します。これを仮想素材ライブラリの3Dモデルと組み合わせて仮想リアル融合を実現し、最終的な融合AR効果がリアルタイムでユーザーに表示されます。マッチングが失敗した場合、RANSACアルゴリズムが不一致点を除去し、特徴処理段階が再入力されてシステムの安定性と堅牢性を確保します。画像取得や特徴処理から3Dレジストレーション、バーチャルリアル融合、インタラクティブディスプレイに至るまでの全プロセスが完全なクローズドループを形成し、ARツーリズムシステムが動的シーンにおけるリアルタイムかつ安定した仮想現実融合を達成するための技術的道筋を示しています。

図7:ARツーリズム技術の実装プロセスの概略図。この図の拡大版はこちらをクリックしてご覧ください。

実験装置と材料

実験の再現性を確保するため、本研究で使用されるハードウェア仕様、ソフトウェア環境、データセットは表 1に明示的に記載されています。

カテゴリー	アイテム	仕様 / バージョン
ハードウェア	カメラ	ロジクール C920 HD Pro ウェブカメラ
	コンピュータプロセッサ	AMD Ryzen 7 3700X 8コアプロセッサ
	コンピュータメモリ	32GB RAM
	オペレーティングシステム	Windows 10(64ビット)
ソフトウェアとライブラリ	プログラミング言語	C++
	開発環境	Microsoft Visual Studio 2019
	コンピュータビジョンライブラリ	OpenCV 4.5.1
	グラフィックスAPI	OpenGL 4.6
	シミュレーションプラットフォーム	Visual Studio シミュレーションツール
データセット	一次データセット	オックスフォードデータセット

表1:実験セットアップ:ハードウェア、ソフトウェア、データセットの仕様。

OpenCVでは、GaussianBlur()関数を使ってガウスぼかしを適用します。画像ピラミッドはbuildPyramid()を使って構築されます。SURF検出器はSURF.create()で初期化され、ヘッセン閾値を400に設定します。ハリスコーナー応答はcornerHarris()を用いて計算され、その後非最大抑制を適用してキーポイントをフィルタリングします。LKオプティカルフローは、ピラミッド型ルーカス・カナデ法を実装したcalcOpticalFlowPyrLK()関数を用いて計算されます。findHomography()関数はホモグラフィー推定に用いられ、メソッドフラグをRANSACに設定して指定された再投影閾値を活用します。得られたHMはperspectiveTransform()と組み合わせて不列位点の検証に使われます。OpenGLレンダリングパイプラインでは、HMをカメラポーズに変換し、glLoadMatrix()を使って設定します。3D仮想モデルは.objファイルとして読み込み、標準的なOpenGL変換コマンド(glTranslate、glRotate)でレンダリングされます。OpenCVからのリアルタイムビデオフィードは、glTexImage2D()を使ってテクスチャとしてOpenGLに渡され、最終的なARオーバーレイを実現します。本研究で使用されるアルゴリズムの主要パラメータは 表2に明確に定義されています。

アルゴリズム/コンポーネント	パラメータ	価値
ガウスフィルター	核サイズ	5 × 5ピクセル
	標準偏差	1.2
LKオプティカルフロー	ウィンドウサイズ	15ピクセル×15ピクセル
ランサック	最大反復数	2000
	再投影しきい値	3.0ピクセル
ORB特徴検出器	最大機能数	1000
	スケールファクター(ピラミッド)	1.2
	ピラミッド層の数	4
SURF特徴検出器	ヘッセン閾値	1000
ハリスコーナー検出器	絞りサイズ	3
	k値	0.04

表2:再現性のための主要なアルゴリズムパラメータ。

結果

観光画像のFPマッチングにおけるSURFと改良されたORBアルゴリズムの性能

堅牢な性能ベースラインと制御比較を確立するために、提案されたアルゴリズムは、スケール不変特徴変換(SIFT)、高速強化ロバスト特徴量(SURF)、および元の未改良のORBアルゴリズムという3つの広く使われている特徴マッチングアルゴリズムと比較して評価されます。これらのアルゴリズムは対照群として機能し、提案された改善による性能向上を直接評価することを可能にします。

本研究ではまず、提案アルゴリズムの画像スケール変換下でのFP正確マッチング率(CMR)とマッチングタイム(MT)を解析し、既存の高度な特徴マッチングアルゴリズムと比較しています。オレンジ色の線はSIFTを表しています。紫の線はSURFを表しています。青い線はORBを表しています。緑の線は提案されたアルゴリズムを表しています。 図8 ...

ディスカッション

本研究は、SURFと改良されたORBアルゴリズムを組み合わせた観光画像のFPマッチング手法を提案し、特徴のマッチング精度の向上を目指しました。提案された物体と実際のシーンとの正確なマッチングと融合をさらに実現するために、改良されたHMに基づくARツーリズム3D登録技術を提案しました。3D登録に関しては、ARAが98.74%であり、回転変換下での3D登録の平均SR数は68であったことが示されました。改良型HMの3D登録成功率と精度がより高いことが示されました。モデル世代と仮想現実融合モジュールはそれぞれ9.36msと4.12msでした。ディスプレイインタラクションモジュールは2.28msでした。ユーザーのAR効果のスコアは76.68点から96.24点まで幅がありました。平均評価は88.57で、リアルタイムとユーザー体験の両方が良好であることを示しました。本研究は、技術パイプライン全体の主要なボトルネックを体系的に対処し、モジュール間のシナジーとデータ品質移転に焦点を当てることで、モバイルARシステムの性能を大幅に向上させるという核心的な前提を示しています。この主張は徹底的...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
AMD Ryzen 7 3700X 8コアプロセッサ	AMD	ライゼン7 3700X
カメラ	ロジクール	C920 HD Pro ウェブカメラ
コンピュータメモリ	/	32GB RAM
ロジクール C920 HD Pro ウェブカメラ	ロジクール	C920
Microsoft Visual Studio 2019	マイクロソフト	2019
OpenCV	OpenCV財団	4.5.1
OpenGL	クロノス・グループ	4.6
オックスフォードデータセット	オックスフォード大学	/
プログラミング言語	/	C++
Visual Studio シミュレーションツール	マイクロソフト	VS 2019に収録
Windows 10(64ビット)	マイクロソフト	10(64ビット)