研究記事

時間的コヒーレンスを強化した画像およびビデオヘイジングのための効率的なマルチスケール勾配領域フィルタリング

DOI：

10.3791/68495

⸱

2025年9月30日

 ,  ,  , 
1Chitkara University Institute of Engineering and Technology, Chitkara University

この記事について

サマリー

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ここでのプロトコルは、最小保存サブサンプリングと勾配領域重み付きガイド付きフィルタリングを統合して、光散乱モデルのリアルタイムヘイジング除去機能を強化します。暗いチャンネルのソース画像の上位 0.1% の最も明るいピクセルの RGB 値を平均すると、大気光が生成され、グラデーションベースの相関係数がビデオ処理の一貫性に使用されます。

要約

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

かすみ除去は、大気散乱の影響を受ける画像の鮮明さを回復するためにコンピュータービジョンにおいて非常に重要です。既存の手法では、ビデオ アプリケーションでは、高い計算コスト、勾配の詳細の損失、ちらつきのアーティファクトに悩まされています。効率と視覚品質を向上させるために、この研究では、ビデオと画像の両方に適用できるマルチスケール勾配ドメインの重み付けガイド付き画像フィルターベースの曇り除去技術を提案します。大気パラメータを推定し、計算の複雑さを軽減するために、最小保存サブサンプリング (MPS) が採用されています。次に、勾配ドメイン加重誘導画像フィルター (GWGIF) を使用した反復アップサンプリング プロセスにより、透過マップが微細化され、大量の勾配特徴が保持され、それによってテクスチャとエッジの保持力が向上します。ビデオヘイジングには、勾配ベースの相関係数 (GCF) が導入されており、既存の方法と比較してちらつきのアーティファクトが大幅に減少します。実験的評価では、私たちのアプローチの優位性が実証されており、知覚品質の向上を反映して、知覚ベースの画質評価者 (PIQE) スコア 26.98、自然画質評価器 (NIQE) スコア 2.78、ブラインド/リファレンスレス画像空間品質評価者 (BRISQE) スコア 20.18 を達成しました。さらに、提案された方法は、平均二乗誤差 (MSE) 偏差が 0.003 で、ビデオヘイジングにおける高い時間的コヒーレンスを保証し、自動運転車、監視、リモートセンシングなどのリアルタイム アプリケーションに最適です。

概要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ヘイズは、光が煙、水滴、またはほこりの粒子によって散乱されると、遠くの物体が見えにくくなる大気現象です。ヘイズによる画像の劣化は、ビデオ分析、自動運転車、監視などのコンピュータービジョンアプリケーション1,2に有害です。コンピュータビジョンのパフォーマンスを向上させるには、処理の最初のステップとして、画像からヘイズ成分を除去するためのヘイズ除去戦略が不可欠です。「かすみ除去」という用語は、ぼやけた画像や使用できない画像の鮮明さを復元するために使用される手順を指します。近年、画像の曇り除去のためにいくつかの技術が開発されています。ヘイジング除去の問題は、He et al.3から取得したように、(1)に示すように、位置xのカラーチャネルのターゲット(ぼんやりとした)画像Ihazy(x)を表します。

figure-introduction-1    1

Jclear(x)は透明な画像を表し、Latmとtマップはそれぞれ大気光と媒体透過率マップを表します。カメラセンサーによって拾われる光の部分は、(2)に示すように、Heら3のシーンとカメラの間の距離によって計算されたtマップ距離d(x)で表されます。

figure-introduction-2    2

ここで、βは空気散乱の透過係数を表します。

ヘイジング除去プロセス中に Ihazy(x) から Jクリア (x) を回収すると、(1) の再配置後に達成される (3) に示されています。ここで、t は大気の光透過率を表し、透過係数とも呼ばれます。

figure-introduction-3    3

ダークチャネル事前(DCP)3 モデルは、この目的のための最もよく知られた大気モデルの1つです。よく知られている物理モデルベースのヘイジング除去技術の中で、DCPは最も広く使用されており、ヘイズのない画像では、少なくとも1つのカラーチャネルに非常に低い強度のピクセルが含まれていることを前提としています。この事前は、DCPを使用して透過マップを推定し、(1)からシーン放射輝度を回復するために使用されます。ただし、この手法は時間がかかり、画像内の空の領域が飽和しすぎます。

この研究の動機は、ヘイズによって画質が大幅に低下するコンピューター ビジョン アプリケーションの可視性を高める必要性から生じています。このアプローチは、曇り除去プロセスを加速するだけでなく、エッジやテクスチャなどの画像の詳細も確実に保持します。さらに、この研究では、かすみ除去アルゴリズムをビデオに拡張し、ビデオ処理における重要な問題に取り組みます。照明条件が異なると、画像の視認性が変化することがあり、自動運転や監視などの多くのアプリケーションで別の課題が生じます。

提案されたかすみ除去アルゴリズムの検証は、公開されているさまざまな画像およびビデオデータセットでの広範な実験を通じて実行されました。データセットは合成シーンと現実世界のかすんだシーンの両方で構成されており、さまざまな条件下での包括的な評価が可能です。確立された指標(FADE、NIQE、PIQE、BRISQUE)6を使用して評価し、9つの最先端の方法と比較した、さまざまな現実世界のビデオシーケンス(Riverside、Crossroad、Haze road、Ship)4およびさまざまなヘイズ密度の静止画像5にわたる実験的検証により、リアルタイムパフォーマンスを維持しながら、自動車、監視、海事、およびモバイルコンピューティングの領域へのアルゴリズムの実用的な適用性が実証されました。パフォーマンスは主観的な視覚的比較と客観的な品質指標を使用して評価され、精度と計算効率の点で最先端のアプローチとの競争力が実証されました。

提案された作業はリアルタイム パフォーマンスを考慮して設計されており、最大 1920 ピクセル× 1080 ピクセルの解像度の画像とビデオでテストされています。効率的な処理を確保するために、すべての実験は、Intel i3-6006U CPU (2.00 GHz) と 12 GB の RAM を搭載したワークステーションで実施されました。この方法は、現実世界のさまざまなシナリオで強力なパフォーマンスを示しますが、透過推定が信頼できなくなる非常に濃いヘイズ条件下では精度が低下する可能性があります。これらの詳細は、実際の展開における提案されたアプローチの実用性と限界を浮き彫りにしています。

さまざまな課題を克服するために、本研究では、画像やビデオのヘイジングにマルチスケール GWGIF を使用した新しいアプローチを提案します。この研究では、MPS 手法を統合することにより、ヘイジング除去の重要な要素である透過マップを推定するための計算効率の高い手法を導入します。ちらつきアーティファクトは、連続するフレーム間の時間的一貫性を維持する新しい GCF メソッドを組み込むことで対処され、計算効率と高品質の結果の両方が保証されています。この研究は、より堅牢な画像およびビデオ強化技術の開発に貢献します。 図1 はMPS法で算出した伝送マップ、 図2 はMPS法とGCFを組み合わせた提案法です。私たちの研究の目新しさは、従来のヘイジング除去方法の計算ボトルネックに対処する、勾配ベースの加重ガイド付きフィルターを使用したマルチスケーリングに基づくリアルタイムの画像およびビデオヘイジング除去アルゴリズムの開発にあります。具体的には、私たちの主な新しい貢献は次のとおりです。(1)計算負荷を軽減しながら、正確な伝送推定のために重要な暗領域を保持するMPS技術。(2) 伝送マップの改良中にしっかりとしたエッジを特に保持する GWGIF。(3) 上位 0.1% の最も明るいピクセルのみに焦点を当てた最適化された大気光推定。(4)勾配情報を通じてフレームの類似性を測定するビデオヘイジング用のGCF。(5)類似したビデオフレーム間の計算を再利用し、リアルタイム処理を実現する時間最適化システム。

この方法は、この記事で紹介した広範な実験で実証されているように、最先端のアルゴリズムに匹敵するか、それ以上のヘイジング品質を提供しながら、リアルタイムのパフォーマンスを達成します[図3、 図4、 図5、 図6、 および図7]。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

この作品は、人間の主題を含まない合成または自然のシーン画像を使用しました。したがって、倫理上の承認は必要ありませんでした。

この画像ヘイジング プロトコルは、標準的なコンピューティング セットアップに基づいて開発されており、かすんだ画像の鮮明さと視認性を高めるように設計されています。作業環境はMATLAB7です。このアプローチは、ヘイズの推定、改良、画像の復元を含む体系的なプロセスに従います。重要な細部を保ちながら画質を徐々に向上させることで、鮮明で視覚的に魅力的な結果が得られます。広く使用されているデータセット8 でテストされ、標準的な画質測定を使用して評価され、学術的または研究ベースのアプリケーションへの有効性と適合性が実証されています。プロトコル、材料、機器に関する重要な説明と方程式、および提案されたソリューションの手順は、以下のセクションで提供されています。評価パラメータも概説されています。

1. 材料と設備

この実験は、MATLAB Online (24.2.0.2871072 (R2024b) Update 5) を使用して開発され、Intel i3-6006U CPU (2.00 GHz) を搭載したシステムで実行されます。実装に使用される画像データセット5,8は、参照文献から取得されています。この方法論には、双線形補間を伴う 5 × 5 ガウス フィルターの使用、MPS アルゴリズム9 を使用した透過マップ推定、GWGIF フィルターによる改良が含まれており、すべて適切なコンピューティング インフラストラクチャ上で実行されます。研究で使用されたすべての材料と機器の詳細とリンクは、材料表に記載されています。

2. 実験セットアップ

実験セットアップでは、提案された画像とビデオのヘイジング除去アプローチを、行列ベースの画像処理と視覚化をサポートする科学コンピューティング環境に実装します。確立された文献で参照されているように、かすんだ画像とビデオ10で構成される標準ベンチマークデータセット5,8を使用して、メソッドのパフォーマンスを評価しました。このアルゴリズムはマルチスケール処理フレームワークに従い、画像ピラミッドと勾配ベースの相関を利用して適応伝送マップの計算と改良をガイドします。ビデオシーケンスの場合、フレームは一定の間隔で抽出され、GCF を使用して伝送マップを再利用するか再計算するかを決定します。かすみ除去された出力の有効性は、NIQE、PIQE、BRISQE、FADE、MSE などの広く認識されている画質指標を使用して評価され、修復品質の主観的および客観的な評価の両方が保証されました。

3. 評価に使用するパラメータ

客観的な評価のために、5つの品質指標が使用されています:(1)FADE(Fog-Aware Density Evaluator)8;(2) NIQE (Natural Image Quality Evaluator)11;(3) PIQE (Perception-based Image Quality Evaluator)12;(4) BRISQUE (ブラインド/リファレンスレス画像空間品質評価者)13;(5) 連続するフレーム間の MSE (平均二乗誤差)14.

4. 単一画像とビデオのヘイジング除去の方法論

  1. 画像ピラミッドの変換と構築
    単一画像の曇り除去は、入力カラー画像をグレースケール (figure-protocol-1) に変換することから始まります。次に、画像ピラミッド {figure-protocol-2, figure-protocol-3...,figure-protocol-4, figure-protocol-5} は、最大寸法が 320 ピクセル以下になるように、最も粗いレベル IL が達成されるまで、係数 2 で Ihazy を再帰的にダウンサンプリングすることによって構築されます。これは、Lがmax(W, H)<= 320という要件によって決定されることを意味します。ここで、WとHは最も粗いレベルLでの幅と高さを表します。L 値は、図 2 のように、ピラミッド構造内の目的の最も粗いレベルに到達するために必要なダウンサンプリング操作の数を示します。
  2. 透過マップの推定
    透過マップには、散乱されておらず、カメラのセンサーに到達する光の割合が表示されます。透過マップは、連続する深度の関数であるため、画像の深度情報を正確に表します。伝送マップ t地図は、環境光を使用して計算され、ヘイズのない画像を再構築します Jclear (x).この研究の主な目的は、透過マップの計算が最も時間のかかるステップであることが判明したため、ヘイジング除去プロセスを迅速化するための計算効率の高い透過推定方法を開発することです。具体的には、より低い解像度で透過率を推定し、透過率マップが一定の部分で構成されていると仮定した後、結果はアップサンプリングされています。 図 2.
    1. MPSにおけるマルチスケールアプローチを用いた初期伝送マップ推定
      初期透過マップfigure-protocol-6は、入力されたぼやけた画像を最も粗いレベルLでダウンサンプリングすることによってすでに計算されたImageImagefigure-protocol-7から取得されます。figure-protocol-8上のMPSアプローチ9を使用すると、[図1]に示すように、画像は5つの×5つのサイズの正方形のブロックに分割されます。さらに、5ブロック×5ブロックごとに最小値を選択することでfigure-protocol-9計算し、Kansalら9の(4)に示す寸法(M/m)×(N/m)のダウンサンプリング画像を取得します。ここで、minはブロックBIiの最小強度値を計算する数学関数を表します。
      figure-protocol-104
      次に、Kansalらの研究9から取得した(5)に示すように、figure-protocol-11に3×3の最小フィルターを適用することにより、最も粗いレベルの暗チャネル画像figure-protocol-124を取得します。
      figure-protocol-13 5
      ここで、ω はサイズ 3 × 3 のウィンドウです。最初の送信マップ figure-protocol-14 は、以下を使用して最終的に推定されます。
      figure-protocol-156
      ここで、w は定数係数 (通常は 0) です。
      MPSベースの透過マップは、それぞれのパッチ内の局所的な最小値を維持することで、ヘイズの影響を深刻に受けている領域でのコントラストとディテールの回復を改善します。ただし、線形変換22 ベースのアプローチは、ヘイズ強度のレベルが異なる領域を区別できないため、ヘイズの除去においてより均一な(および精度の低い)透過マップを生成します。
    2. トランスミッションの改良
      初期伝送マップ (figure-protocol-16) は画像ピラミッドの最も粗いレベル (L) でのみ推定されるため、元の入力画像の解像度に一致するようにアップサンプリングする必要があります。単純な双線形アップサンプリングBUp(·)を適用して、全解像度の透過マップを取得します。さらに、伝送マップのエッジの詳細を保持するには、 figure-protocol-17 を絞り込む必要があります。Van et al.14 および Kansal et al.9 で適用されているように、ガイド付きフィルターとグラデーションガイド付きフィルターを使用すると、透過マップにぼやけたアーティファクトが発生し、その結果、テクスチャの詳細とエッジ情報が失われ、最終的に曇り除去性能が低下します。この問題に対処するために、勾配ドメイン強調誘導画像フィルタリング(GWGIF)15 法を採用して、画像の詳細を効果的に保持しています。最後に、洗練された伝送 figure-protocol-18 は、Wangら16から以下のように得られます。
      figure-protocol-19 7
      GWGIF は、エッジ構造を維持し、標準のガイド付きフィルターによって通常発生するぼかしアーティファクトを回避することで、初期透過マップを改良します。GWGIF機能17を実装するために、以下のステップに従っている。
      インプット：
      figure-protocol-20:初期伝送マップ(低解像度または粗い)
      figure-protocol-21:元のかすんだ画像(ガイダンスとして使用)
      アウトプット：
      figure-protocol-22
      ステップ1:初期透過マップをアップサンプリングする
      Ihazyのサイズに合わせてfigure-protocol-23のサイズを変更しました
      ステップ2:ぼんやりと グレースケールに変換
      Ihazy = rgb2gray(私はかすむ)
      ステップ3:(7)のようにグラデーションドメイン加重誘導フィルターを適用
      洗練された伝送マップを取得figure-protocol-24
      このプロセスでは、Sobel演算子を使用してガイダンス画像から勾配の大きさを計算し、勾配ベースの重みを生成し、それらをガイド付きフィルタリング方程式に統合して、エッジ認識の平滑化を強化します。出力は、 図4に示すように、曇り除去の品質と詳細の保存を大幅に向上させる洗練された透過マップです。
  3. 大気光の推定
    モデルベースの画像ヘイジングの観点から、グローバル大気光は不可欠です。Zhang et al.18 によって述べられているように、より明るいかすみ除去画像は、大気光の値が低いと生成され、大気光の値が高いほど、最も暗いかすみ除去画像が生成されます。提案された研究は、入力されたぼやけた画像から得られた暗チャンネル画像(figure-protocol-25)から大気光を推定します。次に、暗いチャネル画像の上位0.1%の最も明るいピクセルに対応するRGB値を選択して、He et al.3に示されているように、(8)に示すように、大気光の最終値を取得します。ここで、γ は上位 0.1 の最も明るいピクセルを表します。これらのピクセルは通常、画像内の最もヘイズ不透明な領域に対応します。これらの選択されたピクセルから、元の画像内の対応するRGB値が抽出され、平均化されて、グローバル大気光L atmが決定されます。
    figure-protocol-26 8
    大気光Latmは、暗いチャネル画像から上位0.1%の最も明るいピクセルを選択することによって計算されます。これは次のように実行されます。
    インプット：
    かすんだ画像私はかすんだRGB画像)
    アウトプット：
    大気光Latm (3要素RGBベクトル)
    ステップス：
    ステップ1:画像のダークチャネルを計算します。
    暗いチャンネルの画像は figure-protocol-27です。
    ステップ 2: ほとんどのヘイズ不透明ピクセルを見つけた
    ダークチャネルを1D配列にフラット化
    ピクセル値を降順に並べ替えました。
    上位0.1%の最も明るいピクセル(つまり、暗いチャネル→ヘイズ濃度が高い)を選択します。
    ステップ 3: 入力画像で選択された候補ピクセル
    選択した上位0.1%ピクセル(ダークチャンネルから)のうち、元のぼやけた画像Ihazyの対応するピクセルを特定します。
    選択したピクセルごとに、強度が計算されました(たとえば、RGB値の合計またはノルム)。
    ステップ4:大気光をL気圧で設定する
    上記で選択した最も明るいピクセルのRGB値は、推定大気光として採用されています。
    上記の手順では、大気光L気圧を体系的に推定します。
    上記の手順では、画像内で最もヘイズの影響を受ける領域を特定する前に、暗いチャネルを利用して大 気光Latm を体系的に推定します。明るくクリアな領域を除外し、上位 0.1% の最も暗い領域 (濃いヘイズを示す) に焦点を当てることで、この方法は、単一画像ヘイズ除去アルゴリズムでヘイズを効果的に除去するための重要なパラメーターである地球規模の大気光の堅牢かつ正確な推定を保証します。
    1. かすんだ画像の回復
      最後に、大気光Latmと精製された透過マップfigure-protocol-28を見つけた後、Van et al.14、(9)の定式化を使用して、ヘイズのない画像Jclear(x)を取得します。
      figure-protocol-299
      ここで、γ はトランスミッションの下限 (0.05 に設定) です。
      図1に示すように、提案された透過マップの改良法は、画像の複雑な特性を効果的に保持し、ヘイズのない画像の回復を可能にします。
  4. かすんだビデオの回復
    この研究で紹介されたビデオヘイジング アプローチは、ちらつきのアーティファクトを防ぐために時間的コヒーレンスを考慮して組み込むことにより、単一画像ヘイジング アルゴリズムに基づいて構築されています。著者らは、ビデオの各フレームに単一画像の曇り除去を個別に適用すると、フレーム間の時間的一貫性が崩れ、視覚的な一貫性が損なわれることを認識しています。この問題に対処するために、連続する初期フレーム間の時間的コヒーレンスを定量化する新しいビデオヘイジング除去アルゴリズムが開発されました。この情報は、次のフレームの透過マップと大気光値を適応的に推定するために使用されます。
    1. ちらつきのあるアーティファクト
      同じ画像領域が、オブジェクトやカメラの動きにより、ビデオの連続したフレームで異なるピクセル座標でキャプチャされる場合があります。これらの動きの結果としてちらつきアーティファクトが発生し、同じ場所で透過値が変化します。オプティカルフロー推定19などの運動推定技術を使用して、可動物体の位置を追跡し、これらの問題に対処することができます。ただし、モーション推定手法では、多くの場合、高度な計算複雑さが必要です。そのため、フレーム間の動きを明示的に計算する代わりに、GCFと呼ばれる単純な確率モデルが使用されています。2つの連続するフレーム間の差分画像は、このモデルの基盤として機能します。
    2. 勾配ベースの相関係数
      勾配ベースの相関係数 (GCF) は、ピクセルの勾配に基づいて、連続する 2 つのビデオ フレーム間の類似性を測定します。画像/フレーム I1 と I2 は、高い相関値 (I1, I2) ≈ 1 で示されるように非常に類似しており、ピクセル (x, y) が両方のフレームで重複するオブジェクトまたはシーン コンテンツを表すことを意味します。相関値 (I 1、I 2) が低い場合 (I1、I2) ≈ 0 は、画像とフレームが同じではないことを示しており、おそらく動きやオクルージョンが原因です。ぼやけた画像はコントラストと鮮明さが低いため、画像のピクセル値を使用して 2 つのフレーム間の相関関係を観察することはできません。
      ぼやけた画像は、光の散乱と吸収によりほとんど白っぽく見えることが多く、ピクセル強度が全体的に増加し、コントラストが低下します。その結果、2 つの連続したぼやけたフレームのほとんどのピクセルが類似し、もやによって実際のシーンの詳細がマスクされるため、直接的なピクセルベースの相関関係は効果がなくなります。この文脈では、 GCF はより重要になります。ヘイズの影響を強く受けるピクセルごとの相関とは異なり、GCFはグラデーション、強度の変化、隣接するピクセル間の色の変化に焦点を当てます。これらのグラデーションは、画像全体の明るさの影響を受けにくく、エッジや輪郭などの構造情報をより適切にキャプチャします。これにより、GCFは、 表1に示すように、2つのフレーム間のピクセルベースの相関係数(CF)と比較して、ぼやけた状態でのフレーム間の類似性のより信頼性の高い尺度になります。
      連続したビデオフレームIKとIK-1の相関figure-protocol-30は以下の通りである。
      figure-protocol-3110
      ここで、フレーム内のピクセル数は N で、σ = 10 です。figure-protocol-32とfigure-protocol-33は、ビデオフレームIKとIK-1に対応するグラデーション画像です。GCF を計算する簡単な手順は次のとおりです。
      入力:フレームI、K 、IK-1。
      各フレームとその前のフレームの間の勾配が計算され、次に(10)を適用してCGFを計算し、その後、現在のフレームの計算に必要な透過マップと大気光を決定するために使用され、最初のフレームと次のフレームごとに繰り返されるステップを計算するために使用できます。GCF は、連続する 2 つのフレーム間の相関関係を計算します。相関が高い場合は、2 つの連続したフレームがほぼ同じであることを示します。それ以外の場合は、相関関係が低いことを示します。
    3. 大気光と透過率マップ推定のためのGCFに基づく決定
      GCF は、大気光の取り扱い方法を決定し、ヘイジング除去プロセスにおける透過マップを推定する上で重要な役割を果たします。GCF は、グラデーションに基づいて連続するビデオ フレーム間の類似性を測定し、動きやオクルージョンなどの要因を考慮して、フレーム間でシーンがどの程度変化したかを評価するのに役立ちます。
      GCF 値が高い場合、特に 0.85 より大きい場合は、現在のフレームが前のフレームと非常に類似していることを示します。このような場合、シーンが大きく変わっていないため、前のフレームの伝送マップは引き続き有効であると想定されます。前のフレームの伝送マップを使用すると、フレーム間で一貫性が維持され、不必要な再計算が回避されるため、計算効率が向上します。
      ただし、GCF 値が 0.5 を下回る場合は、おそらくシーンの動きやその他の動的な変化が原因で、フレーム間に大きな違いがあることを示唆しています。このような場合、前のフレームの伝送マップに依存すると、不正確な結果が得られます。したがって、新しいシーン条件に適応するために、大気光Latmを再計算する必要があります。さらに、現在のフレームのコンテンツをより適切に表すために、新しい伝送マップが計算されます。この再調整により、曇り除去プロセスがシーンの更新された特性を考慮し、鮮明さとコントラストを正確に復元します。
      GCF によって導かれるこの意思決定プロセスにより、かすみ除去アルゴリズムがフレームの類似性の変化に動的に調整できるようになり、より正確で信頼性の高い画像復元が可能になります。このプロトコルは、観測された相関関係に基づいて透過マップと大気光を適応させることで、動的なシーンと変動するヘイズ条件を効果的に処理し、ヘイズ除去された画像の品質を向上させます。

5. 単一画像とビデオの曇り除去アプローチのステップバイステップの要約

アルゴリズムの初期フレームワークを提供する図 2 に導かれ、単一画像とビデオの曇り除去アプローチの段階的な要約が提供されています。(1) 入力されたかすんだ画像figure-protocol-34をシステムにロードして処理します。(2)画像をグレースケールに変換し、{figure-protocol-35 , figure-protocol-36 ..., figure-protocol-37figure-protocol-38 }として2倍のダウンサンプリングを繰り返しました。max (W, H) <= 320 (W と H は最も粗いレベル L での幅と高さを表す) figure-protocol-39最も粗い画像を選択します。(3)粗い画像figure-protocol-40をm×mのブロックに分割しました。ここで、mは(5)として選択されます。(4) 各ブロックの最小強度を計算して、次元figure-protocol-41のダウンサンプリングされた画像figure-protocol-42を取得しました。(5) 次に、最も粗いレベルの暗チャンネル画像 figure-protocol-43 は、3 × 3 の最小フィルターを適用してfigure-protocol-44します。(6) この作業では w が 0.95 として選択されている式 figure-protocol-45 を使用して初期透過マップを推定しました。(7) GWGIF(.) を使用して伝送マップを改良し、figure-protocol-46を取得しました。(8)かすんだ画像の暗いチャネル(figure-protocol-47)の上位0.1%の最も明るいピクセル位置に対応するRGB値を平均することにより、推定された大気光Latm。(9)光散乱モデルを用いて、かすみ除去画像Jクリア(x)を復元 

figure-protocol-48;(10) 動画の場合、一定の間隔でフレームを抽出します。(11) フレームの類似性を測定するために、2 つの連続するフレーム間の勾配ベースの相関係数 (GCF) を計算しました。(12) 0.5 <場合は、現在のフレームの新しい伝送マップを計算します。GCF≥0.85 の場合、前のフレームの伝送マップを再利用しました。(13)各フレームを改良し、画像と同じ手順で曇り取りされたフレームを復元します。(14) NIQE11、PIQE12、BRISQE13、FADE8、MSE14 などの指標を使用して出力品質を評価しました。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

定性的および定量的な結果は、メソッドや実験を評価する際に補完的な洞察を提供します。定性的結果は主観的な評価に焦点を当てており、多くの場合、視覚的な比較、知覚的評価、または専門家の意見を使用してアプローチの有効性を分析します。これらは現実世界のシナリオの改善を説明するのに役立ちますが、人間の認識によって影響を受ける可能性があります。対照的に、定量的な結果は、NIQE11、PIQE12、BRISQE13、FADE8、MSE14 などの精度などの客観的な数値指標に依存して、統計的に厳密に有効性を測定します。通常、強力な評価は両方を組み合わせ、その手法が数値的に優れたパフォーマンスを発揮するだけでなく、実際のアプリケーションでも有意義な改善をもたらすことを保証します。

単一画像ヘイジングの定性結果分析

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

提案された時間的コヒーレンスアプローチを備えた画像およびビデオのヘイジング除去のための効率的なマルチスケール勾配領域フィルタリングは、画像ピラミッド構造を使用して大気光と透過マップを効率的に推定することにより、物理モデルベースのヘイジング除去アルゴリズムの計算ボトルネックに対処します。重要なイノベーションは、アップサンプリング中のGWGIFフィルタリングに続いて、最も粗いピラミッドレベルでMPS伝送マップ推定を実行し、重要な画像の詳細を維持することです。ビデオの場合、この方法には GCF の考慮事項が組み込まれており、隣接するフレーム間の伝送値の一貫性を維持することでちらつきアーティファクトを低減します。提案された作業を実施するための重要な手順を以下に詳しく説明します。

この手順は、ヘイズ除去の精度、構造の詳細の保存、ビデオの時間的一貫性の維持に直接影響するため、非常に重要です。最小保存サブサンプリング(MPS)を使用した最初の透過マップ推定(ステップ4.2.1)は、特に遠く離れた非常にぼやけた領域で、シーンの深さ...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

著者は利益相反を宣言していない

謝辞

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

この作品の質と読みやすさを大幅に向上させた、洞察力に富んだコメントと役立つ推奨事項を提供してくれた編集者と匿名の査読者に心から感謝します。彼らの慎重な評価手順と洞察力のある発言は、この分野に対する研究の全体的な貢献を改善し、それを洗練させる上で極めて重要でした。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
データセット ウォータールー大学 視覚・画像処理研究室5http : //ivc.uwaterloo.ca/database/Dehaze/画像およびビデオのヘイジング除去アルゴリズムの評価
勾配ベースの重み付きガイド付きフィルター (Matlab 実装)王 ら。16 https://arxiv.org/pdf/2211.16796効率的な透過マップの改良
MATLAB (Image Processing Toolbox を使用)バージョン: MATLAB Online (24.2.0.2871072 (R2024b) Update 5)https://www.mathworks.com/products/matlab.html提案されたアルゴリズムとベースラインアルゴリズムの実装
プロセッサーIntel i3-6006U CPU (2.00 GHz)https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.htmlアルゴリズムの実行
ベースラインメソッドのソースコードキム et al.3、ヴァン et al.14、Yang et al.20,
 Ren et al.21, チェン et al.23、Li B et al.26		3https://github.com/metinsuloglu/Haze-Removal学習ベースのヘイジング除去手法の評価
14https://github.com/viengiaan/MGF 曇り止め
20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
21https://github.com/rwenqi/GFN-dehazing
23https://cchen156.github.io/code/robustdehaze.zip
26https://github.com/Boyiliee/EVD-Net
4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html

参考文献

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Sharrab, Y. O., Alsmadi, I., Sarhan, N. J. Towards the availability of video communication in artificial intelligence-based computer vision systems utilizing a multi-objective function. Cluster Comput. 25 (1), 231-247 (2022).
  2. Afif, M., Said, Y., Atri, M. Computer vision algorithms acceleration using graphic processors NVIDIA CUDA. Cluster Comput. 23, 3335-3347 (2020).
  3. He, K., Sun, J., Tang, X. Single image haze removal using dark channel prior. IEEE TransPattern Anal Mach Intell. 33 (12), 2341-2353 (2011).
  4. Live Image Quality Database (Release 2). , Live Image Quality Database. http://live.ece.utexas.edu/research/fog/fadefade.html (2025).
  5. IVC Dehazing Dataset. , Image & Vision Computing (IVC) Laboratory. https://ivc.uwaterloo.ca/database/dehaze.html (2025).
  6. Ma, K., Duanmu, Z., Wu, Q., Wang, Z., Yong, H., Li, H., Zhang, L. Waterloo exploration database: New challenges for image qulity assessment models. IEEE TransImage Process. 26 (2), 1004-1016 (2017).
  7. MATLAB Online. , MathWorks. at https://matlab.mathworks.com (2025).
  8. Choi, L. K., You, J., Bovik, A. C. Referenceless prediction of perceptual fog density and perceptual image defogging. IEEE Trans. Image Process. 24 (11), 3888-3901 (2015).
  9. Kansal, I., Kasana, S. S. Minimum preserving subsampling-based fast image de-fogging. J Mod Opt. 65 (18), 2103-2123 (2018).
  10. Choi, L. K., You, J., Bovik, A. C. FADE: Fog Aware Density Evaluator. IEEE TransImage Process. 24 (11), 6436-6448 (2015).
  11. Blind image quality evaluation using perception based features. Venkatanath, N., Praneeth, D., Maruthi Chandrasekhar, B. H., Channappayya, S. S., Medasani, S. S. 2015 21st Natl Conf Commun, , 1-6 (2015).
  12. Chen, X., Fan, Z., Li, P., Dai, L., Kong, C., Zheng, Z., Li, Y. Unpaired deep image dehazing using contrastive disentanglement learning. in computer vision -- ECCV 2022. Avidan, S., Brostow, G., Cissé, M., Farinella, G. M., Hassner, T. , Springer Nature Switzerland. Cham. 632-648 (2022).
  13. Mittal, A., Moorthy, A. K., Bovik, A. C. No-reference image quality assessment in the spatial domain. IEEE Trans. Image Process. 21 (12), 4695-4708 (2012).
  14. Van Nguyen, T., Vien, A. G., Lee, C. Real-time image and video dehazing based on multiscale guided filtering. Multimed Tools Appl. 81 (25), 36567-36584 (2022).
  15. Image dehazing based on multiscale retinex and guided filtering. Gao, Z., Zhai, Y. 2022 Int Conf Image Process Comput Vis Mach Learn, , 123-126 (2022).
  16. Wang, B., Wang, Y., Sui, X., Liu, Y., Chen, Q. Gradient domain weighted guided image filtering. Signal Image Video Process. 17 (8), 4097-4105 (2023).
  17. Chang, M., Feng, H., Xu, Z., Li, Q. Low-light image restoration with short- and long-exposure raw pairs. IEEE Trans Multimed. 24, 702-714 (2022).
  18. Physically-based rendering for indoor scene understanding. Zhang, Y., Song, S., Yumer, E., Savva, M. Proc IEEE Conf Comput Vis Pattern Recognit, , 5287-5295 (2017).
  19. Tan, Y., Zhu, Y., Huang, Z., Tan, H., Li, K. MAPD: An FPGA-based real-time video haze removal accelerator using mixed atmosphere prior. IEEE Trans Comput Des Integr Circuits Syst. 42 (12), 4777-4790 (2023).
  20. Yang, D., Sun, J. Proximal dehaze-net: A prior learning-based deep network for single image dehazing. Lect Notes Comput Sci. 11211 LNCS, 729-746 (2018).
  21. Gated fusion network for single image dehazing. Ren, W. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit, , 3253-3261 (2018).
  22. Wang, W., Yuan, X., Wu, X., Liu, Y. Fast image dehazing method based on linear transformation. IEEE Trans Multimed. 19 (6), 1142-1155 (2017).
  23. Chen, C., Do, M. N., Wang, J. Robust image and video dehazing with visual artifact suppression via gradient residual minimization. Computer Vision -- ECCV. Leibe, B., Matas, J., Sebe, N., Welling, M. , Springer International Publishing. Cham. 576-591 (2016).
  24. Kim, J. H., et al. Optimized contrast enhancement for real-time image and video dehazing. J. Vis. Commun. Image Represent. 24 (3), 410-425 (2013).
  25. GridDehazeNet: Attention-based multiscale network for image dehazing. Liu, X., Ma, Y., Shi, Z., Chen, J. Proc IEEE Int Conf Comput Vis, , 7313-7322 (2019).
  26. Wen, S., Zheng, Y., Lu, F. Polarization state attention dehazing network with a simulated polar-haze dataset. IEEE Trans Multimed. 27, 263-274 (2024).
  27. End-to-end united video dehazing and detection. Li, B., Peng, X., Wang, Z., Xu, J., Feng, D. 32nd AAAI Conf Artif Intell, AAAI 2018, 7016-7023 (2018).
  28. Li, Z., Shu, H., Zheng, C. Multiscale single image dehazing using Laplacian and Gaussian pyramids. IEEE Trans Image Process. 30, 9270-9279 (2021).
  29. Cai, B., Xu, X., Jia, K., Qing, C., Tao, D. DehazeNet: An end-to-end system for single image haze removal. IEEE Trans. Image Process. 25 (11), 5187-5198 (2016).
  30. Wu, Z., Liu, W., Wang, J., Li, J., Huang, D. FrePrompter: Frequency self-prompt for all-in-one image restoration. Pattern Recognit. 161, 111223(2025).
  31. Liu, F., Li, H., Hu, W., He, Y. Review of neural network model acceleration techniques based on FPGA platforms. Neurocomputing. , 128511(2024).
  32. Yang, J. Driving-video dehazing with non-aligned regularization for safety assistance. Cvpr. , 26109-26119 (2024).
  33. Yang, Y., Guo, C. L., Guo, X. Depth-aware unpaired video dehazing. IEEE Trans Image Process. 33, 2388-2403 (2024).
  34. Agrawal, R., Gupta, N., Batra, M., Arora, K. A Comprehensive review of image restoration and noise reduction techniques. Int J Recent Innov Trends Comput Commun. 11, 463-474 (2023).
  35. Ayoub, A., et al. Review of dehazing techniques: Challenges and future trends. Multimed Tools Appl. 84 (3), 1103-1131 (2025).
  36. Wei, H., et al. Robust unpaired image dehazing via adversarial deformation constraint. IEEE Trans Circuits Syst Video Technol. 34, 8614-8628 (2024).
  37. APL: Adaptive parameter learning for image dehazing. Martinho, L. A., Cavalcanti, J. M. B., Pio, J. L. S., Oliveira, F. G. 2024 International Conference on Machine Learning and Applications (ICMLA), , 636-643 (2024).
  38. Guo, X., et al. Single-image dehazing method based on Rayleigh Scattering and adaptive color compensation. PLoS One. 20, 1-18 (2025).

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

このJoVE記事のテキストまたは図の再利用許可をリクエスト

許可をリクエスト

タグ

関連記事