用于图像和视频去雾的高效多尺度梯度域滤波，增强时间相干性

Summary

这里的协议将最小保留子采样与梯度域加权引导滤波集成在一起，以增强光散射模型的实时去雾能力。将源图像在暗通道中最亮的前 0.1% 像素的 RGB 值取平均值可产生大气光，并且基于渐变的“相关因子”用于视频处理的一致性。

Abstract

去雾在计算机视觉中至关重要，可以恢复受大气散射影响的图像清晰度。现有方法在视频应用中存在计算成本高、梯度细节丢失和闪烁伪影等问题。为了提高效率和视觉质量，提出了一种基于多尺度梯度域加权引导图像滤波器的去雾技术，适用于视频和图像。为了估计大气参数并降低计算复杂性，采用了最小保留子采样 （MPS）。接下来，使用梯度域加权引导图像滤波器 （GWGIF） 进行迭代上采样过程，细化透射图，保留大量梯度特征，从而增强纹理和边缘保留。对于视频去雾，引入了基于梯度的相关因子（GCF），与现有方法相比，闪烁伪影显着减少。实验评估证明了我们方法的优越性，实现了基于感知的图像质量评估器 （PIQE） 得分为 26.98，自然图像质量评估器 （NIQE） 得分为 2.78，盲/无参考图像空间质量评估器 （BRISQE） 得分为 20.18，反映了感知质量的提高。此外，所提出的方法确保了视频去雾的高时间相干性，均方误差（MSE）偏差为0.003，使其成为自动驾驶汽车、监控和遥感等实时应用的理想选择。

Introduction

雾霾是一种大气现象，当光线被烟雾、水滴或灰尘颗粒散射时，它更难看到远处的物体。雾霾导致的图像质量下降对计算机^{视觉应用有害1,2，包括}视频分析、自动驾驶汽车和监控。为了提高计算机视觉的性能，作为处理的第一步，去雾策略对于从图像中去除雾霾成分至关重要。术语“去雾”是指用于恢复模糊或无法使用的图像的清晰度的步骤。近年来，已经开发了几种用于图像去雾的技术。去雾问题表示位置x处颜色通道的目标（朦胧）图像I^hazy（x），如（1）所示，取自He等人³。

    1

J^clear（x）表示透明图像，而L_atm 和t_图 分别表示全局大气光和介质透射图。相机传感器拾取的光的部分由 t_映射 距离 d（x） 表示，该距离由 He 等人 ³中场景与相机之间的距离计算得出，如 （2） 所示。

    2

这里，β 表示空气散射的传输系数。

在去雾过程中从I^hazy（x）中回收J^clear（x），如（3）所示，这是在（1）重排后实现的。这里，t 代表大气的透光率，也称为透射系数。

    3

暗通道先验 （DCP）³ 模型是用于此目的的最著名的大气模型之一。在众所周知的基于物理模型的去雾技术中，DCP应用最广泛，它假设在无雾图像中至少有一个颜色通道包含强度极低的像素。该先验用于使用 DCP 估计透射图并恢复场景辐射度 （1）。然而，这种技术非常耗时，并且会使图像中的天空区域过度饱和。

这项研究的动机源于需要提高计算机视觉应用的可见性，在这些应用中，雾霾会显着降低图像质量。该方法不仅加速了去雾过程，还确保保留了图像细节，例如边缘和纹理。此外，该研究还将其去雾算法扩展到视频，解决了视频处理中的关键问题。有时，在不同的照明条件下，图像的可见度会发生变化，这在自动驾驶和监控等许多应用中提出了另一个挑战。

通过对各种公开可用的图像和视频数据集进行大量实验，对所提出的去雾算法进行了验证。这些数据集包括合成和现实世界的朦胧场景，可以在不同条件下进行综合评估。使用既定指标（FADE、NIQE、PIQE、BRISQUE^）6 进行评估并与九种最先进的方法进行比较，对不同的真实世界视频序列（河滨、十字路口、雾霾路、船舶）⁴ 和具有不同雾霾密度的静态图像⁵ 进行实验验证，证明了该算法在保持实时性能的同时对汽车、监控、海事和移动计算领域的实际适用性。使用主观视觉比较和客观质量指标评估性能，证明了在准确性和计算效率方面与最先进方法的竞争力。

拟议的工作专为实时性能而设计，并已在分辨率高达 1920 × 1080 像素的图像和视频上进行了测试。为确保高效处理，所有实验均在配备 Intel i3-6006U CPU （2.00 GHz） 和 12 GB RAM 的工作站上进行。虽然该方法在各种现实场景中表现出强大的性能，但在透射估计变得不可靠的极其密集的雾霾条件下，它可能会表现出准确性降低。这些细节凸显了所提出的方法在实际部署中的实用性和局限性。

为了克服各种挑战，本研究提出了一种使用多尺度 GWGIF 对图像和视频进行去雾的新方法。通过整合MPS方法，该研究引入了一种计算高效的技术来估计透射图，这是去雾的关键因素。闪烁伪影已通过采用一种新颖的 GCF 方法得到解决，该方法保持连续帧之间的时间一致性，确保计算效率和高质量的结果。这项研究有助于开发更强大的图像和视频增强技术。 图1 显示了使用MPS方法计算的透射图， 图2 显示了所提出的结合MPS和GCF的方法。我们工作的新颖之处在于开发了一种基于多尺度的实时图像和视频去雾算法，该算法采用基于梯度的加权引导滤波器，解决了传统去雾方法的计算瓶颈。具体来说，我们的主要新贡献是：（1）MPS技术，该技术保留关键暗区以进行准确的透射估计，同时减少计算负载;（2）在透射图细化过程中专门保留牢固边缘的GWGIF;（3）优化大气光估计，仅关注前0.1%最亮的像素;（4）通过梯度信息测量帧相似度的视频去雾GCF;（5）一种时间优化系统，复用相似视频帧之间的计算，实现实时处理。

正如本文中介绍的大量实验所证明的那样，该方法实现了实时性能，同时提供与最先进算法相当或更好的去雾质量[图3， 图4，图 5， 图6和 图7]。

Protocol

这项工作使用了合成或自然场景图像，没有涉及人类主题。因此，不需要伦理批准。

该图像去雾协议是在标准计算设置上开发的，旨在增强朦胧图像的清晰度和可见性。工作环境为 MATLAB⁷。该方法遵循涉及雾度估计、细化和图像恢复的系统过程。通过逐渐提高图像质量，同时保留重要细节，该方法可提供清晰且具有视觉吸引力的结果。它已在广泛使用的数据集⁸ 上进行了测试，并使用标准图像质量测量进行了评估，证明了其对学术或研究应用的有效性和适用性。以下各节提供了协议、材料和设备的重要解释和方程，以及所提议解决方案的步骤。还概述了评估参数。

1、材料设备

该实验是使用 MATLAB Online （24.2.0.2871072 （R2024b） Update 5） 开发的，并在配备 Intel i3-6006U CPU （2.00 GHz） 的系统上执行。用于实现的图像数据集^5,8来自参考文献。该方法包括使用具有双线性插值的 5 × 5 高斯滤波器、使用 MPS 算法⁹ 进行透射图估计以及通过 GWGIF 滤波器进行细化，所有这些都在合适的计算基础设施上进行。材料表中提到了研究中使用的所有材料和设备的详细信息和链接。

2. 实验设置

实验设置涉及在支持基于矩阵的图像处理和可视化的科学计算环境中实施所提出的图像和视频去雾方法。标准基准数据集^5,8，由模糊图像和视频¹⁰组成，如现有文献中所引用的那样，用于评估该方法的性能。该算法遵循多尺度处理框架，利用图像金字塔和基于梯度的相关性来指导自适应传输图的计算和细化。对于视频序列，帧以固定间隔提取，GCF 用于确定是复用还是重新计算传输映射。使用广泛认可的图像质量指标（包括 NIQE、PIQE、BRISQE、FADE 和 MSE）评估去雾输出的有效性，确保对修复质量进行主观和客观评估。

3. 用于评估的参数

为了进行客观评估，使用了五个质量指标：（1） FADE（雾感知密度评估器）⁸;（2）NIQE（自然图像质量评估器）¹¹;（3）PIQE（基于感知的图像质量评估器）¹²;（4）BRISQUE（盲/无参考图像空间质量评估员）¹³;（5） 连续帧之间的 MSE（均方误差）¹⁴.

4. 单图像和视频去雾的方法

1. 转换和构建图像金字塔
   单图像去雾首先将输入的彩色图像转换为灰度 （）。然后通过递归下采样 I^hazy 以 2 倍构造图像金字塔 {， ...，， }，直到达到最粗略的水平 I_L，使得最大尺寸不大于 320 像素。这意味着 L 是由 max（W， H） <= 320 的要求确定的，其中 W 和 H 表示最粗略水平 L 的宽度和高度。L 值表示达到金字塔结构中所需的最粗略水平所需的下采样作次数，如图 2 所示。
2. 透射图估计
   透射图显示未散射并到达相机传感器的光的百分比。传输图准确地表示了图片的深度信息，因为它是连续深度的函数。传输图 t_地图，使用环境光计算以重建无雾图像 J^clear (x).该研究的主要目的是开发一种计算高效的透射估计方法来加快去雾过程，因为发现计算透射图是最耗时的步骤。更具体地说，在以较低分辨率估计透射率并假设透射图由恒定部分组成后，结果已被上采样，如图所示 图2.
   1. 基于多尺度方法的MPS初始透射图估计
      初始传输图 是从ImageImage 获得的，该图已经通过在最粗略的水平L上对输入的朦胧图像进行下采样来计算的。使用MPS方法⁹ ，图像现在被分成5个×5大小的正方形块，如[图1]所示。此外， 通过从每个 5 × 5 块中选择最小值来计算，以获得下采样图像，其尺寸 （M/m） × （N/m） 如 Kansal 等人 ⁹ 的 （4） 所示。这里，min 代表计算块 BI_i 中最小强度值的数学函数。
      4、
      然后通过应用3×3最小滤光片获得最粗的暗通道图像4，如（5）所示，取自Kansal等人的工作⁹。
       5
      其中 ω 是大小为 3 × 3 的窗口。最终使用以下方法估计初始传输图 ：
      6、
      其中 w 是常数因子（通常为 0）。
      基于 MPS 的透射图通过保持相应斑块内的局部最小值，确保在受雾霾严重影响的区域提高对比度和细节恢复。然而，基于线性变换²² 的方法产生了在去除雾霾方面更均匀（且不太准确）的透射图，因为它无法区分具有不同雾霾强度水平的区域。
   2. 变速箱细化
      由于初始传输图 （） 仅在图像金字塔的最粗略级别 （L） 处估计，因此必须对其进行上采样以匹配原始输入图像的分辨率。应用简单的双线性上采样B_Up（·）得到全分辨率透射图。此外，为了保留传输图中的边缘细节，必须进行细化。采用引导滤光片和梯度引导滤光片，如Van等人¹⁴和Kansal等人⁹所应用的那样，会导致透射图中的伪影模糊，导致纹理细节和边缘信息丢失，最终会降低去雾性能。为了解决这个问题，采用梯度域加权引导图像滤波（GWGIF）¹⁵方法来有效地保留图像细节。最后，从Wang等人¹⁶处获得如下精细化的透射。
       7
      GWGIF 通过保留边缘结构并避免标准引导滤波器通常引入的模糊伪影来细化初始透射图。已按照以下步骤实现GWGIF功能¹⁷。
      输入：
      ：初始透射图（低分辨率或粗糙）
      ：原始朦胧图像（用作指导）
      输出：
      
      步骤 1：对初始透射图进行上采样
      调整大小以匹配 I^hazy 的大小
      第 2 步：将 I^朦胧 转换为灰度
      I^hazy = rgb2gray（我^朦胧）
      步骤3：应用梯度域加权引导滤波器，如（7）所示
      获得精细化透射图
      该过程使用 Sobel 算子从引导图像中计算梯度大小，生成基于梯度的权重，并将它们集成到引导滤波方程中，以增强边缘感知平滑。输出是精细的透射图，可显着提高去雾质量和细节保留，如 图 4 所示。
3. 大气光估计
   就基于模型的图像去雾而言，全球大气光至关重要。正如Zhang等人¹⁸所说，较低的大气光值产生更亮的去雾图像，而较高的大气光值产生最暗的去雾图像。拟议的工作从输入的朦胧图像中获得的暗通道图像（）中估计大气光。然后，选择暗通道图像中最亮的0.1%最亮像素对应的RGB值，得到大气光的最终值，如He等人3^所示（8）。在这里，γ 代表前 0.1 个最亮的像素。这些像素通常对应于图像中雾度最不透明的区域。从这些选定的像素中，提取并平均它们在原始图像中对应的 RGB 值，以确定全局大气光 L_atm。
    8
   大气光 L_atm 是通过从暗通道图像中选择前 0.1% 最亮的像素来计算的。这是按如下方式执行的：
   输入：
   朦胧图像我^朦胧的 RGB 图像）
   输出：
   大气光 L_atm （3 元素 RGB 矢量）
   步骤：
   第 1 步：计算图像的暗通道：
   暗通道图像是 。
   第 2 步：找到大多数雾霾不透明像素
   将暗通道展平为一维数组
   按降序对像素值进行排序。
   选择前 0.1% 最亮的像素（即，暗通道→高雾度浓度中的最高值）。
   第 3 步：在输入图像中选择候选像素
   在选定的前 0.1% 像素（来自暗通道）中，识别原始朦胧图像 I^hazy 中的相应像素。
   对于每个选定的像素，计算强度（例如，其 RGB 值的总和或范数）。
   第 4 步：设置大气灯 L_atm
   上面选择的最亮像素的 RGB 值已作为估计的大气光。
   上述过程系统地估计了大气光 L_atm。
   上述过程通过利用暗通道系统地估计大气光 L_atm ，然后再识别图像中受雾霾影响最严重的区域。通过排除明亮、清晰的区域并关注前 0.1% 的最暗区域（表示浓雾），该方法确保了对全球大气光的稳健和准确估计，这是单图像去雾算法中有效去除雾霾的关键参数。
   1. 朦胧图像恢复
      最后，在找到大气光L_atm和精细透射图后，利用Van等^人14的（9）公式得到无霾图像J^clear（x），由下式给出
      9.
      其中 γ 是传输的下限（设置为 0.05）
      如 图1所示，所提出的透射图细化方法有效地保留了画面的复杂特征，实现了无雾度的画面恢复。
4. 朦胧视频恢复
   这项工作中提出的视频去雾方法建立在单图像去雾算法的基础上，结合了时间相干性考虑，以防止闪烁伪影。作者认识到，对视频的每一帧独立应用单图像去雾会破坏帧之间的时间连贯性，从而导致视觉不一致。为了解决这个问题，已经开发了一种新型视频去雾算法，可以量化连续初始帧之间的时间连贯性。此信息用于自适应估计即将到来的帧的透射图和大气光值。
   1. 闪烁的伪影
      由于物体和/或摄像机的移动，在视频的连续帧中，可以在不同的像素坐标处捕获相同的图像区域。这些运动会导致闪烁伪影，从而改变同一位置的透射值。运动估计技术，例如光流估计¹⁹，可用于跟踪可移动物体的位置并解决这些问题。然而，运动估计方法通常需要高度的计算复杂性。因此，使用了一种称为 GCF 的简单概率模型，而不是显式计算帧之间的运动。两个连续帧之间的差分图像是该模型的基础。
   2. 基于梯度的相关因子
      基于梯度的相关因子 （GCF） 根据两个连续视频帧的像素梯度来衡量它们之间的相似性。图像/帧 I₁ 和 I₂ 高度相似，如高相关值 （I₁， I₂） ≈ 1 所示，这意味着像素 （x， y） 代表两个帧中的重复对象或场景内容。低相关值（I₁、I₂）≈ 0 表示图像和帧不相同，很可能是由于运动或遮挡造成的。由于朦胧图像的对比度和清晰度较低，因此图像的像素值不能用于观察两帧之间的相关性。
      由于光的散射和吸收，朦胧的图像通常大多呈白色，导致像素强度普遍增加和对比度降低。因此，两个连续的朦胧帧中的大多数像素变得相似，使得基于像素的直接关联无效，因为雾霾掩盖了实际的场景细节。在这种情况下， GCF 变得更加重要。与受雾霾影响很大的像素相关性不同，GCF 侧重于相邻像素之间的渐变、强度变化和颜色过渡。这些渐变受图像整体亮度的影响较小，可以更好地捕获结构信息，例如边缘和轮廓。与两个帧之间基于像素的相关因子（CF）相比，这使得GCF成为更可靠的模糊条件下帧之间相似性的衡量标准，如 表1所示。
      连续视频帧 I^K 和 I^K-1之间的相关性如下。
      10
      其中帧中的像素数为 N，σ = 10。 是 视频帧 I^K 和 I^K-1 对应的渐变图像。计算 GCF 的一个简单步骤是：
      输入：帧 I^K 和 ^IK-1。
      计算每帧与其前一帧之间的梯度，然后应用（10）计算CGF，随后用于确定计算当前帧所需的透射图和大气光，或可用于计算初始帧和每个下一个帧重复的步骤。GCF 计算两个连续帧之间的相关性。如果相关性很高，则表示两个连续的帧几乎相同;否则，它表示相关性较低。
   3. 基于GCF的大气光和透射图估计决策
      GCF 在确定如何处理大气光和估计去雾过程中的透射图方面起着至关重要的作用。GCF 根据连续视频帧的渐变来测量其相似性，这有助于评估场景在帧之间的变化程度，同时考虑运动或遮挡等因素。
      当 GCF 值较高时，特别是大于 0.85，则表示当前帧与前一帧高度相似。在这种情况下，假定前一帧的传输映射仍然有效，因为场景没有发生显着变化。使用前一帧的传输图有助于保持帧之间的一致性，避免不必要的重新计算，从而提高计算效率。
      但是，如果 GCF 值低于 0.5，则表明帧之间存在显着差异，可能是由于场景中的运动或其他动态变化造成的。在这种情况下，依赖前一帧的传输图会导致结果不准确。因此，需要重新计算大气光L_atm以适应新的场景条件。此外，还会计算新的传输映射，以更好地表示当前帧的内容。这种重新校准可确保去雾过程考虑场景的更新特征，准确恢复清晰度和对比度。
      这种决策过程在GCF的指导下，使去雾算法能够根据帧相似度的变化进行动态调整，从而实现更精确、更可靠的图像还原。该协议根据观测到的相关性调整透射图和大气光，有效地处理动态场景和波动的雾霾条件，提高了去雾图像的质量。

5. 单图像和视频去雾方法的分步总结

提供了单图像和视频去雾方法的分步摘要，以图 2 为指导，该方法提供了算法的初始框架。（1）将输入的朦胧图像加载到系统中进行处理;（2） 将图像转换为灰度，并重复下采样 2 倍，为 { ， ...， }。选择最粗略的图像，使得max（W，H）<= 320，其中W和H代表最粗略水平L的宽度和高度;（3）将粗图像分成m×m块。这里，m 被选为 （5）;（4）计算每个块的最小强度，得到有维度的下采样图像;（5）然后，通过应用3×3最小滤光片得到最粗的暗通道图像; （6）使用公式估计初始透射图，其中w在本工作中选择为0.95;（7）使用GWGIF（.）对传输图进行细化，得到;（8）通过对应于朦胧图像暗通道（）中前0.1%最亮像素点位置的RGB值进行平均，估计大气光L_atm;（9）使用光散射模型恢复了去雾图像J清晰（x） 

;（10）对于视频，定期提取帧;（11）计算两个连续帧之间的基于梯度的相关因子（GCF）来衡量帧相似度;（12）若<0.5，则计算当前帧的新传输图;如果 GCF≥0.85，则复用上一帧的传输映射;（13）使用与图像相同的步骤对每一帧进行细化并恢复去雾帧;（14） 使用 NIQE¹¹、PIQE¹²、BRISQE¹³、FADE⁸ 和 MSE¹⁴ 等指标评估输出质量。

Results

定性和定量结果在评估方法或实验时提供了互补的见解。定性结果侧重于主观评估，通常使用视觉比较、感知评估或专家意见来分析方法的有效性。它们有助于说明现实场景中的改进，但可能会受到人类感知的影响。相比之下，定量结果依赖于客观的数值指标，例如准确性，如 NIQE¹¹、PIQE¹²、BRISQE¹³、FADE⁸ 和 MSE¹⁴，以严格的统计方式衡量有效性。强有力的评估通常将两者结合起来，确保方法不仅在数值上表现良好，而且在实际应用中提供有意义的改进。

单图像去雾的定性结果分析
在图5中，演示了所提出的方法在数据集中的朦胧图片上的性能，包括火车、hazyShade、桩、树、城市景观和南瓜。该比较显示了每种算法为测试图像生成的去雾结果。比较评价包括六种算法的结果...

Discussion

所提出的具有增强时间相干性的图像和视频去雾的高效多尺度梯度域滤波通过使用图像金字塔结构有效地估计大气光和透射图，解决了基于物理模型的去雾算法中的计算瓶颈。关键创新是在最粗的金字塔级别执行 MPS 透射图估计，在上采样期间遵循 GWGIF 滤波以保留重要的图像细节。对于视频，该方法结合了 GCF 考虑因素，通过保持相邻帧之间传输值的一致性来减少闪烁伪影。实施拟议工作的基本步骤详述如下。

这些步骤至关重要，因为它们直接影响雾霾去除的准确性、结构细节的保留以及视频时间一致性的保持。使用最小保留子采样（MPS）（步骤4.2.1）的初始透射图估计在准确估计场景深度方面起着至关重要的作用，特别是在远处和严重朦胧的区域。MPS 比传统的线性方法更有效地增强深度灵敏度。接下来，使用梯度域加权引导图像滤波（GWGIF）（步骤4.2.2）进行透射图细化对于在上采样期间保留边缘和纹理信息至关重要。如果没有 GWGIF，透射图会出现模糊和细节丢失，从而显着降低最终去雾图像的清晰度。

...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
数据	滑铁卢大学视觉与图像处理实验室	5http ： //ivc.uwaterloo.ca/database/Dehaze/	图像和视频去雾算法的评估
基于梯度的加权引导滤波器（Matlab 实现）	王 等。	16 https://arxiv.org/pdf/2211.16796	高效的传输图细化
MATLAB（带图像处理工具箱）	版本：MATLAB Online （24.2.0.2871072 （R2024b） Update 5）	https://www.mathworks.com/products/matlab.html	实施拟议算法和基线算法
处理器	英特尔 i3-6006U CPU （2.00 GHz）	https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.html	运行算法
基线方法的源代码	金等 al.3，范 et al.14， Yang et al.20，  任等人21， 陈等 al.23， Li B et al.26	3https://github.com/metinsuloglu/Haze-Removal	基于学习的去雾方法的评估
		14https://github.com/viengiaan/MGF 去雾
		20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
		21https://github.com/rwenqi/GFN-dehazing
		23https://cchen156.github.io/code/robustdehaze.zip
		26https://github.com/Boyiliee/EVD-Net
		4 http ： //live.ece.utexas.edu/research/f og/f adedef ade.html