Research Article

Эффективная многомасштабная фильтрация в градиентной области для устранения дымки на изображениях и видео с улучшенной временной согласованностью

DOI:

10.3791/68495

⸱

September 30th, 2025

 ,  ,  , 
1Chitkara University Institute of Engineering and Technology, Chitkara University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Протокол здесь объединяет субдискретизацию с минимальным сохранением с градиентной взвешенной управляемой фильтрацией для улучшения возможностей модели светорассеяния в режиме реального времени по устранению дымки. Усреднение значений RGB из верхних 0,1 % самых ярких пикселей исходного изображения в темном канале дает атмосферный свет, а коэффициент корреляции на основе градиента используется для согласованности обработки видео.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Удаление дымки имеет решающее значение в компьютерном зрении для восстановления четкости изображения, на которое влияет атмосферное рассеяние. Существующие методы страдают от высоких вычислительных затрат, потери деталей градиента и мерцающих артефактов в видеоприложениях. Для повышения эффективности и визуального качества в данной работе предлагается многомасштабный метод удаления дымки на основе градиентного взвешенного фильтра изображений, применимый как к видео, так и к изображениям. Для оценки параметров атмосферы и снижения вычислительной сложности была использована минимальная сохраняющая субвыборка (MPS). Затем с помощью итеративного процесса повышающей дискретизации с помощью фильтра взвешенных управляемых изображений в градиентной области (GWGIF) карта пропускания уточняется, сохраняя значительное количество градиентных элементов и тем самым улучшая сохранение текстуры и краев. Для удаления дымки с видео вводится коэффициент корреляции на основе градиента (GCF), что приводит к значительному снижению артефактов мерцания по сравнению с существующими методами. Экспериментальные оценки демонстрируют превосходство нашего подхода, достигнув 26,98 балла по оценке качества изображения на основе восприятия (PIQE), 2,78 балла по оценке качества естественного изображения (NIQE) и 20,18 балла по оценке пространственного качества слепого/нереферентного изображения (BRISQE), что отражает улучшение качества восприятия. Кроме того, предложенный метод обеспечивает высокую временную когерентность при удалении дымки с отклонением среднеквадратичной ошибки (MSE) 0,003, что делает его идеальным для приложений реального времени, таких как автономные транспортные средства, наблюдение и дистанционное зондирование.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Дымка — это атмосферное явление, которое затрудняет разглядеть удаленные объекты, когда свет рассеивается дымом, каплями воды или частицами пыли. Ухудшение качества изображения из-за помутнения наноситущерб приложениям компьютерного зрения1,2, включая анализ видео, автономные транспортные средства и видеонаблюдение. Чтобы повысить производительность компьютерного зрения, в качестве первого шага в обработке, необходимо разработать стратегию удаления дымки для удаления компонентов дымки с изображений. Термин «удаление дымки» относится к шагам, используемым для восстановления четкости размытого или иным образом непригодного для использования изображения. В последние годы было разработано несколько методов удаления дымки с изображений. Задача удаления дымки представляет собой целевое (туманное) изображение Iтуманного (x) цветового канала в точке x, как показано на рисунке (1), взятом из He et al.3.

figure-introduction-1    1

Jclear(x) представляет прозрачное изображение, тогда как Latm и tmap представляют глобальный атмосферный свет и карту пропускания среды, соответственно. Часть света, улавливаемая датчиками камеры, обозначается расстоянием d(x)на карте t, рассчитанным по расстоянию между сценой и камерой в He et al.3, как показано в (2).

figure-introduction-2    2

Здесь β представляет собой коэффициент пропускания для рассеяния воздуха.

Восстановление Jclear(x) изI туманности(x) в процессе удаления дымки показано в (3), что достигается после перегруппировки (1). Здесь t представляет собой коэффициент пропускания света в атмосфере, также известный как коэффициент пропускания.

figure-introduction-3    3

Модель предыдущего темного канала (DCP)3 является одной из самых известных атмосферных моделей для этой цели. Среди хорошо известных методов удаления дымки на основе физических моделей наиболее широко используется DCP, который предполагает, что по крайней мере один цветовой канал содержит пиксели с чрезвычайно низкой интенсивностью в изображении без дымки. Это априорное значение используется для оценки карты передачи с помощью DCP и восстановления сияния сцены из (1). Однако этот метод отнимает много времени и перенасыщает область неба на изображении.

Мотивация для этого исследования проистекает из необходимости улучшить видимость в приложениях компьютерного зрения, где дымка значительно ухудшает качество изображения. Такой подход не только ускоряет процесс удаления дымки, но и обеспечивает сохранение деталей изображения, таких как края и текстуры. Кроме того, исследование распространяет свой алгоритм удаления дымки на видео, решая важнейшую проблему обработки видео. Иногда, при различных условиях освещения, видимость изображений меняется, что представляет собой еще одну проблему во многих приложениях, таких как автономное вождение и видеонаблюдение.

Валидация предложенного алгоритма удаления дымки была проведена с помощью обширных экспериментов на различных общедоступных наборах данных изображений и видео. Наборы данных включают в себя как синтетические, так и реальные туманные сцены, что позволяет проводить всестороннюю оценку в различных условиях. Экспериментальная проверка различных реальных видеопоследовательностей (Riverside, Crossroad, Haze road, Ship)4 и статическихизображений5 с различной плотностью дымки, оцененных с использованием установленных метрик (FADE, NIQE, PIQE, BRISQUE)6 и сравненных с девятью современными методами, демонстрирует практическую применимость алгоритма в автомобильной промышленности, системах видеонаблюдения, морских и мобильных вычислительных системах при сохранении производительности в реальном времени. Производительность оценивалась с помощью субъективных визуальных сравнений и объективных показателей качества, демонстрируя конкурентоспособность с современными подходами с точки зрения точности и вычислительной эффективности.

Предлагаемая работа рассчитана на работу в режиме реального времени и была протестирована на изображениях и видео с разрешением до 1920 × 1080 пикселей. Чтобы обеспечить эффективную обработку, все эксперименты проводились на рабочей станции, оснащенной процессором Intel i3-6006U (2,00 ГГц) и 12 ГБ оперативной памяти. Несмотря на то, что метод демонстрирует высокую производительность в различных сценариях реального мира, он может демонстрировать сниженную точность в условиях чрезвычайно плотной дымки, где оценка пропускания становится ненадежной. Эти детали подчеркивают практичность и ограничения предлагаемого подхода в развертывании в реальных условиях.

Для решения различных проблем в этом исследовании предлагается новый подход с использованием многомасштабного GWGIF для удаления дымки с изображений и видео. Интегрируя метод MPS, исследование представляет собой вычислительно эффективный метод оценки карты передачи, которая является ключевым фактором в устранении дымки. Проблема мерцающих артефактов была решена за счет использования нового метода МПС, который поддерживает временную согласованность между последовательными кадрами, обеспечивая как вычислительную эффективность, так и высокое качество результатов. Это исследование способствует разработке более надежных методов улучшения изображения и видео. На рисунке 1 показана карта передачи, рассчитанная с использованием метода MPS, а на рисунке 2 показан предложенный метод, сочетающий MPS и GCF. Новизна нашей работы заключается в разработке алгоритма удаления дымки с изображений и видео в режиме реального времени на основе мультимасштабирования с помощью взвешенного управляемого фильтра на основе градиента, который устраняет вычислительные узкие места традиционных методов удаления дымки. В частности, нашими основными новыми достижениями являются: (1) метод MPS, который сохраняет критические темные области для точной оценки пропускания при одновременном снижении вычислительной нагрузки; (2) GWGIF, который специально сохраняет твердые края во время уточнения карты пропускания; (3) Оптимизированная оценка атмосферного освещения, которая фокусируется только на верхних 0,1% самых ярких пикселей; (4) GCF для удаления дымки с видео, которая измеряет сходство кадров с помощью градиентной информации; (5) Система временной оптимизации, которая повторно использует вычисления между похожими видеокадрами для достижения обработки в реальном времени.

Этот метод позволяет достичь производительности в режиме реального времени, обеспечивая при этом качество удаления дымки, сравнимое с качеством современных алгоритмов или превосходящее его, как продемонстрировали обширные эксперименты, представленные в статье [Рисунок 3, Рисунок 4, Рисунок 5, Рисунок 6 и Рисунок 7].

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этой работе использовались синтетические или естественные сценические изображения без участия человека. Таким образом, этическое одобрение не требовалось.

Этот протокол удаления дымки с изображений разработан на стандартной вычислительной установке и предназначен для повышения четкости и видимости туманных изображений. Рабочая среда – MATLAB7. Этот подход основан на систематическом процессе, включающем оценку дымки, уточнение и восстановление изображений. Постепенно улучшая качество изображения с сохранением важных деталей, этот метод обеспечивает четкие и визуально привлекательные результаты. Он был протестирован на широко используемых наборахданных8 и оценен с использованием стандартных показателей качества изображения, продемонстрировав его эффективность и пригодность для академических или исследовательских приложений. Важные пояснения и уравнения для протокола, материалов и оборудования, а также этапы предлагаемого решения приведены в разделах ниже. Также были обозначены параметры оценки.

1. Материалы и оборудование

Эксперимент разработан с использованием MATLAB Online (24.2.0.2871072 (R2024b) Update 5) и выполнен на системе с процессором Intel i3-6006U (2,00 ГГц). Наборы данныхизображений 5,8, использованные для реализации, взяты из справочной литературы. Методология включает в себя использование фильтра Гаусса 5 × 5 с билинейной интерполяцией, оценку карты пропускания с использованием алгоритма MPS9 и уточнение с помощью фильтра GWGIF, и все это осуществляется на подходящей вычислительной инфраструктуре. Подробная информация и ссылки на все материалы и оборудование, использованные в исследовании, приведены в Таблице материалов.

2. Экспериментальная установка

Экспериментальная установка включает в себя реализацию предложенного подхода к удалению дымки с изображений и видео в научной вычислительной среде, поддерживающей обработку и визуализацию изображений на основе матрицы. Для оценки эффективности метода использовались стандартные эталонные наборы данных 5,8, состоящие из туманных изображений и видеозаписей10, на которые ссылаются в установленной литературе. Алгоритм следует многомасштабной структуре обработки, используя пирамиды изображений и корреляцию на основе градиента для управления вычислениями и уточнением карты адаптивной передачи. Для видеопоследовательностей кадры извлекаются через фиксированные интервалы, а НОД используется для определения того, следует ли повторно использовать или пересчитать карту передачи. Эффективность очищенных результатов оценивалась с использованием широко признанных показателей качества изображения, включая NIQE, PIQE, BRISQE, FADE и MSE, что обеспечивает как субъективную, так и объективную оценку качества реставрации.

3. Параметры, используемые для оценки

Для объективной оценки были использованы пять показателей качества: (1) FADE (Fog-Aware Density Evaluator)8; (2) NIQE (Оценка качества естественного изображения)11; (3) PIQE (Оценка качества изображения, основанного на восприятии)12; (4) BRISQUE (Оценка пространственного качества слепых/нереферентных изображений)13; (5) MSE (среднеквадратичная ошибка) между последовательными кадрами14.

4. Методология обеззараживания одного изображения и видео

  1. Конвертация и построение пирамиды изображений
    Удаление дымки с одного изображения начинается с преобразования входного цветного изображения в оттенки серого (figure-protocol-1). Пирамида изображений {figure-protocol-2, figure-protocol-3...,,figure-protocol-4figure-protocol-5 } затем строится путем рекурсивного понижения дискретизации Iс коэффициентом 2 до тех пор, пока не будет достигнут самый грубый уровень IL, так что максимальный размер не будет превышать 320 пикселей. Это означает, что L определяется требованием, что max(W, H) <= 320, где W и H представляют ширину и высоту на самом грубом уровне L. Значение L указывает на количество операций понижения выборки, необходимых для достижения желаемого самого грубого уровня в структуре пирамиды, как показано на рисунке 2.
  2. Оценка карты передачи
    Карта пропускания показывает процент света, который не рассеивается и достигает сенсора камеры. Карта пропускания точно отображает информацию о глубине изображения, поскольку она является функцией глубины, которая является последовательной. Карта передачи, ткарта, вычисляется с использованием окружающего света для восстановления изображения без дымки Jclear (x). Основной целью исследования является разработка вычислительно эффективного метода оценки передачи для ускорения процесса удаления дымки, поскольку было обнаружено, что расчет карты передачи является наиболее трудоемким шагом. Чтобы быть более точным, после оценки пропускания с более низким разрешением и предположения, что карта пропускания состоит из постоянных частей, результаты были подвергнуты повышению дискретизации, как показано на рисунке Рисунок 2.
    1. Начальная оценка карты передачи с использованием мультимасштабного подхода на МПС
      Первоначальная карта figure-protocol-6 пропускания получена из ImageImage figure-protocol-7, который уже был вычислен путем понижения дискретизации входного туманного изображения на самом грубом уровне, L. Используя подход MPS9 на figure-protocol-8, изображение теперь разделено на 5 × квадратные блоки размером 5, как показано на рисунке 1. Кроме того, figure-protocol-9 вычисляется путем выбора минимального значения из каждого блока 5 × 5 для получения изображения с уменьшенной дискретизацией, с размерами (M/m) × (N/m), показанными в ( 4) из Kansal et al.9. Здесь min обозначает математическую функцию для вычисления минимального значения интенсивности в блоке BIi.
      figure-protocol-104
      Изображение figure-protocol-11 темного канала 4 самого грубого уровня затем получают путем применения минимального фильтра figure-protocol-12 3 × 3, как показано на рисунке (5), взятомиз работы 9 Kansal et al.
      figure-protocol-13 5
      Где ω — окно размером 3 × 3. Первоначальная карта figure-protocol-14 передачи окончательно оценивается с помощью:
      figure-protocol-156
      где w — постоянный множитель (обычно 0).
      Карта передачи на основе MPS обеспечивает улучшенную контрастность и детализацию в регионах, сильно подверженных воздействию дымки, поддерживая локальные минимальные значения в пределах соответствующих участков. Тем не менее, подход, основанный на линейном преобразовании22 , дает карту пропускания, которая является более равномерной (и менее точной) в удалении дымки, поскольку она не способна различать регионы с различными уровнями интенсивности дымки.
    2. Усовершенствование трансмиссии
      Поскольку исходная карта пропускания (figure-protocol-16) оценивается только на самом грубом уровне (L) пирамиды изображения, она должна быть увеличена, чтобы соответствовать разрешению исходного входного изображения. Простая билинейная повышающая дискретизация BUp(·) применяется для получения карты пропускания с полным разрешением. Более того, чтобы сохранить детали краев на карте передачи, figure-protocol-17 необходимо доработать. Использование управляемого фильтра и градиентного фильтра, примененных в Van et al.14 и Kansal et al.9, приведет к размытию артефактов на карте пропускания, что приведет к потере деталей текстуры и информации о краях, что в конечном итоге ухудшит производительность удаления дымки. Для решения этой проблемы был использован метод взвешенной по градиентной области управляемой фильтрации изображений (GWGIF)15 для эффективного сохранения деталей изображения. Наконец, усовершенствованная передача figure-protocol-18 получена, как показано ниже, у Wang et al.16.
      figure-protocol-19 7
      GWGIF уточняет исходную карту пропускания, сохраняя структуры краев и избегая артефактов размытия, которые обычно вносят стандартные управляемые фильтры. Для реализации функции17 GWGIF был выполнен следующий шаг.
      Ввод:
      figure-protocol-20: Исходная карта пропускания (с низким разрешением или грубая)
      figure-protocol-21: Исходное туманное изображение (используется в качестве ориентира)
      Выпуск:
      figure-protocol-22
      Шаг 1: Верхняя выборка исходной карты передачи
      Размер figure-protocol-23 изменен в соответствии с размером Ihazy
      Шаг 2: ПреобразуемI hazy в оттенки серого
      Iтуманный = rgb2gray(Ятуманный)
      Шаг 3: Примените взвешенный управляемый фильтр для градиентной области, как показано в (7)
      Полученная уточненная карта передачиfigure-protocol-24
      Этот процесс вычисляет величину градиента по направляющему изображению с помощью оператора Собеля, генерирует веса на основе градиента и интегрирует их в уравнение управляемой фильтрации для улучшения сглаживания с учетом краев. На выходе получается уточненная карта пропускания, которая значительно улучшает качество удаления дымки и сохранение деталей, как показано на рисунке 4.
  3. Оценка атмосферного освещения
    Глобальное атмосферное освещение с точки зрения удаления дымки на основе моделей имеет важное значение. Как утверждают Zhang et al.18, более яркие изображения без дымки получаются за счет более низких значений атмосферного света, в то время как более высокие значения атмосферного света дают самые темные изображения без дымки. Предлагаемая работа оценивает атмосферный свет по изображению темного канала (figure-protocol-25), полученному из входного туманного изображения. Затем значения RGB, соответствующие верхним 0,1% самых ярких пикселей в изображении темного канала, выбираются для получения конечного значения атмосферного освещения, как показано в (8), как указано в He et al.3. Здесь γ представляет собой первые 0,1 самых ярких пикселей. Эти пиксели обычно соответствуют наиболее непрозрачным областям изображения. Из этих выбранных пикселей извлекаются и усредняются соответствующие значения RGB в исходном изображении для определения глобального атмосферного освещения Lатм.
    figure-protocol-26 8
    Атмосферный свет Latm рассчитывается путем выбора верхних 0,1% самых ярких пикселей из изображения темного канала. Выполняется это следующим образом:
    Ввод:
    Туманное изображение Iтуманное изображение RGB)
    Выпуск:
    Атмосферный свет Latm (3-элементный RGB вектор)
    Стремянка:
    Шаг 1: Вычислили темный канал изображения:
    Изображение темного канала — figure-protocol-27.
    Шаг 2: Найдено большинство непрозрачных пикселей
    Сглаживание темного канала в 1D-массив
    Отсортированы значения пикселей в порядке убывания.
    Выбраны верхние 0,1% самых ярких пикселей (т. е. самые высокие значения в темном канале → высокой концентрацией дымки).
    Шаг 3: Выберите пиксели-кандидаты на входном изображении
    Среди выделенных верхних 0,1% пикселей (из темного канала) определите соответствующие пиксели на исходном туманном изображении Iтуманные.
    Для каждого выбранного пикселя вычислялась интенсивность (например, сумма или норма его значений RGB).
    Шаг 4: Установите Atmospheric Light Latm
    Значение RGB самого яркого пикселя, выбранного выше, было взято в качестве расчетного атмосферного освещения.
    Описанная выше методика систематически оценивает освещенность атмосферы, Латм.
    Описанная выше процедура систематически оценивает атмосферный свет Latm с использованием темного канала перед определением наиболее подверженных дымке областей на изображении. Исключая яркие, ясные области и фокусируясь на верхних 0,1% самых темных областей (что указывает на плотную дымку), метод обеспечивает надежную и точную оценку глобального атмосферного освещения, что является критическим параметром для эффективного удаления дымки в алгоритмах удаления дымки с одного изображения.
    1. Восстановление туманных изображений
      Наконец, после нахождения атмосферного света Lатм и уточненной карты figure-protocol-28пропускания получено изображение без дымки Jclear(x) с использованием формулировки Van et al.14 в (9), которая определяется как
      figure-protocol-299
      где γ — нижняя граница передачи (установлена на 0,05)
      Как показано на рисунке 1, предложенный метод уточнения карты пропускания эффективно сохраняет сложные характеристики изображения и позволяет восстанавливать изображение без помутнения.
  4. Восстановление туманного видео
    Подход к удалению дымки с помощью видео, представленный в этой работе, основан на алгоритме удаления дымки с одного изображения, включая соображения временной когерентности для предотвращения мерцающих артефактов. Авторы признают, что применение удаления дымки с одного изображения независимо от каждого кадра видео нарушит временную согласованность между кадрами, что приведет к визуальным несоответствиям. Чтобы решить эту проблему, был разработан новый алгоритм удаления дымки с видео, который количественно измеряет временную согласованность между последовательными начальными кадрами. Эта информация используется для адаптивной оценки карт пропускания и значений атмосферного освещения для следующих кадров.
    1. Мерцающие артефакты
      Одна и та же область изображения может быть захвачена с разными пиксельными координатами в последовательных кадрах видео из-за движения объекта и/или камеры. В результате этих движений возникают мерцающие артефакты, которые изменяют значения передачи в одном и том же месте. Методы оценки движения, такие как оценка оптического потока19, могут быть использованы для отслеживания местоположения подвижного объекта и решения этих проблем. Однако методы оценки движения часто требуют высокой степени вычислительной сложности. Поэтому вместо явного вычисления движений между кадрами была использована простая вероятностная модель, называемая НОД. Дифференциальное изображение между двумя последовательными кадрами служит основой для этой модели.
    2. Коэффициент корреляции на основе градиента
      Коэффициент корреляции на основе градиента (GCF) измеряет сходство между двумя последовательными видеокадрами на основе градиентов их пикселей. Изображения/кадры I1 и I2 очень похожи, на что указывают высокие значения корреляции (I1, I2) ≈ 1, что подразумевает, что пиксель (x, y) представляет собой дубликат объекта или содержимого сцены в обоих кадрах. Низкие значения корреляции (I1, I2) ≈ 0 указывают на то, что изображения и кадры не совпадают, скорее всего, из-за движения или окклюзий. Поскольку туманное изображение имеет меньший контраст и четкость, значения пикселей изображения не могут быть использованы для наблюдения корреляции между двумя кадрами.
      Туманные изображения часто выглядят в основном белесыми из-за рассеяния и поглощения света, что приводит к общему увеличению интенсивности пикселей и снижению контрастности. В результате большинство пикселей в двух последовательных туманных кадрах становятся одинаковыми, что делает прямую корреляцию на основе пикселей неэффективной, поскольку дымка маскирует фактические детали сцены. В этом контексте GCF приобретает еще большее значение. В отличие от попиксельной корреляции, на которую сильно влияет дымка, GCF фокусируется на градиентах, изменениях интенсивности и цветовых переходах между соседними пикселями. Эти градиенты в меньшей степени зависят от общей яркости изображения и лучше захватывают структурную информацию, такую как края и контуры. Это делает НОД более надежной мерой сходства между кадрами в условиях туманности по сравнению с коэффициентом корреляции (CF) на основе пикселей между двумя кадрами, как показано в таблице 1.
      Корреляция figure-protocol-30 между последовательными видеокадрами IK и IK-1следующая.
      figure-protocol-3110
      где количество пикселей в кадре равно N и σ = 10. figure-protocol-32 и figure-protocol-33 — градиентные изображения, соответствующие видеокадрам IK и IK-1. Простой шаг для вычисления НОД:
      Входные данные: кадр IК и ИК-1.
      Градиент между каждым кадром и его предыдущим кадром вычисляли, а затем применяли (10) для вычисления CGF, который впоследствии использовался для определения карты пропускания и атмосферного света, необходимых для вычисления текущего кадра, или можно использовать для вычисления начального кадра и шагов, повторяющихся для каждого следующего следующего кадра. НОД вычисляет корреляцию между двумя последовательными кадрами. Если корреляция высокая, это указывает на то, что два последовательных кадра почти одинаковы; В противном случае это указывает на низкую корреляцию.
    3. Решение на основе GCF для оценки атмосферного света и карты пропускания
      GCF играет решающую роль в определении того, как работать с атмосферным светом, и оценке карт пропускания в процессах удаления дымки. GCF измеряет сходство между последовательными видеокадрами на основе их градиентов, что помогает оценить, насколько сцена изменилась между кадрами, учитывая такие факторы, как движение или окклюзия.
      Когда значение НОД высокое, а именно больше 0,85, это указывает на то, что текущий кадр сильно похож на предыдущий. В таких случаях предполагается, что карта передачи из предыдущего кадра все еще действительна, так как сцена существенно не изменилась. Использование карты передачи из предыдущего кадра помогает поддерживать согласованность между кадрами и избежать ненужных пересчетов, тем самым повышая эффективность вычислений.
      Однако, если значение НОД падает ниже 0,5, это указывает на значительную разницу между кадрами, вероятно, из-за движения или других динамических изменений в сцене. В таких случаях использование карты пропускания предыдущего кадра приведет к неточным результатам. Поэтому атмосферный свет Latm необходимо пересчитывать, чтобы адаптироваться к новым условиям сцены. Кроме того, вычисляется новая карта пропускания, чтобы лучше представить содержимое текущего кадра. Эта повторная калибровка гарантирует, что процесс удаления дымки учитывает обновленные характеристики сцены, точно восстанавливая четкость и контрастность.
      Этот процесс принятия решений, управляемый GCF, позволяет алгоритму удаления дымки динамически подстраиваться под изменения сходства кадров, что приводит к более точному и надежному восстановлению изображения. Адаптируя карту пропускания и атмосферный свет на основе наблюдаемой корреляции, протокол эффективно обрабатывает динамические сцены и изменяющиеся условия дымки, улучшая качество изображений, на которых рассеивается дымка.

5. Пошаговое резюме подхода к устранению дымки с помощью одного изображения и видео

Ниже приведено пошаговое описание подхода к устранению дымки с использованием одного изображения и видео, приведенное на рисунке 2, где представлена исходная структура алгоритма. (1) Загрузил входное туманное изображение figure-protocol-34 в систему для обработки; (2) Преобразовал изображение в оттенки серого и несколько раз понизил его в 2 раза, как {figure-protocol-35 , figure-protocol-36 ..., figure-protocol-37 figure-protocol-38 }. Выбрано наиболее грубое изображение figure-protocol-39, такое, что max (W, H) <= 320, где W и H представляют ширину и высоту на самом грубом уровне L; (3) Разделил грубое изображение figure-protocol-40 на m × m блоков. Здесь m выбирается как (5); (4) Вычислил минимальную интенсивность в каждом блоке для получения уменьшенного изображения figure-protocol-41 с размерностью figure-protocol-42; (5) Изображение темного канала самого грубого уровня, figure-protocol-43затем получается путем применения фильтра минимума 3 × 3 к figure-protocol-44; (6) Оценил исходную карту передачи по формуле, figure-protocol-45где w выбрано как 0,95 в этой работе; (7) Уточнена карта передачи с помощью GWGIF(.) для получения figure-protocol-46; (8) Оценка атмосферного света Lатм путем усреднения значения RGB, соответствующего расположению наиболее ярких пикселей в верхнем 0,1% в темном канале (figure-protocol-47) туманного изображения; (9) Восстановлено очищенное изображение Jclear (x) с использованием модели светорассеяния

figure-protocol-48; (10) Для видео, извлеченные кадры через равные промежутки времени; (11) Рассчитал коэффициент корреляции на основе градиента (GCF) между двумя последовательными кадрами для измерения сходства кадров; (12) Если < 0,5, рассчитана новая карта передачи для текущего кадра; если GCF≥0.85, повторно используется карта передачи из предыдущего кадра; (13) Уточнен каждый кадр и восстановлены удаленные кадры, используя те же шаги, что и для изображений; (14) Оценка качества выходных данных с использованием таких показателей, как NIQE11, PIQE12, BRISQE13, FADE8 и MSE14.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Качественные и количественные результаты дают дополнительную информацию при оценке метода или эксперимента. Качественные результаты основаны на субъективных оценках, часто с использованием визуальных сравнений, перцептивных оценок или мнений экспертов для анализа эффективности подхода. Они помогают проиллюстрировать улучшения в реальных сценариях, но на них может влиять человеческое восприятие. В отличие от этого, количественные результаты основаны на объективных числовых показателях, таких как точность, таких как NIQE

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Предложенная эффективная многомасштабная градиентная фильтрация для удаления дымки с изображений и видео с использованием подхода с улучшенной временной когерентностью устраняет вычислительные узкие места в алгоритмах удаления дымки на основе физических моделей за счет эффективной оценки карт атмосферного света и пропускания с использованием пирамидальной структуры изображений. Ключевым нововведением является выполнение оценки карты пропускания MPS на самом грубом пирамидальном уровне по...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы заявляют об отсутствии конфликта интересов

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Выражаем искреннюю благодарность редактору и анонимным рецензентам за их проницательные комментарии и полезные рекомендации, которые значительно повысили уровень и читабельность этой работы. Их тщательная процедура оценки и проницательные замечания сыграли решающую роль в улучшении общего вклада исследований в эту область и помогли усовершенствовать ее.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Набор данных  Лаборатория машинного зрения и обработки изображений, Университет Ватерлоо5http : //ivc.uwaterloo.ca/database/Dehaze/Оценка алгоритмов удаления дымки с изображений и видео
Градиентный взвешенный направляющий фильтр (реализация Matlab)Ванг  et al.16 https://arxiv.org/pdf/2211.16796Эффективная корректировка карты передачи
MATLAB (с набором инструментов для обработки изображений)Версия: MATLAB Online (24.2.0.2871072 (R2024b) Update 5)https://www.mathworks.com/products/matlab.htmlРеализация предложенных и базовых алгоритмов
ПроцессорПроцессор Intel i3-6006U (2,00 ГГц)https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.htmlЗапуск алгоритмов
Исходные коды для базовых методовKim et  al.3, Van et  al.14, Yang et al.20,
  Ren et al.21,  Chen et  al.23, Li B et al.26		3https://github.com/metinsuloglu/Haze-RemovalОценка методов удаления дымки, основанных на обучении
14https://github.com/viengiaan/MGF удаление дымки
20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
21https://github.com/rwenqi/GFN-dehazing
23https://cchen156.github.io/code/robustdehaze.zip
26https://github.com/Boyiliee/EVD-Net
4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Sharrab, Y. O., Alsmadi, I., Sarhan, N. J. Towards the availability of video communication in artificial intelligence-based computer vision systems utilizing a multi-objective function. Cluster Comput. 25 (1), 231-247 (2022).
  2. Afif, M., Said, Y., Atri, M. Computer vision algorithms acceleration using graphic processors NVIDIA CUDA. Cluster Comput. 23, 3335-3347 (2020).
  3. He, K., Sun, J., Tang, X. Single image haze removal using dark channel prior. IEEE TransPattern Anal Mach Intell. 33 (12), 2341-2353 (2011).
  4. Live Image Quality Database (Release 2). , Live Image Quality Database. http://live.ece.utexas.edu/research/fog/fadefade.html (2025).
  5. IVC Dehazing Dataset. , Image & Vision Computing (IVC) Laboratory. https://ivc.uwaterloo.ca/database/dehaze.html (2025).
  6. Ma, K., Duanmu, Z., Wu, Q., Wang, Z., Yong, H., Li, H., Zhang, L. Waterloo exploration database: New challenges for image qulity assessment models. IEEE TransImage Process. 26 (2), 1004-1016 (2017).
  7. MATLAB Online. , MathWorks. at https://matlab.mathworks.com (2025).
  8. Choi, L. K., You, J., Bovik, A. C. Referenceless prediction of perceptual fog density and perceptual image defogging. IEEE Trans. Image Process. 24 (11), 3888-3901 (2015).
  9. Kansal, I., Kasana, S. S. Minimum preserving subsampling-based fast image de-fogging. J Mod Opt. 65 (18), 2103-2123 (2018).
  10. Choi, L. K., You, J., Bovik, A. C. FADE: Fog Aware Density Evaluator. IEEE TransImage Process. 24 (11), 6436-6448 (2015).
  11. Blind image quality evaluation using perception based features. Venkatanath, N., Praneeth, D., Maruthi Chandrasekhar, B. H., Channappayya, S. S., Medasani, S. S. 2015 21st Natl Conf Commun, , 1-6 (2015).
  12. Chen, X., Fan, Z., Li, P., Dai, L., Kong, C., Zheng, Z., Li, Y. Unpaired deep image dehazing using contrastive disentanglement learning. in computer vision -- ECCV 2022. Avidan, S., Brostow, G., Cissé, M., Farinella, G. M., Hassner, T. , Springer Nature Switzerland. Cham. 632-648 (2022).
  13. Mittal, A., Moorthy, A. K., Bovik, A. C. No-reference image quality assessment in the spatial domain. IEEE Trans. Image Process. 21 (12), 4695-4708 (2012).
  14. Van Nguyen, T., Vien, A. G., Lee, C. Real-time image and video dehazing based on multiscale guided filtering. Multimed Tools Appl. 81 (25), 36567-36584 (2022).
  15. Image dehazing based on multiscale retinex and guided filtering. Gao, Z., Zhai, Y. 2022 Int Conf Image Process Comput Vis Mach Learn, , 123-126 (2022).
  16. Wang, B., Wang, Y., Sui, X., Liu, Y., Chen, Q. Gradient domain weighted guided image filtering. Signal Image Video Process. 17 (8), 4097-4105 (2023).
  17. Chang, M., Feng, H., Xu, Z., Li, Q. Low-light image restoration with short- and long-exposure raw pairs. IEEE Trans Multimed. 24, 702-714 (2022).
  18. Physically-based rendering for indoor scene understanding. Zhang, Y., Song, S., Yumer, E., Savva, M. Proc IEEE Conf Comput Vis Pattern Recognit, , 5287-5295 (2017).
  19. Tan, Y., Zhu, Y., Huang, Z., Tan, H., Li, K. MAPD: An FPGA-based real-time video haze removal accelerator using mixed atmosphere prior. IEEE Trans Comput Des Integr Circuits Syst. 42 (12), 4777-4790 (2023).
  20. Yang, D., Sun, J. Proximal dehaze-net: A prior learning-based deep network for single image dehazing. Lect Notes Comput Sci. 11211 LNCS, 729-746 (2018).
  21. Gated fusion network for single image dehazing. Ren, W. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit, , 3253-3261 (2018).
  22. Wang, W., Yuan, X., Wu, X., Liu, Y. Fast image dehazing method based on linear transformation. IEEE Trans Multimed. 19 (6), 1142-1155 (2017).
  23. Chen, C., Do, M. N., Wang, J. Robust image and video dehazing with visual artifact suppression via gradient residual minimization. Computer Vision -- ECCV. Leibe, B., Matas, J., Sebe, N., Welling, M. , Springer International Publishing. Cham. 576-591 (2016).
  24. Kim, J. H., et al. Optimized contrast enhancement for real-time image and video dehazing. J. Vis. Commun. Image Represent. 24 (3), 410-425 (2013).
  25. GridDehazeNet: Attention-based multiscale network for image dehazing. Liu, X., Ma, Y., Shi, Z., Chen, J. Proc IEEE Int Conf Comput Vis, , 7313-7322 (2019).
  26. Wen, S., Zheng, Y., Lu, F. Polarization state attention dehazing network with a simulated polar-haze dataset. IEEE Trans Multimed. 27, 263-274 (2024).
  27. End-to-end united video dehazing and detection. Li, B., Peng, X., Wang, Z., Xu, J., Feng, D. 32nd AAAI Conf Artif Intell, AAAI 2018, 7016-7023 (2018).
  28. Li, Z., Shu, H., Zheng, C. Multiscale single image dehazing using Laplacian and Gaussian pyramids. IEEE Trans Image Process. 30, 9270-9279 (2021).
  29. Cai, B., Xu, X., Jia, K., Qing, C., Tao, D. DehazeNet: An end-to-end system for single image haze removal. IEEE Trans. Image Process. 25 (11), 5187-5198 (2016).
  30. Wu, Z., Liu, W., Wang, J., Li, J., Huang, D. FrePrompter: Frequency self-prompt for all-in-one image restoration. Pattern Recognit. 161, 111223(2025).
  31. Liu, F., Li, H., Hu, W., He, Y. Review of neural network model acceleration techniques based on FPGA platforms. Neurocomputing. , 128511(2024).
  32. Yang, J. Driving-video dehazing with non-aligned regularization for safety assistance. Cvpr. , 26109-26119 (2024).
  33. Yang, Y., Guo, C. L., Guo, X. Depth-aware unpaired video dehazing. IEEE Trans Image Process. 33, 2388-2403 (2024).
  34. Agrawal, R., Gupta, N., Batra, M., Arora, K. A Comprehensive review of image restoration and noise reduction techniques. Int J Recent Innov Trends Comput Commun. 11, 463-474 (2023).
  35. Ayoub, A., et al. Review of dehazing techniques: Challenges and future trends. Multimed Tools Appl. 84 (3), 1103-1131 (2025).
  36. Wei, H., et al. Robust unpaired image dehazing via adversarial deformation constraint. IEEE Trans Circuits Syst Video Technol. 34, 8614-8628 (2024).
  37. APL: Adaptive parameter learning for image dehazing. Martinho, L. A., Cavalcanti, J. M. B., Pio, J. L. S., Oliveira, F. G. 2024 International Conference on Machine Learning and Applications (ICMLA), , 636-643 (2024).
  38. Guo, X., et al. Single-image dehazing method based on Rayleigh Scattering and adaptive color compensation. PLoS One. 20, 1-18 (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Image DehazingVideo DehazingGradient Domain FilteringMultiscale FilteringTemporal CoherenceGuided Image FilterTransmission Map RefinementAtmospheric ScatteringTexture PreservationReal Time Dehazing

Related Articles