Research Article

Wydajne wieloskalowe filtrowanie w domenie gradientu do usuwania zamglenia obrazów i filmów z lepszą spójnością czasową

DOI:

10.3791/68495

⸱

September 30th, 2025

 ,  ,  , 
1Chitkara University Institute of Engineering and Technology, Chitkara University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokół ten integruje podpróbkowanie z minimalnym zachowaniem z filtrowaniem kierowanym ważonym w domenie gradientu, aby zwiększyć możliwości usuwania zamglenia w czasie rzeczywistym w modelu rozpraszania światła. Uśrednienie wartości RGB z 0,1% najjaśniejszych pikseli obrazu źródłowego w ciemnym kanale daje nastrojowe światło, a współczynnik korelacji oparty na gradiencie jest używany do zapewnienia spójności przetwarzania wideo.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Usuwanie zamglenia ma kluczowe znaczenie w widzeniu komputerowym w celu przywrócenia klarowności obrazu, na który wpływ ma rozpraszanie atmosferyczne. Istniejące metody borykają się z wysokimi kosztami obliczeniowymi, utratą szczegółów gradientu i migotaniem artefaktów w aplikacjach wideo. Aby zwiększyć wydajność i jakość wizualną, w niniejszej pracy zaproponowano wieloskalową technikę usuwania zamglenia opartą na filtrze obrazu z przewodnikiem, ważoną w domenie gradientu, mającą zastosowanie zarówno do filmów, jak i obrazów. Aby oszacować parametry atmosfery i zmniejszyć złożoność obliczeniową, zastosowano minimalną podpróbkowanie zachowującą (MPS). Następnie, iteracyjny proces próbkowania w górę z filtrem GWGIF (Gradient-domain Weighted Guided Image Filter) udoskonala mapę transmisji, zachowując znaczną ilość cech gradientu, a tym samym poprawiając zachowanie tekstury i krawędzi. Do usuwania zamglenia wideo wprowadzono współczynnik korelacji oparty na gradiencie (GCF), co skutkuje znacznym zmniejszeniem artefaktów migotania w porównaniu z istniejącymi metodami. Oceny eksperymentalne pokazują wyższość naszego podejścia, uzyskując wynik Perception-based Image Quality Evaluator (PIQE) na poziomie 26,98, wynik Natural Image Quality Evaluator (NIQE) na poziomie 2,78 oraz wynik Blind/Reference Image Spatial Quality Evaluator (BRISQE) na poziomie 20,18, co odzwierciedla poprawę jakości percepcyjnej. Co więcej, proponowana metoda zapewnia wysoką spójność czasową w usuwaniu zamglenia wideo, z odchyleniem błędu średniokwadratowego (MSE) wynoszącym 0,003, dzięki czemu idealnie nadaje się do zastosowań w czasie rzeczywistym, takich jak pojazdy autonomiczne, nadzór i teledetekcja.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Mgła to zjawisko atmosferyczne, które utrudnia dostrzeżenie odległych obiektów, gdy światło jest rozpraszane przez dym, kropelki wody lub cząsteczki kurzu. Pogorszenie jakości obrazu spowodowane zamgleniem jest szkodliwe dla aplikacji widzenia komputerowego 1,2, w tym analizy wideo, pojazdów autonomicznych i nadzoru. Aby poprawić wydajność widzenia komputerowego, pierwszym krokiem w przetwarzaniu jest strategia usuwania zamglenia w celu usunięcia składników zamglenia z obrazów. Termin "usuwanie zamglenia" odnosi się do kroków stosowanych w celu przywrócenia wyrazistości rozmytego lub w inny sposób bezużytecznego obrazu. W ostatnich latach opracowano kilka technik usuwania zamglenia obrazu. Problem z usuwaniem zamglenia reprezentuje docelowy (zamglony) obraz Ihazy(x) kanału koloru w lokalizacji x, jak pokazano w (1), jak zaczerpnięto z He et al.3.

figure-introduction-11

Jclear(x) reprezentuje przezroczysty obraz, podczas gdy Latm it map reprezentują odpowiednio globalne światło atmosferyczne i mapę transmisji medium. Część światła, która jest odbierana przez czujniki kamery, jest oznaczona odległością namapie t d(x), obliczoną na podstawie odległości między sceną a kamerą w He i wsp.3, jak pokazano w (2).

figure-introduction-2 cyfra arabska

Tutaj β reprezentuje współczynnik transmisji dla rozpraszania powietrza.

Odzyskiwanie Jclear(x) z Ihazy(x) podczas procesu odmgławiania, pokazano w (3), co osiąga się po przegrupowaniu (1). Tutaj t oznacza przepuszczalność światła atmosfery, znaną również jako współczynnik transmisji.

figure-introduction-33

Model Dark Channel Before (DCP)3 jest jednym z najbardziej znanych modeli atmosferycznych do tego celu. Spośród dobrze znanych technik usuwania zamglenia opartych na modelu fizycznym, DCP jest najczęściej stosowana, która zakłada, że co najmniej jeden kanał koloru zawiera piksele o bardzo niskiej intensywności na obrazie wolnym od zamglenia. Ten priori jest używany do oszacowania mapy transmisji za pomocą DCP i odzyskania promieniowania sceny z (1). Jednak ta technika jest czasochłonna i nadmiernie nasyca obszar nieba na obrazie.

Motywacją do przeprowadzenia tych badań jest potrzeba poprawy widoczności w aplikacjach widzenia komputerowego, w których zamglenie znacznie pogarsza jakość obrazu. Takie podejście nie tylko przyspiesza proces usuwania zamglenia, ale także zapewnia zachowanie szczegółów obrazu, takich jak krawędzie i tekstury. Co więcej, badanie rozszerza swój algorytm usuwania zamglenia na filmy, rozwiązując krytyczny problem w przetwarzaniu wideo. Czasami, w różnych warunkach oświetleniowych, zmienia się widoczność obrazów, co stanowi kolejne wyzwanie w wielu zastosowaniach, takich jak autonomiczna jazda i nadzór.

Walidację proponowanego algorytmu usuwania zamglenia przeprowadzono za pomocą szeroko zakrojonych eksperymentów na różnych publicznie dostępnych zestawach danych obrazów i filmów. Zestawy danych obejmują zarówno syntetyczne, jak i rzeczywiste zamglone sceny, co pozwala na kompleksową ocenę w różnych warunkach. Eksperymentalna walidacja na różnych rzeczywistych sekwencjach wideo (Riverside, Crossroad, Haze road, Ship)4 i statycznychobrazach5 o różnej gęstości zamglenia, oceniona przy użyciu ustalonych wskaźników (FADE, NIQE, PIQE, BRISQUE)6 i porównana z dziewięcioma najnowocześniejszymi metodami, pokazuje praktyczną przydatność algorytmu w dziedzinach motoryzacji, nadzoru, transportu morskiego i obliczeń mobilnych przy jednoczesnym utrzymaniu wydajności w czasie rzeczywistym. Wydajność oceniono za pomocą subiektywnych porównań wizualnych i obiektywnych wskaźników jakości, wykazując konkurencyjność przy użyciu najnowocześniejszych podejść pod względem dokładności i wydajności obliczeniowej.

Proponowana praca została zaprojektowana z myślą o wydajności w czasie rzeczywistym i została przetestowana na obrazach i filmach o rozdzielczościach do 1920 × 1080 pikseli. Aby zapewnić wydajną obsługę, wszystkie eksperymenty zostały przeprowadzone na stacji roboczej wyposażonej w procesor Intel i3-6006U (2,00 GHz) i 12 GB pamięci RAM. Chociaż metoda wykazuje wysoką wydajność w różnych rzeczywistych scenariuszach, może wykazywać zmniejszoną dokładność w warunkach bardzo gęstego zamglenia, w których szacowanie transmisji staje się niewiarygodne. Te szczegóły podkreślają praktyczność i ograniczenia proponowanego podejścia w rzeczywistym wdrożeniu.

Aby sprostać różnym wyzwaniom, w ramach tego badania zaproponowano nowatorskie podejście wykorzystujące wieloskalowy GWGIF do usuwania zamglenia obrazów i filmów. Integrując metodę MPS, w badaniu wprowadzono wydajną obliczeniowo technikę szacowania mapy transmisji, która jest kluczowym czynnikiem w usuwaniu zamglenia. Artefakty migotania zostały rozwiązane poprzez zastosowanie nowatorskiej metody GCF, która utrzymuje spójność czasową między kolejnymi klatkami, zapewniając zarówno wydajność obliczeniową, jak i wysoką jakość wyników. Badanie to przyczynia się do opracowania bardziej niezawodnych technik ulepszania obrazu i wideo. Rysunek 1 ilustruje mapę transmisji obliczoną metodą MPS, a rysunek 2 przedstawia proponowaną metodę łączącą MPS i GCF. Nowatorstwo naszej pracy polega na opracowaniu algorytmu usuwania zamglenia obrazu i wideo w czasie rzeczywistym, opartego na wieloskalowaniu z gradientowym ważonym filtrem prowadzonym, który rozwiązuje wąskie gardła obliczeniowe tradycyjnych metod usuwania zamglenia. W szczególności nasze główne nowatorskie wkłady to: (1) technika MPS, która zachowuje krytyczne ciemne obszary w celu dokładnego oszacowania transmisji przy jednoczesnym zmniejszeniu obciążenia obliczeniowego; (2) GWGIF, który w szczególny sposób zachowuje twarde krawędzie podczas udoskonalania mapy transmisji; (3) Zoptymalizowane oszacowanie światła atmosferycznego, które skupia się tylko na 0,1% najjaśniejszych pikseli; (4) GCF do usuwania zamglenia wideo, które mierzy podobieństwo klatek na podstawie informacji o gradiencie; (5) System optymalizacji czasowej, który ponownie wykorzystuje obliczenia między podobnymi klatkami wideo w celu uzyskania przetwarzania w czasie rzeczywistym.

Metoda ta osiąga wydajność w czasie rzeczywistym, zapewniając jednocześnie jakość usuwania zamglenia porównywalną lub lepszą niż w przypadku najnowocześniejszych algorytmów, jak wykazano w obszernych eksperymentach przedstawionych w artykule [Rysunek 3, Rysunek 4, Rysunek 5, Rysunek 6 i Rysunek 7].

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W pracy wykorzystano syntetyczne lub naturalne obrazy sceniczne bez udziału ludzi. W związku z tym nie była wymagana żadna aprobata etyczna.

Ten protokół usuwania zamglenia obrazu został opracowany w standardowej konfiguracji obliczeniowej i ma na celu zwiększenie klarowności i widoczności zamglonych obrazów. Środowisko pracy to MATLAB7. Podejście to opiera się na systematycznym procesie obejmującym szacowanie zamglenia, udoskonalanie i przywracanie obrazu. Dzięki stopniowej poprawie jakości obrazu przy jednoczesnym zachowaniu ważnych szczegółów, metoda zapewnia wyraźne i atrakcyjne wizualnie rezultaty. Został on przetestowany na powszechnie używanych zestawach danych8 i oceniony przy użyciu standardowych miar jakości obrazu, wykazując jego skuteczność i przydatność do zastosowań akademickich lub badawczych. Ważne wyjaśnienia i równania dotyczące protokołu, materiałów i sprzętu, a także etapów proponowanego rozwiązania, zostały przedstawione w poniższych sekcjach. Przedstawiono również parametry oceny.

1. Materiały i wyposażenie

Eksperyment został opracowany przy użyciu MATLAB Online (24.2.0.2871072 (R2024b) Update 5) i wykonany na systemie z procesorem Intel i3-6006U (2,00 GHz). Zestawy danych obrazów 5,8 wykorzystane do wdrożenia pochodzą z przywoływanej literatury. Metodologia obejmuje zastosowanie filtra gaussowskiego 5 × 5 Gaussa z interpolacją dwuliniową, estymację mapy transmisji przy użyciu algorytmu MPS9 oraz udoskonalenie za pomocą filtra GWGIF, a wszystko to przeprowadzone na odpowiedniej infrastrukturze obliczeniowej. Szczegóły i linki do wszystkich materiałów i sprzętu wykorzystanego w badaniach są wymienione w Tabeli Materiałów.

2. Konfiguracja eksperymentalna

Konfiguracja eksperymentalna obejmuje implementację proponowanego podejścia do usuwania zamglenia obrazu i wideo w naukowym środowisku obliczeniowym, które obsługuje przetwarzanie i wizualizację obrazów w oparciu o matryce. Do oceny skuteczności metody wykorzystano standardowe zestawy danych porównawczych 5,8, składające się z zamglonych obrazów i filmów10, do których odwołuje się ustalona literatura. Algorytm jest zgodny z wieloskalową strukturą przetwarzania, wykorzystując piramidy obrazów i korelację opartą na gradientach, aby kierować obliczeniami i udoskonalaniem adaptacyjnej mapy transmisji. W przypadku sekwencji wideo klatki są wyodrębniane w stałych odstępach czasu, a GCF służy do określenia, czy należy ponownie użyć, czy ponownie obliczyć mapę transmisji. Skuteczność odhażonych wydruków została oceniona przy użyciu powszechnie uznanych wskaźników jakości obrazu, w tym NIQE, PIQE, BRISQE, FADE i MSE, zapewniając zarówno subiektywną, jak i obiektywną ocenę jakości odbudowy.

3. Parametry wykorzystywane do oceny

Do obiektywnej oceny wykorzystano pięć wskaźników jakości: (1) FADE (Fog-Aware Density Evaluator)8; (2) NIQE (Ocena Naturalnej Jakości Obrazu)11; (3) PIQE (Ocena jakości obrazu w oparciu o percepcję)12; (4) BRISQUE (Blind/Reference Image Spatial Quality Evaluator)13; (5) MSE (błąd średniokwadratowy) między kolejnymi klatkami14.

4. Metodologia usuwania zamglenia pojedynczego obrazu i wideo

  1. Konwertowanie i konstruowanie piramidy obrazkowej
    Usuwanie zamglenia pojedynczego obrazu rozpoczyna się od przekształcenia wejściowego obrazu kolorowego na skalę szarości (figure-protocol-1). Piramida obrazu {figure-protocol-2, figure-protocol-3...,figure-protocol-4, figure-protocol-5} jest następnie konstruowana przez rekurencyjne próbkowanie w dół Ihazy ze współczynnikiem 2, aż do osiągnięcia najgrubszego poziomu IL , tak aby maksymalny wymiar nie był większy niż 320 pikseli. Oznacza to, że L jest określone przez wymóg, że max(W, H) <= 320, gdzie W i H reprezentują szerokość i wysokość na najgrubszym poziomie L. Wartość L wskazuje liczbę operacji próbkowania w dół wymaganych do osiągnięcia pożądanego najgrubszego poziomu w strukturze ostrosłupa, jak pokazano na rysunku 2.
  2. Estymacja mapy przesyłu
    Mapa transmisji pokazuje procent światła, które jest nierozproszone i dociera do matrycy kamery. Mapa transmisyjna dokładnie przedstawia informacje o głębokości obrazu, ponieważ jest to funkcja głębi, która jest następująca. Mapa transmisji,t mapa, jest obliczana przy użyciu światła otoczenia w celu zrekonstruowania obrazu bez zamglenia Jclear (x). Głównym celem badania jest opracowanie wydajnej obliczeniowo metody szacowania transmisji w celu przyspieszenia procesu usuwania zamglenia, ponieważ stwierdzono, że obliczanie mapy transmisji jest najbardziej czasochłonnym krokiem. Mówiąc dokładniej, po oszacowaniu transmisji w niższej rozdzielczości i założeniu, że mapa transmisji składa się ze stałych części, wyniki zostały podpróbkowane w górę, jak pokazano na rysunku 2.
    1. Wstępna estymacja mapy transmisji przy użyciu podejścia wieloskalowego na MPS
      Początkowa mapa figure-protocol-6 transmisji jest uzyskiwana z obiektu ImageImage figure-protocol-7, który został już obliczony przez zmniejszenie próbkowania wejściowego zamglonego obrazu na najgrubszym poziomie, L. Korzystając z podejścia MPS9 na figure-protocol-8, obraz jest teraz dzielony na bloki kwadratowe o rozmiarach 5 × 5, jak pokazano na [Rysunek 1]. Ponadto oblicza się, figure-protocol-9 wybierając minimalną wartość z każdego bloku 5 × 5, aby uzyskać obraz z próbkowaniem w dół, o wymiarach (M/m) × (N/m) pokazanych w (4) z Kansal i wsp.9. W tym przypadku min oznacza funkcję matematyczną służącą do obliczania minimalnej wartości intensywności w bloku BIi.
      figure-protocol-104
      Obraz figure-protocol-11 ciemnego kanału 4 na najgrubszym poziomie uzyskuje się następnie przez nałożenie minimalnego filtra figure-protocol-12 3 × 3, jak pokazano na ( 5) zaczerpniętym z pracy Kansal et al.9.
      figure-protocol-135
      Gdzie ω oznacza okno o rozmiarach 3 × 3. Początkowa mapa figure-protocol-14 transmisji jest ostatecznie szacowana za pomocą:
      figure-protocol-156
      gdzie w jest czynnikiem stałym (zwykle 0).
      Mapa transmisyjna oparta na MPS zapewnia lepszy kontrast i odzyskiwanie szczegółów w obszarach poważnie dotkniętych zamgleniem, utrzymując lokalne wartości minimalne w odpowiednich łatach. Jednak podejście oparte na transformacji liniowej22 daje mapę transmisji, która jest bardziej jednolita (i mniej dokładna) w usuwaniu zamglenia, ponieważ nie jest w stanie rozróżnić regionów o różnych poziomach intensywności zamglenia.
    2. Udoskonalenie skrzyni biegów
      Ponieważ początkowa mapa transmisji (figure-protocol-16) jest szacowana tylko na najgrubszym poziomie (L) piramidy obrazu, musi być próbkowana w górę, aby dopasować rozdzielczość oryginalnego obrazu wejściowego. Proste dwuliniowe próbkowanie w górę BUp(·) jest stosowane w celu uzyskania mapy transmisji w pełnej rozdzielczości. Ponadto, aby zachować szczegóły krawędzi na mapie transmisji, figure-protocol-17 muszą zostać dopracowane. Zastosowanie filtra prowadzonego i filtra gradientowego, zastosowanych w Van et al.14 i Kansal et al.9, spowodowałoby rozmycie artefaktów na mapie transmisji, co skutkowałoby utratą szczegółów tekstury i informacji o krawędziach, co ostatecznie pogorszyłoby wydajność usuwania zamglenia. Aby rozwiązać ten problem, zastosowano metodę filtrowania obrazów z przewodnikiem ważonym domeną gradientu (GWGIF)15 w celu skutecznego zachowania szczegółów obrazu. Wreszcie, rafinowaną transmisję figure-protocol-18 uzyskuje się jak poniżej od Wang et al.16.
      figure-protocol-197
      GWGIF udoskonala początkową mapę transmisji, zachowując struktury krawędzi i unikając artefaktów rozmycia, które zwykle są wprowadzane przez standardowe filtry prowadzone. Wykonano następujący krok, aby zaimplementować funkcję GWGIF17.
      Wkład:
      figure-protocol-20: Początkowa mapa transmisji (o niskiej rozdzielczości lub zgrubna)
      figure-protocol-21: Oryginalny zamglony obraz (używany jako wskazówka)
      Wyjście:
      figure-protocol-22
      Krok 1: Pobrano próbkę początkowej mapy transmisji
      Zmieniono rozmiar figure-protocol-23 tak, aby pasował do rozmiaru Ihazy
      Krok 2: Przekonwertowany Ihazy na skalę szarości
      Izamglony = rgb2gray(Izamglony)
      Krok 3: Zastosowano filtr prowadzony ważony domeną gradientu, jak w (7)
      Uzyskano ulepszoną mapę transmisji.figure-protocol-24
      Proces oblicza wielkość gradientu na podstawie obrazu prowadzącego za pomocą operatora Sobela, generuje wagi oparte na gradiencie i integruje je z równaniem filtrowania z przewodnikiem w celu usprawnienia wygładzania z uwzględnieniem krawędzi. Wynikiem jest udoskonalona mapa transmisji, która znacznie poprawia jakość usuwania zamglenia i zachowanie szczegółów, jak pokazano na rysunku 4.
  3. Szacowanie światła atmosferycznego
    Globalne światło atmosferyczne, jeśli chodzi o usuwanie zamglenia obrazu w oparciu o model, ma zasadnicze znaczenie. Jak stwierdzili Zhang i wsp.18, jaśniejsze obrazy z odmgleniem powstają przy niższych wartościach światła atmosferycznego, podczas gdy wyższe wartości światła atmosferycznego dają najciemniejsze obrazy z odmgleniem. Proponowana praca szacuje światło atmosferyczne z obrazu ciemnego kanału (figure-protocol-25) uzyskanego z wejściowego obrazu zamglonego. Następnie wybierane są wartości RGB odpowiadające 0,1% najjaśniejszych pikseli na obrazie ciemnego kanału, aby uzyskać końcową wartość światła atmosferycznego, jak pokazano w (8), jak podano w He i wsp.3. Tutaj γ reprezentuje 0,1 najjaśniejszych pikseli. Piksele te zazwyczaj odpowiadają najbardziej nieprzezroczystym obszarom obrazu spowodowanym zamgleniem. Z tych wybranych pikseli wyodrębniane są odpowiadające im wartości RGB na oryginalnym obrazie i uśredniane w celu określenia globalnego światła atmosferycznego Latm.
    figure-protocol-268
    Światło atmosferyczne Latm jest obliczane przez wybranie górnych 0,1% najjaśniejszych pikseli z obrazu ciemnego kanału. Odbywa się to w następujący sposób:
    Wkład:
    Zamglony obraz Izamglony obraz RGB)
    Wyjście:
    Światło atmosferyczne Latm (3-elementowy wektor RGB)
    Kroki:
    Krok 1: Oblicz ciemny kanał obrazu:
    Obraz ciemnego kanału to figure-protocol-27.
    Krok 2: Znaleziono większość pikseli nieprzezroczystych przez zamglenie
    Spłaszczono ciemny kanał do tablicy 1D
    Posortowano wartości pikseli w kolejności malejącej.
    Zaznaczono 0,1% najjaśniejszych pikseli (tj. najwyższe wartości w ciemnym kanale → wysokim stężeniu zamglenia).
    Krok 3: Wybrane piksele kandydujące w obrazie wejściowym
    Spośród wybranych górnych 0,1% pikseli (z ciemnego kanału) zidentyfikuj odpowiadające im piksele w oryginalnymzamglonym obrazie I hazy.
    Dla każdego wybranego piksela została obliczona intensywność (np. suma lub norma jego wartości RGB).
    Krok 4: Ustaw atmosferyczne światło Latm
    Wartość RGB najjaśniejszego piksela wybranego powyżej została przyjęta jako szacowane światło atmosferyczne.
    Powyższa procedura systematycznie szacuje światło atmosferyczne, Latm.
    Powyższa procedura systematycznie szacuje światło atmosferyczne Latm poprzez wykorzystanie ciemnego kanału przed zidentyfikowaniem najbardziej zamglonych obszarów na obrazie. Wykluczając jasne, wyraźne obszary i skupiając się na 0,1% najciemniejszych obszarach (wskazujących na gęste zamglenie), metoda zapewnia solidne i dokładne oszacowanie globalnego światła atmosferycznego, które jest krytycznym parametrem dla skutecznego usuwania zamglenia w algorytmach usuwania zamglenia na jednym obrazie.
    1. Odzyskiwanie zamglonego obrazu
      Wreszcie, po znalezieniu światła atmosferycznego Latm i wyrafinowanej mapy figure-protocol-28transmisji, wolny od zamglenia obraz Jclear(x) uzyskuje się za pomocą Van et al.14, wzór w (9), który jest podany przez
      figure-protocol-299
      gdzie γ jest dolną granicą transmisji (ustawioną na 0,05)
      Jak pokazano na rysunku 1, proponowana metoda udoskonalania mapy transmisyjnej skutecznie zachowuje złożone cechy obrazu i umożliwia odzyskiwanie obrazu bez zamglenia.
  4. Odzyskiwanie zamglonego wideo
    Podejście do usuwania zamglenia wideo przedstawione w tej pracy opiera się na algorytmie usuwania zamglenia pojedynczego obrazu, uwzględniając rozważania dotyczące spójności czasowej, aby zapobiec artefaktom migotania. Autorzy zdają sobie sprawę, że zastosowanie usuwania zamglenia pojedynczego obrazu niezależnie do każdej klatki filmu zakłóciłoby spójność czasową między klatkami, powodując niespójności wizualne. Aby rozwiązać ten problem, opracowano nowatorski algorytm usuwania zamglenia wideo, który określa ilościowo spójność czasową między kolejnymi początkowymi klatkami. Informacje te są wykorzystywane do adaptacyjnego szacowania map transmisji i wartości światła atmosferycznego dla nadchodzących klatek.
    1. Migotanie artefaktów
      Ten sam obszar obrazu może zostać uchwycony w różnych współrzędnych pikseli w kolejnych klatkach filmu ze względu na ruch obiektu i/lub kamery. W wyniku tych ruchów pojawiają się artefakty migotania, które zmieniają wartości transmisji w tym samym miejscu. Techniki szacowania ruchu, takie jak optyczne szacowanie przepływu19, mogą być wykorzystywane do śledzenia lokalizacji ruchomego obiektu i rozwiązywania tych problemów. Jednak metody szacowania ruchu często wymagają wysokiego stopnia złożoności obliczeniowej. W związku z tym zastosowano prosty model prawdopodobieństwa zwany GCF zamiast jawnego obliczania ruchów między klatkami. Obraz różnicowy między dwiema kolejnymi klatkami służy jako podstawa tego modelu.
    2. Współczynnik korelacji oparty na gradiencie
      Współczynnik korelacji oparty na gradiencie (GCF) mierzy podobieństwo między dwiema kolejnymi klatkami wideo na podstawie gradientów ich pikseli. Obrazy/klatki I1 i I2 są bardzo podobne, na co wskazują wysokie wartości korelacji (I1, I2) ≈ 1, co oznacza, że piksel (x, y) reprezentuje zduplikowany obiekt lub zawartość sceny w obu klatkach. Niskie wartości korelacji (I1, I2) ≈ 0 oznaczają, że obrazy i klatki nie są takie same, najprawdopodobniej z powodu ruchu lub okluzji. Ponieważ zamglony obraz ma mniejszy kontrast i wyrazistość, wartości pikseli obrazu nie mogą być używane do obserwowania korelacji między dwiema klatkami.
      Zamglone obrazy często wydają się w większości białawe ze względu na rozpraszanie i absorpcję światła, co prowadzi do ogólnego wzrostu intensywności pikseli i zmniejszenia kontrastu. W rezultacie większość pikseli w dwóch kolejnych zamglonych klatkach staje się podobna, co sprawia, że bezpośrednia korelacja oparta na pikselach jest nieskuteczna, ponieważ zamglenie maskuje rzeczywiste szczegóły sceny. W tym kontekście GCF nabiera większego znaczenia. W przeciwieństwie do korelacji pikselowej, na którą duży wpływ ma zamglenie, GCF skupia się na gradientach, zmianach intensywności i przejściach kolorów między sąsiednimi pikselami. Na te gradienty w mniejszym stopniu wpływa ogólna jasność obrazu i lepiej rejestrują informacje strukturalne, takie jak krawędzie i kontury. To sprawia, że GCF jest bardziej wiarygodną miarą podobieństwa między klatkami w warunkach zamglenia w porównaniu ze współczynnikiem korelacji opartym na pikselach (CF) między dwiema klatkami, jak pokazano w tabeli 1.
      Korelacja figure-protocol-30 między kolejnymi klatkami wideo IK i IK-1jest następująca.
      figure-protocol-3110
      gdzie liczba pikseli w ramce wynosi N, a σ = 10. figure-protocol-32 i figure-protocol-33 są obrazami gradientowymi odpowiadającymi klatkom wideo I, K i I, K-1. Prosty krok do obliczenia GCF to:
      Wejście: Klatka IK i IK-1.
      Gradient między każdą klatką a poprzedzającą ją klatką został obliczony, a następnie (10) został zastosowany do obliczenia CGF, który został następnie wykorzystany do wyznaczenia mapy transmisji i światła atmosferycznego wymaganego do obliczenia bieżącej klatki lub może być użyty do obliczenia początkowej klatki i kroków powtarzanych dla każdej następnej klatki. GCF oblicza korelację między dwiema kolejnymi klatkami. Jeśli korelacja jest wysoka, oznacza to, że dwie kolejne klatki są prawie takie same; w przeciwnym razie wskazuje na niską korelację.
    3. Decyzja oparta na GCF dotycząca szacowania światła atmosferycznego i mapy transmisji
      GCF odgrywa kluczową rolę w określaniu, jak radzić sobie ze światłem atmosferycznym i szacowaniu map transmisji w procesach usuwania zamglenia. GCF mierzy podobieństwo między kolejnymi klatkami wideo na podstawie ich gradientów, co pomaga ocenić, jak bardzo scena zmieniła się między klatkami, biorąc pod uwagę takie czynniki, jak ruch lub okluzja.
      Gdy wartość GCF jest wysoka, a konkretnie większa niż 0,85, oznacza to, że bieżąca klatka jest bardzo podobna do poprzedniej. W takich przypadkach zakłada się, że mapa transmisji z poprzedniej klatki jest nadal aktualna, ponieważ scena nie zmieniła się znacząco. Korzystanie z mapy transmisji z poprzedniej klatki pomaga zachować spójność między ramkami i uniknąć niepotrzebnych ponownych obliczeń, poprawiając w ten sposób wydajność obliczeniową.
      Jeśli jednak wartość GCF spadnie poniżej 0,5, sugeruje to znaczną różnicę między klatkami, prawdopodobnie spowodowaną ruchem lub innymi dynamicznymi zmianami w scenie. W takich przypadkach poleganie na mapie transmisji poprzedniej ramki doprowadziłoby do niedokładnych wyników. W związku z tym światło atmosferyczne Latm musi zostać ponownie obliczone, aby dostosować się do nowych warunków sceny. Ponadto obliczana jest nowa mapa transmisji, aby lepiej odwzorować zawartość bieżącej ramki. Ta ponowna kalibracja zapewnia, że proces usuwania zamglenia uwzględnia zaktualizowane cechy sceny, dokładnie przywracając klarowność i kontrast.
      Ten proces decyzyjny, prowadzony przez GCF, umożliwia algorytmowi usuwania zamglenia dynamiczne dostosowywanie się do zmian podobieństwa klatek, co skutkuje bardziej precyzyjnym i niezawodnym przywracaniem obrazu. Dostosowując mapę transmisji i światło atmosferyczne w oparciu o zaobserwowaną korelację, protokół skutecznie radzi sobie z dynamicznymi scenami i zmiennymi warunkami zamglenia, poprawiając jakość obrazów z odmgleniem.

5. Podsumowanie krok po kroku metody usuwania zamglenia pojedynczego obrazu i wideo

Przedstawiono podsumowanie krok po kroku podejścia do usuwania zamglenia pojedynczego obrazu i wideo, zgodnie z rysunkiem 2, który przedstawia początkowe ramy algorytmu. (1) Załadowano wejściowy zamglony obraz figure-protocol-34 do systemu w celu przetworzenia; (2) Przekonwertowano obraz na skalę szarości i wielokrotnie zmniejszono jego próbkowanie o współczynnik 2 jako {figure-protocol-35 , figure-protocol-36 ..., figure-protocol-37 figure-protocol-38 }. Wybrano najgrubszy obraz figure-protocol-39, tak aby maksimum (S, H) <= 320, gdzie S i H reprezentują szerokość i wysokość na najgrubszym poziomie L; (3) Podziel zgrubny obraz figure-protocol-40 na bloki m × m. Tutaj m jest wybierane jako (5); (4) Obliczono minimalną intensywność w każdym bloku, aby uzyskać obraz figure-protocol-41 z próbkowaniem w dół o wymiarze figure-protocol-42; (5) Obraz figure-protocol-43ciemnego kanału o najgrubszym poziomie uzyskuje się następnie przez zastosowanie minimalnego filtra 3 × 3 do figure-protocol-44; (6) Oszacowano początkową mapę transmisji za pomocą wzoru figure-protocol-45, gdzie w tej pracy wybrano jako 0,95; (7) Uproszczono mapę transmisji za pomocą GWGIF(.) w celu uzyskania figure-protocol-46; (8) Szacowane światło atmosferyczne Latm poprzez uśrednienie wartości RGB odpowiadającej 0,1% najjaśniejszych lokalizacji pikseli w górnym 0,1% w ciemnym kanale (figure-protocol-47) zamglonego obrazu; (9) Odzyskano odmglojony obraz Jclear (x) przy użyciu modelu rozpraszania światła

figure-protocol-48; (10) W przypadku wideo, wyodrębnione klatki w regularnych odstępach czasu; (11) Obliczono współczynnik korelacji oparty na gradiencie (GCF) między dwoma kolejnymi ramkami w celu zmierzenia podobieństwa ramki; (12) Jeśli < 0,5, oblicza nową mapę transmisji dla bieżącej ramki; jeśli GCF≥0.85, ponownie użył mapy transmisji z poprzedniej ramki; (13) Poprawiono każdą klatkę i odzyskano usunięte zamglenie, wykonując te same czynności, co w przypadku obrazów; (14) Oceniono jakość wyjściową za pomocą wskaźników takich jak NIQE11, PIQE12, BRISQE13, FADE8 i MSE14.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wyniki jakościowe i ilościowe dostarczają uzupełniających się spostrzeżeń podczas oceny metody lub eksperymentu. Wyniki jakościowe koncentrują się na subiektywnych ocenach, często wykorzystując porównania wizualne, oceny percepcyjne lub opinie ekspertów w celu przeanalizowania skuteczności podejścia. Pomagają one zilustrować ulepszenia w rzeczywistych scenariuszach, ale mogą być pod wpływem ludzkiej percepcji. Natomiast wyniki ilościowe opierają się na obiektywnych wskaźnikach numerycznych, takich jak dokładność, takich ...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zaproponowane wydajne, wieloskalowe filtrowanie w domenie gradientu do usuwania zamglenia obrazów i filmów z podejściem opartym na wzmocnionej koherencji czasowej rozwiązuje problem wąskiego gardła obliczeniowego w algorytmach usuwania zamglenia opartych na modelach fizycznych, efektywnie szejcując światło atmosferyczne i mapy transmisji przy użyciu struktury piramidy obrazu. Kluczową innowacją jest estymacja mapy transmisji MPS na najgrubszym poziomie piramidy, po filtrowaniu GWGIF podczas próbkowania w górę w celu zach...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy deklarują brak konfliktu interesów

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Serdeczne podziękowania kierujemy do redakcji i anonimowych recenzentów za wnikliwe komentarze i pomocne rekomendacje, które znacznie podniosły kaliber i czytelność tej pracy. Ich staranna procedura oceny i wnikliwe uwagi odegrały kluczową rolę w poprawie ogólnego wkładu badań w tę dziedzinę i przyczynieniu się do jej udoskonalenia.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Dataset  Laboratorium Wizji i Przetwarzania Obrazu, Uniwersytet Waterloo5http : //ivc.uwaterloo.ca/database/Dehaze/ocena algorytmów usuwania zamglenia obrazu i wideo
Gradientowy filtr ważony z prowadnicą (implementacja Matlab)Wang  Wsp.16 https://arxiv.org/pdf/2211.16796Efektywne udoskonalanie map transmisji
MATLAB (z zestawem narzędzi do przetwarzania obrazu)Wersja: MATLAB Online (24.2.0.2871072 (R2024b) Aktualizacja 5)https://www.mathworks.com/products/matlab.htmlImplementacja algorytmów zaproponowanych i bazowych
ProcesorProcesor Intel i3-6006U (2,00 GHz)https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.htmlUruchamianie algorytmów
Kody źródłowe metod bazowychKim et  al.3, Van et  al.14, Yang et al.20,
  Ren et al.21,  Chen et  al.23, Li B et al.26		3https://github.com/metinsuloglu/Haze-RemovalOcena metod usuwania zamglenia opartych na uczeniu się
14https://github.com/viengiaan/MGF usuwanie zamglenia
20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
21https://github.com/rwenqi/GFN-dehazing
23https://cchen156.github.io/code/robustdehaze.zip
26https://github.com/Boyiliee/EVD-Net
4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Sharrab, Y. O., Alsmadi, I., Sarhan, N. J. Towards the availability of video communication in artificial intelligence-based computer vision systems utilizing a multi-objective function. Cluster Comput. 25 (1), 231-247 (2022).
  2. Afif, M., Said, Y., Atri, M. Computer vision algorithms acceleration using graphic processors NVIDIA CUDA. Cluster Comput. 23, 3335-3347 (2020).
  3. He, K., Sun, J., Tang, X. Single image haze removal using dark channel prior. IEEE TransPattern Anal Mach Intell. 33 (12), 2341-2353 (2011).
  4. Live Image Quality Database (Release 2). , Live Image Quality Database. http://live.ece.utexas.edu/research/fog/fadefade.html (2025).
  5. IVC Dehazing Dataset. , Image & Vision Computing (IVC) Laboratory. https://ivc.uwaterloo.ca/database/dehaze.html (2025).
  6. Ma, K., Duanmu, Z., Wu, Q., Wang, Z., Yong, H., Li, H., Zhang, L. Waterloo exploration database: New challenges for image qulity assessment models. IEEE TransImage Process. 26 (2), 1004-1016 (2017).
  7. MATLAB Online. , MathWorks. at https://matlab.mathworks.com (2025).
  8. Choi, L. K., You, J., Bovik, A. C. Referenceless prediction of perceptual fog density and perceptual image defogging. IEEE Trans. Image Process. 24 (11), 3888-3901 (2015).
  9. Kansal, I., Kasana, S. S. Minimum preserving subsampling-based fast image de-fogging. J Mod Opt. 65 (18), 2103-2123 (2018).
  10. Choi, L. K., You, J., Bovik, A. C. FADE: Fog Aware Density Evaluator. IEEE TransImage Process. 24 (11), 6436-6448 (2015).
  11. Blind image quality evaluation using perception based features. Venkatanath, N., Praneeth, D., Maruthi Chandrasekhar, B. H., Channappayya, S. S., Medasani, S. S. 2015 21st Natl Conf Commun, , 1-6 (2015).
  12. Chen, X., Fan, Z., Li, P., Dai, L., Kong, C., Zheng, Z., Li, Y. Unpaired deep image dehazing using contrastive disentanglement learning. in computer vision -- ECCV 2022. Avidan, S., Brostow, G., Cissé, M., Farinella, G. M., Hassner, T. , Springer Nature Switzerland. Cham. 632-648 (2022).
  13. Mittal, A., Moorthy, A. K., Bovik, A. C. No-reference image quality assessment in the spatial domain. IEEE Trans. Image Process. 21 (12), 4695-4708 (2012).
  14. Van Nguyen, T., Vien, A. G., Lee, C. Real-time image and video dehazing based on multiscale guided filtering. Multimed Tools Appl. 81 (25), 36567-36584 (2022).
  15. Image dehazing based on multiscale retinex and guided filtering. Gao, Z., Zhai, Y. 2022 Int Conf Image Process Comput Vis Mach Learn, , 123-126 (2022).
  16. Wang, B., Wang, Y., Sui, X., Liu, Y., Chen, Q. Gradient domain weighted guided image filtering. Signal Image Video Process. 17 (8), 4097-4105 (2023).
  17. Chang, M., Feng, H., Xu, Z., Li, Q. Low-light image restoration with short- and long-exposure raw pairs. IEEE Trans Multimed. 24, 702-714 (2022).
  18. Physically-based rendering for indoor scene understanding. Zhang, Y., Song, S., Yumer, E., Savva, M. Proc IEEE Conf Comput Vis Pattern Recognit, , 5287-5295 (2017).
  19. Tan, Y., Zhu, Y., Huang, Z., Tan, H., Li, K. MAPD: An FPGA-based real-time video haze removal accelerator using mixed atmosphere prior. IEEE Trans Comput Des Integr Circuits Syst. 42 (12), 4777-4790 (2023).
  20. Yang, D., Sun, J. Proximal dehaze-net: A prior learning-based deep network for single image dehazing. Lect Notes Comput Sci. 11211 LNCS, 729-746 (2018).
  21. Gated fusion network for single image dehazing. Ren, W. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit, , 3253-3261 (2018).
  22. Wang, W., Yuan, X., Wu, X., Liu, Y. Fast image dehazing method based on linear transformation. IEEE Trans Multimed. 19 (6), 1142-1155 (2017).
  23. Chen, C., Do, M. N., Wang, J. Robust image and video dehazing with visual artifact suppression via gradient residual minimization. Computer Vision -- ECCV. Leibe, B., Matas, J., Sebe, N., Welling, M. , Springer International Publishing. Cham. 576-591 (2016).
  24. Kim, J. H., et al. Optimized contrast enhancement for real-time image and video dehazing. J. Vis. Commun. Image Represent. 24 (3), 410-425 (2013).
  25. GridDehazeNet: Attention-based multiscale network for image dehazing. Liu, X., Ma, Y., Shi, Z., Chen, J. Proc IEEE Int Conf Comput Vis, , 7313-7322 (2019).
  26. Wen, S., Zheng, Y., Lu, F. Polarization state attention dehazing network with a simulated polar-haze dataset. IEEE Trans Multimed. 27, 263-274 (2024).
  27. End-to-end united video dehazing and detection. Li, B., Peng, X., Wang, Z., Xu, J., Feng, D. 32nd AAAI Conf Artif Intell, AAAI 2018, 7016-7023 (2018).
  28. Li, Z., Shu, H., Zheng, C. Multiscale single image dehazing using Laplacian and Gaussian pyramids. IEEE Trans Image Process. 30, 9270-9279 (2021).
  29. Cai, B., Xu, X., Jia, K., Qing, C., Tao, D. DehazeNet: An end-to-end system for single image haze removal. IEEE Trans. Image Process. 25 (11), 5187-5198 (2016).
  30. Wu, Z., Liu, W., Wang, J., Li, J., Huang, D. FrePrompter: Frequency self-prompt for all-in-one image restoration. Pattern Recognit. 161, 111223(2025).
  31. Liu, F., Li, H., Hu, W., He, Y. Review of neural network model acceleration techniques based on FPGA platforms. Neurocomputing. , 128511(2024).
  32. Yang, J. Driving-video dehazing with non-aligned regularization for safety assistance. Cvpr. , 26109-26119 (2024).
  33. Yang, Y., Guo, C. L., Guo, X. Depth-aware unpaired video dehazing. IEEE Trans Image Process. 33, 2388-2403 (2024).
  34. Agrawal, R., Gupta, N., Batra, M., Arora, K. A Comprehensive review of image restoration and noise reduction techniques. Int J Recent Innov Trends Comput Commun. 11, 463-474 (2023).
  35. Ayoub, A., et al. Review of dehazing techniques: Challenges and future trends. Multimed Tools Appl. 84 (3), 1103-1131 (2025).
  36. Wei, H., et al. Robust unpaired image dehazing via adversarial deformation constraint. IEEE Trans Circuits Syst Video Technol. 34, 8614-8628 (2024).
  37. APL: Adaptive parameter learning for image dehazing. Martinho, L. A., Cavalcanti, J. M. B., Pio, J. L. S., Oliveira, F. G. 2024 International Conference on Machine Learning and Applications (ICMLA), , 636-643 (2024).
  38. Guo, X., et al. Single-image dehazing method based on Rayleigh Scattering and adaptive color compensation. PLoS One. 20, 1-18 (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Image DehazingVideo DehazingGradient Domain FilteringMultiscale FilteringTemporal CoherenceGuided Image FilterTransmission Map RefinementAtmospheric ScatteringTexture PreservationReal Time Dehazing

Related Articles