Research Article

Gelişmiş Zamansal Tutarlılık ile Görüntü ve Video Bulanıklığını Giderme için Verimli Çok Ölçekli Gradyan Alanı Filtreleme

DOI:

10.3791/68495

⸱

September 30th, 2025

 ,  ,  , 
1Chitkara University Institute of Engineering and Technology, Chitkara University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Buradaki protokol, ışık saçılımı modelinin gerçek zamanlı bulanıklık giderme yeteneklerini geliştirmek için Minimum Korumalı Alt Örneklemeyi Gradyan Alanı Ağırlıklı Kılavuzlu Filtreleme ile entegre eder. Kaynak görüntünün karanlık kanaldaki en parlak %0,1'lik piksellerinden RGB değerlerinin ortalaması alındığında atmosferik ışık üretilir ve video işleme tutarlılığı için gradyan tabanlı Korelasyon Faktörü kullanılır.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bulanıklık giderme, atmosferik saçılmadan etkilenen görüntü netliğini yeniden sağlamak için bilgisayarlı görmede çok önemlidir. Mevcut yöntemler, yüksek hesaplama maliyetlerinden, gradyan ayrıntılarının kaybından ve video uygulamalarında titreyen yapaylıklardan muzdariptir. Verimliliği ve görsel kaliteyi artırmak için bu çalışma, hem videolara hem de görüntülere uygulanabilen çok ölçekli gradyan alanı ağırlıklı kılavuzlu görüntü filtresi tabanlı bir bulanıklık giderme tekniği önermektedir. Atmosferik parametreleri tahmin etmek ve hesaplama karmaşıklığını azaltmak için Minimum Koruma Alt Örneklemesi (MPS) kullanılmıştır. Daha sonra, Gradyan Alanı Ağırlıklı Kılavuzlu Görüntü Filtresi (GWGIF) ile yinelemeli bir yukarı örnekleme işlemi, iletim haritasını iyileştirir, önemli miktarda gradyan özelliğini korur ve böylece doku ve kenar tutmayı artırır. Video bulanıklığını gidermek için, Gradyan Tabanlı Korelasyon Faktörü (GCF) tanıtılır ve bu da mevcut yöntemlere kıyasla titreyen artefaktlarda önemli bir azalma sağlar. Deneysel değerlendirmeler, 26,98 Algı Tabanlı Görüntü Kalitesi Değerlendiricisi (PIQE) puanı, 2,78 Doğal Görüntü Kalitesi Değerlendiricisi (NIQE) puanı ve 20,18 Kör/Referanssız Görüntü Uzamsal Kalite Değerlendiricisi (BRISQE) puanı elde ederek yaklaşımımızın üstünlüğünü ortaya koymaktadır. Ayrıca önerilen yöntem, 0.003'lük Ortalama Kare Hatası (MSE) sapması ile video bulanıklığını gidermede yüksek zamansal tutarlılık sağlar ve bu da onu otonom araçlar, gözetim ve uzaktan algılama gibi gerçek zamanlı uygulamalar için ideal kılar.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Pus, ışık duman, su damlacıkları veya toz parçacıkları tarafından dağıldığında uzaktaki nesneleri görmeyi zorlaştıran atmosferik bir olgudur. Pus nedeniyle görüntü bozulması, video analizi, otonom araçlar ve gözetim dahil olmak üzere bilgisayarla görme uygulamaları 1,2 için zararlıdır. Bilgisayarlı görmenin performansını artırmak için, işlemenin ilk adımı olarak, görüntülerden pus bileşenlerini çıkarmak için bir bulanıklık giderme stratejisi gereklidir. "Bulanıklık giderme" terimi, bulanık veya başka bir şekilde kullanılamaz bir görüntüye netliği geri kazandırmak için kullanılan adımları ifade eder. Son yıllarda, görüntü bulanıklığını gidermek için çeşitli teknikler geliştirilmiştir. Bulanıklık giderme problemi, He ve ark.3'ten alındığı gibi (1)'de gösterildiği gibi x konumundaki renk kanalının hedef (puslu) görüntüsünü Ipuslu(x) temsil eder.

figure-introduction-1    1

Jclear(x) şeffaf görüntüyü temsil ederken, Latm ve tharitası sırasıyla küresel atmosferik ışığı ve orta iletim haritasını temsil eder. Işığın kamera sensörleri tarafından alınan kısmı, He ve ark.3'te(2)'de gösterildiği gibi sahne ile kamera arasındaki mesafe ile hesaplanan tharita mesafesi d(x) ile gösterilir.

figure-introduction-2    2

Burada β, hava saçılımı için iletim katsayısını temsil eder.

Bulanıklaştırma işlemi sırasında Ipuslu(x)'ten Jclear(x)'in geri kazanılması, (1)'in yeniden düzenlenmesinden sonra elde edilen (3)'te gösterilmiştir. Burada t, iletim katsayısı olarak da bilinen atmosferin ışık geçirgenliğini temsil eder.

figure-introduction-3    3

Karanlık kanal önceki (DCP)3 modeli bu amaç için en iyi bilinen atmosferik modeller arasındadır. İyi bilinen fiziksel model tabanlı bulanıklık giderme teknikleri arasında, en az bir renk kanalının pussuz bir görüntüde son derece düşük yoğunlukta pikseller içerdiğini varsayan DCP en yaygın kullanılanıdır. Bu öncelik, DCP kullanarak iletim haritasını tahmin etmek ve (1)'den sahne parlaklığını kurtarmak için kullanılır. Ancak bu teknik zaman alıcıdır ve Görüntüdeki gökyüzü bölgesini aşırı doygunlaştırır.

Bu araştırmanın motivasyonu, bulanıklığın görüntü kalitesini önemli ölçüde düşürdüğü bilgisayarlı görme uygulamalarında görünürlüğü artırma ihtiyacından kaynaklanmaktadır. Bu yaklaşım yalnızca bulanıklık giderme sürecini hızlandırmakla kalmıyor, aynı zamanda kenarlar ve dokular gibi görüntü ayrıntılarının korunmasını da sağlıyor. Üstelik araştırma, bulanıklık giderme algoritmasını videolara da genişleterek video işlemedeki kritik bir sorunu ele alıyor. Bazen farklı aydınlatma koşulları altında görüntülerin görünürlüğü değişir ve bu da otonom sürüş ve gözetim gibi birçok uygulamada başka bir zorluk teşkil eder.

Önerilen bulanıklık giderme algoritmasının doğrulanması, halka açık çeşitli Görüntü ve video veri kümeleri üzerinde kapsamlı deneyler yoluyla gerçekleştirildi. Veri kümeleri hem sentetik hem de gerçek dünyadaki puslu sahnelerden oluşuyor ve farklı koşullar altında kapsamlı bir değerlendirmeye olanak tanıyor. Çeşitli gerçek dünya video dizilerinde (Riverside, Crossroad, Haze road, Ship)4 ve değişen pus yoğunluklarına sahip statik görüntüler5 arasında deneysel doğrulama, yerleşik metrikler (FADE, NIQE, PIQE, BRISQUE)6 kullanılarak değerlendirildi ve dokuz son teknoloji yöntemle karşılaştırıldı, algoritmanın gerçek zamanlı performansı korurken otomotiv, gözetleme, denizcilik ve mobil bilgi işlem alanları için pratik uygulanabilirliğini gösterir. Performans, öznel görsel karşılaştırmalar ve nesnel kalite ölçümleri kullanılarak değerlendirildi ve doğruluk ve hesaplama verimliliği açısından en son teknolojiye sahip yaklaşımlarla rekabet gücü ortaya kondu.

Önerilen çalışma, gerçek zamanlı performans için tasarlanmıştır ve 1920 × 1080 piksele kadar çözünürlüğe sahip görüntüler videolar üzerinde test edilmiştir. Verimli işlemeyi sağlamak için tüm deneyler Intel i3-6006U CPU (2,00 GHz) ve 12 GB RAM ile donatılmış bir iş istasyonunda gerçekleştirildi. Yöntem, çeşitli gerçek dünya senaryolarında güçlü performans gösterse de, iletim tahmininin güvenilmez hale geldiği aşırı yoğun pus koşulları altında düşük doğruluk sergileyebilir. Bu ayrıntılar, önerilen yaklaşımın gerçek dünyadaki dağıtımdaki pratikliğini ve sınırlamalarını vurgulamaktadır.

Çeşitli zorlukların üstesinden gelmek için bu araştırma, görüntülerin ve videoların bulanıklığını gidermek için çok ölçekli bir GWGIF kullanan yeni bir yaklaşım önermektedir. Çalışma, bir MPS yöntemini entegre ederek, bulanıklığın giderilmesinde önemli bir faktör olan iletim haritasını tahmin etmek için hesaplama açısından verimli bir teknik sunuyor. Titreşen artefaktlar, ardışık kareler arasında zamansal tutarlılığı koruyan, hem hesaplama verimliliği hem de yüksek kaliteli sonuçlar sağlayan yeni bir GCF yöntemi dahil edilerek ele alınmıştır. Bu çalışma, daha sağlam görüntü ve video iyileştirme tekniklerinin geliştirilmesine katkıda bulunmaktadır. Şekil 1 , MPS yöntemi kullanılarak hesaplanan iletim haritasını göstermektedir ve Şekil 2 , MPS ve GCF'yi birleştiren önerilen yöntemi göstermektedir. Çalışmamızın yeniliği, geleneksel bulanıklık giderme yöntemlerinin hesaplamalı darboğazlarını ele alan, gradyan tabanlı ağırlıklı kılavuzlu filtre ile çoklu ölçeklendirmeye dayalı gerçek zamanlı bir görüntü ve video bulanıklık giderme algoritmasının geliştirilmesinde yatmaktadır. Spesifik olarak, ana yeni katkılarımız şunlardır: (1) hesaplama yükünü azaltırken doğru iletim tahmini için kritik karanlık bölgeleri koruyan MPS tekniği; (2) İletim haritasının iyileştirilmesi sırasında özellikle sağlam kenarları koruyan GWGIF; (3) Yalnızca en üstteki %0,1'lik en parlak piksellere odaklanan optimize edilmiş atmosferik ışık tahmini; (4) Gradyan bilgisi aracılığıyla çerçeve benzerliğini ölçen video bulanıklığını giderme için GCF; (5) Gerçek zamanlı işleme elde etmek için benzer video kareleri arasındaki hesaplamaları yeniden kullanan zamansal bir optimizasyon sistemi.

Bu yöntem, makalede sunulan kapsamlı deneylerle gösterildiği gibi, en son teknolojiye sahip algoritmalarla karşılaştırılabilir veya onlardan daha iyi bulanıklık giderme kalitesi sunarken gerçek zamanlı performans elde eder [Şekil 3, Şekil 4, Şekil 5, Şekil 6 ve Şekil 7].

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışmada, insan özneleri içermeyen sentetik veya doğal sahne görüntüleri kullanılmıştır. Bu nedenle etik onayına gerek duyulmadı.

Bu görüntü bulanıklığını giderme protokolü, standart bir bilgi işlem kurulumunda geliştirilmiştir ve puslu görüntülerin netliğini ve görünürlüğünü artırmak için tasarlanmıştır. Çalışma ortamı MATLAB7'dir. Yaklaşım, bulanıklık tahmini, iyileştirme ve görüntü restorasyonunu içeren sistematik bir süreci takip eder. Önemli ayrıntıları korurken görüntü kalitesini kademeli olarak iyileştiren yöntem, net ve görsel olarak çekici sonuçlar sunar. Yaygın olarak kullanılan veri kümeleri8 üzerinde test edilmiş ve standart görüntü kalitesi ölçümleri kullanılarak değerlendirilmiş, akademik veya araştırmaya dayalı uygulamalar için etkinliğini ve uygunluğunu göstermiştir. Protokol, malzeme ve ekipman ile önerilen çözümün adımları için önemli açıklamalar ve denklemler aşağıdaki bölümlerde verilmiştir. Değerlendirme parametreleri de ana hatlarıyla belirtilmiştir.

1. Malzemeler ve ekipman

Deney, MATLAB Online (24.2.0.2871072 (R2024b) Güncelleme 5) kullanılarak geliştirildi ve Intel i3-6006U CPU'lu (2.00 GHz) bir sistemde yürütüldü. Uygulama için kullanılan görüntü veri kümeleri 5,8, başvurulan literatürden alınmıştır. Metodoloji, tümü uygun bir bilgi işlem altyapısı üzerinde gerçekleştirilen çift doğrusal enterpolasyonlu 5 × 5 Gauss filtresinin kullanımını, MPS algoritması9 kullanılarak iletim haritası tahminini ve GWGIF filtresi aracılığıyla iyileştirmeyi içerir. Araştırmada kullanılan tüm malzeme ve ekipmanların detayları ve bağlantıları Gereç Tablosunda belirtilmiştir.

2. Deney düzeneği

Deney düzeneği, önerilen görüntü ve video bulanıklığını giderme yaklaşımının, matris tabanlı görüntü işleme ve görselleştirmeyi destekleyen bilimsel bir bilgi işlem ortamında uygulanmasını içerir. Yöntemin performansını değerlendirmek için, yerleşik literatürde atıfta bulunulduğu gibi, puslu görüntülerden ve videolardan 10 oluşan standart kıyaslama veri kümeleri 5,8 kullanıldı. Algoritma, uyarlanabilir iletim haritasının hesaplanmasına ve iyileştirilmesine rehberlik etmek için görüntü piramitlerini ve gradyan tabanlı korelasyonu kullanan çok ölçekli bir işleme çerçevesini takip eder. Video dizileri için kareler sabit aralıklarla çıkarılır ve iletim haritasının yeniden kullanılıp kullanılmayacağını veya yeniden hesaplanıp hesaplanmayacağını belirlemek için GCF kullanılır. Bulanıklığı giderilmiş çıktıların etkinliği, NIQE, PIQE, BRISQE, FADE ve MSE dahil olmak üzere yaygın olarak tanınan görüntü kalitesi ölçümleri kullanılarak değerlendirildi ve restorasyon kalitesinin hem öznel hem de nesnel olarak değerlendirilmesi sağlandı.

3. Değerlendirme için kullanılan parametreler

Objektif değerlendirme için beş kalite ölçütü kullanılmıştır: (1) FADE (Sise Duyarlı Yoğunluk Değerlendiricisi)8; (2) NIQE (Doğal Görüntü Kalitesi Değerlendiricisi)11; (3) PIQE (Algıya Dayalı Görüntü Kalitesi Değerlendiricisi)12; (4) BRISQUE (Kör/Referanssız Görüntü Uzamsal Kalite Değerlendiricisi)13; (5) Ardışık kareler arasındaki MSE (Ortalama Kare Hatası)14.

4. Tek görüntü ve video bulanıklığını giderme metodolojisi

  1. Bir görüntü piramidini dönüştürün ve oluşturun
    Tek görüntülü bulanıklık giderme, giriş renkli görüntünün gri tonlamaya (figure-protocol-1) dönüştürülmesiyle başlar. Daha sonra bir görüntü piramidi {figure-protocol-2, figure-protocol-3...,figure-protocol-4, figure-protocol-5} daha sonra, maksimum boyut 320 pikselden büyük olmayacak şekilde, en kaba seviye IL elde edilene kadar 2 faktörü ile Ipuslu alt örnekleme ile oluşturulur. Bu, L'nin max(W, H) <= 320 gereksinimi ile belirlendiği anlamına gelir, burada W ve H, en kaba L seviyesindeki genişliği ve yüksekliği temsil eder. L değeri, Şekil 2'deki gibi piramit yapısında istenen en kaba seviyeye ulaşmak için gereken altörnekleme işlemlerinin sayısını gösterir.
  2. İletim haritasının tahmini
    İletim haritası, dağılmayan ve kameranın sensörüne ulaşan ışığın yüzdesini gösterir. İletim haritası, ardışık olan derinliğin bir fonksiyonu olduğu için resmin derinlik bilgisini doğru bir şekilde temsil eder. İletim haritası, tharita, pussuz bir görüntüyü yeniden oluşturmak için ortam ışığı kullanılarak hesaplanır Jclear (x). Çalışmanın temel amacı, bir iletim haritasının hesaplanmasının en çok zaman alan adım olduğu tespit edildiğinden, bulanıklık giderme sürecini hızlandırmak için hesaplama açısından verimli bir iletim tahmin yöntemi geliştirmektir. Daha spesifik olmak gerekirse, iletimi daha düşük bir çözünürlükte tahmin ettikten ve iletim haritasının sabit parçalardan oluştuğunu varsaydıktan sonra, sonuçlar aşağıda gösterildiği gibi yukarı örneklenmiştir. Şekil 2.
    1. MPS'de çok ölçekli yaklaşım kullanılarak ilk iletim haritası tahmini
      İlk iletim haritası, figure-protocol-6 giriş puslu görüntüsünün en kaba seviye olan L'de alt örneklenmesiyle zaten hesaplanmış olan ImageImage'dan figure-protocol-7elde edilir. MPS yaklaşımı9 figure-protocol-8kullanılarak, görüntü şimdi [Şekil 1]'de gösterildiği gibi 5 × 5 boyutlu kare bloklara bölünmüştür. Ayrıca, figure-protocol-9 Kansal × ark.9'dan (4)'te gösterilen (M/m) × (N/m) boyutlarıyla aşağı örneklenmiş bir görüntü elde etmek için her 5 5 bloktan minimum değer seçilerek hesaplanır. Burada min, BIi bloğundaki minimum yoğunluk değerini hesaplamak için matematiksel işlevi ifade eder.
      figure-protocol-104
      en kaba seviyeli karanlık kanal görüntüsü figure-protocol-11 4 daha sonra Kansal ve ark. çalışma 9'dan alınan (5)'te gösterildiği gibi 3 × 3 minimum filtrefigure-protocol-12 uygulanarak elde edilir.
      figure-protocol-13 5
      Burada ω, 3 × 3 boyutunda bir penceredir. İlk iletim haritası figure-protocol-14 nihayet aşağıdakiler kullanılarak tahmin edilir:
      figure-protocol-156
      burada w sabit bir faktördür (tipik olarak 0).
      MPS tabanlı iletim haritası, ilgili yamalar içindeki yerel minimum değerleri koruyarak pustan ciddi şekilde etkilenen bölgelerde gelişmiş kontrast ve ayrıntı kurtarma sağlar. Bununla birlikte, doğrusal dönüşüm22 tabanlı yaklaşım, farklı pus yoğunluğu seviyelerine sahip bölgeler arasında ayrım yapamadığından, bulanıklığı gidermede daha düzgün (ve daha az doğru) bir iletim haritası verir.
    2. İletim iyileştirmesi
      İlk iletim haritası (figure-protocol-16) yalnızca görüntü piramidinin en kaba düzeyinde (L) tahmin edildiğinden, orijinal girdi görüntüsünün çözünürlüğüne uyması için üst örneklenmesi gerekir. Tam çözünürlüklü bir iletim haritası elde etmek için basit çift doğrusal yukarı örnekleme BUp(·) uygulanır. Ayrıca, iletim haritasındaki figure-protocol-17 kenar ayrıntılarını korumak için rafine edilmelidir. Van ve ark.14 ve Kansal ve ark.9'da uygulandığı gibi kılavuzlu bir filtre ve gradyan kılavuzlu bir filtre kullanmak, iletim haritasında bulanık artefaktlara neden olarak doku ayrıntılarının ve kenar bilgilerinin kaybına neden olur ve bu da sonuçta bulanıklık giderme performansını düşürür. Bu sorunu çözmek için, görüntü ayrıntılarını etkili bir şekilde korumak için gradyan alanı ağırlıklı kılavuzlu görüntü filtreleme (GWGIF)15 yöntemi kullanılmıştır. Son olarak, rafine transmisyon figure-protocol-18 aşağıdaki gibi Wang ve ark.'dan16 elde edilmiştir.
      figure-protocol-19 7
      GWGIF, kenar yapılarını koruyarak ve tipik olarak standart kılavuzlu filtreler tarafından sunulan bulanık artefaktlardan kaçınarak ilk iletim haritasını iyileştirir. GWGIF işlevini17 uygulamak için aşağıdaki adım izlenmiştir.
      Girdi:
      figure-protocol-20: İlk iletim haritası (düşük çözünürlüklü veya kaba)
      figure-protocol-21: Orijinal puslu görüntü (kılavuz olarak kullanılır)
      Çıktı:
      figure-protocol-22
      1. Adım: İlk iletim haritasını yukarı örnekledi
      I puslu boyutuna uyacak şekilde yenidenboyutlandırıldı figure-protocol-23
      Adım 2: Ipusluyu gri tonlamaya dönüştürdü
      benpuslu = rgb2gray(benpuslu)
      Adım 3: Degrade Etki Alanı Ağırlıklı Kılavuzlu Filtreyi (7)'deki gibi uyguladım
      Elde edilen rafine iletim haritasıfigure-protocol-24
      İşlem, Sobel operatörünü kullanarak kılavuz görüntüden gradyan büyüklüğünü hesaplar, gradyan tabanlı ağırlıklar oluşturur ve kenara duyarlı yumuşatmayı geliştirmek için bunları kılavuzlu filtreleme denklemine entegre eder. Çıktı, Şekil 4'te gösterildiği gibi, bulanıklık giderme kalitesini ve ayrıntı korumasını önemli ölçüde iyileştiren rafine bir iletim haritasıdır.
  3. Atmosferik ışık tahmini
    Model tabanlı görüntü bulanıklığını giderme açısından küresel atmosferik ışık çok önemlidir. Zhang ve ark.'nın18 belirttiği gibi, daha düşük atmosferik ışık değerleri daha parlak bulanık görüntüler üretirken, daha yüksek atmosferik ışık değerleri en karanlık bulanık görüntüleri üretir. Önerilen çalışma, girdi puslu görüntüsünden elde edilen karanlık kanal görüntüsünden (figure-protocol-25) atmosferik ışığı tahmin eder. Daha sonra, karanlık kanal görüntüsündeki en parlak %0.1'lik en parlak piksellere karşılık gelen RGB değerleri, He ve ark.3'te verildiği gibi (8)'de gösterildiği gibi atmosferik ışığın nihai değerini elde etmek için seçilir. Burada γ, en parlak 0.1 pikseli temsil eder. Bu pikseller tipik olarak görüntüdeki en puslu opak bölgelere karşılık gelir. Seçilen bu piksellerden, orijinal Görüntüdeki karşılık gelen RGB değerleri çıkarılır ve küresel atmosferik ışık Latm'yi belirlemek için ortalaması alınır.
    figure-protocol-26 8
    Atmosferik ışık Latm, karanlık kanal görüntüsünden en parlak %0,1'lik piksel seçilerek hesaplanır. Bu şu şekilde gerçekleştirilir:
    Girdi:
    Puslu Görüntü Ipuslu RGB görüntüsü)
    Çıktı:
    Atmosferik ışık Latm (3 elemanlı bir RGB vektörü)
    Adım -ları:
    Adım 1: Görüntünün Karanlık Kanalını Hesapladım:
    Karanlık kanal görüntüsü .figure-protocol-27
    Adım 2: En Puslu Opak Pikselleri Buldu
    Karanlık kanalı 1B diziye düzleştirdi
    Piksel değerleri azalan düzende sıralandı.
    En parlak %0,1'lik dilim seçildi (yani, karanlık kanaldaki en yüksek değerler → yüksek pus konsantrasyonu).
    Adım 3: Giriş Görüntüsünde Seçilen Aday Pikseller
    Seçilen en üstteki %0,1'lik pikseller arasında (karanlık kanaldan), orijinal puslu görüntüdeki karşılık gelen pikselleritanımlayın.
    Seçilen her piksel için yoğunluk hesaplandı (örneğin, RGB değerlerinin toplamı veya normu).
    Adım 4: Atmosferik Işık Latm'yi ayarlayın
    Yukarıda seçilen en parlak pikselin RGB değeri, tahmini atmosferik ışık olarak alınmıştır.
    Yukarıdaki prosedür, atmosferik ışığı, Latm'yi sistematik olarak tahmin eder.
    Yukarıdaki prosedür, görüntüdeki pustan en çok etkilenen bölgeleri belirlemeden önce karanlık kanaldan yararlanarak atmosferik ışık Latm'yi sistematik olarak tahmin eder. Parlak, net alanları hariç tutarak ve en üstteki %0.1'lik en karanlık bölgelere (yoğun bulanıklığın göstergesi) odaklanan yöntem, tek görüntülü bulanıklık giderme algoritmalarında etkili bulanıklık giderme için kritik bir parametre olan küresel atmosferik ışığın sağlam ve doğru bir tahminini sağlar.
    1. Puslu görüntü kurtarma
      Son olarak, atmosferik ışık Latm ve rafine iletim haritasını figure-protocol-28bulduktan sonra, pussuz görüntü Jclear(x), Van ve ark.14, (9)'daki formülasyon kullanılarak elde edilir.
      figure-protocol-299
      burada γ iletimin alt sınırıdır (0,05'e ayarlanmış)
      Şekil 1'de gösterildiği gibi, önerilen iletim haritası iyileştirme yöntemi, resmin karmaşık özelliklerini etkili bir şekilde korur ve pussuz resim kurtarmayı mümkün kılar.
  4. Puslu video kurtarma
    Bu çalışmada sunulan video bulanıklık giderme yaklaşımı, titreyen artefaktları önlemek için zamansal tutarlılık hususlarını birleştirerek tek görüntülü bulanıklık giderme algoritmasına dayanmaktadır. Yazarlar, bir videonun her karesine bağımsız olarak tek görüntülü bulanıklık giderme uygulamasının kareler arasındaki zamansal tutarlılığı bozacağını ve görsel tutarsızlıklara yol açacağını kabul etmektedir. Bu sorunu çözmek için, ardışık ilk kareler arasındaki zamansal tutarlılığı ölçen yeni bir video bulanıklık giderme algoritması geliştirilmiştir. Bu bilgi, gelecek kareler için iletim haritalarını ve atmosferik ışık değerlerini uyarlanabilir bir şekilde tahmin etmek için kullanılır.
    1. Titreşen eserler
      Aynı görüntü bölgesi, nesnenin ve/veya kameranın hareketi nedeniyle bir videonun ardışık karelerinde farklı piksel koordinatlarında yakalanabilir. Bu hareketler sonucunda titreyen artefaktlar ortaya çıkar ve aynı noktadaki iletim değerlerini değiştirir. Optik akış tahmini19 gibi hareket tahmin teknikleri, hareketli bir nesnenin konumunu izlemek ve bu sorunları çözmek için kullanılabilir. Bununla birlikte, hareket tahmin yöntemleri genellikle yüksek derecede hesaplama karmaşıklığına ihtiyaç duyar. Bu nedenle, çerçeveler arasındaki hareketleri açıkça hesaplamak yerine GCF adı verilen basit bir olasılık modeli kullanılmıştır. Ardışık iki kare arasındaki diferansiyel görüntü bu modelin temelini oluşturur.
    2. Gradyan tabanlı korelasyon faktörü
      Gradyan Tabanlı Korelasyon Faktörü (GCF), piksellerinin gradyanlarına dayalı olarak ardışık iki video karesi arasındaki benzerliği ölçer. Görüntüler/çerçeveler I1 ve I2, yüksek korelasyon değerleri (I1, I2) ≈ 1 ile gösterildiği gibi oldukça benzerdir, bu da pikselin (x, y) her iki karede de yinelenen nesneyi veya sahne içeriğini temsil ettiği anlamına gelir. Düşük korelasyon değerleri (I1, I2) ≈ 0, büyük olasılıkla hareket veya tıkanmalar nedeniyle görüntülerin ve karelerin aynı olmadığını gösterir. Puslu bir görüntü daha az kontrast ve netliğe sahip olduğundan, görüntünün piksel değerleri iki kare arasındaki korelasyonu gözlemlemek için kullanılamaz.
      Puslu görüntüler, ışığın saçılması ve emilmesi nedeniyle genellikle çoğunlukla beyazımsı görünür, bu da piksel yoğunluğunda genel bir artışa ve kontrastın azalmasına neden olur. Sonuç olarak, ardışık iki puslu karedeki piksellerin çoğu benzer hale gelir ve bulanıklık gerçek sahne ayrıntılarını maskelediği için doğrudan piksel tabanlı korelasyonu etkisiz hale getirir. Bu bağlamda, GCF daha önemli hale gelir. Pustan büyük ölçüde etkilenen piksel bazında korelasyonun aksine, GCF, komşu pikseller arasındaki gradyanlara, yoğunluktaki değişikliklere ve renk geçişlerine odaklanır. Bu gradyanlar, Görüntünün genel parlaklığından daha az etkilenir ve kenarlar ve konturlar gibi yapısal bilgileri daha iyi yakalar. Bu, GCF'yi, Tablo 1'de gösterildiği gibi, iki kare arasındaki piksel tabanlı korelasyon faktörüne (CF) kıyasla puslu koşullarda kareler arasındaki benzerliğin daha güvenilir bir ölçüsü haline getirir.
      Ardışık video kareleri IK ve IK-1arasındaki korelasyon figure-protocol-30 aşağıdaki gibidir.
      figure-protocol-3110
      çerçevedeki piksel sayısı N ve σ = 10'dur. figure-protocol-32 ve figure-protocol-33 IK ve IK-1 video karelerine karşılık gelen gradyan görüntüleridir. GCF'yi hesaplamak için basit bir adım:
      Giriş: Çerçeve IK ve IK-1.
      Her çerçeve ile önceki çerçevesi arasındaki gradyan hesaplandı ve daha sonra (10) CGF'yi hesaplamak için uygulandı, bu daha sonra mevcut çerçeveyi hesaplamak için gereken iletim haritasını ve atmosferik ışığı belirlemek için kullanıldı veya ilk çerçeveyi ve sonraki her kare için tekrarlanan adımları hesaplamak için kullanılabilir. GCF, ardışık iki çerçeve arasındaki korelasyonu hesaplar. Korelasyon yüksekse, ardışık iki çerçevenin hemen hemen aynı olduğunu gösterir; aksi takdirde, düşük bir korelasyona işaret eder.
    3. Atmosferik ışık ve iletim haritası tahmini için GCF tabanlı karar
      GCF, atmosferik ışığın nasıl ele alınacağının belirlenmesinde ve bulanıklık giderme süreçlerinde iletim haritalarının tahmin edilmesinde çok önemli bir rol oynar. GCF, ardışık video kareleri arasındaki benzerliği gradyanlarına göre ölçer ve bu, hareket veya tıkanma gibi faktörleri göz önünde bulundurarak sahnenin kareler arasında ne kadar değiştiğini değerlendirmeye yardımcı olur.
      GCF değeri yüksek, özellikle 0,85'ten büyük olduğunda, mevcut çerçevenin öncekine oldukça benzer olduğunu gösterir. Bu gibi durumlarda, sahne önemli ölçüde değişmediğinden, önceki karedeki iletim haritasının hala geçerli olduğu varsayılır. Önceki çerçevedeki iletim haritasının kullanılması, çerçeveler arasında tutarlılığın korunmasına yardımcı olur ve gereksiz yeniden hesaplamaları önler, böylece hesaplama verimliliğini artırır.
      Bununla birlikte, GCF değeri 0,5'in altına düşerse, muhtemelen sahnedeki hareket veya diğer dinamik değişiklikler nedeniyle kareler arasında önemli bir fark olduğunu gösterir. Bu gibi durumlarda, önceki çerçevenin iletim haritasına güvenmek yanlış sonuçlara yol açacaktır. Bu nedenle, atmosferik ışık Latm'nin yeni sahne koşullarına uyum sağlamak için yeniden hesaplanması gerekir. Ek olarak, mevcut çerçevenin içeriğini daha iyi temsil etmek için yeni bir iletim haritası hesaplanır. Bu yeniden kalibrasyon, bulanıklık giderme işleminin sahnenin güncellenmiş özelliklerini hesaba katmasını sağlayarak netliği ve kontrastı doğru bir şekilde geri kazandırır.
      GCF tarafından yönlendirilen bu karar verme süreci, bulanıklık giderme algoritmasının çerçeve benzerliğindeki değişikliklere dinamik olarak uyum sağlamasına olanak tanıyarak daha hassas ve güvenilir görüntü restorasyonu sağlar. Protokol, iletim haritasını ve atmosferik ışığı gözlemlenen korelasyona göre uyarlayarak, dinamik sahneleri ve dalgalanan pus koşullarını etkili bir şekilde ele alarak bulanıklığı giderilmiş görüntülerin kalitesini artırır.

5. Tek görüntü ve video bulanıklık giderme yaklaşımının adım adım özeti

Algoritmanın ilk çerçevesini sağlayan Şekil 2'nin rehberliğinde, tek görüntü ve video bulanıklık giderme yaklaşımının adım adım özeti sağlanmıştır. (1) Giriş puslu görüntüsünü figure-protocol-34 işlenmek üzere sisteme yükledi; (2) Görüntüyü gri tonlamaya dönüştürdü ve {figure-protocol-35 , figure-protocol-36 ..., figure-protocol-37figure-protocol-38 } olarak 2 kat tekrar alt örnekledi. En kaba görüntüfigure-protocol-39, maksimum (G, Y) <= 320 olacak şekilde seçildi, burada W ve H en kaba L seviyesindeki genişliği ve yüksekliği temsil eder; (3) Kaba görüntüyü figure-protocol-40 m × m bloklara bölün. Burada m (5) olarak seçilir; (4) Boyutlu figure-protocol-41alt örneklenmiş görüntüyü figure-protocol-42 elde etmek için her bloktaki minimum yoğunluğu hesapladı; (5) En kaba seviyeli karanlık kanal görüntüsü, figure-protocol-43, daha sonra 3 × 3 minimum filtre figure-protocol-44uygulanarak elde edilir; (6) Bu çalışmada w'nin figure-protocol-450,95 olarak seçildiği formülü kullanarak ilk iletim haritasını tahmin etti; (7) Elde figure-protocol-46etmek için GWGIF(.) kullanarak iletim haritasını iyileştirdi; (8) Puslu görüntünün karanlık kanalındaki (figure-protocol-47) en parlak %0,1'lik en parlak piksel konumlarına karşılık gelen RGB değerinin ortalaması alınarak tahmini atmosferik ışık Latm; (9) Işık saçılma modelini kullanarak bulanıklığı giderilmiş görüntü Jclear (x) kurtarıldı 

figure-protocol-48; (10) Video için, düzenli aralıklarla çıkarılan kareler; (11) Çerçeve benzerliğini ölçmek için ardışık iki çerçeve arasındaki Gradyan Tabanlı Korelasyon Faktörünü (GCF) hesapladı; (12) 0,5 < ise, mevcut çerçeve için yeni bir iletim haritası hesaplandı; GCF≥0.85 ise, önceki çerçevedeki iletim haritasını yeniden kullandı; (13) Her kareyi iyileştirin ve görüntülerle aynı adımları kullanarak bulanıklığı giderilmiş kareleri kurtarın; (14) NIQE11, PIQE12, BRISQE13, FADE8 ve MSE14 gibi ölçümler kullanılarak çıktı kalitesi değerlendirildi.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Niteliksel ve niceliksel sonuçlar, bir yöntemi veya deneyi değerlendirirken tamamlayıcı bilgiler sağlar. Nitel sonuçlar, bir yaklaşımın etkinliğini analiz etmek için genellikle görsel karşılaştırmalar, algısal değerlendirmeler veya uzman görüşleri kullanılarak öznel değerlendirmelere odaklanır. Gerçek dünya senaryolarındaki gelişmeleri göstermeye yardımcı olurlar ancak insan algısından etkilenebilirler. Buna karşılık, nicel sonuçlar, etkinliği istatistiksel titizlikle ölçmek için NIQE11, PIQE

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gelişmiş bir zamansal tutarlılık yaklaşımıyla görüntü ve video bulanıklığını giderme için önerilen verimli çok ölçekli gradyan alanı filtrelemesi, bir görüntü piramidi yapısı kullanarak atmosferik ışık ve iletim haritalarını verimli bir şekilde tahmin ederek fiziksel model tabanlı bulanıklık giderme algoritmalarındaki hesaplama darboğazını giderir. Temel yenilik, önemli görüntü ayrıntılarını korumak için yukarı örnekleme sırasında GWGIF filtrelemeyi takip ederek MPS iletim haritası tahmi...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar herhangi bir çıkar çatışması beyan etmemektedir

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Editöre ve isimsiz hakemlere, bu çalışmanın kalibresini ve okunabilirliğini önemli ölçüde artıran anlayışlı yorumları ve yararlı tavsiyeleri için içten teşekkürlerimizi sunarız. Dikkatli değerlendirme prosedürleri ve anlayışlı açıklamaları, araştırmanın alana genel katkısını artırmada ve iyileştirmeye yardımcı olmada çok önemli olmuştur.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Dataset  Görme ve Görüntü İşleme Laboratuvarı, Waterloo Üniversitesi5http : //ivc.uwaterloo.ca/database/Dehaze/Görüntü ve Video Bulanıklaştırma Algoritmalarının Değerlemesi
Gradyan tabanlı ağırlıklı kılavuzlu filtre (Matlab uygulaması)Wang  ve diğerleri.16 https://arxiv.org/pdf/2211.16796Verimli iletim haritası iyileştirme
MATLAB (Görüntü İşleme Araç Kutusu ile)Sürüm: MATLAB Çevrimiçi (24.2.0.2871072 (R2024b) Güncelleme 5)https://www.mathworks.com/products/matlab.htmlÖnerilen ve temel algoritmaların uygulanması
IşlemciIntel i3-6006U İşlemci (2.00 GHz)https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.htmlAlgoritmaları çalıştırma
Temel yöntemler için kaynak kodlarıKim et  al.3, Van et  al.14, Yang ve ark.20,
  Ren ve diğerleri21,  Chen et  al.23, Li B ve ark.26		3https://github.com/metinsuloglu/Haze-RemovalÖğrenmeye dayalı bulanıklaştırma yöntemlerinin değerlendirilmesi
14https://github.com/viengiaan/MGF bulanıklık giderme
20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
21https://github.com/rwenqi/GFN-dehazing
23https://cchen156.github.io/code/robustdehaze.zip
26https://github.com/Boyiliee/EVD-Net
4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Sharrab, Y. O., Alsmadi, I., Sarhan, N. J. Towards the availability of video communication in artificial intelligence-based computer vision systems utilizing a multi-objective function. Cluster Comput. 25 (1), 231-247 (2022).
  2. Afif, M., Said, Y., Atri, M. Computer vision algorithms acceleration using graphic processors NVIDIA CUDA. Cluster Comput. 23, 3335-3347 (2020).
  3. He, K., Sun, J., Tang, X. Single image haze removal using dark channel prior. IEEE TransPattern Anal Mach Intell. 33 (12), 2341-2353 (2011).
  4. Live Image Quality Database (Release 2). , Live Image Quality Database. http://live.ece.utexas.edu/research/fog/fadefade.html (2025).
  5. IVC Dehazing Dataset. , Image & Vision Computing (IVC) Laboratory. https://ivc.uwaterloo.ca/database/dehaze.html (2025).
  6. Ma, K., Duanmu, Z., Wu, Q., Wang, Z., Yong, H., Li, H., Zhang, L. Waterloo exploration database: New challenges for image qulity assessment models. IEEE TransImage Process. 26 (2), 1004-1016 (2017).
  7. MATLAB Online. , MathWorks. at https://matlab.mathworks.com (2025).
  8. Choi, L. K., You, J., Bovik, A. C. Referenceless prediction of perceptual fog density and perceptual image defogging. IEEE Trans. Image Process. 24 (11), 3888-3901 (2015).
  9. Kansal, I., Kasana, S. S. Minimum preserving subsampling-based fast image de-fogging. J Mod Opt. 65 (18), 2103-2123 (2018).
  10. Choi, L. K., You, J., Bovik, A. C. FADE: Fog Aware Density Evaluator. IEEE TransImage Process. 24 (11), 6436-6448 (2015).
  11. Blind image quality evaluation using perception based features. Venkatanath, N., Praneeth, D., Maruthi Chandrasekhar, B. H., Channappayya, S. S., Medasani, S. S. 2015 21st Natl Conf Commun, , 1-6 (2015).
  12. Chen, X., Fan, Z., Li, P., Dai, L., Kong, C., Zheng, Z., Li, Y. Unpaired deep image dehazing using contrastive disentanglement learning. in computer vision -- ECCV 2022. Avidan, S., Brostow, G., Cissé, M., Farinella, G. M., Hassner, T. , Springer Nature Switzerland. Cham. 632-648 (2022).
  13. Mittal, A., Moorthy, A. K., Bovik, A. C. No-reference image quality assessment in the spatial domain. IEEE Trans. Image Process. 21 (12), 4695-4708 (2012).
  14. Van Nguyen, T., Vien, A. G., Lee, C. Real-time image and video dehazing based on multiscale guided filtering. Multimed Tools Appl. 81 (25), 36567-36584 (2022).
  15. Image dehazing based on multiscale retinex and guided filtering. Gao, Z., Zhai, Y. 2022 Int Conf Image Process Comput Vis Mach Learn, , 123-126 (2022).
  16. Wang, B., Wang, Y., Sui, X., Liu, Y., Chen, Q. Gradient domain weighted guided image filtering. Signal Image Video Process. 17 (8), 4097-4105 (2023).
  17. Chang, M., Feng, H., Xu, Z., Li, Q. Low-light image restoration with short- and long-exposure raw pairs. IEEE Trans Multimed. 24, 702-714 (2022).
  18. Physically-based rendering for indoor scene understanding. Zhang, Y., Song, S., Yumer, E., Savva, M. Proc IEEE Conf Comput Vis Pattern Recognit, , 5287-5295 (2017).
  19. Tan, Y., Zhu, Y., Huang, Z., Tan, H., Li, K. MAPD: An FPGA-based real-time video haze removal accelerator using mixed atmosphere prior. IEEE Trans Comput Des Integr Circuits Syst. 42 (12), 4777-4790 (2023).
  20. Yang, D., Sun, J. Proximal dehaze-net: A prior learning-based deep network for single image dehazing. Lect Notes Comput Sci. 11211 LNCS, 729-746 (2018).
  21. Gated fusion network for single image dehazing. Ren, W. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit, , 3253-3261 (2018).
  22. Wang, W., Yuan, X., Wu, X., Liu, Y. Fast image dehazing method based on linear transformation. IEEE Trans Multimed. 19 (6), 1142-1155 (2017).
  23. Chen, C., Do, M. N., Wang, J. Robust image and video dehazing with visual artifact suppression via gradient residual minimization. Computer Vision -- ECCV. Leibe, B., Matas, J., Sebe, N., Welling, M. , Springer International Publishing. Cham. 576-591 (2016).
  24. Kim, J. H., et al. Optimized contrast enhancement for real-time image and video dehazing. J. Vis. Commun. Image Represent. 24 (3), 410-425 (2013).
  25. GridDehazeNet: Attention-based multiscale network for image dehazing. Liu, X., Ma, Y., Shi, Z., Chen, J. Proc IEEE Int Conf Comput Vis, , 7313-7322 (2019).
  26. Wen, S., Zheng, Y., Lu, F. Polarization state attention dehazing network with a simulated polar-haze dataset. IEEE Trans Multimed. 27, 263-274 (2024).
  27. End-to-end united video dehazing and detection. Li, B., Peng, X., Wang, Z., Xu, J., Feng, D. 32nd AAAI Conf Artif Intell, AAAI 2018, 7016-7023 (2018).
  28. Li, Z., Shu, H., Zheng, C. Multiscale single image dehazing using Laplacian and Gaussian pyramids. IEEE Trans Image Process. 30, 9270-9279 (2021).
  29. Cai, B., Xu, X., Jia, K., Qing, C., Tao, D. DehazeNet: An end-to-end system for single image haze removal. IEEE Trans. Image Process. 25 (11), 5187-5198 (2016).
  30. Wu, Z., Liu, W., Wang, J., Li, J., Huang, D. FrePrompter: Frequency self-prompt for all-in-one image restoration. Pattern Recognit. 161, 111223(2025).
  31. Liu, F., Li, H., Hu, W., He, Y. Review of neural network model acceleration techniques based on FPGA platforms. Neurocomputing. , 128511(2024).
  32. Yang, J. Driving-video dehazing with non-aligned regularization for safety assistance. Cvpr. , 26109-26119 (2024).
  33. Yang, Y., Guo, C. L., Guo, X. Depth-aware unpaired video dehazing. IEEE Trans Image Process. 33, 2388-2403 (2024).
  34. Agrawal, R., Gupta, N., Batra, M., Arora, K. A Comprehensive review of image restoration and noise reduction techniques. Int J Recent Innov Trends Comput Commun. 11, 463-474 (2023).
  35. Ayoub, A., et al. Review of dehazing techniques: Challenges and future trends. Multimed Tools Appl. 84 (3), 1103-1131 (2025).
  36. Wei, H., et al. Robust unpaired image dehazing via adversarial deformation constraint. IEEE Trans Circuits Syst Video Technol. 34, 8614-8628 (2024).
  37. APL: Adaptive parameter learning for image dehazing. Martinho, L. A., Cavalcanti, J. M. B., Pio, J. L. S., Oliveira, F. G. 2024 International Conference on Machine Learning and Applications (ICMLA), , 636-643 (2024).
  38. Guo, X., et al. Single-image dehazing method based on Rayleigh Scattering and adaptive color compensation. PLoS One. 20, 1-18 (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Image DehazingVideo DehazingGradient Domain FilteringMultiscale FilteringTemporal CoherenceGuided Image FilterTransmission Map RefinementAtmospheric ScatteringTexture PreservationReal Time Dehazing

Related Articles