Research Article

Efficiente filtraggio multiscala del dominio del gradiente per la rimozione della foschia di immagini e video con maggiore coerenza temporale

DOI:

10.3791/68495

⸱

September 30th, 2025

 ,  ,  , 
1Chitkara University Institute of Engineering and Technology, Chitkara University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il protocollo integra il sottocampionamento con conservazione minima con filtro guidato ponderato nel dominio del gradiente per migliorare le capacità di rimozione della foschia in tempo reale del modello di diffusione della luce. La media dei valori RGB dei pixel più luminosi dell'immagine sorgente dello 0,1% nel canale scuro produce una luce atmosferica e il fattore di correlazione basato sul gradiente viene utilizzato per la coerenza dell'elaborazione video.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La rimozione della foschia è fondamentale nella visione artificiale per ripristinare la nitidezza dell'immagine influenzata dalla dispersione atmosferica. I metodi esistenti soffrono di elevati costi computazionali, perdita di dettagli del gradiente e artefatti sfarfallio nelle applicazioni video. Per migliorare l'efficienza e la qualità visiva, questo lavoro propone una tecnica di dehazing guidata basata su filtri di immagini pesate nel dominio del gradiente multiscala applicabile sia ai video che alle immagini. Per stimare i parametri atmosferici e ridurre la complessità computazionale, è stato impiegato il sottocampionamento a conservazione minima (MPS). Successivamente, un processo iterativo di upsampling con il filtro gggif (Gradient-domain Weighted Guided Image Filter) perfeziona la mappa di trasmissione, preservando una quantità significativa di funzioni di gradiente e migliorando così la texture e la ritenzione dei bordi. Per la rimozione della foschia video, viene introdotto il fattore di correlazione basato sul gradiente (GCF), che consente di ridurre significativamente gli artefatti di sfarfallio rispetto ai metodi esistenti. Le valutazioni sperimentali dimostrano la superiorità del nostro approccio, ottenendo un punteggio PIQE (Perception-based Image Quality Evaluator) di 26,98, un punteggio NIQE (Natural Image Quality Evaluator) di 2,78 e un punteggio BRISQE (Blind/Referenceless Image Spatial Quality Evaluator) di 20,18, che riflette una migliore qualità percettiva. Inoltre, il metodo proposto garantisce un'elevata coerenza temporale nella rimozione della foschia video, con una deviazione dell'errore quadratico medio (MSE) di 0,003, che lo rende ideale per applicazioni in tempo reale come veicoli autonomi, sorveglianza e telerilevamento.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La foschia è un fenomeno atmosferico che rende più difficile vedere oggetti distanti quando la luce è dispersa da fumo, goccioline d'acqua o particelle di polvere. Il deterioramento dell'immagine dovuto alla foschia è dannoso per le applicazioni di visione artificiale 1,2, tra cui l'analisi video, i veicoli autonomi e la sorveglianza. Per migliorare le prestazioni della visione artificiale, come primo passo nell'elaborazione, una strategia di rimozione della foschia è essenziale per rimuovere i componenti di foschia dalle immagini. Il termine "rimozione foschia" si riferisce ai passaggi utilizzati per ripristinare la nitidezza di un'immagine sfocata o altrimenti inutilizzabile. Negli ultimi anni sono state sviluppate diverse tecniche per la rimozione della foschia delle immagini. Il problema della rimozione della foschia rappresenta l'immagine target (nebulosa) Ihazy (x) del canale di colore nella posizione x come mostrato in (1) come tratto da He et al.3.

figure-introduction-1    1

Jclear(x) rappresenta l'immagine trasparente, mentre Latm e tmap rappresentano rispettivamente la luce atmosferica globale e la mappa di trasmissione media. La parte della luce che viene captata dai sensori della fotocamera è indicata dalla distanza dellamappa t d(x) calcolata dalla distanza tra la scena e la telecamera in He et al.3come mostrato in (2).

figure-introduction-2    2

Qui, β rappresenta il coefficiente di trasmissione per la diffusione dell'aria.

Recuperando Jclear(x) da Ihazy(x) durante il processo di rimozione della foschia, è mostrato in (3), che si ottiene dopo il riarrangiamento di (1). Qui, t rappresenta la trasmittanza della luce nell'atmosfera, nota anche come coefficiente di trasmissione.

figure-introduction-3    3

Il modello del canale scuro precedente (DCP)3 è tra i modelli atmosferici più noti per questo scopo. Tra le tecniche di dehazing basate su modelli fisici ben note, la DCP è la più utilizzata, che presuppone che almeno un canale di colore contenga pixel con intensità estremamente basse in un'immagine priva di foschia. Questo precedente viene utilizzato per stimare la mappa di trasmissione utilizzando DCP e recuperare la radianza della scena da (1). Tuttavia, questa tecnica richiede molto tempo e sovrasatura la regione del cielo nell'immagine.

La motivazione di questa ricerca deriva dalla necessità di migliorare la visibilità nelle applicazioni di visione artificiale in cui la foschia degrada significativamente la qualità dell'immagine. L'approccio non solo accelera il processo di rimozione della foschia, ma garantisce anche che i dettagli dell'immagine, come bordi e texture, siano preservati. Inoltre, la ricerca estende il suo algoritmo di rimozione della foschia ai video, affrontando un problema critico nell'elaborazione video. A volte, in diverse condizioni di illuminazione, la visibilità delle immagini cambia, il che rappresenta un'altra sfida in molte applicazioni, come la guida autonoma e la sorveglianza.

La convalida dell'algoritmo di rimozione della foschia proposto è stata eseguita attraverso esperimenti approfonditi su vari set di dati di immagini e video disponibili pubblicamente. I set di dati comprendono scene nebbiose sia sintetiche che reali, consentendo una valutazione completa in diverse condizioni. La convalida sperimentale di diverse sequenze video del mondo reale (Riverside, Crossroad, Haze road, Ship)4 e immagini statiche5 con diverse densità di foschia, valutate utilizzando metriche stabilite (FADE, NIQE, PIQE, BRISQUE)6 e confrontate con nove metodi all'avanguardia, dimostrano l'applicabilità pratica dell'algoritmo per i domini automobilistico, di sorveglianza, marittimo e di mobile computing, mantenendo al contempo le prestazioni in tempo reale. Le prestazioni sono state valutate utilizzando confronti visivi soggettivi e metriche oggettive di qualità, dimostrando la competitività con approcci all'avanguardia in termini di accuratezza ed efficienza computazionale.

Il lavoro proposto è progettato per prestazioni in tempo reale ed è stato testato su immagini e video con risoluzioni fino a 1920 × 1080 pixel. Per garantire un'elaborazione efficiente, tutti gli esperimenti sono stati condotti su una workstation dotata di una CPU Intel i3-6006U (2,00 GHz) e 12 GB di RAM. Sebbene il metodo dimostri ottime prestazioni in vari scenari del mondo reale, può mostrare una precisione ridotta in condizioni di foschia estremamente densa in cui la stima della trasmissione diventa inaffidabile. Questi dettagli evidenziano la praticità e i limiti dell'approccio proposto nell'implementazione nel mondo reale.

Per superare varie sfide, questa ricerca propone un nuovo approccio che utilizza un GWGIF multiscala per la rimozione della foschia di immagini e video. Integrando un metodo MPS, lo studio introduce una tecnica computazionalmente efficiente per stimare la mappa di trasmissione, che è un fattore chiave nella rimozione della foschia. Gli artefatti tremolanti sono stati affrontati incorporando un nuovo metodo GCF che mantiene la coerenza temporale tra fotogrammi consecutivi, garantendo sia l'efficienza computazionale che risultati di alta qualità. Questo studio contribuisce allo sviluppo di tecniche di miglioramento di immagini e video più robuste. La Figura 1 illustra la mappa di trasmissione calcolata utilizzando il metodo MPS e la Figura 2 mostra il metodo proposto che combina MPS e GCF. La novità del nostro lavoro risiede nello sviluppo di un algoritmo di dehazing di immagini e video in tempo reale basato sul multiscaling con un filtro guidato ponderato basato su gradiente, che affronta i colli di bottiglia computazionali dei metodi di dehazing tradizionali. In particolare, i nostri principali contributi sono: (1) la tecnica MPS che mantiene le regioni scure critiche per una stima accurata della trasmissione, riducendo al contempo il carico computazionale; (2) GWGIF che preserva in modo specifico i bordi solidi durante l'affinamento della mappa di trasmissione; (3) Stima ottimizzata della luce atmosferica che si concentra solo sullo 0,1% dei pixel più luminosi; (4) GCF per la rimozione della foschia video che misura la somiglianza dei fotogrammi attraverso le informazioni sul gradiente; (5) Un sistema di ottimizzazione temporale che riutilizza i calcoli tra fotogrammi video simili per ottenere l'elaborazione in tempo reale.

Questo metodo consente di ottenere prestazioni in tempo reale offrendo al contempo una qualità di rimozione della foschia paragonabile o migliore di quella degli algoritmi all'avanguardia, come dimostrato da esperimenti approfonditi presentati nell'articolo [Figura 3, Figura 4, Figura 5, Figura 6 e Figura 7].

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo lavoro ha utilizzato immagini di scene sintetiche o naturali senza soggetti umani coinvolti. Pertanto, non era richiesta alcuna approvazione etica.

Questo protocollo di rimozione della foschia delle immagini è sviluppato su una configurazione informatica standard ed è progettato per migliorare la chiarezza e la visibilità delle immagini sfocate. L'ambiente di lavoro è MATLAB7. L'approccio segue un processo sistematico che coinvolge la stima della foschia, il perfezionamento e il ripristino dell'immagine. Migliorando gradualmente la qualità dell'immagine preservando i dettagli importanti, il metodo offre risultati chiari e visivamente accattivanti. È stato testato su set di dati ampiamente utilizzati8 e valutato utilizzando misure standard di qualità dell'immagine, dimostrandone l'efficacia e l'idoneità per applicazioni accademiche o basate sulla ricerca. Importanti spiegazioni ed equazioni per il protocollo, i materiali e le attrezzature, nonché i passaggi della soluzione proposta, sono stati forniti nelle sezioni seguenti. Sono stati inoltre delineati i parametri di valutazione.

1. Materiali e attrezzature

L'esperimento è sviluppato utilizzando MATLAB Online (24.2.0.2871072 (R2024b) Update 5) ed eseguito su un sistema con CPU Intel i3-6006U (2,00 GHz). I set di dati di immagini 5,8 utilizzati per l'implementazione provengono dalla letteratura di riferimento. La metodologia prevede l'utilizzo di un filtro gaussiano 5 × 5 con interpolazione bilineare, la stima della mappa di trasmissione mediante l'algoritmo MPS9 e il perfezionamento attraverso il filtro GWGIF, il tutto effettuato su un'adeguata infrastruttura di calcolo. I dettagli e i collegamenti di tutti i materiali e le attrezzature utilizzate nella ricerca sono menzionati nella Tabella dei Materiali.

2. Configurazione sperimentale

La configurazione sperimentale prevede l'implementazione dell'approccio proposto per la rimozione della foschia di immagini e video in un ambiente di calcolo scientifico che supporta l'elaborazione e la visualizzazione di immagini basate su matrice. Per valutare le prestazioni del metodo sono stati utilizzati set di dati di benchmark standard 5,8, costituiti da immagini e video confusi10, come indicato nella letteratura consolidata. L'algoritmo segue un framework di elaborazione multiscala, utilizzando piramidi di immagini e correlazione basata su gradiente per guidare il calcolo e il perfezionamento della mappa di trasmissione adattiva. Per le sequenze video, i fotogrammi vengono estratti a intervalli fissi e il GCF viene utilizzato per determinare se riutilizzare o ricalcolare la mappa di trasmissione. L'efficacia degli output dehazed è stata valutata utilizzando metriche di qualità dell'immagine ampiamente riconosciute, tra cui NIQE, PIQE, BRISQE, FADE e MSE, garantendo una valutazione sia soggettiva che oggettiva della qualità del restauro.

3. Parametri utilizzati per la valutazione

Per la valutazione obiettiva, sono state utilizzate cinque metriche di qualità: (1) FADE (Fog-Aware Density Evaluator)8; (2) NIQE (Valutatore della qualità dell'immagine naturale)11; (3) PIQE (Valutatore della qualità dell'immagine basato sulla percezione)12; (4) BRISQUE (Valutatore della qualità spaziale dell'immagine cieco/senza riferimenti)13; (5) MSE (errore quadratico medio) tra fotogrammi consecutivi14.

4. Metodologia di dehazing di immagini singole e video

  1. Converti e costruisci una piramide di immagini
    La rimozione della foschia di una singola immagine inizia convertendo l'immagine a colori di input in scala di grigi (figure-protocol-1). Una piramide di immagini {figure-protocol-2, figure-protocol-3...,figure-protocol-4, figure-protocol-5} viene quindi costruita sottocampionando ricorsivamente Ihazy con un fattore di 2 fino a raggiungere il livello più grossolano IL , in modo tale che la dimensione massima non sia maggiore di 320 pixel. Ciò significa che L è determinato dal requisito che max(W, H) <= 320, dove W e H rappresentano la larghezza e l'altezza al livello più grossolano L. Il valore L indica il numero di operazioni di sottocampionamento necessarie per raggiungere il livello più grossolano desiderato nella struttura piramidale, come in Figura 2.
  2. Stima della mappa di trasmissione
    La mappa di trasmissione mostra la percentuale di luce che non viene dispersa e raggiunge il sensore della telecamera. La mappa di trasmissione rappresenta accuratamente le informazioni sulla profondità dell'immagine, in quanto è una funzione della profondità che è successiva. La mappa di trasmissione, tmappa, viene calcolato utilizzando la luce ambientale per ricostruire un'immagine priva di foschia Jclear (x). L'obiettivo principale dello studio è quello di sviluppare un metodo di stima della trasmissione computazionalmente efficiente per accelerare il processo di rimozione della foschia, poiché è stato riscontrato che il calcolo di una mappa di trasmissione è il passaggio più dispendioso in termini di tempo. Per essere più precisi, dopo aver stimato la trasmissione a una risoluzione inferiore e supponendo che la mappa di trasmissione sia composta da parti costanti, i risultati sono stati sovracampionati, come illustrato nella Figura 2.
    1. Stima iniziale della mappa di trasmissione utilizzando l'approccio multiscala su MPS
      La mappa figure-protocol-6 di trasmissione iniziale è ottenuta dall'ImageImage figure-protocol-7, che è già stata calcolata sottocampionando l'immagine nebulosa in ingresso al livello più grossolano, L. Utilizzando l'approccio MPS9 su figure-protocol-8, l'immagine è ora divisa in blocchi quadrati di 5 × 5 dimensioni, come mostrato in [Figura 1]. Inoltre, figure-protocol-9 viene calcolato selezionando il valore minimo da ciascun blocco 5 × 5 per ottenere un'immagine sottocampionata, con dimensioni (M/m) × (N/m) mostrate in (4) da Kansal et al.9. Qui, min sta per la funzione matematica per calcolare il valore minimo di intensità nel blocco BIi.
      figure-protocol-104
      l'immagine figure-protocol-11 del canale scuro di livello più grossolano 4 si ottiene quindi applicando un filtro minimo 3 × 3 su figure-protocol-12 come mostrato in ( 5) trattodal lavoro 9 di Kansal et al.
      figure-protocol-13 5
      Dove ω è una finestra di dimensioni 3 × 3. La mappa figure-protocol-14 di trasmissione iniziale viene infine stimata utilizzando:
      figure-protocol-156
      dove w è un fattore costante (tipicamente 0).
      La mappa di trasmissione basata su MPS garantisce un miglioramento del contrasto e del recupero dei dettagli nelle regioni gravemente colpite dalla foschia, mantenendo i valori minimi locali all'interno delle rispettive patch. Tuttavia, l'approccio basato sulla trasformazione lineare22 produce una mappa di trasmissione più uniforme (e meno accurata) nella rimozione della foschia, in quanto non è in grado di distinguere tra regioni con diversi livelli di intensità della foschia.
    2. Affinamento della trasmissione
      Poiché la mappa di trasmissione iniziale (figure-protocol-16) è stimata solo al livello più grossolano (L) della piramide dell'immagine, deve essere sovracampionata in modo che corrisponda alla risoluzione dell'immagine di input originale. Il semplice upsampling bilineare BUp(·) viene applicato per ottenere una mappa di trasmissione a piena risoluzione. Inoltre, per preservare i dettagli dei bordi nella mappa di trasmissione, figure-protocol-17 deve essere perfezionato. L'impiego di un filtro guidato e di un filtro guidato da gradiente, come applicato in Van et al.14 e Kansal et al.9, causerebbe artefatti di sfocatura nella mappa di trasmissione, con conseguente perdita di dettagli della trama e informazioni sui bordi, che alla fine degraderebbero le prestazioni di rimozione della foschia. Per risolvere questo problema, è stato utilizzato il metodo GWGIF (Gradient Domain Weighted Guided Image Filtering)15 per preservare efficacemente i dettagli dell'immagine. Infine, la trasmissione figure-protocol-18 raffinata è ottenuta come di seguito da Wang et al.16.
      figure-protocol-19 7
      GWGIF perfeziona la mappa di trasmissione iniziale preservando le strutture dei bordi ed evitando la sfocatura degli artefatti tipicamente introdotti dai filtri guidati standard. Il seguente passo è stato seguito per implementare la funzione GWGIF17.
      Immissione:
      figure-protocol-20: Mappa di trasmissione iniziale (a bassa risoluzione o grossolana)
      figure-protocol-21: Immagine sfocata originale (utilizzata come guida)
      Prodotto:
      figure-protocol-22
      Passaggio 1: Ha effettuato l'upsampling della mappa di trasmissione iniziale
      Ridimensionato figure-protocol-23 per adattarsi alle dimensioni di Ihazy
      Passaggio 2: convertito innebuloso in scala di grigi
      Ihazy = rgb2gray(Ihazy)
      Passaggio 3: Applicato il filtro guidato ponderato nel dominio del gradiente come in (7)
      Mappa di trasmissione perfezionata ottenutafigure-protocol-24
      Il processo calcola l'ampiezza del gradiente dall'immagine di guida utilizzando l'operatore Sobel, genera pesi basati sul gradiente e li integra nell'equazione di filtraggio guidata per migliorare l'arrotondamento con riconoscimento dei bordi. L'output è una mappa di trasmissione perfezionata che migliora significativamente la qualità della rimozione della foschia e la conservazione dei dettagli, come mostrato nella Figura 4.
  3. Stima della luce atmosferica
    La luce atmosferica globale, in termini di rimozione della foschia delle immagini basata su modelli, è essenziale. Come affermato da Zhang et al.18, le immagini più luminose e prive di foschia sono prodotte da valori più bassi di luce atmosferica, mentre valori più alti di luce atmosferica producono le immagini più scure e prive di foschia. Il lavoro proposto stima la luce atmosferica dall'immagine del canale scuro (figure-protocol-25) ottenuta dall'immagine nebulosa in ingresso. Quindi, i valori RGB corrispondenti ai pixel più luminosi dello 0,1% superiore nell'immagine del canale scuro vengono scelti per ottenere il valore finale della luce atmosferica, come mostrato in (8) come indicato in He et al.3. Qui, γ rappresenta i primi 0,1 pixel più luminosi. Questi pixel corrispondono in genere alle regioni più opache dell'immagine. Da questi pixel selezionati, i valori RGB corrispondenti nell'immagine originale vengono estratti e mediati per determinare la luce atmosferica globale Latm.
    figure-protocol-26 8
    La luce atmosferica Latm viene calcolata selezionando i pixel più luminosi dello 0,1% superiore dall'immagine del canale scuro. Questa operazione viene eseguita come segue:
    Immissione:
    Immagine nebbiosa Iimmagine RGB sfocata)
    Prodotto:
    Luce atmosferica Latm (un vettore RGB a 3 elementi)
    Passi:
    Passaggio 1: calcolato il canale scuro dell'immagine:
    L'immagine del canale scuro è figure-protocol-27.
    Passaggio 2: ha trovato la maggior parte dei pixel opachi con foschia
    Appiattito il canale scuro in un array 1D
    I valori dei pixel sono stati ordinati in ordine decrescente.
    Selezionati i pixel più luminosi dello 0,1% (ad esempio, i valori più alti nel canale scuro → un'alta concentrazione di foschia).
    Passaggio 3: Pixel candidati selezionati nell'immagine di input
    Tra i pixel superiori selezionati dello 0,1% (dal canale scuro), identifica i pixel corrispondenti nell'immagine sfocata originale che hosfocato.
    Per ogni pixel selezionato, è stata calcolata l'intensità (ad esempio, somma o norma dei suoi valori RGB).
    Passaggio 4: impostare la luce atmosferica Latm
    Il valore RGB del pixel più luminoso selezionato sopra è stato preso come luce atmosferica stimata.
    La procedura di cui sopra stima sistematicamente la luce atmosferica, Latm.
    La procedura di cui sopra stima sistematicamente la luce atmosferica Latm sfruttando il canale scuro prima di identificare le regioni più colpite dalla foschia nell'immagine. Escludendo le aree chiare e chiare e concentrandosi sullo 0,1% delle regioni più scure (indicative di foschia densa), il metodo garantisce una stima robusta e accurata della luce atmosferica globale, che è un parametro critico per un'efficace rimozione della foschia negli algoritmi di rimozione della foschia a immagine singola.
    1. Recupero dell'immagine nebulosa
      Infine, dopo aver trovato la luce atmosferica Latm e la mappa figure-protocol-28di trasmissione raffinata, l'immagine priva di foschia Jclear(x) è ottenuta utilizzando la formulazione di Van et al.14, in (9), che è data da
      figure-protocol-299
      dove γ è il limite inferiore della trasmissione (impostato su 0,05)
      Come illustrato nella Figura 1, il metodo di raffinamento della mappa di trasmissione proposto preserva efficacemente le caratteristiche complesse dell'immagine e consente il recupero dell'immagine senza foschia.
  4. Recupero video nebuloso
    L'approccio di rimozione della foschia video presentato in questo lavoro si basa sull'algoritmo di rimozione della foschia a immagine singola incorporando considerazioni di coerenza temporale per prevenire artefatti di sfarfallio. Gli autori riconoscono che l'applicazione indipendente della rimozione della foschia di una singola immagine a ciascun fotogramma di un video interromperebbe la coerenza temporale tra i fotogrammi, con conseguenti incongruenze visive. Per risolvere questo problema, è stato sviluppato un nuovo algoritmo di dehazing video che quantifica la coerenza temporale tra fotogrammi iniziali consecutivi. Queste informazioni vengono utilizzate per stimare in modo adattivo le mappe di trasmissione e i valori della luce atmosferica per i fotogrammi successivi.
    1. Artefatti tremolanti
      La stessa regione dell'immagine può essere acquisita con coordinate pixel diverse in fotogrammi consecutivi di un video a causa del movimento dell'oggetto e/o della fotocamera. A seguito di questi movimenti, emergono artefatti tremolanti che modificano i valori di trasmissione nello stesso punto. Le tecniche di stima del movimento, come la stima del flusso ottico19, possono essere utilizzate per tracciare la posizione di un oggetto mobile e risolvere questi problemi. Tuttavia, i metodi di stima del movimento richiedono spesso un alto grado di complessità computazionale. Pertanto, è stato utilizzato un semplice modello di probabilità chiamato GCF invece di calcolare esplicitamente i movimenti tra i fotogrammi. L'immagine differenziale tra i due fotogrammi consecutivi funge da base per questo modello.
    2. Fattore di correlazione basato sul gradiente
      Il fattore di correlazione basato su gradiente (GCF) misura la somiglianza tra due fotogrammi video consecutivi in base ai gradienti dei relativi pixel. Le immagini/fotogrammi I1 e I2 sono molto simili, come indicato da valori di correlazione elevati (I1, I2) ≈ 1, il che implica che il pixel (x, y) rappresenta il contenuto duplicato dell'oggetto o della scena in entrambi i fotogrammi. Valori di correlazione bassi (I1, I2) ≈ 0 indicano che le immagini e i fotogrammi non sono gli stessi, molto probabilmente a causa di movimenti o occlusioni. Poiché un'immagine sfocata ha meno contrasto e chiarezza, i valori dei pixel dell'immagine non possono essere utilizzati per osservare una correlazione tra due fotogrammi.
      Le immagini sfocate appaiono spesso per lo più biancastre a causa della dispersione e dell'assorbimento della luce, portando a un aumento generale dell'intensità dei pixel e a una riduzione del contrasto. Di conseguenza, la maggior parte dei pixel su due fotogrammi sfocati consecutivi diventa simile, rendendo inefficace la correlazione diretta basata sui pixel perché la foschia maschera i dettagli effettivi della scena. In questo contesto, il GCF diventa più significativo. A differenza della correlazione pixel, che è fortemente influenzata dalla foschia, GCF si concentra sui gradienti, sui cambiamenti di intensità e sulle transizioni di colore tra i pixel vicini. Questi gradienti sono meno influenzati dalla luminosità complessiva dell'immagine e catturano meglio le informazioni strutturali, come bordi e contorni. Ciò rende il GCF una misura più affidabile della somiglianza tra i fotogrammi in condizioni di nebbia rispetto al fattore di correlazione (CF) basato sui pixel tra due fotogrammi, come mostrato nella Tabella 1.
      La correlazione figure-protocol-30 tra i fotogrammi video consecutivi IK e IK-1è la seguente.
      figure-protocol-3110
      dove il numero di pixel nel fotogramma è N e σ = 10. figure-protocol-32 e figure-protocol-33 sono le immagini sfumate corrispondenti ai fotogrammi video IK e IK-1. Un semplice passaggio per calcolare GCF è:
      Ingresso: Frame IK e IK-1.
      È stato calcolato il gradiente tra ogni fotogramma e il fotogramma precedente, e (10) è stato quindi applicato per calcolare il CGF, che è stato successivamente utilizzato per determinare la mappa di trasmissione e la luce atmosferica necessaria per calcolare il fotogramma corrente, oppure può essere utilizzato per calcolare il fotogramma iniziale e i passaggi ripetuti per ogni fotogramma successivo. GCF calcola la correlazione tra due frame consecutivi. Se la correlazione è alta, indica che due frame consecutivi sono quasi uguali; In caso contrario, indica una correlazione bassa.
    3. Decisione basata su GCF per la luce atmosferica e la stima della mappa di trasmissione
      Il GCF svolge un ruolo cruciale nel determinare come gestire la luce atmosferica e nella stima delle mappe di trasmissione nei processi di dehazing. Il GCF misura la somiglianza tra fotogrammi video consecutivi in base ai loro gradienti, il che aiuta a valutare quanto la scena è cambiata tra i fotogrammi, considerando fattori come il movimento o le occlusioni.
      Quando il valore GCF è alto, in particolare maggiore di 0,85, indica che il fotogramma corrente è molto simile al precedente. In questi casi, si presume che la mappa di trasmissione del fotogramma precedente sia ancora valida, in quanto la scena non è cambiata in modo significativo. L'utilizzo della mappa di trasmissione del fotogramma precedente aiuta a mantenere la coerenza tra i fotogrammi ed evita inutili ricalcoli, migliorando così l'efficienza computazionale.
      Tuttavia, se il valore GCF scende al di sotto di 0,5, suggerisce una differenza significativa tra i fotogrammi, probabilmente dovuta al movimento o ad altri cambiamenti dinamici nella scena. In questi casi, fare affidamento sulla mappa di trasmissione del fotogramma precedente porterebbe a risultati imprecisi. Pertanto, la luce atmosferica Latm deve essere ricalcolata per adattarsi alle nuove condizioni della scena. Inoltre, viene calcolata una nuova mappa di trasmissione per rappresentare meglio il contenuto del fotogramma corrente. Questa ricalibrazione garantisce che il processo di rimozione della foschia tenga conto delle caratteristiche aggiornate della scena, ripristinando accuratamente la chiarezza e il contrasto.
      Questo processo decisionale, guidato dal GCF, consente all'algoritmo di rimozione della foschia di adattarsi dinamicamente ai cambiamenti nella somiglianza dei fotogrammi, ottenendo un ripristino dell'immagine più preciso e affidabile. Adattando la mappa di trasmissione e la luce atmosferica in base alla correlazione osservata, il protocollo gestisce efficacemente scene dinamiche e condizioni di foschia fluttuanti, migliorando la qualità delle immagini dehazed.

5. Riepilogo passo dopo passo dell'approccio di rimozione della foschia di immagini singole e video

Viene fornito un riepilogo dettagliato dell'approccio di rimozione dei suoli di immagini singole e video, guidato dalla Figura 2, che fornisce il framework iniziale dell'algoritmo. (1) Caricata l'immagine figure-protocol-34 sfocata in ingresso nel sistema per l'elaborazione; (2) Convertita l'immagine in scala di grigi e sottocampionata ripetutamente di un fattore 2 come {figure-protocol-35 , figure-protocol-36 ..., figure-protocol-37 figure-protocol-38 }. Selezionata l'immagine figure-protocol-39 più grossolana in modo tale che max (L, A) <= 320, dove L e A rappresentano la larghezza e l'altezza al livello più grossolano L; (3) Diviso l'immagine figure-protocol-40 grossolana in blocchi m × m. Qui, m è selezionato come (5); (4) Calcolato l'intensità minima in ciascun blocco per ottenere l'immagine figure-protocol-41 sottocampionata con dimensione figure-protocol-42; (5) L'immagine del canale scuro di livello più grossolano, figure-protocol-43, si ottiene applicando un filtro minimo 3 × 3 a figure-protocol-44; (6) Stimato la mappa di trasmissione iniziale utilizzando la formula, figure-protocol-45, dove w è selezionato come 0,95 in questo lavoro; (7) Perfezionata la mappa di trasmissione utilizzando GWGIF(.) per ottenere figure-protocol-46; (8) Luce atmosferica stimata Latm facendo la media del valore RGB corrispondente alle posizioni dei pixel più luminose dello 0,1% superiore nel canale scuro (figure-protocol-47) dell'immagine sfocata; (9) Recuperata l'immagine dehazed Jchiara (x) utilizzando il modello di diffusione della luce

figure-protocol-48; (10) Per i video, fotogrammi estratti a intervalli regolari; (11) Calcolato il fattore di correlazione basato sul gradiente (GCF) tra due fotogrammi consecutivi per misurare la somiglianza dei fotogrammi; (12) Se < 0,5, calcolata una nuova mappa di trasmissione per il frame corrente; se GCF≥0.85, riutilizza la mappa di trasmissione del frame precedente; (13) Rifiniti ogni fotogramma e recuperati i fotogrammi rimossi utilizzando gli stessi passaggi delle immagini; (14) Ha valutato la qualità dell'output utilizzando metriche come NIQE11, PIQE12, BRISQE13, FADE8 e MSE14.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

I risultati qualitativi e quantitativi forniscono informazioni complementari nella valutazione di un metodo o di un esperimento. I risultati qualitativi si concentrano su valutazioni soggettive, spesso utilizzando confronti visivi, valutazioni percettive o opinioni di esperti per analizzare l'efficacia di un approccio. Aiutano a illustrare i miglioramenti negli scenari del mondo reale, ma possono essere influenzati dalla percezione umana. Al contrario, i risultati quantitativi si basano su metriche numeriche oggettive, c...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L'efficiente filtraggio del dominio del gradiente multiscala proposto per la rimozione della foschia di immagini e video con un approccio di coerenza temporale avanzata affronta il collo di bottiglia computazionale negli algoritmi di rimozione della foschia basati su modelli fisici stimando in modo efficiente la luce atmosferica e le mappe di trasmissione utilizzando una struttura piramidale di immagini. L'innovazione chiave consiste nell'eseguire la stima della mappa di trasmissione MPS...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori dichiarano di non avere conflitti di interesse

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Un sincero ringraziamento va all'editore e ai revisori anonimi per i loro commenti penetranti e le utili raccomandazioni, che hanno notevolmente migliorato il calibro e la leggibilità di questo lavoro. La loro attenta procedura di valutazione e le loro osservazioni percettive sono state cruciali per migliorare il contributo complessivo della ricerca al settore e per contribuire a perfezionarla.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Dataset  Laboratorio di visione ed elaborazione delle immagini, Università di Waterloo5http : //ivc.uwaterloo.ca/database/Dehaze/Valutazione di algoritmi di dehazing di immagini e video
Filtro guidato ponderato basato su gradiente (implementazione Matlab)Wang et al.16 https://arxiv.org/pdf/2211.16796Perfezionamento efficiente della mappa di trasmissione
MATLAB (con Image Processing Toolbox)Versione: MATLAB Online (24.2.0.2871072 (R2024b) Update 5)https://www.mathworks.com/products/matlab.htmlImplementazione di algoritmi proposti e di base
Processoreprocessore Intel i3-6006U (2,00 GHz)https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.htmlEsecuzione di algoritmi
Codici sorgente per i metodi di baseKim et  al.3, Van et  al.14, Yang et al.20,
  Ren et al.21,  Chen et  al.23, Li B et al.26		3https://github.com/metinsuloglu/Haze-RemovalValutazione dei metodi di rimozione della foschia basati sull'apprendimento
14https://github.com/viengiaan/MGF disinocchiatura
20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
21https://github.com/rwenqi/GFN-dehazing
23https://cchen156.github.io/code/robustdehaze.zip
26https://github.com/Boyiliee/EVD-Net
4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Sharrab, Y. O., Alsmadi, I., Sarhan, N. J. Towards the availability of video communication in artificial intelligence-based computer vision systems utilizing a multi-objective function. Cluster Comput. 25 (1), 231-247 (2022).
  2. Afif, M., Said, Y., Atri, M. Computer vision algorithms acceleration using graphic processors NVIDIA CUDA. Cluster Comput. 23, 3335-3347 (2020).
  3. He, K., Sun, J., Tang, X. Single image haze removal using dark channel prior. IEEE TransPattern Anal Mach Intell. 33 (12), 2341-2353 (2011).
  4. Live Image Quality Database (Release 2). , Live Image Quality Database. http://live.ece.utexas.edu/research/fog/fadefade.html (2025).
  5. IVC Dehazing Dataset. , Image & Vision Computing (IVC) Laboratory. https://ivc.uwaterloo.ca/database/dehaze.html (2025).
  6. Ma, K., Duanmu, Z., Wu, Q., Wang, Z., Yong, H., Li, H., Zhang, L. Waterloo exploration database: New challenges for image qulity assessment models. IEEE TransImage Process. 26 (2), 1004-1016 (2017).
  7. MATLAB Online. , MathWorks. at https://matlab.mathworks.com (2025).
  8. Choi, L. K., You, J., Bovik, A. C. Referenceless prediction of perceptual fog density and perceptual image defogging. IEEE Trans. Image Process. 24 (11), 3888-3901 (2015).
  9. Kansal, I., Kasana, S. S. Minimum preserving subsampling-based fast image de-fogging. J Mod Opt. 65 (18), 2103-2123 (2018).
  10. Choi, L. K., You, J., Bovik, A. C. FADE: Fog Aware Density Evaluator. IEEE TransImage Process. 24 (11), 6436-6448 (2015).
  11. Blind image quality evaluation using perception based features. Venkatanath, N., Praneeth, D., Maruthi Chandrasekhar, B. H., Channappayya, S. S., Medasani, S. S. 2015 21st Natl Conf Commun, , 1-6 (2015).
  12. Chen, X., Fan, Z., Li, P., Dai, L., Kong, C., Zheng, Z., Li, Y. Unpaired deep image dehazing using contrastive disentanglement learning. in computer vision -- ECCV 2022. Avidan, S., Brostow, G., Cissé, M., Farinella, G. M., Hassner, T. , Springer Nature Switzerland. Cham. 632-648 (2022).
  13. Mittal, A., Moorthy, A. K., Bovik, A. C. No-reference image quality assessment in the spatial domain. IEEE Trans. Image Process. 21 (12), 4695-4708 (2012).
  14. Van Nguyen, T., Vien, A. G., Lee, C. Real-time image and video dehazing based on multiscale guided filtering. Multimed Tools Appl. 81 (25), 36567-36584 (2022).
  15. Image dehazing based on multiscale retinex and guided filtering. Gao, Z., Zhai, Y. 2022 Int Conf Image Process Comput Vis Mach Learn, , 123-126 (2022).
  16. Wang, B., Wang, Y., Sui, X., Liu, Y., Chen, Q. Gradient domain weighted guided image filtering. Signal Image Video Process. 17 (8), 4097-4105 (2023).
  17. Chang, M., Feng, H., Xu, Z., Li, Q. Low-light image restoration with short- and long-exposure raw pairs. IEEE Trans Multimed. 24, 702-714 (2022).
  18. Physically-based rendering for indoor scene understanding. Zhang, Y., Song, S., Yumer, E., Savva, M. Proc IEEE Conf Comput Vis Pattern Recognit, , 5287-5295 (2017).
  19. Tan, Y., Zhu, Y., Huang, Z., Tan, H., Li, K. MAPD: An FPGA-based real-time video haze removal accelerator using mixed atmosphere prior. IEEE Trans Comput Des Integr Circuits Syst. 42 (12), 4777-4790 (2023).
  20. Yang, D., Sun, J. Proximal dehaze-net: A prior learning-based deep network for single image dehazing. Lect Notes Comput Sci. 11211 LNCS, 729-746 (2018).
  21. Gated fusion network for single image dehazing. Ren, W. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit, , 3253-3261 (2018).
  22. Wang, W., Yuan, X., Wu, X., Liu, Y. Fast image dehazing method based on linear transformation. IEEE Trans Multimed. 19 (6), 1142-1155 (2017).
  23. Chen, C., Do, M. N., Wang, J. Robust image and video dehazing with visual artifact suppression via gradient residual minimization. Computer Vision -- ECCV. Leibe, B., Matas, J., Sebe, N., Welling, M. , Springer International Publishing. Cham. 576-591 (2016).
  24. Kim, J. H., et al. Optimized contrast enhancement for real-time image and video dehazing. J. Vis. Commun. Image Represent. 24 (3), 410-425 (2013).
  25. GridDehazeNet: Attention-based multiscale network for image dehazing. Liu, X., Ma, Y., Shi, Z., Chen, J. Proc IEEE Int Conf Comput Vis, , 7313-7322 (2019).
  26. Wen, S., Zheng, Y., Lu, F. Polarization state attention dehazing network with a simulated polar-haze dataset. IEEE Trans Multimed. 27, 263-274 (2024).
  27. End-to-end united video dehazing and detection. Li, B., Peng, X., Wang, Z., Xu, J., Feng, D. 32nd AAAI Conf Artif Intell, AAAI 2018, 7016-7023 (2018).
  28. Li, Z., Shu, H., Zheng, C. Multiscale single image dehazing using Laplacian and Gaussian pyramids. IEEE Trans Image Process. 30, 9270-9279 (2021).
  29. Cai, B., Xu, X., Jia, K., Qing, C., Tao, D. DehazeNet: An end-to-end system for single image haze removal. IEEE Trans. Image Process. 25 (11), 5187-5198 (2016).
  30. Wu, Z., Liu, W., Wang, J., Li, J., Huang, D. FrePrompter: Frequency self-prompt for all-in-one image restoration. Pattern Recognit. 161, 111223(2025).
  31. Liu, F., Li, H., Hu, W., He, Y. Review of neural network model acceleration techniques based on FPGA platforms. Neurocomputing. , 128511(2024).
  32. Yang, J. Driving-video dehazing with non-aligned regularization for safety assistance. Cvpr. , 26109-26119 (2024).
  33. Yang, Y., Guo, C. L., Guo, X. Depth-aware unpaired video dehazing. IEEE Trans Image Process. 33, 2388-2403 (2024).
  34. Agrawal, R., Gupta, N., Batra, M., Arora, K. A Comprehensive review of image restoration and noise reduction techniques. Int J Recent Innov Trends Comput Commun. 11, 463-474 (2023).
  35. Ayoub, A., et al. Review of dehazing techniques: Challenges and future trends. Multimed Tools Appl. 84 (3), 1103-1131 (2025).
  36. Wei, H., et al. Robust unpaired image dehazing via adversarial deformation constraint. IEEE Trans Circuits Syst Video Technol. 34, 8614-8628 (2024).
  37. APL: Adaptive parameter learning for image dehazing. Martinho, L. A., Cavalcanti, J. M. B., Pio, J. L. S., Oliveira, F. G. 2024 International Conference on Machine Learning and Applications (ICMLA), , 636-643 (2024).
  38. Guo, X., et al. Single-image dehazing method based on Rayleigh Scattering and adaptive color compensation. PLoS One. 20, 1-18 (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Image DehazingVideo DehazingGradient Domain FilteringMultiscale FilteringTemporal CoherenceGuided Image FilterTransmission Map RefinementAtmospheric ScatteringTexture PreservationReal Time Dehazing

Related Articles