Research Article

Efficiënte multiscale gradiënt-domeinfiltering voor het ontgroenen van afbeeldingen en video's met verbeterde temporele coherentie

DOI:

10.3791/68495

⸱

September 30th, 2025

 ,  ,  , 
1Chitkara University Institute of Engineering and Technology, Chitkara University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het protocol integreert hier Minimum-Preserving Subsampling met Gradient-Domain Weighted Guided Filtering om de real-time dehazing-mogelijkheden van het lichtverstrooiingsmodel te verbeteren. Het gemiddelde van de RGB-waarden van de bovenste 0,1% helderste pixels van de bronafbeelding in het donkere kanaal produceert atmosferisch licht, en de op gradiënt gebaseerde correlatiefactor wordt gebruikt voor de consistentie van de videoverwerking.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ontgroening is cruciaal in computervisie om de helderheid van het beeld te herstellen die wordt beïnvloed door atmosferische verstrooiing. Bestaande methoden hebben te kampen met hoge rekenkosten, verlies van gradiëntdetails en flikkerende artefacten in videotoepassingen. Om de efficiëntie en visuele kwaliteit te verbeteren, stelt dit werk een multiscale gradiënt-domein gewogen geleide beeldfilter-gebaseerde ontgroeningstechniek voor die van toepassing is op zowel video's als afbeeldingen. Om atmosferische parameters te schatten en de computationele complexiteit te verminderen, is Minimum Preserving Subsampling (MPS) gebruikt. Vervolgens verfijnt een iteratief up-samplingproces met het Gradient-domain Weighted Guided Image Filter (GWGIF) de transmissiekaart, waardoor een aanzienlijk aantal verloopkenmerken behouden blijft en de textuur en het behoud van de rand worden verbeterd. Voor het ontgroenen van video's wordt de Gradient-Based Correlation Factor (GCF) geïntroduceerd, wat resulteert in een aanzienlijke vermindering van flikkerende artefacten in vergelijking met bestaande methoden. Experimentele evaluaties tonen de superioriteit van onze aanpak aan, met een Perception-based Image Quality Evaluator (PIQE)-score van 26,98, een Natural Image Quality Evaluator (NIQE)-score van 2,78 en een Blind/Referenceless Image Spatial Quality Evaluator (BRISQE)-score van 20,18, wat een weerspiegeling is van verbeterde perceptuele kwaliteit. Bovendien zorgt de voorgestelde methode voor een hoge temporele coherentie bij het ontgroenen van video's, met een Mean Square Error (MSE)-afwijking van 0,003, waardoor het ideaal is voor real-time toepassingen zoals autonome voertuigen, bewaking en teledetectie.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Waas is een atmosferisch fenomeen dat het moeilijker maakt om verre objecten te zien wanneer het licht wordt verstrooid door rook, waterdruppels of stofdeeltjes. Verslechtering van het beeld als gevolg van waas is schadelijk voor computervisietoepassingen 1,2, inclusief videoanalyse, autonome voertuigen en bewaking. Om de prestaties van computer vision te verbeteren, is als eerste stap in de verwerking een dehazing-strategie essentieel voor het verwijderen van waascomponenten uit afbeeldingen. De term "dehazing" verwijst naar de stappen die worden gebruikt om de helderheid van een wazig of anderszins onbruikbaar beeld te herstellen. In de afgelopen jaren zijn er verschillende technieken ontwikkeld voor het ontgroenen van afbeeldingen. Het ontgroeningsprobleem vertegenwoordigt het doelbeeld (wazig) Iwazig(x) van het kleurkanaal op locatie x zoals weergegeven in (1) zoals overgenomen van He et al.3.

figure-introduction-1    1

Jclear(x) vertegenwoordigt het transparante beeld, terwijl Latm ent-kaart respectievelijk het wereldwijde atmosferische licht en de mediumtransmissiekaart vertegenwoordigen. Het deel van het licht dat door de camerasensoren wordt opgevangen, wordt aangeduid met det-kaartafstand d(x) zoals berekend door de afstand tussen de scène en de camera in He et al.3zoals weergegeven in (2).

figure-introduction-2    2

Hier vertegenwoordigt β de transmissiecoëfficiënt voor luchtverstrooiing.

Het herstellen van Jclear(x) van Iwazig(x) tijdens het ontgroeningsproces, wordt weergegeven in (3), wat wordt bereikt na herschikking van (1). Hier staat t voor de lichtdoorlatendheid van de atmosfeer, ook wel de transmissiecoëfficiënt genoemd.

figure-introduction-3    3

Het dark channel prior (DCP)3-model is een van de meest bekende atmosferische modellen voor dit doel. Van de bekende fysische modelgebaseerde ontgroeningstechnieken wordt DCP het meest gebruikt, wat ervan uitgaat dat ten minste één kleurkanaal pixels met extreem lage intensiteiten bevat in een waasvrij beeld. Deze prior wordt gebruikt om de transmissiekaart te schatten met behulp van DCP en de scènestraling van (1) te herstellen. Deze techniek is echter tijdrovend en oververzadigt het luchtgebied in de afbeelding.

De motivatie voor dit onderzoek komt voort uit de behoefte om de zichtbaarheid te verbeteren in computer vision-toepassingen waar waas de beeldkwaliteit aanzienlijk verslechtert. De aanpak versnelt niet alleen het ontgroeningsproces, maar zorgt er ook voor dat beelddetails, zoals randen en texturen, behouden blijven. Bovendien breidt het onderzoek zijn ontgroeningsalgoritme uit naar video's, waarmee een kritiek probleem in de videoverwerking wordt aangepakt. Soms, onder verschillende lichtomstandigheden, verandert de zichtbaarheid van beelden, wat een andere uitdaging vormt in veel toepassingen, zoals autonoom rijden en bewaking.

Validatie van het voorgestelde ontgroeningsalgoritme werd uitgevoerd door middel van uitgebreide experimenten op verschillende openbaar beschikbare beeld- en videodatasets. De datasets bevatten zowel synthetische als wazige scènes uit de echte wereld, waardoor een uitgebreide evaluatie onder verschillende omstandigheden mogelijk is. Experimentele validatie van diverse real-world videosequenties (Riverside, Crossroad, Haze road, Ship)4 en statische beelden5 met verschillende waasdichtheden, geëvalueerd met behulp van gevestigde metrieken (FADE, NIQE, PIQE, BRISQUE)6 en vergeleken met negen state-of-the-art methoden, toont de praktische toepasbaarheid van het algoritme aan voor automotive, surveillance, maritieme en mobiele computerdomeinen met behoud van real-time prestaties. De prestaties werden beoordeeld aan de hand van subjectieve visuele vergelijkingen en objectieve kwaliteitsstatistieken, waarbij het concurrentievermogen met state-of-the-art benaderingen op het gebied van nauwkeurigheid en rekenefficiëntie werd aangetoond.

Het voorgestelde werk is ontworpen voor real-time prestaties en is getest op afbeeldingen en video's met resoluties tot 1920 × 1080 pixels. Om een efficiënte verwerking te garanderen, zijn alle experimenten uitgevoerd op een werkstation dat is uitgerust met een Intel i3-6006U CPU (2,00 GHz) en 12 GB RAM. Hoewel de methode sterke prestaties levert in verschillende real-world scenario's, kan deze een verminderde nauwkeurigheid vertonen onder extreem dichte waasomstandigheden waarbij de schatting van de transmissie onbetrouwbaar wordt. Deze details benadrukken de bruikbaarheid en beperkingen van de voorgestelde aanpak in real-world implementatie.

Om verschillende uitdagingen te overwinnen, stelt dit onderzoek een nieuwe aanpak voor met behulp van een GWGIF op meerdere schalen voor het verwijderen van wazige afbeeldingen en video's. Door de integratie van een MPS-methode introduceert de studie een rekenkundig efficiënte techniek voor het schatten van de transmissiekaart, die een sleutelfactor is bij het ontgroenen. Flikkerende artefacten zijn aangepakt door een nieuwe GCF-methode op te nemen die de temporele samenhang tussen opeenvolgende frames handhaaft, waardoor zowel rekenefficiëntie als resultaten van hoge kwaliteit worden gegarandeerd. Deze studie draagt bij aan de ontwikkeling van robuustere beeld- en videoverbeteringstechnieken. Figuur 1 illustreert de transmissiekaart berekend met behulp van de MPS-methode, en Figuur 2 toont de voorgestelde methode die MPS en GCF combineert. De nieuwigheid van ons werk ligt in de ontwikkeling van een real-time algoritme voor het ontgroenen van afbeeldingen en video's op basis van multiscaling met een op gradiënt gebaseerd gewogen geleid filter, dat de computationele knelpunten van traditionele ontgroeningsmethoden aanpakt. Concreet zijn onze belangrijkste nieuwe bijdragen: (1) de MPS-techniek die kritieke donkere gebieden behoudt voor een nauwkeurige schatting van de transmissie, terwijl de rekenbelasting wordt verminderd; (2) GWGIF dat specifiek stevige randen behoudt tijdens de verfijning van de transmissiekaart; (3) Geoptimaliseerde schatting van het atmosferische licht die zich alleen richt op de bovenste 0,1% helderste pixels; (4) GCF voor het ontgroenen van video's dat de gelijkenis van het frame meet door middel van gradiëntinformatie; (5) Een temporeel optimalisatiesysteem dat berekeningen tussen vergelijkbare videoframes hergebruikt om real-time verwerking te bereiken.

Deze methode bereikt real-time prestaties en levert tegelijkertijd een ontgroeningskwaliteit die vergelijkbaar is met of beter is dan die van state-of-the-art algoritmen, zoals blijkt uit uitgebreide experimenten die in het artikel worden gepresenteerd [Figuur 3, Figuur 4, Figuur 5, Figuur 6 en Figuur 7].

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit werk maakte gebruik van synthetische of natuurlijke scènebeelden zonder menselijke onderwerpen. Daarom was er geen ethische goedkeuring vereist.

Dit protocol voor het ontgroenen van afbeeldingen is ontwikkeld op basis van een standaard computeropstelling en is ontworpen om de helderheid en zichtbaarheid van wazige beelden te verbeteren. De werkomgeving is MATLAB7. De aanpak volgt een systematisch proces van waasschatting, verfijning en beeldherstel. Door de beeldkwaliteit geleidelijk te verbeteren met behoud van belangrijke details, levert de methode duidelijke en visueel aantrekkelijke resultaten op. Het is getest op veelgebruikte datasets8 en geëvalueerd met behulp van standaard beeldkwaliteitsmetingen, waarbij de effectiviteit en geschiktheid voor academische of op onderzoek gebaseerde toepassingen zijn aangetoond. Belangrijke uitleg en vergelijkingen voor het protocol, de materialen en de apparatuur, evenals de stappen van de voorgestelde oplossing, zijn in de onderstaande paragrafen gegeven. Er zijn ook evaluatieparameters geschetst.

1. Materialen en uitrusting

Het experiment is ontwikkeld met behulp van MATLAB Online (24.2.0.2871072 (R2024b) Update 5) en uitgevoerd op een systeem met een Intel i3-6006U CPU (2,00 GHz). De beelddatasets 5,8 die voor de implementatie zijn gebruikt, zijn afkomstig uit de literatuur waarnaar wordt verwezen. De methodologie omvat het gebruik van een 5 × 5 Gaussiaans filter met bilineaire interpolatie, schatting van de transmissiekaart met behulp van het MPS-algoritme9 en verfijning via het GWGIF-filter, allemaal uitgevoerd op een geschikte computerinfrastructuur. Details en links van alle materialen en apparatuur die in het onderzoek zijn gebruikt, worden vermeld in de materiaaltabel.

2. Experimentele opstelling

De experimentele opstelling omvat het implementeren van de voorgestelde aanpak voor het ontgroenen van afbeeldingen en video's in een wetenschappelijke computeromgeving die matrixgebaseerde beeldverwerking en visualisatie ondersteunt. Standaard benchmarkdatasets 5,8, bestaande uit wazige afbeeldingen en video's10, zoals vermeld in de gevestigde literatuur, werden gebruikt om de prestaties van de methode te evalueren. Het algoritme volgt een multiscale verwerkingskader, waarbij gebruik wordt gemaakt van beeldpiramides en op gradiënt gebaseerde correlatie om de berekening en verfijning van de adaptieve transmissiekaart te begeleiden. Voor videosequenties worden frames met vaste tussenpozen geëxtraheerd en wordt de GCF gebruikt om te bepalen of de transmissiekaart opnieuw moet worden gebruikt of opnieuw moet worden berekend. De effectiviteit van de ontgroende output werd beoordeeld aan de hand van algemeen erkende beeldkwaliteitsstatistieken, waaronder NIQE, PIQE, BRISQE, FADE en MSE, waardoor zowel subjectieve als objectieve evaluatie van de restauratiekwaliteit werd gegarandeerd.

3. Parameters gebruikt voor de evaluatie

Voor een objectieve evaluatie zijn vijf kwaliteitsmaatstaven gebruikt: (1) FADE (Fog-Aware Density Evaluator)8; (2) NIQE (Natural Image Quality Evaluator)11; (3) PIQE (op perceptie gebaseerde beeldkwaliteitsbeoordelaar)12; (4) BRISQUE (Blind/Referenceless Image Spatial Quality Evaluator)13; (5) MSE (Mean Squared Error) tussen opeenvolgende frames14.

4. Methodologie voor het ontgroenen van één afbeelding en video

  1. Een afbeeldingspiramide converteren en construeren
    Het verwijderen van wazig worden door één afbeelding te converteren naar grijswaarden (figure-protocol-1). Een beeldpiramide {figure-protocol-2, figure-protocol-3...,figure-protocol-4, figure-protocol-5} wordt vervolgens geconstrueerd door recursief downsampling Ihazy met een factor 2 totdat het grofste niveau IL is bereikt, zodat de maximale afmeting niet groter is dan 320 pixels. Dit betekent dat L wordt bepaald door de eis dat max(W, H) <= 320, waarbij W en H de breedte en hoogte op het grofste niveau L vertegenwoordigen. De L-waarde geeft het aantal downsample-bewerkingen aan dat nodig is om het gewenste grofste niveau in de piramidestructuur te bereiken, zoals in figuur 2.
  2. Schatting van de transmissiekaart
    De transmissiekaart toont het percentage licht dat niet wordt verstrooid en de sensor van de camera bereikt. De transmissiekaart geeft de diepte-informatie van het beeld nauwkeurig weer, aangezien het een functie is van de diepte die opeenvolgend is. De transmissiekaart, tkaart, wordt berekend met behulp van omgevingslicht om een waasvrij beeld te reconstrueren Jclear (x). Het primaire doel van de studie is het ontwikkelen van een computationeel efficiënte transmissieschattingsmethode om het ontgroeningsproces te versnellen, aangezien werd vastgesteld dat het berekenen van een transmissiekaart de meest tijdrovende stap is. Om specifieker te zijn, na het schatten van de transmissie met een lagere resolutie en ervan uitgaande dat de transmissiekaart is samengesteld uit constante delen, zijn de resultaten up-sampled, zoals weergegeven in Figuur 2.
    1. Initiële schatting van de transmissiekaart met behulp van multischaalbenadering op MPS
      De eerste transmissiekaart wordt verkregen uit de ImageImagefigure-protocol-6, figure-protocol-7 die al is berekend door het wazige invoerbeeld te downsamplen op het grofste niveau, L. Met behulp van de MPS-benadering9 op figure-protocol-8is het beeld nu verdeeld in vierkante blokken van 5 × 5 grootte, zoals weergegeven in [Figuur 1]. Verder figure-protocol-9 wordt berekend door de minimumwaarde van elk blok van 5 × 5 te selecteren om een gedownsampled beeld te verkrijgen, met afmetingen (M/m) × (N/m) weergegeven in (4) van Kansal et al.9. Hier staat min voor de wiskundige functie om de minimale intensiteitswaarde in blok BIi te berekenen.
      figure-protocol-104
      het grofste niveau van donker kanaal beeld figure-protocol-11 4 wordt vervolgens verkregen door een minimumfilter van 3 × 3 toe te passen op figure-protocol-12 zoals weergegeven in (5) uit werk9 van Kansal et al.
      figure-protocol-13 5
      Waarbij ω een venster is van grootte 3 × 3. De initiële transmissiekaart figure-protocol-14 wordt uiteindelijk geschat met behulp van:
      figure-protocol-156 Zoekertjes
      waarbij w een constante factor is (meestal 0).
      De op MPS gebaseerde transmissiekaart zorgt voor een verbeterd contrast en detailherstel in regio's die zwaar worden beïnvloed door waas door de lokale minimumwaarden binnen de respectieve patches te behouden. De op lineaire transformatie22 gebaseerde benadering levert echter een transmissiekaart op die uniformer (en minder nauwkeurig) is in het verwijderen van waas, omdat het geen onderscheid kan maken tussen regio's met verschillende niveaus van waasintensiteit.
    2. Verfijning van de transmissie
      Aangezien de initiële transmissiekaart (figure-protocol-16) alleen wordt geschat op het grofste niveau (L) van de afbeeldingspiramide, moet deze worden geüpsampled om overeen te komen met de resolutie van de oorspronkelijke invoerafbeelding. Eenvoudige bilineaire up-sampling BUp(·) wordt toegepast om een transmissiekaart met volledige resolutie te verkrijgen. Bovendien moeten de randdetails in de transmissiekaart worden verfijnd om de randgegevens figure-protocol-17 te behouden. Het gebruik van een geleid filter en een gradiëntgeleid filter, zoals toegepast in Van et al.14 en Kansal et al.9, zou vervagende artefacten in de transmissiekaart veroorzaken, wat zou resulteren in het verlies van textuurdetails en randinformatie, wat uiteindelijk de ontgroeningsprestaties zou verslechteren. Om dit probleem aan te pakken, is de methode gradient domain weighted guided image filtering (GWGIF)15 gebruikt om afbeeldingsdetails effectief te bewaren. Ten slotte wordt de verfijnde transmissie figure-protocol-18 verkregen zoals hieronder van Wang et al.16.
      figure-protocol-19 7
      GWGIF verfijnt de initiële transmissiekaart door randstructuren te behouden en vervagende artefacten te vermijden die doorgaans worden geïntroduceerd door standaard geleide filters. De volgende stap is gevolgd om de GWGIF-functie17 te implementeren.
      Invoer:
      figure-protocol-20: Initiële transmissiekaart (lage resolutie of grof)
      figure-protocol-21: Originele wazige afbeelding (gebruikt als richtlijn)
      Uitvoer:
      figure-protocol-22
      Stap 1: De eerste transmissiekaart gesampled
      Verkleind figure-protocol-23 om overeen te komen met de grootte van Ihazy
      Stap 2: Ikwazig geconverteerd naar grijstinten
      Ikwazig = rgb2gray (ikwazig)
      Stap 3: Het filter met verloopdomein-gewogen opties toegepast zoals in (7)
      Verfijnde transmissiekaart verkregenfigure-protocol-24
      Het proces berekent de gradiëntgrootte van de begeleidingsafbeelding met behulp van de Sobel-operator, genereert op gradiënt gebaseerde gewichten en integreert deze in de begeleide filtervergelijking om randbewust afvlakken te verbeteren. De output is een verfijnde transmissiekaart die de kwaliteit van de ontgroening en het behoud van details aanzienlijk verbetert, zoals weergegeven in figuur 4.
  3. Schatting van het atmosferische licht
    Wereldwijd atmosferisch licht, in termen van modelgebaseerde beeldontgroening, is essentieel. Zoals vermeld door Zhang et al.18, worden helderdere ontwaasde beelden geproduceerd door lagere waarden van atmosferisch licht, terwijl hogere waarden van atmosferisch licht de donkerste ontwaasde beelden produceren. Het voorgestelde werk schat het atmosferische licht van het donkere kanaalbeeld (figure-protocol-25) verkregen uit het wazige invoerbeeld. Vervolgens worden de RGB-waarden gekozen die overeenkomen met de bovenste 0,1% helderste pixels in het beeld van het donkere kanaal om de uiteindelijke waarde van atmosferisch licht te verkrijgen, zoals weergegeven in (8) zoals gegeven in He et al.3. Hier vertegenwoordigt γ de top 0,1 helderste pixels. Deze pixels komen meestal overeen met de meest wazige ondoorzichtige gebieden in de afbeelding. Uit deze geselecteerde pixels worden de overeenkomstige RGB-waarden in de originele afbeelding geëxtraheerd en gemiddeld om het wereldwijde atmosferische licht Latm te bepalen.
    figure-protocol-26 8
    Atmosferisch licht Latm wordt berekend door de bovenste 0,1% helderste pixels uit het donkere kanaalbeeld te selecteren. Dit gaat als volgt te werk:
    Invoer:
    Wazig beeld Iwazig RGB-beeld)
    Uitvoer:
    Atmosferisch licht Latm (een RGB-vector met 3 elementen)
    Stappen:
    Stap 1: Bereken het donkere kanaal van de afbeelding:
    Het beeld van het donkere kanaal is figure-protocol-27.
    Stap 2: Meest waas-ondoorzichtige pixels gevonden
    Het donkere kanaal is afgevlakt tot een 1D-array
    De pixelwaarden in aflopende volgorde gesorteerd.
    Selecteerde de hoogste 0,1% helderste pixels (d.w.z. de hoogste waarden in donkere kanalen → hoge waasconcentratie).
    Stap 3: Gekozen kandidaat-pixels in de invoerafbeelding
    Onder de geselecteerde bovenste 0,1% pixels (van het donkere kanaal), identificeert u de overeenkomstige pixels in de originele wazige afbeelding Iwazig.
    Voor elke geselecteerde pixel werd de intensiteit berekend (bijv. som of norm van de RGB-waarden).
    Stap 4: Stel Atmosferisch licht in opdit moment
    De RGB-waarde van de helderste pixel die hierboven is geselecteerd, is genomen als het geschatte atmosferische licht.
    De bovenstaande procedure schat systematisch het atmosferische licht, Latm.
    De bovenstaande procedure schat systematisch het atmosferische licht Latm door gebruik te maken van het donkere kanaal voordat de meest door nevel aangetaste gebieden in het beeld worden geïdentificeerd. Door heldere, heldere gebieden uit te sluiten en zich te concentreren op de bovenste 0,1% donkerste gebieden (indicatief voor dichte waas), zorgt de methode voor een robuuste en nauwkeurige schatting van het wereldwijde atmosferische licht, wat een kritische parameter is voor het effectief verwijderen van waas in algoritmen voor het ontgroenen van één beeld.
    1. Wazig beeldherstel
      Tenslotte, na het vinden van het atmosferische licht Latm en de verfijnde transmissiekaart figure-protocol-28, wordt het waasvrije beeld Jclear(x) verkregen door gebruik te maken van de Van et al.14, formulering in (9), die wordt gegeven door
      figure-protocol-299
      waarbij γ de ondergrens van de transmissie is (ingesteld op 0,05)
      Zoals geïllustreerd in figuur 1, behoudt de voorgestelde verfijningsmethode voor de transmissiekaart de complexe kenmerken van het beeld effectief en maakt het mogelijk om het beeld wazig te herstellen.
  4. Wazig videoherstel
    De video-ontgroeningsaanpak die in dit werk wordt gepresenteerd, bouwt voort op het algoritme voor het ontgroenen van één beeld door temporele coherentieoverwegingen op te nemen om flikkerende artefacten te voorkomen. De auteurs erkennen dat het onafhankelijk toepassen van dehazing met één afbeelding op elk frame van een video de temporele samenhang tussen frames zou verbreken, wat zou resulteren in visuele inconsistenties. Om dit probleem aan te pakken, is een nieuw algoritme voor het ontgroenen van video's ontwikkeld dat de temporele samenhang tussen opeenvolgende beginframes kwantificeert. Deze informatie wordt gebruikt om adaptief transmissiekaarten en atmosferische lichtwaarden voor de komende frames te schatten.
    1. Flikkerende artefacten
      Hetzelfde beeldgebied kan worden vastgelegd op verschillende pixelcoördinaten in opeenvolgende frames van een video als gevolg van de beweging van het object en/of de camera. Als gevolg van deze bewegingen ontstaan flikkerende artefacten, die de transmissiewaarden op dezelfde plek veranderen. Technieken voor bewegingsschatting, zoals optische stroomschatting19, kunnen worden gebruikt om de locatie van een beweegbaar object te volgen en deze problemen aan te pakken. Methoden voor het schatten van bewegingen vereisen echter vaak een hoge mate van computationele complexiteit. Daarom is een eenvoudig waarschijnlijkheidsmodel, een GCF genaamd, gebruikt in plaats van expliciet de bewegingen tussen frames te berekenen. Het differentiële beeld tussen de twee opeenvolgende frames dient als basis voor dit model.
    2. Op gradiënt gebaseerde correlatiefactor
      De Gradient-Based Correlation Factor (GCF) meet de gelijkenis tussen twee opeenvolgende videoframes op basis van de gradiënten van hun pixels. De afbeeldingen/frames I1 en I2 lijken sterk op elkaar, zoals blijkt uit hoge correlatiewaarden (I1, I2) ≈ 1, wat impliceert dat pixel (x, y) de dubbele object- of scène-inhoud in beide frames vertegenwoordigt. Lage correlatiewaarden (I1, I2) ≈ 0 geeft aan dat de afbeeldingen en frames niet hetzelfde zijn, hoogstwaarschijnlijk als gevolg van beweging of occlusies. Omdat een wazig beeld minder contrast en helderheid heeft, kunnen de pixelwaarden van het beeld niet worden gebruikt om een correlatie tussen twee frames waar te nemen.
      Wazige afbeeldingen zien er vaak meestal witachtig uit als gevolg van de verstrooiing en absorptie van licht, wat leidt tot een algemene toename van de pixelintensiteit en verminderd contrast. Als gevolg hiervan worden de meeste pixels in twee opeenvolgende wazige frames vergelijkbaar, waardoor directe op pixels gebaseerde correlatie ineffectief wordt omdat de waas de werkelijke scènedetails maskeert. In deze context wordt het GCF belangrijker. In tegenstelling tot pixelgewijze correlatie, die sterk wordt beïnvloed door de waas, richt GCF zich op de gradiënten, veranderingen in intensiteit en kleurovergangen tussen aangrenzende pixels. Deze gradiënten worden minder beïnvloed door de algehele helderheid van de afbeelding en leggen structurele informatie, zoals randen en contouren, beter vast. Dit maakt GCF een betrouwbaardere maatstaf voor de gelijkenis tussen frames in wazige omstandigheden in vergelijking met de op pixels gebaseerde correlatiefactor (CF) tussen twee frames, zoals weergegeven in tabel 1.
      De correlatie figure-protocol-30 tussen opeenvolgende videoframes IK en IK-1is als volgt.
      figure-protocol-3110
      waarbij het aantal pixels in het frame N is en σ = 10. figure-protocol-32 en figure-protocol-33 zijn de gradiëntafbeeldingen die overeenkomen met videoframes IK en IK-1. Een eenvoudige stap om GCF te berekenen is:
      Ingang: Frame IK en IK-1.
      De gradiënt tussen elk frame en het voorgaande frame werd berekend en (10) werd vervolgens toegepast om de CGF te berekenen, die vervolgens werd gebruikt om de transmissiekaart en het atmosferische licht te bepalen die nodig zijn om het huidige frame te berekenen, of kan worden gebruikt om het initiële frame te berekenen en de stappen die worden herhaald voor elk volgend komend frame. GCF berekent de correlatie tussen twee opeenvolgende frames. Als de correlatie hoog is, geeft dit aan dat twee opeenvolgende frames bijna hetzelfde zijn; Anders duidt het op een lage correlatie.
    3. Op GCF gebaseerde beslissing voor schatting van atmosferisch licht en transmissiekaart
      De GCF speelt een cruciale rol bij het bepalen hoe om te gaan met atmosferisch licht en het schatten van transmissiekaarten bij ontgroeningsprocessen. De GCF meet de gelijkenis tussen opeenvolgende videoframes op basis van hun gradiënten, wat helpt bij het beoordelen hoeveel de scène tussen frames is veranderd, rekening houdend met factoren zoals beweging of occlusies.
      Wanneer de GCF-waarde hoog is, met name groter dan 0,85, geeft dit aan dat het huidige frame sterk lijkt op het vorige. In dergelijke gevallen wordt aangenomen dat de transmissiekaart van het vorige frame nog steeds geldig is, aangezien de scène niet significant is veranderd. Het gebruik van de transmissietoewijzing van het vorige frame helpt de consistentie tussen frames te behouden en voorkomt onnodige herberekeningen, waardoor de rekenefficiëntie wordt verbeterd.
      Als de GCF-waarde echter onder 0,5 daalt, suggereert dit een aanzienlijk verschil tussen de frames, waarschijnlijk als gevolg van beweging of andere dynamische veranderingen in de scène. In dergelijke gevallen zou het vertrouwen op de transmissiekaart van het vorige frame tot onnauwkeurige resultaten leiden. Daarom moet het atmosferische licht Latm opnieuw worden berekend om zich aan te passen aan de nieuwe scèneomstandigheden. Bovendien wordt een nieuwe transmissiekaart berekend om de inhoud van het huidige frame beter weer te geven. Deze herkalibratie zorgt ervoor dat het ontgroeningsproces rekening houdt met de bijgewerkte kenmerken van de scène, waardoor de helderheid en het contrast nauwkeurig worden hersteld.
      Dit besluitvormingsproces, geleid door de GCF, stelt het onthazingsalgoritme in staat zich dynamisch aan te passen aan veranderingen in de gelijkenis van het frame, wat resulteert in nauwkeuriger en betrouwbaarder beeldherstel. Door de transmissiekaart en het atmosferische licht aan te passen op basis van de waargenomen correlatie, gaat het protocol effectief om met dynamische scènes en fluctuerende waasomstandigheden, waardoor de kwaliteit van de ontgroende beelden wordt verbeterd.

5. Stap-voor-stap samenvatting van de aanpak voor het ontgroenen van single-image en video

Hierin vindt u een stap-voor-stap samenvatting van de aanpak voor het ontgroenen van één afbeelding en video, geleid door figuur 2, die het eerste kader van het algoritme biedt. (1) Het wazige invoerbeeld figure-protocol-34 in het systeem geladen voor verwerking; (2) De afbeelding is geconverteerd naar grijswaarden en herhaaldelijk met een factor 2 gedownsampled als {figure-protocol-35 , figure-protocol-36 ..., figure-protocol-37 figure-protocol-38 }. De grofste afbeelding figure-protocol-39 is geselecteerd, zodat max (B, H) <= 320, waarbij W en H de breedte en hoogte op het grofste niveau L vertegenwoordigen; (3) De grove afbeelding figure-protocol-40 is verdeeld in blokken van m × m. Hier wordt m geselecteerd als (5); (4) Berekende de minimale intensiteit in elk blok om het gedownsamplede beeld figure-protocol-41 met dimensie figure-protocol-42te verkrijgen; (5) Het beeld van het donkerste kanaal, figure-protocol-43, wordt vervolgens verkregen door een minimumfilter van 3 × 3 toe te passen op figure-protocol-44; (6) Schatte de initiële transmissiekaart met behulp van de formule, figure-protocol-45, waarbij w in dit werk is geselecteerd als 0,95; (7) De transmissiekaart is verfijnd met behulp van GWGIF(.) om figure-protocol-46; (8) Geschat atmosferisch licht Latm door het gemiddelde te nemen van de RGB-waarde die overeenkomt met de bovenste 0,1% helderste pixellocaties in het donkere kanaal (figure-protocol-47) van het wazige beeld; (9) Het ontgroende beeld Jclear (x) hersteld met behulp van het lichtverstrooiingsmodel

figure-protocol-48; (10) Voor video, geëxtraheerde frames met regelmatige tussenpozen; (11) Berekende de Gradient-Based Correlation Factor (GCF) tussen twee opeenvolgende frames om de gelijkenis van frames te meten; (12) Indien < 0,5 een nieuwe transmissiekaart voor het huidige frame berekend; als GCF≥0,85 de transmissiekaart van het vorige frame opnieuw wordt gebruikt; (13) Elk frame is verfijnd en de ontgroende frames zijn hersteld met behulp van dezelfde stappen als voor afbeeldingen; (14) Evalueerde de uitvoerkwaliteit met behulp van statistieken zoals NIQE11, PIQE12, BRISQE13, FADE8 en MSE14.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Kwalitatieve en kwantitatieve resultaten bieden complementaire inzichten bij het evalueren van een methode of experiment. Kwalitatieve resultaten richten zich op subjectieve beoordelingen, vaak met behulp van visuele vergelijkingen, perceptuele evaluaties of meningen van experts om de effectiviteit van een aanpak te analyseren. Ze helpen bij het illustreren van verbeteringen in real-world scenario's, maar kunnen worden beïnvloed door menselijke perceptie. Kwantitatieve resultaten daarent...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De voorgestelde efficiënte multiscale gradiënt-domein filtering voor het ontgroenen van afbeeldingen en video's met een verbeterde temporele coherentiebenadering pakt het computationele knelpunt in fysische, op modellen gebaseerde ontgroeningsalgoritmen aan door atmosferisch licht en transmissiekaarten efficiënt te schatten met behulp van een beeldpiramidestructuur. De belangrijkste innovatie is het schatten van de MPS-transmissiekaart op het grofste piramideniveau, na GWGIF-filtering ti...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs verklaren geen belangenconflicten

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Oprechte dank gaat uit naar de redacteur en anonieme recensenten voor hun inzichtelijke opmerkingen en nuttige aanbevelingen, die het kaliber en de leesbaarheid van dit werk aanzienlijk hebben verbeterd. Hun zorgvuldige evaluatieprocedure en scherpzinnige opmerkingen zijn cruciaal geweest om de algehele bijdrage van het onderzoek aan het gebied te verbeteren en te helpen verfijnen.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
DataSet Vision and Image Processing Lab, University of Waterloo5http : //ivc.uwaterloo.ca/database/Dehaze/evaluatie van dehazing-algoritmen voor afbeeldingen en video
Gradient based weighted guided filter (Matlab-implementatie)Wang  et al.16 https://arxiv.org/pdf/2211.16796Efficiënte verfijning van transmissiekaart
MATLAB (met Image Processing Toolbox)Versie: MATLAB Online (24.2.0.2871072 (R2024b) Update 5)https://www.mathworks.com/products/matlab.htmlImplementatie van voorgestelde en basisalgoritmen
ProcessorIntel i3-6006U CPU (2,00 GHz)https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.htmlUitvoeren van algoritmen
broncodes voor basismethodenKim et  al.3, Van et  al.14, Yang et al.20,
 Ren et al.21,  Chen et  al.23, Li B et al.26		3https://github.com/metinsuloglu/Haze-RemovalEvaluatie van op leren gebaseerde dehazing-methoden
14https://github.com/viengiaan/MGF dehazing
20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
21https://github.com/rwenqi/GFN-dehazing
23https://cchen156.github.io/code/robustdehaze.zip
26https://github.com/Boyiliee/EVD-Net
4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Sharrab, Y. O., Alsmadi, I., Sarhan, N. J. Towards the availability of video communication in artificial intelligence-based computer vision systems utilizing a multi-objective function. Cluster Comput. 25 (1), 231-247 (2022).
  2. Afif, M., Said, Y., Atri, M. Computer vision algorithms acceleration using graphic processors NVIDIA CUDA. Cluster Comput. 23, 3335-3347 (2020).
  3. He, K., Sun, J., Tang, X. Single image haze removal using dark channel prior. IEEE TransPattern Anal Mach Intell. 33 (12), 2341-2353 (2011).
  4. Live Image Quality Database (Release 2). , Live Image Quality Database. http://live.ece.utexas.edu/research/fog/fadefade.html (2025).
  5. IVC Dehazing Dataset. , Image & Vision Computing (IVC) Laboratory. https://ivc.uwaterloo.ca/database/dehaze.html (2025).
  6. Ma, K., Duanmu, Z., Wu, Q., Wang, Z., Yong, H., Li, H., Zhang, L. Waterloo exploration database: New challenges for image qulity assessment models. IEEE TransImage Process. 26 (2), 1004-1016 (2017).
  7. MATLAB Online. , MathWorks. at https://matlab.mathworks.com (2025).
  8. Choi, L. K., You, J., Bovik, A. C. Referenceless prediction of perceptual fog density and perceptual image defogging. IEEE Trans. Image Process. 24 (11), 3888-3901 (2015).
  9. Kansal, I., Kasana, S. S. Minimum preserving subsampling-based fast image de-fogging. J Mod Opt. 65 (18), 2103-2123 (2018).
  10. Choi, L. K., You, J., Bovik, A. C. FADE: Fog Aware Density Evaluator. IEEE TransImage Process. 24 (11), 6436-6448 (2015).
  11. Blind image quality evaluation using perception based features. Venkatanath, N., Praneeth, D., Maruthi Chandrasekhar, B. H., Channappayya, S. S., Medasani, S. S. 2015 21st Natl Conf Commun, , 1-6 (2015).
  12. Chen, X., Fan, Z., Li, P., Dai, L., Kong, C., Zheng, Z., Li, Y. Unpaired deep image dehazing using contrastive disentanglement learning. in computer vision -- ECCV 2022. Avidan, S., Brostow, G., Cissé, M., Farinella, G. M., Hassner, T. , Springer Nature Switzerland. Cham. 632-648 (2022).
  13. Mittal, A., Moorthy, A. K., Bovik, A. C. No-reference image quality assessment in the spatial domain. IEEE Trans. Image Process. 21 (12), 4695-4708 (2012).
  14. Van Nguyen, T., Vien, A. G., Lee, C. Real-time image and video dehazing based on multiscale guided filtering. Multimed Tools Appl. 81 (25), 36567-36584 (2022).
  15. Image dehazing based on multiscale retinex and guided filtering. Gao, Z., Zhai, Y. 2022 Int Conf Image Process Comput Vis Mach Learn, , 123-126 (2022).
  16. Wang, B., Wang, Y., Sui, X., Liu, Y., Chen, Q. Gradient domain weighted guided image filtering. Signal Image Video Process. 17 (8), 4097-4105 (2023).
  17. Chang, M., Feng, H., Xu, Z., Li, Q. Low-light image restoration with short- and long-exposure raw pairs. IEEE Trans Multimed. 24, 702-714 (2022).
  18. Physically-based rendering for indoor scene understanding. Zhang, Y., Song, S., Yumer, E., Savva, M. Proc IEEE Conf Comput Vis Pattern Recognit, , 5287-5295 (2017).
  19. Tan, Y., Zhu, Y., Huang, Z., Tan, H., Li, K. MAPD: An FPGA-based real-time video haze removal accelerator using mixed atmosphere prior. IEEE Trans Comput Des Integr Circuits Syst. 42 (12), 4777-4790 (2023).
  20. Yang, D., Sun, J. Proximal dehaze-net: A prior learning-based deep network for single image dehazing. Lect Notes Comput Sci. 11211 LNCS, 729-746 (2018).
  21. Gated fusion network for single image dehazing. Ren, W. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit, , 3253-3261 (2018).
  22. Wang, W., Yuan, X., Wu, X., Liu, Y. Fast image dehazing method based on linear transformation. IEEE Trans Multimed. 19 (6), 1142-1155 (2017).
  23. Chen, C., Do, M. N., Wang, J. Robust image and video dehazing with visual artifact suppression via gradient residual minimization. Computer Vision -- ECCV. Leibe, B., Matas, J., Sebe, N., Welling, M. , Springer International Publishing. Cham. 576-591 (2016).
  24. Kim, J. H., et al. Optimized contrast enhancement for real-time image and video dehazing. J. Vis. Commun. Image Represent. 24 (3), 410-425 (2013).
  25. GridDehazeNet: Attention-based multiscale network for image dehazing. Liu, X., Ma, Y., Shi, Z., Chen, J. Proc IEEE Int Conf Comput Vis, , 7313-7322 (2019).
  26. Wen, S., Zheng, Y., Lu, F. Polarization state attention dehazing network with a simulated polar-haze dataset. IEEE Trans Multimed. 27, 263-274 (2024).
  27. End-to-end united video dehazing and detection. Li, B., Peng, X., Wang, Z., Xu, J., Feng, D. 32nd AAAI Conf Artif Intell, AAAI 2018, 7016-7023 (2018).
  28. Li, Z., Shu, H., Zheng, C. Multiscale single image dehazing using Laplacian and Gaussian pyramids. IEEE Trans Image Process. 30, 9270-9279 (2021).
  29. Cai, B., Xu, X., Jia, K., Qing, C., Tao, D. DehazeNet: An end-to-end system for single image haze removal. IEEE Trans. Image Process. 25 (11), 5187-5198 (2016).
  30. Wu, Z., Liu, W., Wang, J., Li, J., Huang, D. FrePrompter: Frequency self-prompt for all-in-one image restoration. Pattern Recognit. 161, 111223(2025).
  31. Liu, F., Li, H., Hu, W., He, Y. Review of neural network model acceleration techniques based on FPGA platforms. Neurocomputing. , 128511(2024).
  32. Yang, J. Driving-video dehazing with non-aligned regularization for safety assistance. Cvpr. , 26109-26119 (2024).
  33. Yang, Y., Guo, C. L., Guo, X. Depth-aware unpaired video dehazing. IEEE Trans Image Process. 33, 2388-2403 (2024).
  34. Agrawal, R., Gupta, N., Batra, M., Arora, K. A Comprehensive review of image restoration and noise reduction techniques. Int J Recent Innov Trends Comput Commun. 11, 463-474 (2023).
  35. Ayoub, A., et al. Review of dehazing techniques: Challenges and future trends. Multimed Tools Appl. 84 (3), 1103-1131 (2025).
  36. Wei, H., et al. Robust unpaired image dehazing via adversarial deformation constraint. IEEE Trans Circuits Syst Video Technol. 34, 8614-8628 (2024).
  37. APL: Adaptive parameter learning for image dehazing. Martinho, L. A., Cavalcanti, J. M. B., Pio, J. L. S., Oliveira, F. G. 2024 International Conference on Machine Learning and Applications (ICMLA), , 636-643 (2024).
  38. Guo, X., et al. Single-image dehazing method based on Rayleigh Scattering and adaptive color compensation. PLoS One. 20, 1-18 (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Image DehazingVideo DehazingGradient Domain FilteringMultiscale FilteringTemporal CoherenceGuided Image FilterTransmission Map RefinementAtmospheric ScatteringTexture PreservationReal Time Dehazing

Related Articles