Effiziente Multiskalen-Gradientenbereichsfilterung zur Entschleierung von Bildern und Videos mit verbesserter zeitlicher Kohärenz

Summary

Das Protokoll integriert Minimum-Preserving Subsampling mit Gradient-Domain Weighted Guided Filtering, um die Echtzeit-Entschleierungsfunktionen des Lichtstreumodells zu verbessern. Die Mittelung der RGB-Werte aus den oberen 0,1 % der hellsten Pixel des Quellbildes im Dunkelkanal erzeugt atmosphärisches Licht, und der gradientenbasierte Korrelationsfaktor wird für die Konsistenz der Videoverarbeitung verwendet.

Abstract

Die Entschleierung ist in der Computer Vision von entscheidender Bedeutung, um die Bildschärfe wiederherzustellen, die durch atmosphärische Streuung beeinträchtigt wird. Bestehende Methoden leiden unter hohen Rechenkosten, dem Verlust von Gradientendetails und flackernden Artefakten in Videoanwendungen. Um die Effizienz und visuelle Qualität zu verbessern, wird in dieser Arbeit eine auf mehreren Skalen gradientenbereichsgewichtete, geführte Bildfilter-basierte Entschleierungstechnik vorgeschlagen, die sowohl auf Videos als auch auf Bilder anwendbar ist. Um atmosphärische Parameter abzuschätzen und die Rechenkomplexität zu reduzieren, wurde Minimum Preserving Subsampling (MPS) eingesetzt. Als Nächstes verfeinert ein iterativer Upsampling-Prozess mit dem Gradient-Domain Weighted Guided Image Filter (GWGIF) die Übertragungskarte, wobei eine beträchtliche Anzahl von Gradientenmerkmalen erhalten bleibt und dadurch die Textur und Kantenbeständigkeit verbessert werden. Für die Videoentschleierung wird der gradientenbasierte Korrelationsfaktor (GCF) eingeführt, der im Vergleich zu bestehenden Methoden zu einer deutlichen Reduzierung von Flimmerartefakten führt. Experimentelle Auswertungen zeigen die Überlegenheit unseres Ansatzes und erreichen einen PIQE-Score (Perception-based Image Quality Evaluator) von 26,98, einen NIQE-Wert (Natural Image Quality Evaluator) von 2,78 und einen BRISQE-Wert (Blind/Referenceless Image Spatial Quality Evaluator) von 20,18, was eine verbesserte Wahrnehmungsqualität widerspiegelt. Darüber hinaus gewährleistet die vorgeschlagene Methode eine hohe zeitliche Kohärenz bei der Video-Entschleierung mit einer Abweichung des mittleren quadratischen Fehlers () von 0,003, was sie ideal für Echtzeitanwendungen wie autonome Fahrzeuge, Überwachung und Fernerkundung macht.

Introduction

Dunst ist ein atmosphärisches Phänomen, das es schwieriger macht, entfernte Objekte zu sehen, wenn das Licht durch Rauch, Wassertröpfchen oder Staubpartikel gestreut wird. Eine Bildverschlechterung aufgrund von Dunst wirkt sich nachteilig auf Computer-Vision-Anwendungen ^1,2 aus^, einschließlich Videoanalyse, autonome Fahrzeuge und Überwachung. Um die Leistung von Computer Vision zu verbessern, ist als erster Schritt bei der Verarbeitung eine Entschleierungsstrategie unerlässlich, um Dunstkomponenten aus Bildern zu entfernen. Der Begriff "Entnebelung" bezieht sich auf die Schritte, die verwendet werden, um die Klarheit eines verschwommenen oder anderweitig unbrauchbaren Bildes wiederherzustellen. In den letzten Jahren wurden verschiedene Techniken zur Entschleierung von Bildern entwickelt. Das Dehazing-Problem stellt das (verschwommene) Zielbild I^hazy(x) des Farbkanals an der Stelle x dar, wie in (1) gezeigt, wie aus He et ^al.3 entnommen.

    1

J^clear(x) stellt das transparente_{Bild dar,} während L_atm und t map das globale atmosphärische Licht bzw. das Medium Transmission Map darstellen. Der Teil des Lichts, der von den Kamerasensoren aufgenommen wird, wird durch die_{t-Kartenentfernung} d(x) bezeichnet, die durch die Entfernung zwischen der Szene und der Kamera in He et ^al.3berechnet wird, wie in (2) gezeigt.

    2

Dabei stellt β den Transmissionskoeffizienten für die Luftstreuung dar.

Die Rückgewinnung von J^clear(x) aus I^dunst(x) während des Entdunstungsprozesses ist in (3) dargestellt, was nach der Neuanordnung von (1) erreicht wird. Dabei steht t für den Lichtdurchlässigkeitsgrad der Atmosphäre, der auch als Transmissionskoeffizient bezeichnet wird.

    3

Das Modell Dark Channel Prior (DCP)³ gehört zu den bekanntesten Atmosphärenmodellen für diesen Zweck. Unter den bekannten physikalischen modellbasierten Entschleierungstechniken ist DCP die am weitesten verbreitete, die davon ausgeht, dass mindestens ein Farbkanal Pixel mit extrem niedrigen Intensitäten in einem trübungsfreien Bild enthält. Dieser Prior wird verwendet, um die Transmissionskarte mit DCP zu schätzen und die Szenenstrahlung von (1) wiederherzustellen. Diese Technik ist jedoch zeitaufwändig und übersättigt den Himmelsbereich im Bild.

Die Motivation für diese Forschung ergibt sich aus der Notwendigkeit, die Sichtbarkeit in Computer-Vision-Anwendungen zu verbessern, bei denen Dunst die Bildqualität erheblich verschlechtert. Dieser Ansatz beschleunigt nicht nur den Entschleierungsprozess, sondern stellt auch sicher, dass Bilddetails wie Kanten und Texturen erhalten bleiben. Darüber hinaus weitet die Forschung ihren Entschleierungsalgorithmus auf Videos aus und geht damit ein kritisches Problem bei der Videoverarbeitung an. Manchmal ändert sich bei unterschiedlichen Lichtverhältnissen die Sichtbarkeit von Bildern, was in vielen Anwendungen, wie z. B. beim autonomen Fahren und bei der Überwachung, eine weitere Herausforderung darstellt.

Die Validierung des vorgeschlagenen Algorithmus zur Entschleierung erfolgte durch umfangreiche Experimente mit verschiedenen öffentlich zugänglichen Bild- und Videodatensätzen. Die Datensätze umfassen sowohl synthetische als auch reale Dunstszenen, was eine umfassende Auswertung unter verschiedenen Bedingungen ermöglicht. Die experimentelle Validierung verschiedener realer Videosequenzen (Riverside, Crossroad, Haze Road, Ship)⁴ und statischer Bilder⁵ mit unterschiedlichen Dunstdichten, die anhand etablierter Metriken (FADE, NIQE, PIQE, BRISQUE⁾⁶ bewertet und mit neun hochmodernen Methoden verglichen wurden, demonstrieren die praktische Anwendbarkeit des Algorithmus für die Bereiche Automobil, Überwachung, Schifffahrt und Mobile Computing bei gleichzeitiger Beibehaltung der Echtzeitleistung. Die Leistung wurde anhand subjektiver visueller Vergleiche und objektiver Qualitätsmetriken bewertet, um die Wettbewerbsfähigkeit mit modernsten Ansätzen in Bezug auf Genauigkeit und Recheneffizienz zu demonstrieren.

Die vorgeschlagene Arbeit ist auf Echtzeitleistung ausgelegt und wurde an Bildern und Videos mit Auflösungen von bis zu 1920 × 1080 Pixeln getestet. Um eine effiziente Verarbeitung zu gewährleisten, wurden alle Experimente auf einer Workstation durchgeführt, die mit einer Intel i3-6006U CPU (2,00 GHz) und 12 GB RAM ausgestattet war. Während die Methode in verschiedenen realen Szenarien eine starke Leistung zeigt, kann sie unter extrem dichten Dunstbedingungen, bei denen die Transmissionsschätzung unzuverlässig wird, eine verringerte Genauigkeit aufweisen. Diese Details verdeutlichen die Praktikabilität und die Grenzen des vorgeschlagenen Ansatzes im realen Einsatz.

Um verschiedene Herausforderungen zu bewältigen, wird in dieser Studie ein neuartiger Ansatz unter Verwendung eines Multiskalen-GWGIF zur Entschleierung von Bildern und Videos vorgeschlagen. Durch die Integration einer MPS-Methode führt die Studie eine recheneffiziente Technik zur Abschätzung der Transmissionskarte ein, die ein Schlüsselfaktor für die Entschleierung ist. Flimmernde Artefakte wurden durch die Integration einer neuartigen GCF-Methode behoben, die die zeitliche Kohärenz zwischen aufeinanderfolgenden Frames aufrechterhält und sowohl Recheneffizienz als auch qualitativ hochwertige Ergebnisse gewährleistet. Diese Studie trägt zur Entwicklung robusterer Bild- und Videoverbesserungstechniken bei. Abbildung 1 zeigt die mit der MPS-Methode berechnete Transmissionskarte, und Abbildung 2 zeigt die vorgeschlagene Methode, die MPS und GCF kombiniert. Die Neuheit unserer Arbeit liegt in der Entwicklung eines Echtzeit-Bild- und Video-Entschleierungsalgorithmus, der auf Multiskalierung mit einem gradientenbasierten, gewichteten geführten Filter basiert und die rechnerischen Engpässe traditioneller Entschleierungsmethoden adressiert. Konkret sind unsere wichtigsten neuartigen Beiträge: (1) die MPS-Technik, die kritische dunkle Bereiche für eine genaue Transmissionsschätzung beibehält und gleichzeitig die Rechenlast reduziert; (2) GWGIF, das während der Verfeinerung des Übertragungskennfelds speziell feste Kanten beibehält; (3) Optimierte Schätzung des atmosphärischen Lichts, die sich nur auf die oberen 0,1 % der hellsten Pixel konzentriert; (4) GCF für die Video-Dehazing, bei der die Ähnlichkeit des Bildausschnitts anhand von Gradienteninformationen gemessen wird; (5) Ein temporales Optimierungssystem, das Berechnungen zwischen ähnlichen Videoframes wiederverwendet, um eine Echtzeitverarbeitung zu erreichen.

Diese Methode erreicht eine Echtzeitleistung und liefert gleichzeitig eine Entschleierungsqualität, die mit der modernster Algorithmen vergleichbar oder besser ist, wie umfangreiche Experimente zeigen, die in diesem Artikel vorgestellt werden [Abbildung 3, Abbildung 4, Abbildung 5, Abbildung 6 und Abbildung 7].

Protocol

Diese Arbeit verwendete synthetische oder natürliche Szenenbilder, an denen keine menschlichen Motive beteiligt waren. Daher war keine Ethikgenehmigung erforderlich.

Dieses Protokoll zur Bildentschleierung wurde auf einem Standard-Computeraufbau entwickelt und soll die Klarheit und Sichtbarkeit von verschwommenen Bildern verbessern. Die Arbeitsumgebung ist MATLAB⁷. Der Ansatz folgt einem systematischen Prozess, der Dunstschätzung, Verfeinerung und Bildwiederherstellung umfasst. Durch die schrittweise Verbesserung der Bildqualität unter Beibehaltung wichtiger Details liefert die Methode klare und optisch ansprechende Ergebnisse. Es wurde an weit verbreiteten Datensätzen⁸ getestet und mit Standard-Bildqualitätsmaßstäben bewertet, was seine Wirksamkeit und Eignung für akademische oder forschungsbasierte Anwendungen unter Beweis stellt. Wichtige Erklärungen und Gleichungen für das Protokoll, die Materialien und die Ausrüstung sowie die Schritte der vorgeschlagenen Lösung wurden in den folgenden Abschnitten bereitgestellt. Auch die Bewertungsparameter wurden skizziert.

1. Materialien und Ausrüstungen

Das Experiment wurde mit MATLAB Online (24.2.0.2871072 (R2024b) Update 5) entwickelt und auf einem System mit einer Intel i3-6006U CPU (2,00 GHz) ausgeführt. Die für die Implementierung verwendeten Bilddatensätze ^5,8 stammen aus der referenzierten Literatur. Die Methodik umfasst die Verwendung eines 5 × 5 Gaußschen Filters mit bilinearer Interpolation, die Schätzung der Übertragungskarte unter Verwendung des MPS-Algorithmus⁹ und die Verfeinerung durch den GWGIF-Filter, die alle auf einer geeigneten Recheninfrastruktur durchgeführt werden. Details und Links zu allen Materialien und Geräten, die in der Forschung verwendet wurden, sind in der Materialtabelle aufgeführt.

2. Versuchsaufbau

Der Versuchsaufbau umfasst die Implementierung des vorgeschlagenen Ansatzes zur Bild- und Videoentschleierung in einer wissenschaftlichen Rechenumgebung, die matrixbasierte Bildverarbeitung und -visualisierung unterstützt. Zur Bewertung der Leistungsfähigkeit der Methode wurden Standard-Benchmark-Datensätze ^5,8 verwendet, die aus verschwommenen Bildern und Videos¹⁰ bestehen, auf die in der etablierten Literatur verwiesen wird. Der Algorithmus folgt einem Multiskalen-Verarbeitungsrahmen, der Bildpyramiden und gradientenbasierte Korrelation verwendet, um die Berechnung und Verfeinerung der adaptiven Übertragungskarte zu steuern. Bei Videosequenzen werden Frames in festen Intervallen extrahiert, und der GCF wird verwendet, um zu bestimmen, ob die Übertragungskarte wiederverwendet oder neu berechnet werden soll. Die Wirksamkeit der entnebelten Ausgaben wurde anhand weithin anerkannter Bildqualitätsmetriken wie NIQE, PIQE, BRISQE, FADE und bewertet, um sowohl eine subjektive als auch eine objektive Bewertung der Restaurierungsqualität zu gewährleisten.

3. Für die Bewertung verwendete Parameter

Für eine objektive Bewertung wurden fünf Qualitätsmetriken verwendet: (1) FADE (Fog-Aware Density Evaluator)⁸; (2) NIQE (Evaluator für natürliche Bildqualität)¹¹; (3) PIQE (Wahrnehmungsbasierter Bildqualitätsevaluator)¹²; (4) BRISQUE (Blinder/referenzloser Bildauswerter für die räumliche Qualität)¹³; (5) (Mean Squared Error) zwischen aufeinanderfolgenden Frames¹⁴.

4. Methodik der Einzelbild- und Video-Entschleierung

1. Konvertieren und Erstellen einer Bildpyramide
   Die Entschleierung einzelner Bilder beginnt mit der Konvertierung des Eingabefarbbildes in Graustufen (). Eine Bildpyramide {, ...,, } wird dann durch rekursives Downsampling I^wozy mit dem Faktor 2 konstruiert, bis die gröbste Stufe I_L erreicht ist, so dass die maximale Dimension nicht größer als 320 Pixel ist. Das bedeutet, dass L durch die Anforderung bestimmt wird, dass max(B, H) <= 320 ist, wobei W und H die Breite und Höhe auf der gröbsten Ebene L darstellen. Der L-Wert gibt die Anzahl der Downsampling-Vorgänge an, die erforderlich sind, um die gewünschte gröbste Ebene in der Pyramidenstruktur zu erreichen, wie in Abbildung 2 dargestellt.
2. Schätzung der Transmissionskarte
   Die Transmissionskarte zeigt den Prozentsatz des Lichts an, das nicht gestreut wird und den Sensor der Kamera erreicht. Die Übertragungskarte stellt die Tiefeninformation des Bildes genau dar, da es sich um eine Funktion der Tiefe handelt, die sukzessive ist. Die Transmissionskarte t_Landkartewird unter Verwendung von Umgebungslicht berechnet, um ein dunstfreies Bild zu rekonstruieren J^clear (x). Das primäre Ziel der Studie ist es, eine rechnerisch effiziente Methode zur Schätzung der Transmission zu entwickeln, um den Entschleierungsprozess zu beschleunigen, da festgestellt wurde, dass die Berechnung einer Transmissionskarte der zeitaufwändigste Schritt ist. Um genauer zu sein, wurden nach der Schätzung der Transmission mit einer niedrigeren Auflösung und unter der Annahme, dass die Transmissionskarte aus konstanten Teilen besteht, die Ergebnisse hochgerechnet, wie in Abbildung 2.
   1. Erste Schätzung der Übertragungskarte unter Verwendung eines Multiskalenansatzes auf MPS
      Die anfängliche Transmissionskarte wird aus dem ImageImage erhalten, das bereits durch Downsampling des eingegebenen trüben Bildes auf der gröbsten Ebene L berechnet wurde. Unter Verwendung des MPS-Ansatzes⁹ auf wird das Bild nun in 5 × 5 große quadratische Blöcke unterteilt, wie in [1] gezeigt. Weiterhin wird berechnet, indem der Mindestwert aus jedem 5 × 5 Block ausgewählt wird, um ein heruntergerechnetes Bild zu erhalten, mit den Abmessungen (M/m) × (N/m), die in (4) von Kansal et ^al.9 gezeigt sind. Dabei steht min für die mathematische Funktion zur Berechnung des minimalen Intensitätswertes im Block BI_i.
      4
      Das gröbste Dunkelkanalbild 4 wird dann durch Anwenden eines Filters von mindestens 3 × 3 erhalten, wie in (5) aus der Arbeit⁹ von Kansal et al. gezeigt wird.
       5
      Dabei ist ω ein Fenster der Größe 3 × 3. Die anfängliche Übertragungskarte wird schließlich geschätzt mit:
      6
      Dabei ist w ein konstanter Faktor (typischerweise 0).
      Die MPS-basierte Transmissionskarte sorgt für einen verbesserten Kontrast und eine verbesserte Detailwiederherstellung in Regionen, die stark von Dunst betroffen sind, indem die lokalen Mindestwerte innerhalb der jeweiligen Patches beibehalten werden. Der auf linearer Transformation²² basierende Ansatz ergibt jedoch eine Transmissionskarte, die bei der Entfernung von Dunst einheitlicher (und weniger genau) ist, da sie nicht in der Lage ist, zwischen Regionen mit unterschiedlicher Dunstintensität zu unterscheiden.
   2. Verfeinerung des Getriebes
      Da die anfängliche Übertragungskarte () nur auf der gröbsten Ebene (L) der Bildpyramide geschätzt wird, muss sie hochgerechnet werden, um der Auflösung des ursprünglichen Eingabebildes zu entsprechen. Das einfache bilineare Upsampling B_Up(·) wird angewendet, um eine Transmissionskarte mit voller Auflösung zu erhalten. Darüber hinaus müssen die Kantendetails im Übertragungskennfeld verfeinert werden, um sie zu erhalten. Die Verwendung eines geführten Filters und eines gradientengesteuerten Filters, wie sie in Van et ^al.14 und Kansal et ^al.9 angewendet werden, würde zu Unschärfeartefakten in der Transmissionskarte führen, was zum Verlust von Texturdetails und Kanteninformationen führt, was letztendlich die Leistung der Dunstabzugshaube beeinträchtigen würde. Um dieses Problem zu lösen, wurde die Methode Gradient Domain Weighted Guided Image Filtering (GWGIF)¹⁵ eingesetzt, um Bilddetails effektiv zu erhalten. Schließlich wird die verfeinerte Übertragung wie folgt von Wang et ^al.16 erhalten.
       7
      GWGIF verfeinert die anfängliche Übertragungskarte, indem es Kantenstrukturen beibehält und Unschärfeartefakte vermeidet, die typischerweise durch standardmäßige geführte Filter verursacht werden. Der folgende Schritt wurde durchgeführt, um die GWGIF-Funktion¹⁷ zu implementieren.
      Eingabe:
      : Anfängliche Transmissionskarte (niedrig aufgelöst oder grob)
      : Ursprüngliches verschwommenes Bild (als Leitfaden verwendet)
      Ausgabe:
      
      Schritt 1: Hochsampling der anfänglichen Übertragungskarte
      In der Größe an die Größe von I^hazy angepasst
      Schritt 2: I^Hazy in Graustufen konvertiert
      Ich^verschwommen = rgb2gray(Ich^verschwommen)
      Schritt 3: Wenden Sie den Gradientenbereichsgewichteten geführten Filter wie in (7) an
      Erhaltenes verfeinertes Transmissionskennfeld
      Der Prozess berechnet die Gradientengröße aus dem Führungsbild mithilfe des Sobel-Operators, generiert gradientenbasierte Gewichtungen und integriert sie in die geführte Filtergleichung, um die kantenbewusste Glättung zu verbessern. Das Ergebnis ist ein verfeinertes Transmissionskennfeld, das die Qualität der Entschleierung und die Detailerhaltung erheblich verbessert, wie in Abbildung 4 dargestellt.
3. Schätzung des atmosphärischen Lichts
   Globales atmosphärisches Licht ist im Hinblick auf die modellbasierte Bildentschleierung von entscheidender Bedeutung. Wie von Zhang et ^al.18 festgestellt, werden hellere entnebelte Bilder durch niedrigere Werte des atmosphärischen Lichts erzeugt, während höhere Werte des atmosphärischen Lichts die dunkelsten entnebelten Bilder erzeugen. Die vorgeschlagene Arbeit schätzt das atmosphärische Licht aus dem Dunkelkanalbild (), das aus dem eingegebenen trüben Bild gewonnen wurde. Dann werden die RGB-Werte, die den oberen 0,1 % hellsten Pixeln im Dunkelkanalbild entsprechen, ausgewählt, um den endgültigen Wert des atmosphärischen Lichts zu erhalten, wie in (8) gezeigt, wie in He et ^al.3 angegeben. Hier stellt γ die Top 0,1 hellsten Pixel dar. Diese Pixel entsprechen in der Regel den Bereichen im Bild, in denen der Dunst am stärksten undurchsichtig ist. Aus diesen ausgewählten Pixeln werden die entsprechenden RGB-Werte im Originalbild extrahiert und gemittelt, um das globale atmosphärische Licht L_atm zu bestimmen.
    8
   Atmosphärisches Licht L_atm wird berechnet, indem die oberen 0,1 % hellsten Pixel aus dem Bild des dunklen Kanals ausgewählt werden. Dies geschieht wie folgt:
   Eingabe:
   Verschwommenes Bild I^{verschwommenes} RGB-Bild)
   Ausgabe:
   Atmosphärisches Licht L_atm (ein 3-Element-RGB-Vektor)
   Schritte:
   Schritt 1: Berechnen Sie den Dunkelkanal des Bildes:
   Das Bild des dunklen Kanals ist .
   Schritt 2: Die meisten Dunstpixel gefunden
   Der dunkle Kanal wurde in ein 1D-Array abgeflacht.
   Die Pixelwerte werden in absteigender Reihenfolge sortiert.
   Es wurden die oberen 0,1 % hellsten Pixel ausgewählt (d. h. die höchsten Werte im Dunkelkanal → hoher Dunstkonzentration).
   Schritt 3: Ausgewählte Kandidatenpixel im Eingabebild
   Identifizieren Sie unter den ausgewählten oberen 0,1 %-Pixeln (aus dem dunklen Kanal) die entsprechenden Pixel im ursprünglichen verschwommenen Bild I^wozy.
   Für jedes ausgewählte Pixel wurde die Intensität berechnet (z. B. Summe oder Norm seiner RGB-Werte).
   Schritt 4: Stellen Sie das atmosphärische_{Licht ein}
   Der RGB-Wert des hellsten Pixels, der oben ausgewählt wurde, wurde als geschätztes atmosphärisches Licht verwendet.
   Das obige Verfahren schätzt systematisch das atmosphärische Licht, L_atm.
   Das obige Verfahren schätzt systematisch das _atm-atm des atmosphärischen Lichts, indem der dunkle Kanal genutzt wird, bevor die am stärksten vom Dunst betroffenen Regionen im Bild identifiziert werden. Durch den Ausschluss heller, klarer Bereiche und die Fokussierung auf die oberen 0,1 % der dunkelsten Bereiche (die auf dichten Dunst hinweisen) gewährleistet die Methode eine robuste und genaue Schätzung des globalen atmosphärischen Lichts, das ein kritischer Parameter für eine effektive Dunstentfernung in Einzelbild-Entschleierungsalgorithmen ist.
   1. Wiederherstellung verschwommener Bilder
      Schließlich wird nach dem Finden des atmosphärischen Lichts L_atm und der verfeinerten Transmissionskarte das dunstfreie Bild J^clear(x) unter Verwendung der Formulierung Van et ^al.14 in (9) erhalten, die gegeben ist durch
      9
      wobei γ die untere Grenze des Getriebes ist (auf 0,05 festgelegt)
      Wie in Abbildung 1 dargestellt, bewahrt die vorgeschlagene Methode zur Verfeinerung der Transmissionskarte effektiv die komplexen Eigenschaften des Bildes und ermöglicht eine schleierfreie Bildwiederherstellung.
4. Wiederherstellung von verschwommenen Videos
   Der in dieser Arbeit vorgestellte Ansatz der Video-Entschleierung baut auf dem Einzelbild-Entschleierungsalgorithmus auf, indem er zeitliche Kohärenzüberlegungen einbezieht, um flackernde Artefakte zu verhindern. Die Autoren erkennen an, dass die unabhängige Anwendung der Einzelbild-Entschleierung auf jedes Bild eines Videos die zeitliche Kohärenz zwischen den Bildern unterbrechen würde, was zu visuellen Inkonsistenzen führen würde. Um dieses Problem zu lösen, wurde ein neuartiger Video-Dehazing-Algorithmus entwickelt, der die zeitliche Kohärenz zwischen aufeinanderfolgenden Anfangsbildern quantifiziert. Diese Informationen werden verwendet, um Transmissionskarten und atmosphärische Lichtwerte für die kommenden Bilder adaptiv zu schätzen.
   1. Flackernde Artefakte
      Derselbe Bildbereich kann aufgrund der Bewegung des Objekts und/oder der Kamera mit unterschiedlichen Pixelkoordinaten in aufeinanderfolgenden Frames eines Videos aufgenommen werden. Durch diese Bewegungen entstehen flackernde Artefakte, die die Übertragungswerte an der gleichen Stelle verändern. Techniken zur Bewegungsschätzung, wie z. B. die optische Flussschätzung¹⁹, können verwendet werden, um die Position eines beweglichen Objekts zu verfolgen und diese Probleme zu lösen. Methoden zur Bewegungsschätzung erfordern jedoch oft ein hohes Maß an Rechenkomplexität. Daher wurde ein einfaches Wahrscheinlichkeitsmodell namens GCF verwendet, anstatt die Bewegungen zwischen den Frames explizit zu berechnen. Das Differenzbild zwischen den beiden aufeinanderfolgenden Bildern dient als Grundlage für dieses Modell.
   2. Gradientenbasierter Korrelationsfaktor
      Der gradientenbasierte Korrelationsfaktor (GCF) misst die Ähnlichkeit zwischen zwei aufeinanderfolgenden Videoframes basierend auf den Gradienten ihrer Pixel. Die Bilder/Frames I₁ und I₂ sind sich sehr ähnlich, was durch hohe Korrelationswerte (I₁, I₂) ≈ 1 angezeigt wird, was bedeutet, dass Pixel (x, y) den duplizierten Objekt- oder Szeneninhalt in beiden Frames darstellt. Niedrige Korrelationswerte (I₁, I₂) ≈ 0 deuten darauf hin, dass die Bilder und Frames nicht identisch sind, höchstwahrscheinlich aufgrund von Bewegungen oder Verdeckungen. Da ein verschwommenes Bild weniger Kontrast und Klarheit aufweist, können die Pixelwerte des Bildes nicht verwendet werden, um eine Korrelation zwischen zwei Bildern zu beobachten.
      Unscharfe Bilder erscheinen aufgrund der Streuung und Absorption von Licht oft meist weißlich, was zu einer allgemeinen Erhöhung der Pixelintensität und einem verringerten Kontrast führt. Infolgedessen ähneln sich die meisten Pixel in zwei aufeinanderfolgenden verschwommenen Frames, so dass die direkte pixelbasierte Korrelation unwirksam wird, da der Dunst die tatsächlichen Szenendetails maskiert. In diesem Zusammenhang gewinnt der GCF an Bedeutung. Im Gegensatz zur pixelweisen Korrelation, die stark vom Dunst beeinflusst wird, konzentriert sich GCF auf die Farbverläufe, Intensitätsänderungen und Farbübergänge zwischen benachbarten Pixeln. Diese Farbverläufe werden weniger von der Gesamthelligkeit des Bildes beeinflusst und erfassen strukturelle Informationen wie Kanten und Konturen besser. Dies macht den GCF zu einem zuverlässigeren Maß für die Ähnlichkeit zwischen Frames unter trüben Bedingungen im Vergleich zum pixelbasierten Korrelationsfaktor (CF) zwischen zwei Frames, wie in Tabelle 1 gezeigt.
      Die Korrelation zwischen aufeinanderfolgenden Videobildern I^K und I^K-1ist wie folgt.
      10
      wobei die Anzahl der Pixel im Rahmen N und σ = 10 ist. und sind die Verlaufsbilder, die den Videoframes I^K und I^K-1 entsprechen. Ein einfacher Schritt zum Berechnen von GCF ist:
      Eingang: Frame I^K und ^IK-1.
      Der Gradient zwischen jedem Frame und seinem vorhergehenden Frame wurde berechnet, und (10) wurde dann angewendet, um den CGF zu berechnen, der anschließend verwendet wurde, um die Transmissionskarte und das atmosphärische Licht zu bestimmen, die zur Berechnung des aktuellen Frames erforderlich sind, oder zur Berechnung des Anfangsframes und der Schritte, die für jedes nächste kommende Frame wiederholt werden, verwendet werden kann. GCF berechnet die Korrelation zwischen zwei aufeinanderfolgenden Frames. Wenn die Korrelation hoch ist, deutet dies darauf hin, dass zwei aufeinanderfolgende Frames nahezu identisch sind. Andernfalls deutet dies auf eine geringe Korrelation hin.
   3. GCF-basierte Entscheidung für die Schätzung von atmosphärischem Licht und Transmissionskarten
      Das GCF spielt eine entscheidende Rolle bei der Bestimmung des Umgangs mit atmosphärischem Licht und der Abschätzung von Transmissionskarten in Entschleierungsprozessen. Der GCF misst die Ähnlichkeit zwischen aufeinanderfolgenden Videoframes anhand ihrer Farbverläufe, wodurch unter Berücksichtigung von Faktoren wie Bewegung oder Verdeckungen beurteilt werden kann, wie stark sich die Szene zwischen den Frames verändert hat.
      Wenn der GCF-Wert hoch ist, genauer gesagt größer als 0,85, bedeutet dies, dass der aktuelle Frame dem vorherigen sehr ähnlich ist. In solchen Fällen wird davon ausgegangen, dass die Übertragungskarte aus dem vorherigen Frame noch gültig ist, da sich die Szene nicht wesentlich geändert hat. Die Verwendung der Übertragungskarte aus dem vorherigen Frame trägt dazu bei, die Konsistenz zwischen den Frames zu wahren und unnötige Neuberechnungen zu vermeiden, wodurch die Recheneffizienz verbessert wird.
      Wenn der GCF-Wert jedoch unter 0,5 fällt, deutet dies auf einen signifikanten Unterschied zwischen den Frames hin, der wahrscheinlich auf Bewegungen oder andere dynamische Änderungen in der Szene zurückzuführen ist. In solchen Fällen würde es zu ungenauen Ergebnissen führen, wenn man sich auf die Übertragungskarte des vorherigen Frames verlässt. Daher muss das atmosphärische Licht L_atm neu berechnet werden, um es an die neuen Szenenbedingungen anzupassen. Darüber hinaus wird eine neue Übertragungskarte berechnet, um den Inhalt des aktuellen Frames besser darzustellen. Diese Neukalibrierung stellt sicher, dass der Entschleierungsprozess die aktualisierten Eigenschaften der Szene berücksichtigt und Klarheit und Kontrast genau wiederherstellt.
      Dieser Entscheidungsprozess, der vom GCF geleitet wird, ermöglicht es dem Entschleierungsalgorithmus, sich dynamisch an Änderungen der Bildähnlichkeit anzupassen, was zu einer präziseren und zuverlässigeren Bildwiederherstellung führt. Durch die Anpassung der Transmissionskarte und des atmosphärischen Lichts auf der Grundlage der beobachteten Korrelation verarbeitet das Protokoll effektiv dynamische Szenen und schwankende Dunstbedingungen und verbessert so die Qualität der entdunsteten Bilder.

5. Schritt-für-Schritt-Zusammenfassung des Ansatzes zur Entschleierung von Einzelbildern und Videos

Es wird eine Schritt-für-Schritt-Zusammenfassung des Ansatzes zur Entschleierung von Einzelbildern und Videos bereitgestellt, die in Abbildung 2 dargestellt wird, die das anfängliche Framework des Algorithmus darstellt. (1) Laden Sie das eingegebene verschwommene Bild zur Verarbeitung in das System. (2) Das Bild in Graustufen konvertiert und wiederholt um den Faktor 2 als { , ...,   } heruntergerechnet. Wählen Sie das gröbste Bild aus, sodass max (B, H) <= 320, wobei W und H die Breite und Höhe auf der gröbsten Ebene L darstellen. (3) Teilen Sie das grobe Bild in m × m Blöcke auf. Hier wird m als (5) ausgewählt; (4) Berechnung der minimalen Intensität in jedem Block, um das heruntergerechnete Bild mit Dimension zu erhalten; (5) Das gröbste Dunkelkanalbild wird dann erhalten, indem ein Filter von mindestens 3 × 3 auf angewendet wird. (6) Schätzung der anfänglichen Transmissionskarte unter Verwendung der Formel, wobei w in dieser Arbeit als 0,95 ausgewählt wird; (7) Die Übertragungskarte wurde mit GWGIF(.) verfeinert, um ; (8) Geschätztes_atm-atm des atmosphärischen Lichts durch Mittelung des RGB-Wertes, der den oberen 0,1 % der hellsten Pixelpositionen im Dunkelkanal () des trüben Bildes entspricht; (9) Das entnebelte Bild J^klar (x) wurde mit Hilfe des Lichtstreumodells wiederhergestellt.

; (10) Bei Videos extrahierte Frames in regelmäßigen Abständen; (11) Berechnung des gradientenbasierten Korrelationsfaktors (GCF) zwischen zwei aufeinanderfolgenden Frames zur Messung der Frame-Ähnlichkeit; (12) Wenn < 0,5, wird ein neues Übertragungskennfeld für das aktuelle Bild berechnet. wenn GCF≥0,85, die Transmissionskarte aus dem vorherigen Frame wiederverwendet hat; (13) Verfeinern Sie jedes Bild und stellen Sie die entnebelten Bilder mit den gleichen Schritten wie bei Bildern wieder her. (14) Bewertung der Ausgabequalität anhand von Metriken wie NIQE¹¹, PIQE¹², BRISQE¹³, FADE⁸ und¹⁴.

Results

Qualitative und quantitative Ergebnisse liefern komplementäre Erkenntnisse bei der Bewertung einer Methode oder eines Experiments. Qualitative Ergebnisse konzentrieren sich auf subjektive Bewertungen, oft unter Verwendung von visuellen Vergleichen, Wahrnehmungsbewertungen oder Expertenmeinungen, um die Wirksamkeit eines Ansatzes zu analysieren. Sie helfen dabei, Verbesserungen in realen Szenarien zu veranschaulichen, können aber durch die menschliche Wahrnehmung beeinflusst werden. Im Gegensatz dazu beruhen quantitative ...

Discussion

Die vorgeschlagene effiziente Multiskalen-Gradientenbereichsfilterung für die Entschleierung von Bildern und Videos mit einem verbesserten Ansatz der zeitlichen Kohärenz behebt den rechnerischen Engpass in physikalischen modellbasierten Entschleierungsalgorithmen, indem sie atmosphärisches Licht und Transmissionskarten unter Verwendung einer Bildpyramidenstruktur effizient schätzt. Die wichtigste Neuerung ist die Schätzung der MPS-Transmissionskarte auf der gröbsten Pyramidenebene nach G...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dataset	Labor für Vision und Bildverarbeitung, Universität Waterloo	5http : //ivc.uwaterloo.ca/database/Dehaze/	Bewertung von Algorithmen zur Entschleierung von Bildern und Videos
Gradientenbasierter gewichteter geführter Filter (Matlab-Implementierung)	Wang  et al.	16 https://arxiv.org/pdf/2211.16796	Effiziente Verfeinerung des Getriebekennfelds
MATLAB (mit Image Processing Toolbox)	Version: MATLAB Online (24.2.0.2871072 (R2024b) Aktualisierung 5)	https://www.mathworks.com/products/matlab.html	Implementierung von vorgeschlagenen und Baseline-Algorithmen
Prozessor	Intel i3-6006U Prozessor (2.00 GHz)	https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.html	Ausführen von Algorithmen
Quellcodes für Baseline-Methoden	Kim et  al.3, Van et  al.14, Yang et al.20,   Ren et al.21,  Chen et  al.23, Li B et al.26	3https://github.com/metinsuloglu/Haze-Removal	Evaluation lernbasierter Entnebelungsmethoden
		14https://github.com/viengiaan/MGF Entnebelung
		20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
		21https://github.com/rwenqi/GFN-dehazing
		23https://cchen156.github.io/code/robustdehaze.zip
		26https://github.com/Boyiliee/EVD-Net
		4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html