향상된 시간적 일관성을 갖춘 이미지 및 비디오 헤이징 제거를 위한 효율적인 다중 스케일 그래디언트 도메인 필터링

Summary

여기서의 프로토콜은 최소 보존 서브샘플링과 그래디언트 도메인 가중 유도 필터링을 통합하여 광 산란 모델의 실시간 디헤이징 기능을 향상시킵니다. 어두운 채널에서 소스 이미지의 가장 밝은 상위 0.1% 픽셀의 RGB 값을 평균화하면 대기 조명이 생성되고 그라디언트 기반 상관 계수는 비디오 처리 일관성을 위해 사용됩니다.

Abstract

헤이징 제거는 대기 산란의 영향을 받는 이미지 선명도를 복원하기 위해 컴퓨터 비전에서 매우 중요합니다. 기존 방법은 높은 계산 비용, 그라디언트 세부 정보 손실 및 비디오 응용 프로그램의 깜박임 아티팩트로 인해 어려움을 겪고 있습니다. 효율성과 시각적 품질을 향상시키기 위해 이 작업은 비디오와 이미지 모두에 적용할 수 있는 다중 스케일 그라디언트 도메인 가중 유도 이미지 필터 기반 디헤이징 기술을 제안합니다. 대기 매개변수를 추정하고 계산 복잡성을 줄이기 위해 MPS(Minimum Preserving Subsampling)가 사용되었습니다. 다음으로, GWGIF(Gradient-domain Weighted Guided Image Filter)를 사용한 반복적인 업샘플링 프로세스는 전송 맵을 개선하여 상당한 양의 그라디언트 특징을 보존하여 텍스처와 가장자리 유지를 향상시킵니다. 비디오 헤이징 제거의 경우 GCF(Gradient-Based Correlation Factor)가 도입되어 기존 방법에 비해 깜박임 아티팩트가 크게 감소했습니다. 실험적 평가는 PIQE(Perception-based Image Quality Evaluator) 점수 26.98, NIQE(Natural Image Quality Evaluator) 점수 2.78, BRISQE(Blind/Referenceless Image Spatial Quality Evaluator) 점수 20.18을 달성하여 향상된 지각 품질을 반영합니다. 또한, 제안된 방법은 MSE(Mean Square Error) 편차가 0.003인 비디오 디헤이징에서 높은 시간적 일관성을 보장하므로 자율주행차, 감시, 원격 감지와 같은 실시간 애플리케이션에 이상적입니다.

Introduction

연무는 연기, 물방울 또는 먼지 입자에 의해 빛이 산란될 때 멀리 있는 물체를 보기가 더 어렵게 만드는 대기 현상입니다. 연무로 인한 이미지 품질 저하는 비디오 분석, 자율 주행 차량 및 감시^를 포함한 컴퓨터 비전 애플리케이션^1,2에 해롭습니다. 컴퓨터 비전의 성능을 향상시키기 위해서는 처리의 첫 번째 단계로 이미지에서 헤이즈 구성 요소를 제거하는 디헤이징 전략이 필수적입니다. "디헤이징"이라는 용어는 흐릿하거나 사용할 수 없는 이미지의 선명도를 복원하는 데 사용되는 단계를 의미합니다. 최근 몇 년 동안 이미지 디헤이징을 위한 몇 가지 기술이 개발되었습니다. 헤이징 제거 문제는 He et ^al.3에서 가져온 (1)과 같이 위치 x에서 색상 채널의 대상(흐릿한) 이미지 I^hazy(x)를 나타냅니다.

    1

J^clear(x)는 투명한 이미지를 나타내고 L_atm과 t_맵은 각각 전 세계 대기광과 매체 투과 맵을 나타냅니다. 카메라 센서에 의해 포착되는 빛의 부분은 (2)와 같이 He et ^al.3에서 장면과 카메라 사이의 거리로 계산된 t_맵 거리 d(x)로 표시됩니다.

    2

여기서 β는 공기 산란에 대한 투과 계수를 나타냅니다.

헤이징 제거 과정에서 I^hazy(x)에서 J^clear(x)를 회수하는 것은 (3)에 나타났으며, 이는 (1)의 재배열 후에 달성됩니다. 여기서 t는 투과 계수라고도 하는 대기의 빛 투과율을 나타냅니다.

    3

DCP(dark channel prior)³ 모델은 이러한 목적을 위해 가장 잘 알려진 대기 모델 중 하나입니다. 잘 알려진 물리적 모델 기반 디헤이징 기술 중에서 DCP가 가장 널리 사용되며, 이는 적어도 하나의 컬러 채널에 헤이즈 없는 이미지에서 강도가 매우 낮은 픽셀이 포함되어 있다고 가정합니다. 이 사전은 DCP를 사용하여 투과 맵을 추정하고 (1)에서 장면 광도를 복구하는 데 사용됩니다. 그러나 이 기술은 시간이 많이 걸리고 이미지의 하늘 영역을 과도하게 포화시킵니다.

이 연구의 동기는 연무가 이미지 품질을 크게 저하시키는 컴퓨터 비전 애플리케이션의 가시성을 향상시켜야 할 필요성에서 비롯됩니다. 이 접근 방식은 헤이징 제거 프로세스를 가속화할 뿐만 아니라 가장자리 및 질감과 같은 이미지 세부 사항을 보존합니다. 또한 이 연구는 헤이징 제거 알고리즘을 비디오로 확장하여 비디오 처리의 중요한 문제를 해결했습니다. 때로는 조명 조건이 다르면 이미지의 가시성이 변경되어 자율 주행 및 감시와 같은 많은 응용 분야에서 또 다른 문제가 발생합니다.

제안된 헤이징 제거 알고리즘의 검증은 공개적으로 사용 가능한 다양한 이미지 및 비디오 데이터 세트에 대한 광범위한 실험을 통해 수행되었습니다. 데이터 세트는 합성 장면과 실제 흐릿한 장면으로 구성되어 있어 다양한 조건에서 포괄적인 평가가 가능합니다. 다양한 실제 비디오 시퀀스(리버사이드, 크로스로드, 헤이즈 로드, 선박)⁴ 및 다양한 헤이즈 밀도의 정적 이미지⁵ 에 대한 실험적 검증을 통해 확립된 메트릭(FADE, NIQE, PIQE, BRISQUE⁾⁶ 을 사용하여 평가하고 9가지 최첨단 방법과 비교하여 실시간 성능을 유지하면서 자동차, 감시, 해양 및 모바일 컴퓨팅 영역에 대한 알고리즘의 실질적인 적용 가능성을 입증합니다. 주관적인 시각적 비교와 객관적인 품질 지표를 사용하여 성능을 평가하여 정확성과 계산 효율성 측면에서 최첨단 접근 방식과의 경쟁력을 입증했습니다.

제안된 작업은 실시간 성능을 위해 설계되었으며 최대 1920 × 1080 픽셀 해상도의 이미지와 비디오에서 테스트되었습니다. 효율적인 처리를 위해 모든 실험은 Intel i3-6006U CPU(2.00GHz) 및 12GB RAM이 장착된 워크스테이션에서 수행되었습니다. 이 방법은 다양한 실제 시나리오에서 강력한 성능을 보여주지만, 투과율 추정을 신뢰할 수 없게 되는 극도로 조밀한 연무 조건에서는 정확도가 저하될 수 있습니다. 이러한 세부 사항은 실제 배포에서 제안된 접근 방식의 실용성과 한계를 강조합니다.

다양한 과제를 극복하기 위해 본 연구에서는 이미지와 비디오의 헤이징 제거를 위해 다중 규모 GWGIF를 사용하는 새로운 접근 방식을 제안합니다. MPS 방법을 통합함으로써 이 연구는 디헤이징의 핵심 요소인 투과 맵을 추정하기 위한 계산 효율적인 기술을 도입합니다. 깜박임 아티팩트는 연속 프레임 간의 시간적 일관성을 유지하는 새로운 GCF 방법을 통합하여 해결되어 계산 효율성과 고품질 결과를 모두 보장합니다. 이 연구는 보다 강력한 이미지 및 비디오 향상 기술 개발에 기여합니다. 그림 1 은 MPS 방법을 사용하여 계산된 전송 맵을 나타내고, 그림 2 는 MPS와 GCF를 결합한 제안된 방법을 보여줍니다. 우리 작업의 참신함은 기존 헤이징 제거 방법의 계산 병목 현상을 해결하는 그라디언트 기반 가중 유도 필터를 사용한 다중 스케일링을 기반으로 하는 실시간 이미지 및 비디오 헤이징 제거 알고리즘의 개발에 있습니다. 구체적으로, 우리의 주요 새로운 기여는 다음과 같습니다: (1) 계산 부하를 줄이면서 정확한 전송 추정을 위해 중요한 어두운 영역을 유지하는 MPS 기술; (2) 전송 맵 미세 조정 중에 단단한 가장자리를 구체적으로 보존하는 GWGIF; (3) 가장 밝은 상위 0.1% 픽셀에만 초점을 맞춘 최적화된 대기광 추정; (4) 그래디언트 정보를 통해 프레임 유사성을 측정하는 비디오 디헤이징용 GCF; (5) 유사한 비디오 프레임 간의 계산을 재사용하여 실시간 처리를 달성하는 시간 최적화 시스템.

이 방법은 기사에 제시된 광범위한 실험에서 입증된 바와 같이 최첨단 알고리즘과 비슷하거나 더 나은 헤이징 제거 품질을 제공하면서 실시간 성능을 달성합니다[그림 3, 그림 4, 그림 5, 그림 6 및 그림 7].

Protocol

이 작품은 인간을 피사체로 삼지 않은 합성 또는 자연 장면 이미지를 사용했습니다. 따라서 윤리 승인이 필요하지 않았습니다.

이 이미지 디헤이징 프로토콜은 표준 컴퓨팅 설정을 기반으로 개발되었으며 흐릿한 이미지의 선명도와 가시성을 향상시키도록 설계되었습니다. 작업 환경은 MATLAB⁷입니다. 이 접근 방식은 연무 추정, 개선 및 이미지 복원을 포함하는 체계적인 프로세스를 따릅니다. 중요한 세부 사항을 유지하면서 이미지 품질을 점진적으로 개선함으로써 이 방법은 선명하고 시각적으로 매력적인 결과를 제공합니다. 널리 사용되는 데이터 세트⁸ 에서 테스트되었으며 표준 이미지 품질 측정을 사용하여 평가되어 학술 또는 연구 기반 응용 프로그램에 대한 효과와 적합성을 입증했습니다. 프로토콜, 재료 및 장비에 대한 중요한 설명과 방정식, 제안된 솔루션의 단계는 아래 섹션에 제공되었습니다. 평가 매개변수도 설명되어 있습니다.

1. 재료 및 장비

실험은 MATLAB Online(24.2.0.2871072(R2024b) 업데이트 5)을 사용하여 개발되었으며 Intel i3-6006U CPU(2.00GHz)가 있는 시스템에서 실행됩니다. 구현에 사용된 이미지 데이터 세트(^5,8)는 참조된 문헌으로부터 출처를 가져온 것이다. 이 방법론에는 쌍선형 보간이 포함된 5 × 5 가우스 필터 사용, MPS 알고리즘⁹을 사용한 전송 맵 추정, GWGIF 필터를 통한 개선이 모두 적절한 컴퓨팅 인프라에서 수행됩니다. 연구에 사용된 모든 재료 및 장비에 대한 세부 사항 및 링크는 재료표에 언급되어 있습니다.

2. 실험 설정

실험 설정에는 매트릭스 기반 이미지 처리 및 시각화를 지원하는 과학 컴퓨팅 환경에서 제안된 이미지 및 비디오 헤이징 제거 접근 방식을 구현하는 것이 포함됩니다. 확립된 문헌에서 참조된 바와 같이 흐릿한 이미지와 비디오⁽¹⁰)로 구성된 표준 벤치마크 데이터 세트(^5,8)를 사용하여 방법의 성능을 평가했습니다. 이 알고리즘은 이미지 피라미드와 기울기 기반 상관 관계를 활용하여 적응형 전송 맵의 계산 및 개선을 안내하는 다중 규모 처리 프레임워크를 따릅니다. 비디오 시퀀스의 경우 프레임은 고정된 간격으로 추출되며 GCF는 전송 맵을 재사용할지 또는 재계산할지 여부를 결정하는 데 사용됩니다. 헤이징 제거된 출력의 효과는 NIQE, PIQE, BRISQE, FADE 및 MSE를 포함하여 널리 알려진 이미지 품질 지표를 사용하여 평가되어 복원 품질에 대한 주관적 및 객관적 평가를 모두 보장했습니다.

3. 평가에 사용되는 매개변수

객관적인 평가를 위해 5가지 품질 지표가 사용되었습니다: (1) FADE(Fog-Aware Density Evaluator)⁸; (2) NIQE(자연 이미지 품질 평가자)¹¹; (3) PIQE(Perception-based Image Quality Evaluator)¹²; (4) BRISQUE(블라인드/무참조 이미지 공간 품질 평가자)¹³; (5) 연속 프레임 사이의 MSE(평균 제곱 오류)¹⁴.

4. 단일 이미지 및 비디오 디헤이징 방법론

1. 이미지 피라미드 변환 및 구성
   단일 이미지 헤이징 제거는 입력 컬러 이미지를 그레이스케일()으로 변환하는 것으로 시작됩니다. 그런 다음 이미지 피라미드 {, ...,, }는 최대 차원이 320픽셀보다 크지 않도록 가장 거친 수준 I_L이 달성될 때까지 2계수로 I^hazy를 재귀적으로 다운샘플링하여 구성됩니다. 즉, L은 max(W, H) <= 320이라는 요구 사항에 따라 결정되며, 여기서 W와 H는 가장 거친 수준 L의 너비와 높이를 나타냅니다. L 값은 그림 2와 같이 피라미드 구조에서 원하는 가장 거친 수준에 도달하는 데 필요한 다운샘플링 작업 수를 나타냅니다.
2. 전송 맵 추정
   투과 맵은 산란되지 않고 카메라 센서에 도달하는 빛의 비율을 보여줍니다. 전송 맵은 연속적인 깊이의 함수이므로 사진의 깊이 정보를 정확하게 나타냅니다. 전송 맵, t_지도는 안개 없는 이미지를 재구성하기 위해 주변광을 사용하여 계산됩니다. J^clear (x). 이 연구의 주요 목적은 투과 맵을 계산하는 것이 가장 시간이 많이 걸리는 단계라는 사실이 밝혀졌기 때문에 헤이징 제거 프로세스를 가속화하기 위해 계산적으로 효율적인 투과율 추정 방법을 개발하는 것입니다. 좀 더 구체적으로 말하면, 더 낮은 해상도에서 투과율을 추정하고 투과율 맵이 일정한 부분으로 구성된다고 가정한 후 결과는 다음과 같이 업샘플링되었습니다. 그림 2.
   1. MPS에서 다중 스케일 접근 방식을 사용한 초기 전송 맵 추정
      초기 전송 맵 은 가장 거친 수준인 L에서 입력 흐릿한 이미지를 다운샘플링하여 이미 계산된 ImageImage에서 얻습니다. MPS 접근 방식⁹를 사용하여 이미지는 이제 [그림 1]과 같이 5개의 × 5개 크기의 정사각형 블록으로 나뉩니다. 또한, Kansal et ^al.9의 ( 4)에 표시된 치수(M/m) ×(N/m)를 갖기 위해 각 5 × 5 블록에서 최소값을 선택하여 계산합니다. 여기서 min은 블록 BI_i의 최소 강도 값을 계산하는 수학 함수를 나타냅니다.
      4
      가장 거친 수준의 다크 채널 이미지 (4)는 Kansal et al. 작업⁹에서 가져온 (5)와 같이 3 × 3 최소 필터를 적용 하여 얻습니다.
       5
      여기서 ω은 크기가 3× 3인 창입니다. 초기 전송 맵 은 최종적으로 다음을 사용하여 추정됩니다.
      6
      여기서 w는 상수 인수(일반적으로 0)입니다.
      MPS 기반 전송 맵은 각 패치 내에서 로컬 최소값을 유지하여 연무의 영향을 심각하게 받는 지역에서 향상된 대비 및 디테일 복구를 보장합니다. 그러나, 선형 변환⁽²² ) 기반 접근법은 다양한 수준의 연무 강도를 갖는 영역을 구별할 수 없기 때문에 연무를 제거하는 데 있어 더 균일한(그리고 덜 정확한) 투과 맵을 산출한다.
   2. 전송 개선
      초기 전송 맵()은 이미지 피라미드의 가장 거친 수준(L)에서만 추정되므로 원본 입력 이미지의 해상도와 일치하도록 업샘플링해야 합니다. 간단한 쌍선형 업샘플링 B_Up(·)을 적용하여 전체 해상도 투과 맵을 얻습니다. 또한 전송 맵에서 가장자리 세부 정보를 보존하려면 세 분화해야 합니다. Van et ^al.14 및 Kansal et ^al.9에 적용된 가이드 필터와 그라디언트 가이드 필터를 사용하면 투과 맵에 흐릿한 아티팩트가 발생하여 텍스처 세부 사항과 가장자리 정보가 손실되어 궁극적으로 디헤이징 성능이 저하됩니다. 이 문제를 해결하기 위해 이미지 세부 사항을 효과적으로 보존하기 위해 GWGIF(Gradient Domain Weighted Guided Image ^Filtering)15 방법이 사용되었습니다. 마지막으로, 정제된 전송 은 Wang et ^al.16에서 아래와 같이 얻어진다.
       7
      GWGIF는 가장자리 구조를 보존하고 일반적으로 표준 가이드 필터에 의해 발생하는 흐림 아티팩트를 방지하여 초기 전송 맵을 개선합니다. GWGIF 기능⁽¹⁷)을 구현하기 위해 다음 단계를 수행하였다.
      입력:
      : 초기 전송 맵(저해상도 또는 거칠음)
      : 흐릿한 원본 이미지(안내용으로 사용)
      출력:
      
      1단계: 초기 전송 맵을 상향 샘플링했습니다.
      I^hazy의 크기에 맞게 크기 조정
      2단계: 흐^릿 함을 회색조로 변환
      흐^릿한 = rgb2gray(흐^릿한 느낌)
      3단계: (7)과 같이 그라디언트 도메인 가중 유도 필터를 적용했습니다.
      정제된 전송 맵 획득
      이 프로세스는 Sobel 연산자를 사용하여 안내 이미지에서 기울기 크기를 계산하고, 기울기 기반 가중치를 생성하고, 이를 안내 필터링 방정식에 통합하여 가장자리 인식 평활화를 향상시킵니다. 출력은 그림 4와 같이 헤이징 제거 품질과 세부 보존을 크게 향상시키는 정교한 투과 맵입니다.
3. 대기광 추정
   모델 기반 이미지 헤이징 제거 측면에서 글로벌 대기광은 필수적입니다. Zhang et ^al.18에 의해 언급된 바와 같이, 더 밝은 헤이즈제거 이미지는 낮은 대기광 값에 의해 생성되는 반면, 더 높은 대기 빛 값은 가장 어두운 헤이즈제거 이미지를 생성합니다. 제안된 작업은 입력 흐릿한 이미지에서 얻은 어두운 채널 이미지()에서 대기광을 추정합니다. 그런 다음 어두운 채널 이미지에서 가장 밝은 상위 0.1% 픽셀에 해당하는 RGB 값을 선택하여 He et ^al.3에 주어진 ( 8)과 같이 대기광의 최종 값을 얻습니다. 여기서 γ는 가장 밝은 상위 0.1개 픽셀을 나타냅니다. 이러한 픽셀은 일반적으로 이미지에서 가장 안개가 불투명한 영역에 해당합니다. 이렇게 선택된 픽셀에서 원본 이미지의 해당 RGB 값을 추출하고 평균화하여 전역 대기광 L_atm을 결정합니다.
    8
   대기광 L_atm은 어두운 채널 이미지에서 가장 밝은 상위 0.1% 픽셀을 선택하여 계산됩니다. 이는 다음과 같이 수행됩니다.
   입력:
   흐릿한 이미지 흐^릿한 RGB 이미지)
   출력:
   대기광 L_atm (3요소 RGB 벡터)
   단계:
   1단계: 이미지의 어두운 채널을 계산했습니다.
   어두운 채널 이미지는 입니다.
   2단계: 대부분의 연무 불투명 픽셀 찾기
   어두운 채널을 1D 배열로 평면화했습니다.
   픽셀 값을 내림차순으로 정렬했습니다.
   상위 0.1%의 가장 밝은 픽셀(즉, 높은 헤이즈 농도→ 어두운 채널에서 가장 높은 값)을 선택했습니다.
   3단계: 입력 이미지에서 후보 픽셀 선택
   선택한 상위 0.1% 픽셀(어두운 채널에서) 중에서 흐릿한 원본 이미지 I^hazy에서 해당 픽셀을 식별합니다.
   선택한 각 픽셀에 대해 강도가 계산되었습니다(예: RGB 값의 합계 또는 규범).
   4단계: 대기광 L_atm 설정
   위에서 선택한 가장 밝은 픽셀의 RGB 값은 추정 대기 조명으로 간주되었습니다.
   위의 절차는 대기광 L_atm을 체계적으로 추정합니다.
   위의 절차는 이미지에서 가장 연무의 영향을 받는 영역을 식별하기 전에 어두운 채널을 활용하여 대기광 L_atm 을 체계적으로 추정합니다. 밝고 선명한 영역을 제외하고 가장 어두운 상위 0.1% 영역(짙은 연무를 나타냄)에 초점을 맞춤으로써 이 방법은 단일 이미지 디헤이징 알고리즘에서 효과적인 연무 제거를 위한 중요한 매개변수인 글로벌 대기광의 강력하고 정확한 추정을 보장합니다.
   1. 흐릿한 이미지 복구
      마지막으로, 대기광 L_atm과 정제된 투과도를 찾은 후 Van et ^al.14, (9)의 공식화를 사용하여 연무가 없는 이미지 J^clear(x)를 얻습니다.
      9
      여기서 γ는 변속기의 하한입니다(0.05로 설정).
      그림 1에서 볼 수 있듯이 제안된 전송 맵 미세 조정 방법은 사진의 복잡한 특성을 효과적으로 보존하고 연무 없는 사진 복구를 가능하게 합니다.
4. 흐릿한 비디오 복구
   이 작업에서 제시된 비디오 디헤이징 접근 방식은 깜박이는 아티팩트를 방지하기 위해 시간적 일관성 고려 사항을 통합하여 단일 이미지 디헤이징 알고리즘을 기반으로 합니다. 저자는 비디오의 각 프레임에 단일 이미지 디헤이징을 독립적으로 적용하면 프레임 간의 시간적 일관성이 깨져 시각적 불일치가 발생한다는 것을 인식합니다. 이 문제를 해결하기 위해 연속적인 초기 프레임 간의 시간적 일관성을 정량화하는 새로운 비디오 헤이징 제거 알고리즘이 개발되었습니다. 이 정보는 다가오는 프레임에 대한 투과 맵과 대기광 값을 적응적으로 추정하는 데 사용됩니다.
   1. 깜박이는 아티팩트
      동일한 이미지 영역은 물체 및/또는 카메라의 움직임으로 인해 비디오의 연속 프레임에서 서로 다른 픽셀 좌표로 캡처될 수 있습니다. 깜박이는 아티팩트는 이러한 움직임의 결과로 나타나며, 이는 동일한 지점에서 투과 값을 변경합니다. 광학 흐름 추정(¹⁹)과 같은 동작 추정 기술은 움직일 수 있는 물체의 위치를 추적하고 이러한 문제를 해결하는 데 사용될 수 있다. 그러나 모션 추정 방법에는 높은 수준의 계산 복잡성이 필요한 경우가 많습니다. 따라서 프레임 사이의 모션을 명시적으로 계산하는 대신 GCF라는 간단한 확률 모델이 사용되었습니다. 두 개의 연속 프레임 사이의 차동 이미지는 이 모델의 기초 역할을 합니다.
   2. 기울기 기반 상관 계수
      GCF(Gradient-Based Correlation Factor)는 픽셀의 그라디언트를 기반으로 두 개의 연속 비디오 프레임 간의 유사성을 측정합니다. 이미지/프레임 I₁ 및 I₂는 높은 상관 값(I₁, I₂)≈ 1로 표시됨에 따라 매우 유사하며, 이는 픽셀(x, y)이 두 프레임에서 중복된 개체 또는 장면 콘텐츠를 나타낸다는 것을 의미합니다. 낮은 상관 값(I₁, I₂)≈ 0은 이미지와 프레임이 동일하지 않음을 나타내며, 이는 움직임이나 폐색으로 인해 발생할 가능성이 큽니다. 흐릿한 이미지는 대비와 선명도가 낮기 때문에 이미지의 픽셀 값을 사용하여 두 프레임 간의 상관 관계를 관찰할 수 없습니다.
      흐릿한 이미지는 빛의 산란과 흡수로 인해 대부분 희끄무레하게 나타나는 경우가 많으며, 이로 인해 픽셀 강도가 전반적으로 증가하고 대비가 감소합니다. 결과적으로 두 개의 연속된 흐릿한 프레임에 걸쳐 있는 대부분의 픽셀이 유사해지며, 안개가 실제 장면 세부 사항을 가리기 때문에 직접적인 픽셀 기반 상관 관계가 효과적이지 않습니다. 이러한 맥락에서 GCF 는 더욱 중요해집니다. 연무의 영향을 많이 받는 픽셀별 상관 관계와 달리 GCF는 그라데이션, 강도 변화 및 인접 픽셀 간의 색상 전환에 중점을 둡니다. 이러한 그라디언트는 이미지의 전체 밝기의 영향을 덜 받으며 가장자리 및 윤곽과 같은 구조 정보를 더 잘 캡처합니다. 따라서 GCF는 표 1과 같이 두 프레임 간의 픽셀 기반 상관 계수(CF)에 비해 흐릿한 조건에서 프레임 간의 유사성을 더 안정적으로 측정할 수 있습니다.
      연속 영상 프레임 I^K와 I^K-1간의 상관관계 는 다음과 같다.
      10
      여기서 프레임의 픽셀 수는 N이고 σ = 10입니다. 는 비디오 프레임 I^K 및 I^K-1에 해당하는 그라디언트 이미지입니다. GCF를 계산하는 간단한 단계는 다음과 같습니다.
      입력: 프레임 I^K 및 ^IK-1.
      각 프레임과 이전 프레임 사이의 기울기를 계산한 다음 (10)을 적용하여 CGF를 계산했으며, 이는 이후 현재 프레임을 계산하는 데 필요한 투과 맵 및 대기광을 결정하는 데 사용되었거나, 초기 프레임과 다음 각 다음 프레임에 대해 반복되는 단계를 계산하는 데 사용될 수 있습니다. GCF는 두 개의 연속 프레임 간의 상관 관계를 계산합니다. 상관 관계가 높으면 두 개의 연속 프레임이 거의 동일하다는 것을 나타냅니다. 그렇지 않으면 상관 관계가 낮음을 나타냅니다.
   3. 대기광 및 투과율 지도 추정을 위한 GCF 기반 결정
      GCF는 대기광을 처리하는 방법을 결정하고 헤이징 제거 공정에서 투과 지도를 추정하는 데 중요한 역할을 합니다. GCF는 그라디언트를 기반으로 연속된 비디오 프레임 간의 유사성을 측정하며, 이는 움직임이나 오클루전과 같은 요소를 고려하여 프레임 간에 장면이 얼마나 변경되었는지 평가하는 데 도움이 됩니다.
      GCF 값이 높으면, 특히 0.85보다 크면 현재 프레임이 이전 프레임과 매우 유사하다는 것을 나타냅니다. 이러한 경우 장면이 크게 변경되지 않았으므로 이전 프레임의 전송 맵은 여전히 유효한 것으로 간주됩니다. 이전 프레임의 전송 맵을 사용하면 프레임 간에 일관성을 유지하고 불필요한 재계산을 방지하여 계산 효율성을 향상시킬 수 있습니다.
      그러나 GCF 값이 0.5 미만으로 떨어지면 장면의 움직임이나 기타 동적 변화로 인해 프레임 간에 상당한 차이가 있음을 나타냅니다. 이러한 경우 이전 프레임의 전송 맵에 의존하면 부정확한 결과가 발생할 수 있습니다. 따라서 대기광 L_atm은 새로운 장면 조건에 적응하기 위해 다시 계산되어야 합니다. 또한 현재 프레임의 콘텐츠를 더 잘 나타내기 위해 새 전송 맵이 계산됩니다. 이러한 재보정을 통해 헤이징 제거 프로세스가 장면의 업데이트된 특성을 설명하여 선명도와 대비를 정확하게 복원할 수 있습니다.
      GCF가 안내하는 이러한 의사 결정 프로세스를 통해 헤이징 제거 알고리즘은 프레임 유사성의 변화에 동적으로 조정되어 보다 정확하고 안정적인 이미지 복원이 가능합니다. 관찰된 상관 관계를 기반으로 전송 맵과 대기광을 조정함으로써 프로토콜은 동적 장면과 변동하는 연무 조건을 효과적으로 처리하여 연무 제거 이미지의 품질을 향상시킵니다.

5. 단일 이미지 및 비디오 디헤이징 접근 방식에 대한 단계별 요약

알고리즘의 초기 프레임워크를 제공하는 그림 2를 참조하여 단일 이미지 및 비디오 헤이징 제거 접근 방식에 대한 단계별 요약이 제공됩니다. (1) 처리를 위해 입력된 흐릿한 이미지를 시스템에 로드했습니다. (2) 이미지를 그레이스케일로 변환하고 { , ..., }로 2배씩 반복적으로 다운샘플링했습니다. max (W, H) <= 320, 여기서 W와 H는 가장 거친 수준 L에서 너비와 높이를 나타내도록 가장 거친 이미지를 선택합니다. (3) 거친 이미지를 m × m 블록으로 나눕니다. 여기서 m은 (5)로 선택됩니다. (4) 각 블록의 최소 강도를 계산하여 차원이 있는 다운샘플링된 이미지를 얻었습니다. (5) 가장 거친 수준의 어두운 채널 이미지는 3 × 3 최소 필터를 적용하여 얻습니다. (6) 이 작업에서 w는 0.95로 선택된 공식을 사용하여 초기 전송 맵을 추정했습니다. (7) GWGIF(.)를 사용하여 전송 맵을 구체화하여 다음을 얻었습니다. (8) 흐릿한 이미지의 어두운 채널()에서 가장 밝은 상위 0.1% 픽셀 위치에 해당하는 RGB 값을 평균화하여 추정된 대기광 L_atm; (9) 빛 산란 모델을 사용하여 흐릿 제거 이미지 J^clear(x)를 복구했습니다. 

; (10) 비디오의 경우 일정한 간격으로 프레임을 추출합니다. (11) 프레임 유사성을 측정하기 위해 두 개의 연속 프레임 사이의 GCF(Gradient-Based Correlation Factor)를 계산했습니다. (12) 0.5< 경우 현재 프레임에 대한 새 전송 맵을 계산합니다. GCF≥0.85인 경우 이전 프레임의 전송 맵을 재사용했습니다. (13) 각 프레임을 다듬고 이미지와 동일한 단계를 사용하여 흐릿이 제거된 프레임을 복구합니다. (14) NIQE¹¹, PIQE¹², BRISQE¹³, FADE⁸ 및 MSE¹⁴와 같은 지표를 사용하여 출력 품질을 평가했습니다.

Results

정성적 및 정량적 결과는 방법이나 실험을 평가할 때 보완적인 통찰력을 제공합니다. 정성적 결과는 주관적인 평가에 중점을 두며, 종종 시각적 비교, 지각 평가 또는 전문가 의견을 사용하여 접근 방식의 효과를 분석합니다. 이는 실제 시나리오의 개선 사항을 설명하는 데 도움이 되지만 인간의 인식에 영향을 받을 수 있습니다. 대조적으로, 정량적 결과는 통계적 엄격함으로 효과를 측정하기 위해 NIQE¹¹, PIQE¹², BRISQE¹³, FADE⁸ 및 MSE¹⁴와 같은 정확도와 같은 객관적인 수치 지표에 의존합니다. 강력한 평가는 일반적으로 두 가지를 결합하여 방법이 수치적으로 잘 수행될 뿐만 아니라 실제 적용에서 의미 있는 개선을 제공하는지 확인합니다.

단일 이...

Discussion

향상된 시간적 일관성 접근 방식을 사용하여 이미지 및 비디오 디헤이징을 위해 제안된 효율적인 다중 스케일 그라디언트 도메인 필터링은 이미지 피라미드 구조를 사용하여 대기광 및 투과 맵을 효율적으로 추정하여 물리적 모델 기반 디헤이징 알고리즘의 계산 병목 현상을 해결합니다. 핵심 혁신은 중요한 이미지 세부 정보를 보존하기 위해 업샘플링 중에 GWGIF 필터링에 따라 가장 거친 피라미드 수준에서 MPS 전송 맵 추정을 수행하는 것입니다. 비디오의 경우 이 메서드는 인접한 프레임 간의 전송 값의 일관성을 유지하여 깜박임 아티팩트를 줄이기 위해 GCF 고려 사항을 통합합니다. 제안된 작업을 구현하기 위한 필수 단계는 아래에 자세히 설명되어 있습니다.

이 단계는 연무 제거의 정확성, 구조적 세부 사항 보존, 비디오의 시간적 일관성 유지에 직접적인 영향을 미치기 때문에 매우 중요합니다. MPS(Minimum Preserving S...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
데이터 세트	워털루 대학교 비전 및 이미지 처리 연구실	5http : //ivc.uwaterloo.ca/database/Dehaze/	이미지 및 비디오 디헤이징 알고리즘의 평가
그라디언트 기반 가중 유도 필터(Matlab 구현)	왕  외.	16 https://arxiv.org/pdf/2211.16796	효율적인 전송 맵 개선
MATLAB(이미지 처리 도구 상자 포함)	버전: MATLAB Online (24.2.0.2871072 (R2024b) 업데이트 5)	https://www.mathworks.com/products/matlab.html	제안된 기본 알고리즘의 구현
프로세서	인텔 i3-6006U CPU(2.00GHz)	https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.html	알고리즘 실행
기준 메서드의 소스 코드	김 et  al.3, 반 et  al.14, Yang et al.20,   Ren et al.21,  첸 et  al.23, Li B et al.26	3https://github.com/metinsuloglu/Haze-Removal	학습 기반 디헤이징 방법의 평가
		14https://github.com/viengiaan/MGF 헤이징 제거
		20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
		21https://github.com/rwenqi/GFN-dehazing
		23https://cchen156.github.io/code/robustdehaze.zip
		26https://github.com/Boyiliee/EVD-Net
		4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html