위성 이미지 변화 감지를 위한 희소 특징 컨볼루션 네트워크와 함께한 인터랙티브 멀티스케일 주의 융합

Summary

본 연구는 위성 이미지 변화 감지를 향상시키기 위해 희소 특징 컨볼루션 네트워크와 결합된 인터랙티브 멀티스케일 주의 융합 모델을 제시합니다. 이 접근법은 다중 스케일 특징 추출, 주의에 대한 선택적 집중, 희소 합성곱을 활용하여 계산 복잡도를 줄여 양시간 위성 이미지의 변화를 효과적으로 감지하고 위치화합니다.

Abstract

이중 시간 위성 영상을 이용한 변화 탐지는 지구 모니터링에서 중요한 문제로, 시간적 획득 간의 표면 변화를 식별하고 국소화하는 것과 계절 주기, 대기 요인, 인위적 변화로 인한 실제 가짜 변화를 구별하는 데 목적이 있습니다. 현재의 딥러닝 기법은 일반적으로 시간적 모델링에서 일방향 편향에 직면해 있어, 대규모 공간 관계의 활용성이 제한되어 변화 패턴을 적절히 특성화하는 데 한계가 있습니다. 최근 트랜스포머 기반 기법들은 매우 정확하지만, 계산 요구량이 매우 커 자원이 제한된 작업에서의 사용이 제한적입니다. 이러한 한계에 대응하여, 본 논문에서는 고스트 모듈을 기반으로 한 희소 피처 컨볼루션(SFC)을 적용한 인터랙티브 멀티스케일 주의 융합(IMAF) 네트워크를 제안하여 효과적인 멀티스케일 피처 추출을 달성할 수 있습니다. 이 네트워크는 다양한 규모의 인터랙티브 주의 모듈을 보완한 고급 인코더-디코더 아키텍처를 활용합니다. 이 네트워크는 상호 보완적인 전방 및 후방 주의 흐름을 사용합니다. 전자는 점진적인 시간 변동을, 후자는 역시간 분석을 통해 변화의 일관성을 검증합니다. 이 상호작용 방법은 계산적으로 부담 없이 시간 관계의 듀플렉스 모델을 효과적으로 표현할 수 있게 해주어, 합법적인 토지 피복 이동과 잡음에 의한 변동이 없는 잡음을 구분하는 데 훨씬 더 나은 접근법을 제공합니다. 두 가지 벤치마크 데이터셋을 실험 대상으로 합니다: Onera 위성 변화 감지 데이터셋(OSCD)과 SZTAKI AirChange 데이터셋입니다. OSCD 데이터셋에서 수행된 중요한 실험들은 제안된 접근법이 단 213만 개의 매개변수와 19.6G FLOPS, 19배 수의 파라미터, 5.6배의 추론 회전률로 ChangeFormer에 비해 58.14%(13채널)와 50.68%(3채널)의 경쟁력 있는 F1 비율을 달성함을 보여주었습니다. SZTAKI 데이터셋의 Szada/1 및 Tiszadob/3 테스트 세트 샘플에서 각각 74.29%와 92.86%의 F1 점수에서 경쟁력을 발휘하여, 운영 에너지가 계산 에너지에 직접 의존하는 가장 엣지 장치, 실시간 분석, 광범위한 매핑 시스템에 구현할 수 있게 합니다.

Introduction

전 세계 환경의 전례 없는 도시화, 환경 자원 손실, 기후로 인한 경관 변화는 지구 표면의 변화를 식별하고 측정할 수 있는 정확하고 시기적절하며 자동화된 모니터링 시스템의 필요성을 직접적으로 촉발시켰습니다. 위성 원격 탐사는 일관된 시간적·공간적 보장을 제공할 뿐만 아니라 변화를 완전히 조사하는 데 필수적이기 때문에 대규모 환경 감시의 기본 구성 요소로 성장했습니다. 이중 시간 위성 이미지 변화 감지는 동일한 지리적 지역에 대한 두 차례의 연속 획득 간 표면 변화를 특성화하는 것입니다. 하지만 계절 변화, 기상 조건, 센서 특성, 기하학적 왜곡, 그리고 토지 피복의 실제 모습과 가려지거나 닮을 수 있는 현상학적 변화 등 수많은 혼란 변수들 때문에 복잡한 과정입니다. 현재 사용 중인 위성 이미지의 수동 이미지 해석은 시간이 많이 걸리고 주관적이며, 현재 위성 별자리에서 생성되는 지구 관측 정보의 양을 감당하기에 적합하지 않습니다. 이것이 자동 변경 감지 솔루션이 만들어진 근본적인 한계입니다. 기존의 픽셀^{기반 1} 및 객체 기반 변화 감지² 방법은 이러한 복잡성 한계 내에서 작동하기에 적합하지 않으며, 광범위한 지리적 단위와 시간적 규모에 적용하기에는 견고성 기준이 낮습니다. 딥러닝 아키텍처, 특히 합성곱 신경망과 그 변형들은 변화를 구별하는 데 관련된 저수준 스펙트럼 세부사항과 고수준 의미 패턴을 나타내는 계층적 특징을 추출할 수 있게 합니다. 딥러닝 변화 탐지 모델은 원격 탐사 데이터에서 잠재적 시공간 변화를 포착하고, 외부 요인에 의해 발생하는 실제 토지 피복과 의사 변화를 식별하는 데 매우 유망한 것으로 입증되었습니다. 이러한 종단 간 학습 접근법은 특징을 추출하고 분류를 동시에 최적으로 수행할 수 있다는 점을 활용합니다. 변경 탐지 정확도가 크게 향상되었음에도 불구하고, 대부분의 기존 접근법은 실제 운영 환경에서 적용하기 여전히 어렵습니다. 트랜스포머 기반 접근법³은 전 세계적으로 효율적이지만, 매개변수 수가 많고 계산 복잡도가 2차 증가하며, 추론 지연 시간, 높은 에너지 소비를 가지고 있습니다. 반면 시암 CNN 기반 아키텍처는 효율성이 우수하지만 수용 필드가 작고 전역 맥락 모델링이 대부분 부족해 성능이 크게 저하됩니다. 이러한 제약은 확장성과 운영 비용이 중요한 대규모 자원 제약 환경에서 더욱 심각해집니다. 확장성, 에너지 효율성, 그리고 추론 속도는 비상 대응 환경에서 자주 중요하며, 성능과 배포 가능성의 균형을 맞춘 솔루션을 만들어야 합니다. 따라서 정확도에 집중하는 계산 집약적인 모델과 실제 배포의 실질적 요구사항 사이에는 간극이 존재합니다.

이러한 문제를 극복하기 위해, 정확도 최적화만이 아닌 효율적이고 배포 가능한 변경 감지 프레임워크 설계에 중점을 둔 희소 피처 컨볼루션(SFC) 네트워크와 함께하는 인터랙티브 멀티스케일 주의 융합(IMAF)이 제안됩니다. 제안된 솔루션은 일반적으로 Landsat, Sentinel-2, 또는 WorldView와 같은 위성에서 획득하는 RGB 또는 고해상도 다중분광 이미지(0.5-30m 해상도)를 중심으로 광학 위성 이미지 쌍을 사용합니다. 이 기법은 이중 시간대 쌍의 정밀한 기하학적 공동 등록을 전제로 하는데, 등록 오류가 검출에 상당한 영향을 미칠 수 있기 때문입니다. 이 기술은 이진 변화 감지(다중 클래스 의미 변화와 구분)를 다루며, 다양한 변화 유형을 구분할 수 없습니다. 더 나아가, 이 방법은 방사성 보정 영상을 사용하여 계절, 대기, 조명 변화의 영향을 줄여 토지 피복 변화로 오인받을 수 있습니다. 전통적인 시암 CNNs⁴가 단순한 연결 방식을 통해 양시간 이미지를 분리하는 것과 달리, 제안된 IMAF 모듈은 전역 및 국소 특징의 다중 규모 맥락 융합을 허용합니다. BIT⁵와 ChangeFormer³과 같은 최근 트랜스포머 기반 접근법은 매우 좋은 결과를 얻고 있지만, 자기 주의 메커니즘은 O(N²) 복잡도를 가지고 있습니다. 제안된 프레임워크는 양방향 주의를 통해 미묘한 변화를 포착하여 계산 복잡도와 추론 지연을 줄입니다. 게다가 제안된 설계는 희소성(sparsity) 인식을 갖추고 있어 UNet++^{6, 7}, SNUNet⁸과 같은 조밀 다중 규모 핵융합 설계보다 우수합니다. 고스트 모듈을 이용한 희소 특징 합성은 FLOP을 약 50% 줄여 표현 품질을 유지합니다. 따라서 제안된 프레임워크는 자원이 제한된 환경에서 신뢰성 있게 배포하기 위해 정확성과 효율성의 균형을 선호합니다.

이 연구의 주요 기여는 다음과 같습니다: (i) 변압기 기반 검출기보다 19배 적은 매개변수로 경쟁력 있는 F1 점수를 달성하는 경량 변화 검출기. (ii) 전통적인 자기 주의 메커니즘의 2차 계산 비용 없이 전역 맥락 정보를 얻는 인터랙티브 멀티스케일 주의 융합 모듈. (iii) 고스트 모듈을 기반으로 한 특징 희소도를 가진 합성곱 스킴으로, 부동소수점 연산을 49.4% 최소화하면서 특징 표현의 품질 저하가 없습니다. (iv) 광범위한 벤치마크 데이터셋에 대한 광범위한 실험적 검증, 효율성과 정확성의 균형 개선, 실제 적용의 합리적 실용성을 지닌 것.

이 원고의 나머지 부분은 다음과 같은 섹션으로 구성되어 있습니다: 2장은 이진 변화 탐지 방법론 분야의 최근 연구를 광범위하게 개관하며, 특히 딥러닝 솔루션과 표준 벤치마크에서의 구현에 중점을 둡니다. 3절에서는 제안된 해법의 이론적 배경과 구조 설계, 시간 융합 메커니즘과 주의 요소의 수학적 표현, 실험 설정의 특성, 데이터셋, 평가 지표, 그리고 재현 가능한 연구를 생산하는 데 필요한 구현 세부사항을 제공합니다. 4장에서는 OSCD 및 SZTAKI 항공 교환 데이터셋의 다양한 지리적 지역에서 용량을 설명하는 최신 이진 변화 탐지 알고리즘과의 비교를 포함한 상세한 실험 결과를 보여줍니다. 섹션 5는 연구 결과, 현재 접근법의 한계, 변화 탐지에 관한 향후 연구 가능성을 규정합니다.

원격 탐사 변화 탐지 알고리즘의 개발은 픽셀 기반 방법에서 딥러닝 프레임워크로 크게 변화했습니다. 초기 변경 탐지 절차는 주로 이미지 차별, 이미지 배급, 변화 벡터 분석과 같은 대수적 과정에 기반했으며, 이들은 픽셀 값에 직접 작용하여 시간적 변화를 감지했습니다 ^9,10. 분류 후 비교를 포함하는 대체 방법이 개발되었는데, 각 시간적 이미지를 독립적으로 분류한 후 교차 집표¹¹과 비교하였다. 객체 기반 변화 감지 기법은 공간적 맥락의 도입과 픽셀 수준의 노이즈 완화와 함께 중요한 진전의 단계였다 ^2,12.

딥러닝 기법의 등장은 원격 탐사 변화 감지 분야에 혁신을 가져왔으며, 전통 기법에서 여러 제약을 극복할 수 있는 길을 열었습니다. 최근에는 합성곱 신경망(CNN)이 자동 특징 추출 및 분류 변경 아키텍처가 되었습니다^13,14. Siamese NestedUNet for Change Detection¹⁴와 Siamese Swin-Unet¹⁵는 네트워크 계층 전반에 걸쳐 위치 정보를 효과적으로 유지할 수 있도록 밀집된 시암 네트워크 토폴로지로 인해 중요한 혁신으로 등장했습니다.

고해상도 광학 원격 탐사에서 양시기 변화 감지 문제는 다양한 교란 요인으로 인해 여전히 해결하기 어렵으며, 정교한 특징 융합 전략을 가진 주의 기반 다중 규모 변압기 네트워크가 제안되었습니다¹⁶. EGMT-CD 프레임워크는 구름 덮개로 인해 상동 이미지에 접근할 수 없는 이종 이미지 쌍의 엣지 가이드 다중모달 변환체를 제안했다¹⁷. DASUNet과 같은 아키텍처는 전체 기능 융합에서 수동 딥러닝 병목 현상을 돌파하며, 개선된 그라디언^{트 플로우}를 사용해 CDD 데이터셋에서 SNUNet-24에 비해 0.85% 더 높은 F1 지수 향상을 보였습니다. 하이브리드 CNN-트랜스포머 모델은 주파수 구성 요소에 추가 비용을 제공하여 거짓 음성 문제를 더 높은 비용으로 처리^합니다. 그러나 하이브리드 U자형 변압기 네트워크인²⁰은 여전히 소규모라도 주기적으로 발생하는 지역에서 지역-전역 특징 통합과 변화를 제공하는 데 어려움을 겪고 있습니다. 다중 작업 의미 변화 감지와 정확한 위치 및 클래스 식별의 사용은 이진 작업에 비해 더 복잡하다^21,22. 이중 시간적 상관관계는 큰 구조적 변화 없이 교차 주의를 통해 성공적으로 모델링할 수 있다^14,23. 관점-언어 패러다임 표현도 최근 최전선으로, 텍스트 설명을 변화 대응에 결합한 CLIP 기반 설계와 반감독 패턴을 결합하여 라벨 데이터에 대한 의존을 없애는²⁵. Change Mamba는 시공간 모델의 상태 공간 모델을 제시합니다^26,27. 특수 주의 기법의 다양한 응용이 시연되었는데, 하이퍼스펙트럼 이상 탐지²⁸, 다중 영역 표적 분류²⁹, 제한 라벨 분할³⁰ 사용 등이 있으며, 원격 탐사 분석에서 주의 메커니즘의 유연성을 입증합니다.

저자들	방법/아키텍처	기술 사양	주요 혁신 및 발견 / 데이터셋 성능
싱, A. [8]	전통적인 방법	픽셀 기반 차분, CVA	디지털 변화 탐지 프레임워크, 다중 데이터셋, 정확도: 65-80%
마스, J.F. [10]	분류 이후	독립적인 시간 분류	비교 방법론 분석, 열대 영상, OA: 72-85%
루 외 [9]	전통적인 방법	대수 연산, CVA, PCA	포괄적인 기법 비교, 여러 출처, 정확도: 70-88%
베네덱 & 시라니 [23]	혼합 마르코프 모델	다층 조건부 프레임워크	확률적 변화 모델링, Sztaki AirChange, DA: 92.1%
블라슈케, T. [2]	객체 기반	세분화 기반 분석	공간적 맥락 통합, 다양한 HR 이미지, SA: 85-92%
Chen 외 [11]	객체 기반	다중 규모 세분화	계층적 객체 분석, HR 이미지, OA: 87.3%
잔 외 [12]	시암 CNN	5층 CNN, 커널 크기 3×3	CD, 항공 이미지를 위한 딥 시암 건축, F1: 0.847, IoU: 0.735
Daudt 등 [4]	시암 FCN	FC-EF, FC-Siam-diff, FC-Siam-conc	초기/후기 융합 전략, OSCD, F1: 0.431, IoU: 0.276
Peng 외 [26]	UNet++	중첩된 U-Net, 밀집 스킵 연결	다중 스케일 특징 집계, HR 위성, F1: 0.753, IoU: 0.604
첸 & 시 [25]	시공간적 주의	주의 차단, 시간 모델링	시공간 특징 학습, LEVIR-CD, F1: 0.887, IoU: 0.797
팡 외 [7]	SNUNet-CD	Siamese NestedUNet, 밀집된 연결	정보 전송 최적화, LEVIR: F1: 0.897, WHU: F1: 0.904
Chen 외 [5]	비트-CD	ResNet18 + Transformer 인코더	이진 시간 특징 학습, OSCD: F1: 0.635, LEVIR: F1: 0.919
반다라 & 파텔 [3]	체인지포머	계층적 트랜스포머 인코더	다중 스케일 변압기 주의, OSCD: F1: 0.654, LEVIR: F1: 0.905
송 외 [27]	아카넷	축방향 주의 + CNN 백본	효율적인 주의력 계산, LEVIR: F1: 0.901, WHU: F1: 0.913
시 외 [28]	리뷰 논문	종합 AI 방법 조사	AI 접근법의 체계적 분석, 50+ 데이터셋 분석
리 외 [14]	AMST-넷	멀티스케일 트랜스포머, 피라미드 주의	적응형 다중 스케일 특징 추출, HR 광학 이미지, mIoU: 0.823
Xiang 외 [15]	EGMT-CD	엣지 가이드 멀티모달 아키텍처	교차 모달 특징 정렬, 이질쌍, F1: 0.756
Miao 외 [16]	다수넷	밀집된 감독, 전면 핵융합	모든 디코더 수준에서의 심층 감독, CDD: SNUNet에 비해 F1 개선 0.85%
탕 외 [29]	시암 스윈-유넷	스윈 트랜스포머 + 유넷 융합	계층적 윈도우 주의, LEVIR: F1: 0.923, WHU: F1: 0.925
Wu 외 [18]	하이브리드 U-트랜스포머	UNet++ 백본 + 트랜스포머 블록	전역-로컬 특징 통합, HR 이미지, IoU: 0.851, F1: 0.919
동 외 [20]	체인지클립	CLIP 기반 시각 언어	다중 모달 의미 이해, RS 쌍, 의미 정확도: 94.1%
리 외 [21]	세미CD-VL	반감독 시각 언어	주석 요건 감소, 제한 라벨, F1: 0.889
Chen 외 [22]	체인지 맘바	상태 공간 모델(SSM)	선형 복잡도 시간 모델링, RS 이미지, 효율성: 3배 빠름

표 1: 원격 탐사에서 변화 탐지 방법 요약 이 표를 다운로드하려면 여기를 클릭하세요.

이전 연구들의 요약은 표 1에 제시되어 있습니다. 전통적인 방법들은 복잡한 시공간 변이에 적합하지 않은 수작업 기능을 가지고 있으며(³¹), 딥러닝 아키텍처(UNet, FPN, PSPNet)는 계산 비용이 많이 드는 조밀한 컨볼루션을 포함합니다. 현재 모델들은 효율적인 다중 규모 통합 및 동적 주의 시스템을 갖추고 있지 않습니다. 이러한 공백을 메우기 위해 본 연구는 희소 특징 컨볼루션 네트워크를 이용한 인터랙티브 다중 스케일 주의 융합(Interactive Multi-scale Attention Fusion)을 제안하고 있는데, 이는 스케일 간 미묘한 변화를 포착하면서도 특히 도시 및 인위적 구조 변화에 대한 원격 탐사 시 계산 효율성을 높이는 것을 목표로 합니다.

Protocol

1. 윤리 진술

1. 이 연구에 사용된 Onera 위성 변화 탐지(OSCD)와 SZTAKI AirChange 데이터셋 모두 다양한 지리적 특성을 포괄하는 공개 RGB 및 다중분광 이미지로 구성되어 있습니다. 이 데이터셋에는 제한적이거나 민감한 데이터가 포함되어 있지 않습니다. 따라서 이 작업에는 윤리적 동의가 필요하지 않습니다.

2. 자재 및 장비

1. Intel Core i7 10870H 프로세서, NVIDIA GeForce GTX 1650 Ti 칩, 4GB VRAM, 32GB RAM이 탑재된 Windows 11 컴퓨터에서 테스트를 수행하세요.
   참고: 프로그래밍 환경은 Python 3.8이며, 딥러닝을 구현하기 위해 PyTorch 프레임워크(버전 1.12.1)와 Torchvision(버전 0.13.1)에 의존합니다.
2. scikit-learn(버전 1.0.2, 머신러닝 유틸리티)과 NumPy(버전 1.21.0, 수치 연산을 포함)와 같은 라이브러리를 다운로드 및 설치할 수 있습니다.
3. 그래픽 카드 가속을 활용할 수 있도록 NVIDIA Corporation에서 제공하는 CUDA Toolkit 버전 11.3과 cuDNN 버전 8.2를 꼭 설치하세요.
4. 공개된 OSCD 및 SZTAKI Airchange 데이터셋을 사용하여 성능을 훈련하고 평가합니다.

3. 데이터셋 준비

1. OSCD⁴를 선택하는데, 이는 600 x 600 픽셀, 해상도 10m의 광학 RGB 항공 항공 이미지와 10 m 해상도의 광학 항공 이미지 쌍으로 구성된 SZTAKI AirChange³² 데이터셋과 13개의 광학 항공 이미지 쌍으로 구성되어 있으며, 각 쌍은 952 x 640 픽셀, 해상도는 1.5 m/픽셀입니다.
2. OSCD 데이터셋의 24개 도시를 고정되고 미리 정의된 14개 도시(교육용)와 10개 도시(테스트용)로 나누어 나누세요.
3. SZTAKI AirChange 데이터셋에서 고정된 비무작위 Szada/1 및 Tiszadob/3 이미지 쌍을 테스트 세트에 할당하고, 나머지 이미지 쌍을 훈련 세트로 지정하여 일반적인 벤치마크로 사용합니다.
4. 테스트 세트에서 변경 감지를 수행하고, 각 데이터셋의 주석이 달린 이미지 쌍을 사용하여 단일 실행에서 성능을 정량화합니다.

4. 전처리

1. 패치 기반 전처리를 적용하세요.
   1. 동일한 위치에서 시간별 이미지별로 독립적으로 이미지 패치를 추출하여 고해상도 위성 이미지를 효율적으로 관리할 수 있습니다.
   2. 각 이미지를 128× 128픽셀의 겹치는 패치로 나누어 64픽셀의 보폭을 사용하세요.
   3. 경계 일관성을 유지하고 가장자리 정보를 유지하기 위해 인접한 패치 간 겹치는 영역을 정렬하세요.
2. 클래스별로 데이터 증강을 수행하세요.
   1. 학습 중 두 패치 모두에 변화 픽셀의 비율을 바탕으로 차등 증강을 적용하여 '변화'와 '무변화' 영역 간의 클래스 불균형을 처리합니다.
   2. 다음 변환을 사용하여 6번 보조 패치 쌍(1% 픽셀 변경> 경우): 수평 및 수직 뒤집기, 90° 회전, 색상 지터(밝기, 대비, 채도 ± 30%), 아핀 변환(15° 회전, 10픽셀 ±평행이동, 95-105% 스케일링±).
   3. 데이터 세트 불균형을 방지하기 위해 변경 없는 패치 쌍은 한 번만 보완하세요.
      참고: 이 증강 전략은 클래스 기반으로, 변화 영역과 무변화 영역에서 균형 잡힌 훈련을 제공합니다.
3. 이미지 품질을 정상화하고 향상시키세요.
   1. ImageNet의 평균 및 표준편차를 사용하여 모든 패치를 정규화합니다: 평균 = (0.485, 0.456, 0.406), Std = (0.229, 0.224, 0.225).
      1. LAB 컬러 공간(L 채널 전용)에서 Contrast Limited Adaptive Histogram Equalization(CLAHE)을 사용해 LAB 컬러 공간(L 채널 전용)에서 낮은 대비 영역의 명암을 밝게 하여 이미지에서 특징을 구분할 수 있도록 하고, 강도는 [0,255]로 정규화됩니다.
      2. 128 x 128 픽셀보다 작은 패치는 지우고, 작은 패치는 큰 패치와 같은 크기로 패딩하여 모델 훈련 중 공간적 무결성을 유지하세요.

5. 모델 제작

1. 입력과 출력을 정의하세요.
   1. 제안된 프레임워크는 서로 다른 시간적 시점에서 획득한 공동 등록된 위성 이미지 I₁, I₂ ∈ R^H×W×C 두 장을 입력으로 받아, 변화 영역과 변하지 않은 영역을 정확히 구분하는 이진 변화 지도 M ∈ R^H×W×2 를 생성합니다.
2. 제안된 프레임워크
   1. 제안된 프레임워크를 3단계 처리 파이프라인으로 처리합니다. 첫 번째 단계에서는 입력 시퀀스에 대해 시간에 따른 변화를 포착하기 위해 시간적 주의 모델링을 수행합니다.
   2. 시간적 주의 모델링 단계에서 양시간 특징 간의 대칭적 시간 의존성을 포착하기 위해 인터랙티브 교차 주의를 활용하세요.
   3. 두 번째 단계에서는 희소 특징 기반 인코더 아키텍처를 사용하여 시간 모델링된 이미지에서 관련 특징의 계층적 표현을 추출하며, 공간 해상도는 점차 감소하고 특징 차원은 증가합니다.
   4. 스킵 연결 디코더를 사용해 적응형 업샘플링을 사용하여 재구성 단계에서 고해상도 변화 맵을 생성하면서도 낮은 공간 세부사항은 유지합니다.
      참고: 그림 1 은 입력된 양시간 위성 이미지에서 공유 인코더, 중간 교차 주의 처리 블록, 디코더로의 전체 데이터 흐름을 보여주며, 이 모든 것이 변화 감지 맵을 생성합니다.
3. 희소 특징 인코더
   1. 비율=2의 고스트 컨볼루션 블록으로 구성된 경량 인코더를 배치 정규화와 ReLU 활성화 함수를 순차적으로 적용하여 계산 복잡도를 줄이면서도 표현 품질을 유지합니다.
   2. 다음 세 가지 유형의 블록으로 인코더를 순차적으로 조립하세요.
      블록₁: 고스트(in_channels → 32) → 중대 → ReLU → 고스트(32→ 64) → 중대 → ReLU → 맥스풀(2×2)
      블록₂: 고스트(64 → 96) → 중대 → ReLU → 고스트(96 → 128) → 중대 → ReLU → 맥스풀(2×2)
      블록₃: 고스트(128 → 128) → 중대 → ReLU
   3. 블록을 연결하여 인코더를 원활하게 지형물 흐름을 유지하고 이후 단계에서 공간 해상도를 유지합니다.
      참고: 이 접근법의 핵심 혁신은 양측 영상 간 대칭적 특징 상호작용을 가능하게 하는 상호작용형 교차 주의 메커니즘에 있습니다. 각 이미지 쌍에 대해 깊은 특징 F1_{, F 2}∈R^B×C×H'×W'를 추출하며, 여기서 H' = H/4, W'=W/4, C=128은 특징 차원을 나타냅니다. 이 공간적 특징들은 공간 시퀀스 길이를 나타내는 연속 형식으로 재구성되며, D=C는 특징 차원을 나타냅니다.
4. 시간 주의 모델링
   1. 그림 2에 나타난 표준 스케일드 점곱 주의 공식화를 사용하여 교차 주의 연산을 구현합니다
      
      여기서 Q, K, V는 각각 쿼리, 키, 값 행렬을 나타내고, d_k 는 키 벡터의 차원을 나타냅니다.
      참고: h = 8개의 헤드를 가진 다중 헤드 주의를 사용하여 서로 다른 유형의 시간적 관계를 동시에 포착하는 방식이 각 스케일에서 독립적으로 사용됩니다. 각 주의 헤드는 특징 표현의 서로 다른 부분공간을 처리하여 모델이 시간적 변화의 다양한 측면에 집중할 수 있게 합니다.
   2. 다중 헤드 주의 출력을 다음과 같이 계산합니다:
      멀티헤드 (Q,K,V) = 콘캣 (헤드₁,...,헤드_h ) W^O
      여기서 각각 은 학습된 투영 행렬이다.
5. 대칭적 상호작용 주의
   1. 상호작용적 주의 전략은 순방향 및 후방 연산을 통해 대칭적인 변화 정보를 포착합니다( 그림 3에 나타남). 전방 주의는 첫 번째 시간적 이미지의 특징이 두 번째 시간적 이미지의 특징에 관심을 기울일 수 있게 하며, 계산은 다음과 같습니다:
      
      여기서 첫 번째 시간적 특징은 쿼리 역할을 하고, 두 번째 시간적 특징은 키와 값을 제공합니다.
   2. 반대로, 후방 주의는 두 번째 시간적 이미지의 특징이 첫 번째 시간적 이미지의 특징에 주목할 수 있게 하며, 다음과 같이 표현됩니다:
      
      양방향에서 주의가 있는 특징들은 연결되어 선형 변환을 통해 투영되어 최종 주의 표현을 만듭니다:
      
      참고: 이 상호작용 메커니즘은 시간적 관계가 대칭적으로 포착되도록 보장하여, 입력 이미지의 순서에 대해 네트워크가 불변하도록 만듭니다. 이는 시간 순서가 검출 결과를 편향하지 않아야 하는 변화 감지 응용 분야에서 매우 중요합니다.
6. 디코더 및 변경 지도 재구성
   1. 스킵 연결을 통해 인코더 출력과 인코더를 병합하여 공간적 세부 정보를 유지하세요.
   2. 모든 디코더 단계에서 동일한 매개변수로 이중 선형 보간을 적용하여 스킵 연결 간 완벽한 정렬을 보장하기 위해 적응형 크기 조정을 합니다.
   3. 1단계에서는 H/4×W/4에서 고스트 컨볼루션을 통해 채널을 256픽셀에서 96픽셀로 줄이고, H/2×W/2로 업샘플링하여 해당 인코더 기능과 융합합니다.
   4. 두 번째 단계에서는 고스트 컨볼루션을 이용한 프로세스 기능을 사용하여 채널을 160픽셀에서 64픽셀로 줄이고 H×W를 전체 해상도로 업샘플링하며 인코더 수준의 스킵 기능과 통합합니다.
   5. 마지막으로, 고스트 컨볼루션을 적용해 채널을 32개로 줄이고, 마지막 1 × 1 컨볼루션을 사용해 2채널 이진 변경 맵을 생성합니다.
   6. 모든 아키텍처 구성 요소를 통합하여 일관된 변경 감지 시스템으로 통합한 다음 알고리즘 프레임워크를 통해 전체 처리 파이프라인을 요약합니다.
      참고: 표기법: E^k_i 는 이미지 i ∈ {1,2}의 인코더 특징을 나타내며, F_i 는 최종 인코딩된 특징이며; 이 평평한 버전은 다음과 같습니다; 주의력 강화 기능이며; A는 주의 행렬이며; D_j 는 디코더 출력이며; φ_{k,ψ j}는 인코더/디코더 블록이며; [·;·] 채널별 연결 표현; W_out은 출력 계층 커널입니다.
      "인터랙티브 멀티스케일 주의 융합 기반 변화 감지"에 관한 보조 파일 알고리즘 1 을 참조하세요

그림 1: 제안된 방법론 이 그림의 더 큰 버전을 보시려면 여기를 클릭하세요.

그림 2: 교차 주의 구조 이 그림의 확대 버전을 보시려면 여기를 클릭하세요.

그림 3: 인터랙티브 교차 주의 건축 이 그림의 확대 버전을 보려면 여기를 클릭하세요.

6. 훈련 절차

1. 손실 함수
   참고: 학습 과정은 변화 탐지 데이터셋에서 흔히 발생하는 클래스 불균형을 해결하기 위해 초점 트베르스키 손실 함수를 사용합니다.
   1. 손실 함수를 다음과 같이 정식화하자: p_i ∈ [0,1]를 픽셀 i에 대한 예측 확률이고, g_i ∊ {0,1}를 해당 진실이라고 하자. 트베르스키 지수(TI)는 다음과 같이 정의됩니다:
      
      여기서 α와 β는 각각 거짓 양성과 거짓 음성에 대한 벌칙을 제어하며, ε는 평활화항이다.
   2. 그 다음 초점 트베르스키 손실을 다음과 같이 표현합니다:
      
      γ 초점을 분류하기 어려운 픽셀에 조절합니다.
2. 하이퍼파라미터 구성
   1. 열차 집합에 대해 5중 교차 검증 기반의 체계적 그리드 탐색을 적용하여 최적 값을 선택합니다.
   2. 변화 감지 작업의 손실 가중 계수를 α = 0.3, β = 0.7, γ = 1.0, ε = 1.0으로 설정하세요. 이 값들은 오탐보다 누락된 탐지를 최소화하는 데 중점을 두며, 변화가 비교적 드문 불균형 데이터셋에서 중요합니다.
      참고: β > α 비대칭 가중치는 회상에 초점을 맞추며, 이는 위음성이 위양성보다 더 가중치를 두고, 특히 재해 모니터링 응용에서 설계와 일치함을 의미합니다.
3. 최적화 및 학습 전략
   1. 무게 붕괴가 1×10⁻⁴인 AdamW 옵티마이저를 사용하여 정규화를 개선하고 과적합을 방지합니다.
   2. 학습 속도를 1×10⁻³로 초기화하고, 훈련 중 원활하고 안정적인 수렴을 보장하기 위해 코사인 어닐링 스케줄을 적용하세요.
   3. 4GB GPU 메모리 환경과의 호환성을 유지하기 위해 배치 크기를 8로 설정하세요.
4. 훈련 일정
   1. OSCD에서 각각 학습용 14쌍, 테스트용으로 10쌍의 사전 정의된 쌍으로 모델을 훈련한 후, Sztaki의 Airchange 데이터셋에서 Szada/1과 Tiszabob/3을 표준 테스트 세트 벤치마크로 사용합니다.
   2. 훈련 쌍을 다섯 개의 접힘으로 나누고, 각 반복에서 하나의 접힘을 검증 집합으로 사용하며, 최대 100에포크까지 훈련을 계속합니다.
   3. 각 폴드가 끝날 때 검증 손실을 모니터링하고, 수렴이 안정되면 10 에포크의 조기 종료 기준을 적용하여 과적합을 방지하고 불필요한 계산을 줄입니다.
   4. 모든 폴드에서 평균 검증 성능을 기준으로 하이퍼파라미터를 선택하세요.
   5. 테스트 세트에서 변경 감지를 수행하고, 각 데이터셋에서 주석이 달린 이미지 쌍을 사용해 단일 실행에서 성능을 정량화합니다.
5. 메모리 최적화
   1. 그라데이션 체크포인트를 활성화하여 GPU 메모리 사용량을 약 40% 줄이고, 역방향 패스 중 중간 활성화를 재계산하여 달성합니다.
   2. 수치적으로 안정된 FP16 연산을 활용할 수 있는 혼합정밀도 훈련을 가능하게 하여 속도를 높이고 메모리 부하를 줄입니다.
   3. 적응형 배치 크기 스케일링을 사용해 메모리 사용량을 동적으로 조정하여 GPU 효율을 극대화하세요.

7. 평가

1. 테스트 도시의 패치가 학습 또는 검증에 포함되지 않도록 하여 데이터 유출을 방지하세요.
2. 배치별 평가를 위해 이미지 패치와 해당 현장 진실 지도를 조직하세요.
3. 검증 손실로 결정된 가장 성능이 좋은 시기에서 학습된 모델 가중치를 로드합니다.
4. 확률 맵을 이진 변경 맵으로 변환하려면 0.5의 임계값을 선택하세요.
5. 변경 감지 성능을 측정하기 위해 픽셀별 평가 지표를 계산하세요¹⁰
   정밀도(P): 예측된 변화 픽셀 중 진짜 변화 픽셀인 비율.
   리콜 (R): 진짜 변화 픽셀의 비율이 올바르게 감지됨.
   F1 점수: 정밀도와 기억력의 조화평균.
6. 128 x 128 픽셀 크기, 보폭 64픽셀의 모델을 학습 및 평가하면서 실시간으로 이미지 패치를 생성하세요.
   참고: 이러한 동적 생성은 기억의 효율성과 경계의 일관성을 보장합니다.
7. 전처리와 패치 배치의 정확성을 확인하려면 이해 가능한 또는 중간 수준의 특징 이미지로 생성된 패치의 대표 샘플을 검토합니다.
   참고: CNN 기반 인코더가 생성하는 인코딩된 특징 표현은 메모리 내에 저장되어 이후 단계에서 사용할 텐서 역할을 하며, 이는 특징 검증 시 체크포인트 역할을 합니다. 생성된 변경 지도는 일반 이미지 파일(e.g. PNG 또는 TIFF)으로 저장되어 시각적으로 확인된 변경 사항을 평가할 수 있습니다.
8. 모델 학습 시 수렴 지표(손실 곡선, 정확도 지표)를 기록하고, 모델의 점들이 지정된 간격으로 저장되어 있어 전체 훈련 과정을 반복, 정제, 복구할 수 있는지 확인하세요.
   참고: 출력 형식, 검증 단계, 체크포인트 세부 사항을 명확히 제시하면 투명성을 보장하고, 검증이 단계별로 진행되며, 프로토콜이 다른 연구자들에 의해 재현되고 검증될 수 있습니다. 이 프로토콜은 데이터셋을 준비하고 전처리 단계, 네트워크 구축, 학습 및 평가를 진행하는 방법에 대한 심층적이고 상세한 워크플로우를 제공합니다. 단계를 준수함으로써 지정된 조건 하에서 제안된 방법을 반복 가능하게 구현할 수 있습니다. 이러한 절차의 결과는 다음 결과 섹션에 나와 있습니다.

Results

제안된 변화 검출 방법은 두 개의 공개된 벤치마크 데이터셋을 사용하여 기존 기초 접근법과 비교하여 서로 다른 스펙트럼 해상도와 환경 조건에서의 성능을 평가하였습니다. 실험 결과는 검출 정확도와 거짓 양성 통제의 균형 개선에서 상당한 개선을 보여주며, 특히 이 방법이 전통적인 접근법에 비해 높은 회상율을 유지하면서 정밀도를 크게 향상시킬 수 있음을 입증합니다.

...

데이터	네트워크	정밀도 (%)	리콜 (%)	F1 (%)
OSCD-3 채널	시암. [11]	21.57	79.4	33.85

Discussion

본 연구는 양시간 위성 이미지의 변화를 감지하기 위한 다규모 주의 융합 기반 변화 탐지 네트워크를 제시합니다. 양방향 주의 메커니즘의 통합은 단방향 방법과 달리, 상호 보완적인 전방 및 후방 주의 신호와 함께 완전한 시간 간 특징 간 특징 간 상호작용을 가능하게 합니다. 전방 주의 흐름의 점진적 시간적 변화는 주의 차이, 즉 오래된 시간과 새로운 시간적 획득 차이로 포착되며, 변화 일관성은 팝핑 특징을 인식하는 후방 획득 시스템에 의해 검사됩니다. 이 2개 띠 기능은 실제 토지 피복 이동과 소음을 구분하는 데 더 효과적임이 입증되었으며, 이는 운영 변화 감지 시스템의 가장 지속적인 도전 과제 중 하나로 확인되었습니다.

두 가지 도전적인 벤치마크 데이터 세트에 대한 실험적 테스트를 통해 제안된 방법론이 다양한 지리적 환경과 공간 해상도에 대해 유용성과 실현 가능성을 확인했습니다. 제안된 방법은 OSCD 샘플에서 36.4...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA 툴킷	엔비디아 코퍼레이션	버전 11.3	딥러닝 연산을 위한 GPU 가속
cuDNN	엔비디아 코퍼레이션	버전 8.2	최적화된 GPU 딥러닝 라이브러리
인텔  프로세서	인텔 코퍼레이션	코어 i7 10870H	제안된 딥러닝 모델을 훈련하고 평가하는 데 사용되는 계산 플랫폼
넘버피	오픈 소스	버전 1.21.0	수치 배열 처리
NVIDIA GeForce	엔비디아 코퍼레이션	GTX 1650 Ti (4GB VRAM)	가속 모델 학습에 사용되는 그래픽 처리 장치
Onera 위성 변화 감지(OSCD) 데이터셋	오네라	학습 및 평가에 사용되는 공개된 광학 RGB 및 다중분광 이미지 데이터셋.	https://rcdaudt.github.io/oscd/
파이썬	파이썬 소프트웨어 재단	버전 3.8	알고리즘 구현에 사용되는 프로그래밍 언어
파이토치	메타 AI (오픈 소스)	버전 1.12.1	제안된 모델을 개발하고 훈련하는 데 사용되는 오픈 소스 딥러닝 프레임워크
Scikit-learn	오픈 소스	버전 1.0.2	성과 평가 지표
SZTAKI AirChange 벤치마크 데이터셋	슈타키	학습 및 평가에 사용되는 공개된 광학 RGB 항공 이미지 데이터셋.	http://web.eee.sztaki.hu/remotesensing/airchange_benchmark.html
토치비전	메타 AI (오픈 소스)	버전 0.13.1	데이터셋 로딩 및 이미지 변환
윈도우 OS	마이크로소프트	11	운영 체제