Interaktywna wieloskalowa fuzja uwagi z rzadką siecią konwolucji cech do wykrywania zmian obrazów satelitarnych

Podsumowanie

Niniejsze badanie przedstawia interaktywny model fuzji wieloskalowej uwagi z rzadkimi sieciami konwolucyjnymi cech, aby poprawić wykrywanie zmian na obrazach satelitarnych. Podejście wykorzystuje wieloskalową ekstrakcję cech, selektywne skupienie na uwadze oraz rzadkie konwolucje, aby skutecznie wykrywać i lokalizować zmiany w dwuczasowych obrazach satelitarnych poprzez zmniejszenie złożoności obliczeniowej.

Streszczenie

Detekcja zmian za pomocą dwuczasowych obrazów satelitarnych jest ważnym problemem w monitoringu Ziemi, który ma na celu identyfikację i lokalizację zmian powierzchni pomiędzy pozyskaniem czasowym a rozróżnieniem rzeczywistych pseudo-zmian spowodowanych cyklami sezonowymi, czynnikami atmosferycznymi lub rozwojem wywołanym przez człowieka. Obecne metody głębokiego uczenia zazwyczaj napotykają jednokierunkowe uprzedzenie w modelowaniu czasowym, co ogranicza użyteczność dużych relacji przestrzennych, aby umożliwić właściwą charakterystykę wzorców zmian. Chociaż najnowsze techniki oparte na transformatorach są bardzo dokładne, ich wymagania obliczeniowe są również dość duże, co ogranicza ich zastosowanie do zadań o ograniczonych zasobach. W odpowiedzi na te ograniczenia w niniejszym artykule proponowano sieć Interaktywnej Fuzji Wieloskalowej Uwagi (IMAF) z rzadką konwolucją cech (SFC) opartą na modułach duchów, aby uzyskać efektywną ekstrakcję cech wieloskalowych. Sieć wykorzystuje zaawansowaną architekturę enkodera-dekodera, uzupełnioną interaktywnymi modułami uwagi w różnych skalach. Sieć pracuje z komplementarnymi strumieniami uwagi do przodu i do tyłu: pierwszy rejestruje progresywną zmienność czasową, a drugi weryfikuje spójność zmian poprzez odwrotną analizę czasową. Ta interaktywna metoda umożliwia skuteczne przedstawienie modelu dupleksu relacji czasowych bez konieczności obliczeniowej, co znacznie ułatwia rozróżnianie prawidłowych przesunięcia terenu od zmienności wywołanej hałasem bez szumów. Eksperymentuje się z dwoma zestawami danych benchmarkowych: zbiorem danych Sonera Satellite Change Detection (OSCD) oraz zestawami danych SZTAKI AirChange. Znaczące eksperymenty przeprowadzone na zbiorach danych OSCD pokazują, że proponowane podejście osiąga konkurencyjne wskaźniki F1 na poziomie 58,14% (13 kanałów) i 50,68% (3 kanały) przy zaledwie 2,13 mln parametrów i 19,6G FLOPS, 19 razy mniej parametrów oraz 5,6-krotnej rotacji wniosków w porównaniu do ChangeFormer. Konkurencyjne wyniki na próbkach zestawów testowych Szada/1 i Tiszadob/3 zbioru danych SZTAKI, odpowiednio wynik F1 wynoszący 74,29% i 92,86%, umożliwiają wdrożenie w najbardziej brzegowych urządzeniach analityki czasu rzeczywistego oraz rozbudowanych systemów mapowania, gdzie energia operacyjna bezpośrednio zależy od energii obliczeniowej.

Wprowadzenie

Bezprecedensowy poziom urbanizacji w globalnym środowisku, utrata zasobów środowiskowych oraz zmiany krajobrazu spowodowane klimatem bezpośrednio wywołały konieczność zapewnienia precyzyjnego, terminowego i automatycznego systemu monitoringu, który potrafi identyfikować i mierzyć zmiany na powierzchni Ziemi. Teledetekcja satelitarna stała się podstawowym elementem masowego nadzoru środowiskowego, ponieważ zapewnia stałe pokrycie czasowe i przestrzenne, a także jest kluczowe w pełnym badaniu zmian. Dwuczasowe wykrywanie zmian na zdjęciach satelitarnych polega na charakteryzacji zmian powierzchni pomiędzy dwoma kolejnymi akwizycjami tego samego regionu geograficznego. Jest to jednak skomplikowany proces ze względu na liczne zmienne zakłócające, w tym zmienność pór roku, warunki pogodowe, właściwości sensorów, zniekształcenia geometryczne oraz fenomenologiczne zmiany, które mogą zaciemniać lub przypominać rzeczywistość w pokryciu terenu. Ręczna interpretacja obrazów satelitarnych obecnie stosowanych jest czasochłonna, subiektywna i nieodpowiednia do obsługi stale rosnących ilości informacji z obserwacji Ziemi generowanych przez obecne konstelacje satelitarne. To podstawowe ograniczenie, które doprowadziło do powstania zautomatyzowanych rozwiązań do wykrywania zmian. Tradycyjne metody detekcji zmian na podstawie pikseli¹ oraz detekcji zmian² oparte na obiektach zwykle są słabo przystosowane do pracy w ramach tych zawiłości i mają niski standard odporności do zastosowania do szerokiego zakresu jednostek geograficznych i skal czasowych. Architektury głębokiego uczenia, szczególnie konwolucyjne sieci neuronowe i ich warianty, umożliwiają wydobycie cech hierarchicznych reprezentujących niskopoziomowe szczegóły spektralne oraz wysokopoziomowe wzorce semantyczne istotne do rozróżniania zmian. Modele detekcji zmian w głębokim uczeniu okazały się bardzo obiecujące w rejestrowaniu utajonych zmian przestrzenno-czasowych w danych teledetekcji oraz w identyfikacji prawdziwego pokrycia terenu z pseudozmianami wprowadzonymi przez czynniki zewnętrzne. Te podejścia end-to-end wykorzystują fakt, że cechy mogą być wyodrębniane i klasyfikacja wykonywana optymalnie jednocześnie. Pomimo znacznego postępu w dokładności wykrywania zmian, większość istniejących podejść pozostaje trudna do wdrożenia w rzeczywistych środowiskach operacyjnych. Podejścia oparte na transformatorach³, choć efektywne w kontekście globalnym, charakteryzują się dużą liczbą parametrów, kwadratową złożoność obliczeniową, opóźnieniem wnioskowania oraz wysokim zużyciem energii. Syjamskie architektury oparte na CNN natomiast są lepsze pod względem efektywności, ale mają małe pola recepcyjne i w dużej mierze brakuje im globalnego modelowania kontekstowego, co znacznie pogarsza wydajność. Te ograniczenia są dodatkowo pogłębiane w środowiskach dużych skali i ograniczonych zasobami, gdzie skalowalność i koszty operacyjne są kluczowe. Skalowalność, efektywność energetyczna oraz szybkość wyciągania wniosków są często kluczowe w sytuacjach ratunkowych, dlatego konieczne jest tworzenie rozwiązań równoważących wydajność z możliwością wdrożenia. Dlatego pozostaje luka między modelami skoncentrowanymi na dokładności i wymagającymi obliczeniowo a praktycznymi wymaganiami wdrożenia w rzeczywistości.

Aby przezwyciężyć takie problemy, proponowano Interaktywną Wieloskalową Fuzję Uwagi (IMAF) z rzadką konwolucją cech (SFC), która koncentruje się na projektowaniu efektywnego i wdrożalnego ramowego systemu wykrywania zmian, a nie wyłącznie optymalizacji dokładności. Proponowane rozwiązanie koncentruje się na parach optycznych obrazów satelitarnych, zwykle RGB lub wysokorozdzielczych obrazach multispektralnych (rozdzielczość 0,5-30 m), pozyskiwanych przez satelity, np. Landsat, Sentinel-2 czy WorldView. Technika zakłada precyzyjną geometryczną współrejestrację par dwuczasowych, ponieważ błędy rejestracji mogą również znacząco wpływać na wykrywanie. Zajmuje się wykrywaniem zmian binarnych (w przeciwieństwie do wieloklasowych zmian semantycznych) i nie potrafi rozróżnić różnych typów zmian. Co więcej, metoda wykorzystuje obrazy skorygowane radiometrycznie, aby zmniejszyć skutki zmian sezonowych, atmosferycznych i oświetleniowych, które można by pomylić ze zmianą pokrycia terenu. W przeciwieństwie do tradycyjnych syjamskich CNN⁴, które oddzielają obrazy dwuczasowe za pomocą prostego połączenia, proponowany moduł IMAF umożliwia wieloskalową fuzję kontekstową zarówno cech globalnych, jak i lokalnych. Najnowsze podejścia oparte na transformatorach, takie jak BIT⁵ i ChangeFormer³, osiągają bardzo dobre rezultaty, ale ich mechanizmy samouwagi mają złożoność O(N²). Proponowane ramy rejestrują subtelne zmiany z dwukierunkową uwagą, zmniejszając złożoność obliczeniową i opóźnienia w wnioskowaniu. Ponadto proponowany projekt jest świadomy rzadkości, co jest lepsze od gęstych, wieloskalowych projektów fuzji, takich jak UNet++^6,7 i SNUNet⁸. Rzadka konwolucja funkcji z modułem duchów zmniejsza liczbę FLOP o około 50%, zachowując jakość reprezentacji. W związku z tym proponowane ramy preferują kompromis między dokładnością a efektywnością na rzecz niezawodnego wdrożenia w środowiskach o ograniczonych zasobach.

Główne osiągnięcia tego badania to: (i) lekki detektor zmian, który osiąga konkurencyjny wynik F1, używając 19 razy mniejszej liczby parametrów w porównaniu do odpowiedników opartych na transformatorze. (ii) Interaktywny moduł fuzji wieloskalowej uwagi, który uzyskuje globalne informacje kontekstowe bez kosztu kwadratowego tradycyjnego mechanizmu samouwagi. (iii) Schemat splotu o rzadkości cech oparty na modułach Ghosts, który minimalizuje operacje zmiennoprzecinkowe o 49,4 procent bez pogorszenia jakości reprezentacji cech. (iv) Szeroko zakrojona walidacja eksperymentalna na dużym zbiorze zbiorów danych benchmarkowych, z lepszymi kompromisami między efektywnością a dokładnością oraz rozsądną praktycznością rzeczywistego zastosowania w rzeczywistym świecie.

Pozostała część tego manuskryptu obejmuje następujące sekcje: Sekcja 2 przedstawia obszerny przegląd najnowszych prac w dziedzinie metod wykrywania zmian binarnych, ze szczególnym uwzględnieniem rozwiązań deep learning i ich implementacji na standardowych benchmarkach. Sekcja 3 przedstawia teoretyczne tło i konstrukcję proponowanego rozwiązania, matematyczną reprezentację mechanizmu fuzji czasowej oraz elementów uwagi, charakterystykę układu eksperymentalnego, zbiory danych, metryki oceny oraz szczegóły implementacyjne niezbędne do przeprowadzenia powtarzalnych badań. Sekcja 4 ilustruje szczegółowe wyniki eksperymentalne, obejmujące ablację, porównania z najnowszymi algorytmami detekcji zmian binarnych, które wyjaśniają zdolność w różnych obszarach geograficznych zbiorów OSCD i SZTAKI Airchange. Sekcja 5 określa wyniki wyników, ograniczenia obecnego podejścia oraz możliwości przyszłych badań nad wykrywaniem zmian.

Rozwój algorytmów wykrywania zmian w teledetekcji uległ znacznym zmianom – z metod opartych na pikselach na ramy uczenia głębokiego. Procedury wczesnego wykrywania zmian opierały się głównie na procesach algebraicznych, takich jak różnicowanie obrazów, racjonowanie obrazów oraz analiza wektorów zmian, które działały bezpośrednio na wartościach pikseli w celu wykrywania zmian czasowych ^9,10. Opracowano alternatywne metody polegające na porównaniu po klasyfikacji, w których każdy obraz czasowy był niezależnie klasyfikowany, a następnie porównywany z tabelacją krzyżową¹¹. Techniki detekcji zmian oparte na obiektach stanowiły ważny krok postępu wraz z wprowadzeniem kontekstu przestrzennego oraz redukcją szumu na poziomie pikseli ^2,12.

Pojawienie się technik głębokiego uczenia zrewolucjonizowało przestrzeń detekcji zmian teledetekcji i utorowało drogę do przezwyciężenia wielu ograniczeń tradycyjnych technik. Ostatnio sieci neuronowe splotowe (CNN) stały się standardową architekturą automatycznego wyodrębniania cech i klasyfikacji zmian^13,14. Syjamskie NestedUNet do wykrywania zmian¹⁴oraz syjamskie Swin-Unet¹⁵ stały się znaczącą innowacją dzięki gęsto połączonej topologii sieci syjamskiej, która pomaga skutecznie przechowywać informacje o lokalizacji w całej hierarchii sieci.

Problem detekcji zmian dwuczasowych w wysokorozdzielczym teledetekcji optycznym nadal jest trudny do rozwiązania z powodu różnych czynników zakłócających, a zaproponowano wieloskalowe sieci transformatorów opartych na uwadze i rozbudowane strategie fuzji cech¹⁶. Ramy EGMT-CD zaproponowały wielomodalne transformatory sterowane krawędziami heterogenicznych par obrazów, gdzie homologiczne obrazy nie są dostępne z powodu zachmurzenia¹⁷. Architektury takie jak DASUNet przełamują ręczne wąskie gardła głębokiego uczenia w pełnoskalowej fuzji funkcji, osiągając o 0,85% wyższą poprawę indeksu F1 w porównaniu do SNUNet-24 na zbiorze danych CDD dzięki ulepszonemu przepływowi gradientu¹⁸. Hybrydowe modele CNN-Transformer rozwiązują problem fałszywych negatywów przy wyższych kosztach, zapewniając dodatkowy koszt na składowe częstotliwości umożliwiające uczenie^{się 19}. Hybrydowe sieci transformatorów w kształcie litery U²⁰ jednak nadal mają trudności z integracją cech lokalno-globalnych oraz zmianami w regionach, które okresowo zachodzą, nawet na niewielką skalę. Zastosowanie wielozadaniowego wykrywania zmian semantycznych oraz precyzyjnej identyfikacji lokalizacji i klas jest bardziej skomplikowane w porównaniu do zadań binarnych^21,22. Korelacje dwuczasowe można skutecznie modelować za pomocą uwagi krzyżowej bez istotnych zmian architektonicznych^14,23. Wyrażenie paradygmatu języka perspektywicznego to również nowatorski trend, z projektami opartymi na CLIP, które łączą tekstowe wyjaśnienia w korespondencję zmian²⁴ oraz półnadzorowane wzorce, eliminując poleganie na danych oznaczonych²⁵. Change Mamba prezentuje modele przestrzeni stanów modeli przestrzenno-czasowych^26,27. Demonstrowano różne zastosowania wyspecjalizowanych metod uwagi: uwzględnienie zastosowania wykrywania anomalii hiperspektralnych²⁸, klasyfikacji wieloobszarowej²⁹ lub segmentacji ograniczonej etykiety³⁰ oraz demonstrację elastyczności mechanizmów uwagi w analityce teledetekcji.

Autorzy	Metoda/Architektura	Specyfikacja techniczna	Kluczowe innowacje i odkrycia / Wydajność zbioru danych
Singh, A. [8]	Tradycyjne metody	Różnicowanie oparte na pikselach, CVA	Cyfrowy system wykrywania zmian, wiele zbiorów danych, dokładność: 65-80%
Mas, J.F. [10]	Po klasyfikacji	Niezależna klasyfikacja czasowa	Analiza metodologii porównawczej, obrazy tropikalne, OA: 72-85%
Lu i in. [9]	Tradycyjne metody	Operacje algebraiczne, CVA, PCA	Kompleksowe porównanie technik, wiele źródeł, dokładność: 70-88%
Benedek & Szirányi [23]	Model Markowa mieszany	Wielowarstwowy framework warunkowy	Modelowanie zmiany probabilistycznej, Sztaki AirChange, DA: 92,1%
Blaschke, T. [2]	Obiektowe	Analiza oparta na segmentacji	Integracja kontekstu przestrzennego, różne obrazy tętna, SA: 85-92%
Chen i in. [11]	Obiektowe	Segmentacja wieloskalowa	Hierarchiczna analiza obiektów, obrazowanie tętna, OA: 87,3%
Zhan i in. [12]	Syjamskie CNN	CNN 5-warstwowy, rozmiar jądra 3×3	Głęboka syjamska architektura dla płyt CD, zdjęcia lotnicze, F1: 0,847, IoU: 0,735
Daudt i in. [4]	Syjamski FCN	FC-EF, FC-Siam-diff, FC-Siam-conc	Strategie wczesnej/późnej fuzji, OSCD, F1: 0,431, IoU: 0,276
Peng i in. [26]	UNet++	Zagnieżdżone połączenia U-Net, gęste połączenia pomijania	Wieloskalowa agregacja cech, satelita HR, F1: 0,753, IoU: 0,604
Chen & Shi [25]	Uwaga przestrzenno-czasowa	Bloki uwagi, modelowanie czasowe	Uczenie cech przestrzenno-czasowych, LEVIR-CD, F1: 0,887, IoU: 0,797
Fang i in. [7]	SNUNet-CD	Siamese NestedUNet, gęste połączenia	Optymalizacja transmisji informacji, LEVIR: F1: 0,897, WHU: F1: 0,904
Chen i in. [5]	BIT-CD	ResNet18 + enkoder transformatora	Binarne uczenie cech czasowych, OSCD: F1: 0,635, LEVIR: F1: 0,919
Bandara & Patel [3]	ChangeFormer	Enkoder transformatorowy hierarchiczny	Wieloskalowa uwaga transformatora, OSCD: F1: 0,654, LEVIR: F1: 0,905
Song i in. [27]	ACANet	Uwaga osiowa + szkielet CNN	Wydajne obliczanie uwagi, LEVIR: F1: 0,901, WHU: F1: 0,913
Shi i in. [28]	Artykuł przeglądowy	Kompleksowa ankieta metod AI	Systematyczna analiza podejść AI, 50+ zestawów danych
Li i in. [14]	AMST-Net	Transformator wieloskalowy, piramida uwagi	Adaptacyjne wieloskalowe wyodrębnianie cech, obrazy optyczne HR, mIoU: 0,823
Xiang i in. [15]	EGMT-CD	Architektura multimodalna prowadzona na krawędziach	Międzymodalne wyrównanie cech, pary heterogeniczne, F1: 0,756
Miao i in. [16]	DASUNet	Gęsty nadzór, pełnoskalowa fuzja	Głęboki nadzór na wszystkich poziomach dekodera, CDD: 0,85% poprawa F1 w porównaniu do SNUNet
Tang i in. [29]	Syjamski Swin-UNet	Fuzja Swin Transformer + Unet	Hierarchiczna uwaga okienkowa, LEVIR: F1: 0,923, WHU: F1: 0,925
Wu i in. [18]	Hybrydowy transformator U-Transformer	UNet++ szkielet + bloki transformatora	Globalno-lokalna integracja funkcji, obrazy HR, IoU: 0,851, F1: 0,919
Dong i in. [20]	ChangeCLIP	Język wizji oparty na CLIP	Multimodalne zrozumienie semantyczne, pary RS, dokładność semanticzna: 94,1%
Li i in. [21]	SemiCD-VL	Półnadzorowany język wizji	Zmniejszone wymagania adnotacji, Ograniczona liczba etykiet, F1: 0,889
Chen i in. [22]	ChangeMamba	Modele Przestrzeni Stanów (SSM)	Liniowe modelowanie czasowe złożoności, obrazy RS, wydajność: 3 razy szybsza

Tabela 1: Podsumowanie metod wykrywania zmian w teledetekcji Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Podsumowanie wcześniejszych badań przedstawiono w Tabeli 1. Tradycyjne metody mają ręcznie opracowane funkcje, które nie są odpowiednie dla złożonych wariacji przestrzenno-czasowych³¹, a architektura głębokiego uczenia (UNet, FPN, PSPNet) wymaga kosztownie kosztownych obliczeniowo gęstych konwolucji. Obecne modele nie posiadają wydajnych, wieloskalowych systemów integracji i dynamicznej uwagi. Aby wypełnić te luki, obecne badanie proponuje Interaktywną Wieloskalową Fuzję Uwagi z Sparse Feature Convolution Network, która ma na celu uchwycenie subtelnych zmian na różnych skalach, jednocześnie będąc efektywnym obliczeniowo w teledetekcji, szczególnie w zakresie zmian strukturalnych miejskich i wywołanych przez człowieka.

Protokół

1. Oświadczenie etyczne

1. Zarówno zbiór danych Onera Satellite Change Detection (OSCD), jak i SZTAKI AirChange wykorzystane w niniejszym badaniu składają się z publicznie dostępnych obrazów RGB i obrazów wielospektralnych obejmujących zróżnicowane cechy geograficzne. Zbiory te nie zawierają żadnych danych zastrzeżonych ani wrażliwych. W związku z tym do realizacji niniejszej pracy nie była wymagana zgoda komisji etycznej.

2. Materiały i sprzęt

1. Przeprowadź testy na komputerze z systemem Windows 11 wyposażonym w procesor Intel Core i7 10870H, układ NVIDIA GeForce GTX 1650 Ti z 4GB VRAM oraz 32GB RAM.
   UWAGA: Środowiskiem programistycznym jest Python 3.8, a środowisko to opiera się na frameworku PyTorch (wersja 1.12.1) oraz Torchvision (wersja 0.13.1) w celu implementacji głębokiego uczenia.
2. Pobierz i zainstaluj biblioteki takie jak scikit-learn (wersja 1.0.2), zawierająca narzędzia do uczenia maszynowego, oraz NumPy (wersja 1.21.0), służąca do operacji numerycznych.
3. Upewnij się, że zainstalowano CUDA Toolkit w wersji 11.3 oraz cuDNN w wersji 8.2 dostarczone przez NVIDIA Corporation, aby umożliwić wykorzystanie akceleracji karty graficznej.
4. Przeprowadź trenowanie i ocenę wydajności z wykorzystaniem publicznie dostępnych zbiorów danych OSCD oraz SZTAKI Airchange.

3. Przygotowanie zestawu danych

1. Wybierz zestawy danych referencyjnych: OSCD⁴, składający się z optycznych satelitarnych obrazów RGB oraz obrazów wielospektralnych o rozmiarze 600 x 600 pikseli i rozdzielczości 10 m, oraz SZTAKI AirChange³², składający się z 13 par optycznych obrazów lotniczych o rozmiarze 952 x 640 pikseli i rozdzielczości 1,5 m/piksel.
2. Podziel 24 miasta z zestawu danych OSCD na stałe, zdefiniowane wcześniej grupy: 14 miast do treningu i 10 miast do testów.
3. Zgodnie z konwencjonalnym standardem referencyjnym, przypisz stałe, nierandomizowane pary obrazów Szada/1 i Tiszadob/3 z zestawu danych SZTAKI AirChange do zbioru testowego, a pozostałe pary obrazów do zbioru treningowego.
4. Przeprowadź detekcję zmian na zbiorze testowym i określ wydajność pojedynczego przebiegu, wykorzystując adnotowane pary obrazów z każdego zestawu danych.

4. Przetwarzanie wstępne

1. Zastosuj wstępne przetwarzanie oparte na fragmentach (patchach).
   1. Wyodrębniaj fragmenty obrazów niezależnie dla każdego obrazu czasowego w tych samych lokalizacjach w czasie rzeczywistym, aby efektywnie zarządzać satelitarnymi obrazami o wysokiej rozdzielczości.
   2. Podziel każdy obraz na nakładające się fragmenty o rozmiarze 128 × 128 pikseli, stosując krok (stride) wynoszący 64 piksele.
   3. Wyrównaj nakładające się obszary między sąsiednimi fragmentami, aby zachować spójność granic i utrzymać informacje krawędziowe.
2. Przeprowadź augmentację danych w podziale na klasy.
   1. Zastosuj różnicową augmentację podczas uczenia dla obu fragmentów w parze, w zależności od proporcji pikseli zmian, aby zniwelować brak równowagi klas między obszarami „zmiany” a „brakiem zmiany”.
   2. Augmentuj pary fragmentów ze zmianą (te z > 1% pikseli zmian) sześciokrotnie, stosując następujące transformacje: odbicia poziome i pionowe, obroty o 90°, jitter kolorów (jasność, kontrast i nasycenie ± 30%), transformacje afiniczne (obrót ± 15°, przesunięcie ± 10 pikseli, skalowanie 95-105%).
   3. Augmentuj pary fragmentów bez zmian tylko raz, aby zapobiec niezrównoważeniu zbioru danych.
      UWAGA: Ta strategia augmentacji, oparta na klasach, zapewnia zrównoważone uczenie w obszarach ze zmianami i bez zmian.
3. Znormalizuj i popraw jakość obrazu.
   1. Znormalizuj wszystkie fragmenty, korzystając ze średniej i odchylenia standardowego ImageNet: Mean = (0.485, 0.456, 0.406), Std = (0.229, 0.224, 0.225).
      1. Użyj adaptacyjnej ekwalizacji histogramu z ograniczonym kontrastem (CLAHE) z parametrami clip limit = 2.0, tile grid size = 8 x 8, w przestrzeni kolorów LAB (tylko kanał L), aby rozjaśnić kontrasty w obszarach o niskim kontraście, umożliwiając rozróżnienie cech na obrazie, przy intensywnościach znormalizowanych do zakresu [0,255].
      2. Usuń wszystkie fragmenty mniejsze niż 128 x 128 pikseli i dopełnij mniejsze fragmenty tak, aby miały ten sam rozmiar co fragmenty większe, zachowując ich integralność przestrzenną podczas uczenia modelu.

5. Budowa modelu

1. Zdefiniowanie wejścia i wyjścia.
   1. Zaproponowany framework przyjmuje jako wejście parę zarejestrowanych wspólnie obrazów satelitarnych I₁, I₂∈ R^H×W×C pozyskanych w różnych momentach czasowych i generuje binarną mapę zmian M ∈ R^H×W×2, która precyzyjnie wyznacza obszary zmienione i niezmienione.
2. Zaproponowany framework
   1. Proces w zaproponowanym frameworku realizowany jest jako trzystopniowy potok przetwarzania. W pierwszym etapie wykonuje się modelowanie uwagi czasowej na sekwencjach wejściowych, aby uchwycić zmiany w czasie.
   2. W etapie modelowania uwagi czasowej stosuje się interaktywną uwagę krzyżową w celu uchwycenia symetrycznych zależności czasowych pomiędzy cechami bitemporalnymi.
   3. W drugim etapie, przy użyciu architektury enkodera opartego na rzadkich cechach, ekstrahowane są hierarchiczne reprezentacje istotnych cech z obrazu poddanego modelowaniu czasowemu, gdzie rozdzielczość przestrzenna stopniowo maleje, a wymiar cech rośnie.
   4. W etapie rekonstrukcji wykorzystuje się dekoder z połączeniami pomijającymi (skip-connections) i adaptacyjnym próbkowaniem w górę, aby wygenerować wysokorozdzielcze mapy zmian, zachowując jednocześnie detale przestrzenne w mniejszej skali.
      UWAGA: Rysunek 1 przedstawia ogólny przepływ danych od bitemporalnych obrazów satelitarnych wejściowych, przez wspólny enkoder, środkowe bloki przetwarzania uwagi krzyżowej i dekoder, co w efekcie prowadzi do powstania mapy detekcji zmian.
3. Enkoder rzadkich cech
   1. Konstruuje się lekki enkoder zbudowany z bloków splotowych Ghost z ratio=2, z sekwencyjnie zastosowaną normalizacją wsadową (batch normalization) i funkcją aktywacji ReLU, aby zmniejszyć złożoność obliczeniową przy zachowaniu jakości reprezentacji.
   2. Enkoder składa się sekwencyjnie z następujących trzech typów bloków.
      Blok₁: Ghost(in_channels → 32) → BN → ReLU → Ghost(32 → 64) → BN → ReLU → MaxPool(2×2)
      Blok₂: Ghost(64 → 96) → BN → ReLU → Ghost(96 → 128) → BN → ReLU → MaxPool(2×2)
      Blok₃: Ghost(128 → 128) → BN → ReLU
   3. Bloki są łączone w celu zapewnienia płynnego przepływu cech przez enkoder i zachowania rozdzielczości przestrzennej dla kolejnych etapów.
      UWAGA: Główna innowacja tego podejścia polega na mechanizmie interaktywnej uwagi krzyżowej, który umożliwia symetryczną interakcję cech pomiędzy obrazami bitemporalnymi. Dla każdej pary obrazów ekstrahowane są głębokie cechy F₁,F₂∈R^B×C×H'×W', gdzie H' = H/4, W'=W/4, a C=128 reprezentuje wymiar cech. Cechy przestrzenne te są przekształcane w format sekwencyjny reprezentuje długość sekwencji przestrzennej, a D=C reprezentuje wymiar cech.
4. Modelowanie uwagi czasowej
   1. Operację uwagi krzyżowej implementuje się przy użyciu standardowego sformułowania uwagi opartej na skalowanym iloczynie punktowym, zgodnie z Rysunkiem 2
      
      gdzie Q, K i V reprezentują odpowiednio macierze zapytania (query), klucza (key) i wartości (value), a d_k oznacza wymiar wektorów klucza.
      UWAGA: Na każdym poziomie niezależnie stosowana jest uwaga wielogłowiczna (multi-head attention) z h = 8 głowami, aby jednocześnie uchwycić różne typy zależności czasowych. Każda głowa uwagi przetwarza inną podprzestrzeń reprezentacji cech, co pozwala modelowi skupić się na różnych aspektach zmian czasowych.
   2. Wyjściowy sygnał uwagi wielogłowicznej oblicza się jako:
      MultiHead (Q,K,V) = Concat (head₁,…,head_h ) W^O
      gdzie każda stanowi wyuczoną macierz projekcji.
5. Symetryczna uwaga interaktywna
   1. Strategia uwagi interaktywnej uchwyci symetryczne informacje o zmianach poprzez operacje przednia i tylna (pokazane na Rysunku 3). Uwaga przednia pozwala cechom z pierwszego obrazu czasowego odnosić się do cech z drugiego obrazu czasowego, obliczana jest jako:
      
      gdzie cechy czasowe z pierwszego obrazu służą jako zapytania, a cechy czasowe z drugiego obrazu dostarczają klucze i wartości.
   2. Z kolei uwaga tylna umożliwia cechom z drugiego obrazu czasowego odnosić się do cech z pierwszego obrazu czasowego, sformułowana jako:
      
      Cechy uzyskane z uwagi w obu kierunkach są konkatenowane i rzutowane poprzez transformację liniową w celu wytworzenia końcowej reprezentacji z uwagą:
      
      UWAGA: Ten mechanizm interaktywny zapewnia symetryczne uchwycenie zależności czasowych, co czyni sieć niezależną od kolejności obrazów wejściowych; jest to kluczowe w aplikacjach detekcji zmian, gdzie sekwencja czasowa nie powinna wpływać na wyniki detekcji.
6. Dekoder i rekonstrukcja mapy zmian
   1. Cechy z uwagą są łączone z wyjściami enkodera poprzez połączenia pomijające w celu zachowania detali przestrzennych.
   2. Stosuje się interpolację bilinearną z identycznymi parametrami we wszystkich etapach dekodera dla adaptacyjnego zmiany rozmiaru, aby zapewnić idealne dopasowanie w obrębie połączeń pomijających.
   3. W pierwszym etapie liczba kanałów zostaje zredukowana z 256 do 96 pikseli za pomocą splotów Ghost przy rozdzielczości H/4×W/4, a następnie następuje próbkowanie w górę do H/2×W/2 i fuzja z odpowiadającymi cechami enkodera.
   4. W drugim etapie cechy są przetwarzane splotami Ghost w celu redukcji liczby kanałów ze 160 do 64 pikseli, a następnie próbkowane w górę do pełnej rozdzielczości H×W i zintegrowane z cechami z połączeń pomijających na poziomie enkodera.
   5. Na koniec stosuje się sploty Ghost, aby zredukować liczbę kanałów do 32, a następnie wykorzystuje się końcowy splot 1 × 1 do wygenerowania dwukanałowej binarnej mapy zmian.
   6. Cały potok przetwarzania podsumowano w następującym frameworku algorytmicznym, który integruje wszystkie komponenty architektoniczne w spójny system detekcji zmian.
      UWAGA: Notacja: E^k_i oznacza cechy enkodera z obrazu i ∈ {1,2} na poziomie k; F_i to końcowa zakodowana cecha; to jej spłaszczona wersja; to cecha wzmocniona uwagą; A jest macierzą uwagi; D_j to wyjścia dekodera; ϕ_k,ψ_j to bloki enkodera/dekodera; [·;·] oznacza konkatenację wzdłuż kanałów; W_out to jądro warstwy wyjściowej.
      Patrz: Plik uzupełniający Algorytm 1: „Detekcja zmian oparta na interaktywnej wieloskalowej fuzji uwagi” (Interactive Multiscale Attention Fusion based Change Detection).

Rysunek 1: Proponowana metodologia Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 2: Architektura Cross Attention Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 3: Architektura interaktywnego mechanizmu cross-attention Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

6. Procedura szkoleniowa

1. Funkcja straty
   UWAGA: Proces uczenia wykorzystuje funkcję straty focal tversky, aby rozwiązać problem niezrównoważenia klas często występujący w zbiorach danych do detekcji zmian.
   1. Sformułuj funkcję straty w następujący sposób: Niech p_i ∈ [0,1] będzie przewidywanym prawdopodobieństwem dla piksela i, a g_i ∊ {0,1} odpowiadającą mu prawdą terenową (ground truth). Indeks Tversky'ego (TI) definiuje się jako:
      
      gdzie α i β kontrolują odpowiednio kary za wyniki fałszywie dodatnie i fałszywie ujemne, a ε jest członem wygładzającym.
   2. Następnie zapisz Focal Tversky Loss jako:
      
      gdzie γ moduluje koncentrację na pikselach trudnych do zaklasyfikowania.
2. Konfiguracja hiperparametrów
   1. Zastosuj systematyczne przeszukiwanie siatki (grid search) w oparciu o 5-krotną walidację krzyżową na zbiorze treningowym w celu wybrania optymalnych wartości.
   2. Ustaw współczynniki wag straty dla zadania detekcji zmian na α = 0.3, β = 0.7, γ = 1.0 i ε = 1.0. Wartości te kładą większy nacisk na minimalizację pominiętych detekcji niż na wyniki fałszywie dodatnie, co jest istotne w przypadku niezrównoważonych zbiorów danych, w których zmiany występują rzadko.
      ​UWAGA: Asymetryczna waga przy β > α koncentruje się na czułości (recall), co oznacza, że wyniki fałszywie ujemne są ważone silniej niż fałszywie dodatnie, co jest zgodne z założeniami projektu, szczególnie w zastosowaniach do monitorowania katastrof.
3. Optymalizator i strategia uczenia
   1. Zastosuj optymalizator AdamW z rozkładem wag (weight decay) na poziomie 1×10⁻⁴, aby poprawić regularyzację i zapobiec przeuczeniu.
   2. Zainicjuj współczynnik uczenia (learning rate) na poziomie 1×10⁻³ i zastosuj harmonogram wyżarzania cosinusoidalnego (cosine annealing schedule), aby zapewnić gładką i stabilną zbieżność podczas uczenia.
   3. Użyj wielkości partii (batch size) równej 8, aby zachować kompatybilność ze środowiskiem o pamięci GPU wynoszącej 4 GB.
4. Harmonogram uczenia
   1. Wytrenuj model oddzielnie na zbiorze OSCD, składającym się z 14 zdefiniowanych par do uczenia i 10 par do testowania, a następnie na zbiorze danych SZTAKI Airchange, wykorzystując Szada/1 i Tiszabob/3 jako standardowe benchmarki zbioru testowego.
   2. Podziel pary treningowe na pięć grup (folds), użyj jednej grupy jako zbioru walidacyjnego w każdej iteracji i kontynuuj uczenie przez maksymalnie 100 epok.
   3. Monitoruj stratę walidacyjną na koniec każdej grupy i zastosuj kryterium wczesnego zatrzymania (early stopping) wynoszące 10 epok po ustabilizowaniu zbieżności, aby zapobiec przeuczeniu i ograniczyć niepotrzebne obliczenia.
   4. Wybierz hiperparametry na podstawie najlepszej średniej wydajności walidacyjnej we wszystkich grupach.
   5. Przeprowadź detekcję zmian na zbiorze testowym i określ wydajność w pojedynczym przebiegu, korzystając z adnotowanych par obrazów z każdego zbioru danych.
5. Optymalizacja pamięci
   1. Aktywuj checkpointing gradientów, aby obniżyć zużycie pamięci GPU o około 40%, co osiąga się poprzez ponowne obliczanie pośrednich aktywacji podczas przejścia wstecznego (backward pass).
   2. Włącz uczenie mieszanej precyzji (mixed-precision training), aby wykorzystać operacje FP16 tam, gdzie są one numerycznie stabilne, co poprawia prędkość i zmniejsza obciążenie pamięci.
   3. Zastosuj adaptacyjne skalowanie wielkości partii, aby dynamicznie dostosowywać zużycie pamięci dla maksymalnej wydajności GPU.

7.Ocena

1. Upewnij się, że żadne fragmenty obrazów z miast testowych nie zostały uwzględnione w zbiorach treningowym ani walidacyjnym, aby zapobiec wyciekowi danych.
2. Zorganizuj fragmenty obrazów oraz odpowiadające im mapy prawdy terenowej (ground truth) w celu ewaluacji partiami.
3. Wczytaj wagi wytrenowanego modelu z epoki o najlepszych wynikach, wyznaczonej na podstawie straty walidacyjnej.
4. Wybierz próg 0,5 w celu konwersji map prawdopodobieństwa na binarne mapy zmian.
5. Oblicz miary ewaluacyjne na poziomie pikseli, aby zmierzyć wydajność detekcji zmian¹⁰
   Precyzja (P): Część przewidzianych pikseli zmian, które są rzeczywistymi pikselami zmian.
   Czułość (R): Część rzeczywistych pikseli zmian, które zostały poprawnie wykryte.
   Wskaźnik F1: Średnia harmoniczna precyzji i czułości.
6. Generuj fragmenty obrazów w czasie rzeczywistym podczas trenowania i ewaluacji modeli, przyjmując wymiary 128 x 128 pikseli oraz krok (stride) 64 piksele.
   UWAGA: Taka dynamiczna generacja gwarantuje efektywność pamięciową oraz spójność granic.
7. Sprawdź poprawność przetwarzania wstępnego i rozmieszczenia fragmentów, analizując reprezentatywną próbkę utworzonych fragmentów zrozumiałych lub obrazów cech średniego poziomu.
   UWAGA: Zakodowane reprezentacje cech generowane przez enkoder oparty na CNN są przechowywane w pamięci w formie tensorów do późniejszego wykorzystania w kolejnych etapach, co służy jako punkty kontrolne podczas weryfikacji cech. Wygenerowane mapy zmian są zapisywane jako zwykłe pliki obrazów (np. PNG lub TIFF) w celu wizualnej oceny zidentyfikowanych zmian.
8. Zapisz wskaźniki zbieżności (krzywe straty, miary dokładności) w procesie trenowania modelu i sprawdź, czy punkty kontrolne modelu są zapisywane w określonych odstępach czasu, aby cały proces trenowania można było powtórzyć, udoskonalić lub odzyskać.
   UWAGA: Jawne przedstawienie formatu wyjściowego, kroków weryfikacyjnych i szczegółów punktów kontrolnych pomaga zapewnić przejrzystość, umożliwiając weryfikację krok po kroku oraz reprodukcję i walidację protokołu przez innych badaczy. Niniejszy protokół dostarcza szczegółowy opis przepływu pracy dotyczący przygotowania zbioru danych oraz realizacji fazy przetwarzania wstępnego, konstrukcji sieci, trenowania i ewaluacji. Przestrzeganie tych kroków pozwoli na powtarzalne wdrożenie proponowanej metody w określonych warunkach. Wyniki takiej procedury przedstawiono w następnej sekcji Wyniki.

Wyniki

Proponowana metoda wykrywania zmian została oceniona na podstawie ustalonych podejść bazowych, wykorzystując dwa publicznie dostępne zestawy danych benchmarkowych do oceny jej wydajności w różnych rozdzielczościach spektralnych i warunkach środowiskowych. Wyniki eksperymentów pokazują istotną poprawę w równoważeniu dokładności wykrywania z kontrolą fałszywie pozytywną, szczególnie pokazując zdolność metody do utrzymania wysokich wskaźników przypominania przy jednoczesnym znacznym zwiększeniu precyzji w porównaniu z trady...

Dyskusja

Niniejsze badanie przedstawia interaktywną, wieloskalową sieć detekcji zmian opartą na fuzji uwagi oparty na wykrywaniu zmian w dwuczasowych obrazach satelitarnych. Integracja dwukierunkowego mechanizmu uwagi, w przeciwieństwie do metod jednokierunkowych, ułatwia pełną międzyczasową interakcję cech-obiekt z komplementarnymi sygnałami uwagi do przodu i do tyłu. Progresywne zmiany temporalne strumienia uwagi w przód są rejestrowane przez różnicę uwagi, tj. między starszymi a nowszymi akwizycjami czasowymi, podczas gdy spój...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Zestaw narzędzi CUDA	NVIDIA Corporation	Wersja 11.3	Akceleracja GPU do obliczeń uczenia głębokiego
cuDNN	NVIDIA Corporation	Wersja 8.2	Zoptymalizowana biblioteka głębokiego uczenia GPU
Intel  procesor	Intel Corporation	Core i7 10870H	Platforma obliczeniowa używana do trenowania i oceny proponowanego modelu deep learning
NumPy	Open Source	Wersja 1.21.0	Numeryczne przetwarzanie tablicowe
NVIDIA GeForce	NVIDIA Corporation	GTX 1650 Ti (4 GB VRAM)	Jednostka przetwarzania grafiki używana do przyspieszonego treningu modeli
Zestaw danych Sonera Satellite Change Detection (OSCD)	ONERA	Publicznie dostępny optyczny zestaw danych RGB i wielospektralnych obrazów wykorzystywany do treningu i oceny.	https://rcdaudt.github.io/oscd/
Python	Python Software Foundation	Wersja 3.8	Język programowania używany do implementacji algorytmów
PyTorch	Meta AI (Open Source)	Wersja 1.12.1	Otwartoźródłowe ramy głębokiego uczenia użyte do opracowania i trenowania proponowanego modelu
Scikit-learn	Open Source	Wersja 1.0.2	Metryki oceny wydajności
SZTAKI AirChange Benchmark Dataset	SZTAKI	Publicznie dostępny optyczny zestaw danych z powietrza RGB wykorzystywany do treningu i oceny.	http://web.eee.sztaki.hu/remotesensing/airchange_benchmark.html
Torchvision	Meta AI (Open Source)	Wersja 0.13.1	Ładowanie zbiorów danych i transformacje obrazów
System Windows	Microsoft	11	System operacyjny