Interaktive Multiscale Attention Fusion mit Sparse-Feature-Faltungsnetzwerk zur Erkennung von Satellitenbildänderungen

Summary

Diese Studie präsentiert ein interaktives Multiscale Attention-Fusionsmodell mit Sparse Feature Convolution Networks, um die Erkennung von Satellitenbildänderungen zu verbessern. Der Ansatz nutzt multiskalige Merkmalsextraktion, selektive Fokussierung auf Aufmerksamkeit und spärliche Faltungen, um Veränderungen in bitemporalen Satellitenbildern effektiv zu erkennen und zu lokalisieren, indem die Rechenkomplexität reduziert wird.

Abstract

Die Veränderungserkennung mittels bi-temporaler Satellitenbilder ist ein wichtiges Problem in der Erdüberwachung, das darauf abzielt, Oberflächenveränderungen zwischen einer zeitlichen Erfassung und der Unterscheidung tatsächlicher Pseudo-Veränderungen durch saisonale Zyklen, atmosphärische Faktoren oder menschengemachte Entwicklungen zu identifizieren und zu lokalisieren. Aktuelle Deep-Learning-Methoden haben typischerweise eine einseitige Verzerrung in ihrer temporalen Modellierung, was die Nutzbarkeit großräumiger Beziehungen einschränkt, um die richtige Charakterisierung von Veränderungsmustern zu ermöglichen. Obwohl neuere transformatorbasierte Techniken sehr genau sind, sind ihre Rechenanforderungen ebenfalls recht groß, was ihre Nutzung bei ressourcenbegrenzenden Aufgaben einschränkt. Als Antwort auf diese Einschränkungen wird in diesem Artikel ein Interactive Multiscale Attention Fusion (IMAF)-Netzwerk mit Sparse Feature Convolution (SFC) auf Basis von Ghost-Modulen vorgeschlagen, um eine effektive multiskalige Feature-Extraktion zu ermöglichen. Das Netzwerk nutzt eine fortschrittliche Encoder-Decoder-Architektur, ergänzt durch interaktive Aufmerksamkeitsmodule in verschiedenen Maßstäben. Das Netzwerk arbeitet mit komplementären Vorwärts- und Rückwärts-Aufmerksamkeitsströmen: Ersteres zeichnet progressive zeitliche Variation auf, letzteres überprüft eine Konsistenz der Veränderungen durch umgekehrte zeitliche Analyse. Diese interaktive Methode ermöglicht effektive Darstellungen des Duplexmodells zeitlicher Beziehungen, ohne rechnerisch überwältigend zu sein, und verbessert damit wesentlich bessere Ansätze, um legitime Landbedeckungsbewegungen von Rauschen ohne lärmbedingte Variationen zu unterscheiden. Mit zwei Benchmark-Datensätzen werden experimentiert: dem Onera Satellite Change Detection Dataset (OSCD) und den SZTAKI AirChange-Datensätzen. Die bedeutenden Experimente mit OSCD-Datensätzen zeigen, dass der vorgeschlagene Ansatz wettbewerbsfähige F1-Raten von 58,14 % (13 Kanäle) und 50,68 % (3 Kanäle) erreicht, mit nur 2,13 Millionen Parametern und 19,6G FLOPS, 19-mal wenigen Parametern und 5,6-fachem Inferenzumsatz im Vergleich zu ChangeFormer. Die wettbewerbsfähige Leistung auf Szada/1- und Tiszadob/3-Testset-Stichproben des SZTAKI-Datensatzes, F1-Score von 74,29 % bzw. 92,86 %, ermöglicht die Implementierung in den meisten Edge-Geräten Echtzeitanalysen und umfangreiche Kartierungssysteme, bei denen die Betriebsenergie direkt von der Rechenenergie abhängt.

Introduction

Beispiellose Urbanisierungsniveaus in der globalen Umwelt, der Verlust von Umweltressourcen und Veränderungen der Landschaft durch das Klima haben direkt die Notwendigkeit ausgelöst, ein exaktes, zeitnahes und automatisches Überwachungssystem bereitzustellen, das Veränderungen auf der Erdoberfläche identifizieren und messen kann. Satelliten-Fernerkundung ist zum grundlegenden Baustein der Massenüberwachung der Umweltüberwachung geworden, da sie eine konstante zeitliche und räumliche Abdeckung bietet und zudem für die vollständige Untersuchung der Veränderung unerlässlich ist. Bi-temporale Satellitenbildänderungsdetektion ist die Charakterisierung von Oberflächenveränderungen zwischen zwei aufeinanderfolgenden Erwerbungen derselben geografischen Region. Es ist jedoch ein komplizierter Prozess, da es zahlreiche Störfaktoren gibt, darunter die Schwankungen der Jahreszeiten, die Wetterbedingungen, sensorische Eigenschaften, geometrische Verformungen und phänomenologische Veränderungen, die die Realität in der Landbedeckung verdecken oder ähneln können. Die manuelle Bildinterpretation der derzeit verwendeten Satellitenbilder ist zeitaufwendig, subjektiv und nicht geeignet, um mit den stetig wachsenden Mengen an Erdbeobachtungsinformationen durch die aktuellen Satellitenkonstellationen umzugehen. Dies ist die grundlegende Einschränkung, die zur Entwicklung automatisierter Lösungen zur Veränderungserkennung geführt hat. Konventionelle pixelbasierte¹ - und objektbasierte Change^{Detection 2-Methoden} sind in der Regel schlecht geeignet, um innerhalb dieser Komplexitätsgrenzen zu arbeiten, und haben einen niedrigen Robustheitsstandard, der auf eine große Bandbreite geografischer Einheiten und zeitlicher Skalen angewendet werden kann. Deep-Learning-Architekturen, insbesondere konfaltionale neuronale Netze und Varianten, ermöglichen die Extraktion hierarchischer Merkmale, die niedrigstufige spektrale Details und hochstufige semantische Muster repräsentieren, die für die Unterscheidung von Änderungen relevant sind. Deep-Learning-Veränderungserkennungsmodelle haben sich als äußerst vielversprechend erwiesen, um latente raumzeitliche Veränderungen in Fernerkundungsdaten zu erfassen und die tatsächliche Landbedeckung im Vergleich zu Pseudo-Veränderungen zu identifizieren, die durch externe Faktoren verursacht werden. Diese End-to-End-Lernansätze nutzen die Tatsache, dass Features extrahiert und Klassifizierung optimal gleichzeitig durchgeführt werden können. Trotz erheblicher Fortschritte bei der Genauigkeit der Veränderungserkennung sind die meisten bestehenden Ansätze weiterhin schwer in realen Einsatzumgebungen einzusetzen. Transformatorbasierte Ansätze³, obwohl im globalen Kontext effizient, weisen eine hohe Anzahl von Parametern, quadratische Rechenkomplexität, Inferenzlatenz und hohen Energieverbrauch auf. Siamesische CNN-basierte Architekturen hingegen sind in der Effizienz überlegen, haben jedoch kleine rezeptive Felder und fehlen größtenteils globale kontextuelle Modellierung, was die Leistung erheblich verschlechtert. Diese Einschränkungen werden in großflächigen und ressourcenbegrenzten Umgebungen weiter verschärft, in denen Skalierbarkeit und Betriebskosten entscheidende Faktoren sind. Skalierbarkeit, Energieeffizienz und die Geschwindigkeit, mit der Schlussfolgerungen gezogen werden, sind in einer Notfallsituation häufig von entscheidender Bedeutung, und es besteht die Notwendigkeit, Lösungen zu schaffen, die Leistung und Einsatzfähigkeit in Einklang bringen. Daher besteht eine Lücke zwischen genauigkeitsorientierten, rechenintensiven Modellen und den praktischen Anforderungen der realen Bereitstellung.

Um solche Probleme zu überwinden, wird ein Interactive Multiscale Attention Fusion (IMAF) mit Sparse Feature Convolution (SFC) Network vorgeschlagen, das sich auf die Entwicklung eines effizienten und einsetzbaren Änderungserkennungsrahmens konzentriert, anstatt nur auf Genauigkeitsoptimierung. Die vorgeschlagene Lösung konzentriert sich auf optische Satellitenbildpaare, meist RGB- oder hochauflösende Multispektralbilder (0,5–30 m Auflösung), die von Satelliten wie Landsat, Sentinel-2 oder WorldView aufgenommen werden. Die Technik setzt eine präzise geometrische Ko-Registrierung bitemporaler Paare voraus, da auch Registrierungsfehler einen erheblichen Einfluss auf die Erkennung haben können. Es befasst sich mit binärer Veränderungserkennung (im Gegensatz zu mehrklassigen semantischen Änderungen) und kann nicht zwischen verschiedenen Veränderungstypen unterscheiden. Darüber hinaus verwendet die Methode radiometrisch korrigierte Bildaufnahmen, um die Auswirkungen saisonaler, atmosphärischer und beleuchtungsbedingter Veränderungen zu verringern, die als Veränderungen der Landbedeckung verwechselt würden. Im Gegensatz zu den traditionellen siamesischen CNNs⁴, die bitemporale Bilder mithilfe einer einfachen Verkettung trennen, ermöglicht das vorgeschlagene IMAF-Modul eine multiskalige kontextuelle Fusion sowohl globaler als auch lokaler Merkmale. Jüngste transformatorbasierte Ansätze wie BIT⁵ und ChangeFormer³ erzielen sehr gute Ergebnisse, aber ihre Selbstaufmerksamkeitsmechanismen weisen die O(N²)-Komplexität auf. Das vorgeschlagene Framework erfasst subtile Veränderungen mit bidirektionaler Aufmerksamkeit und reduziert die Rechenkomplexität sowie die Inferenzlatenz. Darüber hinaus ist das vorgeschlagene Design sparsitätsbewusst, was dichten multiskaligen Fusionsdesigns wie UNet+^+6,7 und SNUNet⁸ überlegen ist. Die spärliche Funktionskonvolution mit dem Ghost-Modul reduziert FLOPs um etwa 50 %, wodurch die Darstellungsqualität erhalten bleibt. Daher bevorzugt das vorgeschlagene Rahmenwerk einen Kompromiss zwischen Genauigkeit und Effizienz zugunsten einer zuverlässigen Bereitstellung in ressourcenbegrenzten Umgebungen.

Die Hauptbeiträge dieser Studie sind: (i) Ein leichter Wechseldetektor, der einen wettbewerbsfähigen F1-Wert mit 19-mal weniger Parametern als transformatorbasierte Gegenstücke erreicht. (ii) Ein interaktives Multiscale Attention Fusion-Modul, das globale kontextuelle Informationen ohne die quadratischen Rechenkosten der traditionellen Selbstaufmerksamkeitsmechanismen erhält. (iii) Ein Faltungsschema mit Feature-Sparsigkeit basierend auf Ghosts-Modulen, das die Gleitkommaoperationen um 49,4 Prozent minimiert, ohne Qualitätsverschlechterung in der Feature-Darstellung. (iv) Umfangreiche experimentelle Validierung auf einer großen Anzahl von Benchmark-Datensätzen, mit besseren Effizienz-Genauigkeits-Kompromissen und einer angemessenen Praktikabilität der tatsächlichen Anwendung in der realen Welt.

Der Rest dieses Manuskripts umfasst folgende Abschnitte: Abschnitt 2 gibt einen umfassenden Überblick über die jüngsten Arbeiten im Bereich der binären Änderungserkennungsmethoden, mit besonderem Augenmerk auf Deep-Learning-Lösungen und deren Implementierung auf Standard-Benchmarks. Abschnitt 3 gibt den theoretischen Hintergrund und das strukturelle Design der vorgeschlagenen Lösung, die mathematische Darstellung des temporalen Fusionsmechanismus und der Aufmerksamkeitselemente, die Eigenschaften des experimentellen Setups, Datensätze, Bewertungsmetriken und Implementierungsdetails, die für reproduzierbare Forschung erforderlich sind. Abschnitt 4 illustriert detaillierte experimentelle Befunde, die Ablation umfassen, also Vergleiche mit den neuesten binären Veränderungserkennungsalgorithmen, die die Kapazität in verschiedenen geografischen Gebieten in den OSCD- und SZTAKI-Luftveränderungsdatensätzen erklären. Abschnitt 5 bestimmt das Ergebnis der Ergebnisse, die Grenzen eines aktuellen Ansatzes und die Möglichkeiten zukünftiger Forschung zur Veränderungserkennung.

Die Entwicklung von Algorithmen zur Veränderungserkennung in der Fernerkundung hat sich stark von pixelbasierten Methoden hin zu Deep-Learning-Frameworks verändert. Frühe Veränderungserkennungsverfahren basierten hauptsächlich auf algebraischen Prozessen wie Bilddifferenzierung, Bildrationierung und Veränderungsvektoranalyse, die direkt mit Pixelwerten arbeiteten, um zeitliche Veränderungen^{zu erkennen.} Alternative Methoden mit Nachklassifikationsvergleich wurden entwickelt, bei denen jedes zeitliche Bild unabhängig klassifiziert und dann mit der Kreuztabellierung¹¹ verglichen wurde. Objektbasierte Veränderungserkennungstechniken stellten einen wichtigen Fortschrittsschritt mit der Einführung des räumlichen Kontexts sowie der Minderung von Pixelrauschen ^{2,12 dar}.

Das Aufkommen von Deep-Learning-Techniken hat den Bereich der Fernerkundungs-Veränderungserkennung revolutioniert und den Weg geebnet, mehrere Einschränkungen traditioneller Techniken zu überwinden. In letzter Zeit sind Convolution Neural Networks (CNNs) zur Standardarchitektur für die automatisierte Feature-Extraktion und Änderungsklassifikation^13,14 geworden. Siamese NestedUNet for Change Detection¹⁴ und Siamese Swin-Unet¹⁵ haben sich aufgrund der dicht vernetzten siamesischen Netzwerktopologie als bedeutende Innovation etabliert, die hilft, Informationen über die Lokalisierung über die gesamte Netzwerkhierarchie hinweg effektiv zu behalten.

Das Problem der bitemporalen Veränderungsdetektion in hochauflösender optischer Fernerkundung ist aufgrund verschiedener Störfaktoren weiterhin schwer zu lösen, und die aufmerksamkeitsbasierten multiskaligen Transformatornetzwerke mit den aufwendigen Fusionsstrategien wurden^{vorgeschlagen 16}. Das EGMT-CD-Framework schlug kantengelenkte multimodale Transformatoren heterogener Bildpaare vor, bei denen homologe Bilder aufgrund von Wolkenbedeckung¹⁷ nicht zugänglich sind. Architekturen wie DASUNet durchbrechen manuelle Deep-Learning-Engpässe bei der Full-Scale-Feature-Fusion, mit einer 0,85 % höheren Verbesserung des F1-Index gegenüber SNUNet-24 im CDD-Datensatz durch verbesserten Gradient^{Flow 18}. Hybride CNN-Transformer-Modelle gehen mit dem Problem von falschen Negativen zu höheren Kosten um, indem sie zusätzliche Kosten für die Frequenzkomponenten zum Feature Learning¹⁹ bieten. Die hybriden U-förmigen Transformatornetzwerke²⁰ sind jedoch weiterhin schwierig, lokal und globale Merkmale zu integrieren und in Regionen zu wechseln, die periodisch auftreten, selbst in kleinem Maßstab. Die Verwendung der mehrseitigen semantischen Veränderungserkennung sowie präziser Orts- und Klassenidentifikation ist im Vergleich zu binären Aufgaben^21,22 komplizierter. Bitemporale Korrelationen können erfolgreich durch Cross-Attention ohne wesentliche architektonische Änderungen^{modelliert werden 14,23}. Der Perspektiv-Sprach-Paradigmen-Ausdruck ist ebenfalls eine jüngere Grenze mit CLIP-basierten Designs, die textuelle Erklärungen in Änderungskorrespondenz²⁴ und halbüberwachte Muster kombinieren, wodurch die Abhängigkeit von beschrifteten Daten²⁵ eliminiert wird. Change Mamba präsentiert die Zustandsraummodelle der räumlich-zeitlichen Modelle^26,27. Verschiedene Anwendungen spezialisierter Aufmerksamkeitsmethoden werden demonstriert: die Anwendung von hyperspektraler Anomalieerkennung²⁸, Multiarea-Zielklassifikation²⁹ oder Limited-Label-Segmentierung³⁰ und demonstrieren die Flexibilität von Aufmerksamkeitsmechanismen in der Fernerkundungsanalyse.

Autoren	Methode/Architektur	Technische Spezifikationen	Wichtige Innovation & Ergebnisse / Datensatzleistung
Singh, A. [8]	Traditionelle Methoden	Pixelbasierte Differenzierung, CVA	Digitales Änderungserkennungsframework, mehrere Datensätze, Genauigkeit: 65–80 %
Mas, J.F. [10]	Nach der Klassifikation	Unabhängige zeitliche Klassifikation	Vergleichende Methodologieanalyse, tropische Bildaufnahmen, OA: 72-85 %
Lu et al. [9]	Traditionelle Methoden	Algebraische Operationen, CVA, PCA	Umfassender Technikvergleich, Mehrere Quellen, Genauigkeit: 70-88 %
Benedek & Szirányi [23]	Gemischtes Markov-Modell	Mehrschichtiges bedingtes Framework	Probabilistische Änderungsmodellierung, Sztaki AirChange, DA: 92,1 %
Blaschke, T. [2]	Objektbasiert	Segmentierungsbasierte Analyse	Integration räumlicher Kontext, verschiedene HR-Bilder, SA: 85-92 %
Chen et al. [11]	Objektbasiert	Mehrskalige Segmentierung	Hierarchische Objektanalyse, HR-Bilder, OA: 87,3 %
Zhan et al. [12]	Siamesisches CNN	5-Schicht-CNN, Kerngröße 3×3	Tiefe Siamese-Architektur für CD, Luftaufnahmen, F1: 0,847, IoU: 0,735
Daudt et al. [4]	Siamese FCN	FC-EF, FC-Siam-diff, FC-Siam-conc	Frühe/späte Fusionsstrategien, OSCD, F1: 0,431, IoU: 0,276
Peng et al. [26]	UNet++	Verschachtelte U-Net, dichte Skip-Verbindungen	Multi-Skal-Feature-Aggregation, HR-Satellit, F1: 0,753, IoU: 0,604
Chen & Shi [25]	Räumlich-zeitliche Aufmerksamkeit	Aufmerksamkeitsblöcke, zeitliche Modellierung	Raum-zeitliches Merkmal-Lernen, LEVIR-CD, F1: 0,887, IoU: 0,797
Fang et al. [7]	SNUNet-CD	Siamesische NestedUNet, dichte Verbindungen	Informationsübertragungsoptimierung, LEVIR: F1: 0,897, WHU: F1: 0,904
Chen et al. [5]	BIT-CD	ResNet18 + Transformator-Encoder	Binäres zeitliches Merkmallernen, OSCD: F1: 0,635, LEVIR: F1: 0,919
Bandara & Patel [3]	ChangeFormer	Hierarchischer Transformatorencoder	Mehrskalige Transformator-Aufmerksamkeit, OSCD: F1: 0,654, LEVIR: F1: 0,905
Song et al. [27]	ACANet	Axiale Aufmerksamkeit + CNN-Rückgrat	Effiziente Aufmerksamkeitsberechnung, LEVIR: F1: 0,901, WHU: F1: 0,913
Shi et al. [28]	Übersichtsartikel	Umfassende Umfrage zu KI-Methoden	Systematische Analyse von KI-Ansätzen, 50+ analysierte Datensätze
Li et al. [14]	AMST-Net	Mehrskaliger Transformator, Pyramiden-Aufmerksamkeit	Adaptive Multiscale-Feature-Extraktion, HR-Optische Bilder, mIoU: 0,823
Xiang et al. [15]	EGMT-CD	Kantengeführte multimodale Architektur	Crossmodale Merkmalsausrichtung, heterogene Paare, F1: 0,756
Miao et al. [16]	DASUNet	Dichte Überwachung, Vollskala-Fusion	Tiefe Überwachung auf allen Decoder-Ebenen, CDD: 0,85 % F1-Verbesserung gegenüber SNUNet
Tang et al. [29]	Siamesische Swin-UNet	Swin Transformer + Unet-Fusion	Hierarchische Fenster-Aufmerksamkeit, LEVIR: F1: 0,923, WHU: F1: 0,925
Wu et al. [18]	Hybrid-U-Transformator	UNet++ Backbone + Transformatorblöcke	Global-lokale Feature-Integration, HR-Bilder, IoU: 0,851, F1: 0,919
Dong et al. [20]	ChangeCLIP	CLIP-basierte Vision-Language	Multimodales semantisches Verständnis, RS-Paare, semantische Genauigkeit: 94,1 %
Li et al. [21]	SemiCD-VL	Halbüberwachte Visionssprache	Reduzierte Anmerkungsanforderungen, begrenzte Bezeichnungen, F1: 0,889
Chen et al. [22]	ChangeMamba	Zustandsraummodelle (SSMs)	Lineare Komplexität temporale Modellierung, RS-Bilder, Effizienz: dreimal schneller

Tabelle 1: Zusammenfassung der Methoden zur Veränderungserkennung in der Fernerkundung: Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Eine Zusammenfassung früherer Studien ist in Tabelle 1 dargestellt. Traditionelle Methoden verfügen über handgefertigte Funktionen, die für komplexe räumlich-zeitliche Variationen nicht geeignet^{sind, und} die Deep-Learning-Architektur (UNet, FPN, PSPNet) beinhaltet rechenintensive, dichte Faltungen. Die aktuellen Modelle verfügen nicht über effiziente, mehrskalige Einbau- und dynamische Aufmerksamkeitssysteme. Um diese Lücken zu schließen, schlägt die aktuelle Studie Interactive Multi-scale Attention Fusion mit dem Sparse Feature Convolution Network vor, das darauf abzielt, subtile Veränderungen über Skalen hinweg zu erfassen und gleichzeitig rechnerisch effizient in der Fernerkundung zu sein, insbesondere bei städtischen und menschengemachten strukturellen Veränderungen.

Protocol

1. Ethikerklärung

1. Sowohl die in dieser Studie verwendeten Onera Satellite Change Detection (OSCD) als auch SZTAKI AirChange-Datensätze bestehen aus öffentlich zugänglichen RGB- und multispektralen Bildern, die unterschiedliche geografische Merkmale abdecken. Diese Datensätze enthalten keine eingeschränkten oder sensiblen Daten. Daher ist für dieses Werk keine ethische Zustimmung erforderlich.

2. Materialien und Ausrüstung

1. Führen Sie Tests auf einem Windows-11-Computer durch, der einen Intel Core i7 10870H Prozessor, einen NVIDIA GeForce GTX 1650 Ti Chip mit 4 GB VRAM und 32 GB RAM enthält.
   HINWEIS: Die Programmierumgebung ist Python 3.8, und die Programmierumgebung ist auf das PyTorch-Framework (Version 1.12.1) und Torchvision (Version 0.13.1) angewiesen, um Deep Learning zu implementieren.
2. Laden und installieren Sie Bibliotheken wie scikit-learn (Version 1.0.2), das das maschinelle Lernprogramm enthält, und NumPy (Version 1.21.0), das numerische Operationen enthält.
3. Stellen Sie sicher, dass Sie das CUDA Toolkit Version 11.3 und die cuDNN Version 8.2 installieren, die von NVIDIA Corporation bereitgestellt werden, um die Beschleunigung der Grafikkarte nutzen zu können.
4. Trainieren und bewerten Sie die Leistung mit dem öffentlich verfügbaren OSCD- und SZTAKI-Airchange-Datensatz.

3. Datensatzvorbereitung

1. Wählen Sie OSCD⁴, das aus optischen RGB-Satellitenluftaufnahmen und Multispektralbildern besteht, jeweils 600 x 600 Pixel mit 10 m Auflösung, sowie dem SZTAKI AirChange^32-Datensatz , der aus 13 optischen Luftbildpaaren besteht, jeweils 952 x 640 Pixel mit einer Auflösung von 1,5 m/Pixel als Benchmark-Datensätze.
2. Teile die 24 Städte des OSCD-Datensatzes in feste, vordefinierte 14 Städte für Training und 10 Städte für Tests auf.
3. Weisen Sie feste, nicht randomisierte Szada/1- und Tiszadob/3-Bildpaare aus dem SZTAKI AirChange-Datensatz dem Testsatz zu, und die übrigen Bildpaare als Trainingsset als konventioneller Benchmark.
4. Führen Sie Änderungserkennung am Testsatz durch und quantifizieren Sie die Leistung bei einem einzigen Durchlauf mithilfe annotierter Bildpaare aus jedem Datensatz.

4. Vorverarbeitung

1. Wenden Sie patchbasierte Vorverarbeitung an.
   1. Bildpatches unabhängig pro zeitlichem Bild an identischen Orten während des Fluges extrahieren, um hochauflösende Satellitenbilder effizient zu verwalten.
   2. Teile jedes Bild in überlappende Flächen von 128 × 128 Pixeln mit einem Schritt von 64 Pixeln.
   3. Richten Sie überlappende Bereiche zwischen benachbarten Patches aus, um Randkonsistenz zu gewährleisten und Kanteninformationen zu erhalten.
2. Führen Sie klassenweise Datenaugmentation durch.
   1. Wenden Sie während des Trainings auf beiden Patches des Paares differenzielle Augmentation an, basierend auf dem Anteil der Change-Pixel, um das Klassenungleichgewicht zwischen "Change"- und "No-Change"-Regionen zu bewältigen.
   2. Vergrößere das Patch-Paar mit > 1 % Pixeländerung) sechsmal mit folgenden Transformationen: horizontale und vertikale Flips, 90°-Rotationen, Farbjitter (Helligkeit, Kontrast und Sättigung ± 30 %), affine Transformationen (Rotation ± 15°, Translation ± 10 Pixel, Skalierung 95–105 %).
   3. Erweitern Sie das Patch-Paar ohne Änderungen nur einmal, um ein Ungleichgewicht im Datensatz zu vermeiden.
      HINWEIS: Diese Erweiterungsstrategie, die auf Kursen basiert, bietet ausgewogene Ausbildung in den Regionen Wechsel und Nicht-Veränderung.
3. Normalisieren und verbessern Sie die Bildqualität.
   1. Normalisieren Sie alle Patches mit ImageNet-Mittelwert und Standardabweichung: Mittelwert = (0,485, 0,456, 0,406), STD = (0,229, 0,224, 0,225).
      1. Verwenden Sie Contrast Limited Adaptive Histogram Equalization (CLAHE) mit Clip-Limit = 2,0, Kachelgittergröße =8 x 8 im LAB-Farbraum (nur L-Kanal), um die Kontraste der Bereiche mit niedrigem Kontrast aufzuhellen, sodass die Merkmale auf dem Bild mit Intensitäten auf [0,255] normalisiert werden können.
      2. Löschen Sie alle Patches, die kleiner als 128 x 128 Pixel sind, und polstern Sie die kleineren Patches so, dass sie die gleiche Größe wie die größeren haben und ihre räumliche Integrität während des Modelltrainings erhalten bleiben.

5. Modellbau

1. Definiere Eingabe und Ausgabe.
   1. Das vorgeschlagene Rahmenwerk nimmt als Eingabe ein Paar ko-registrierter Satellitenbilder I₁, I₂ ∈ R^H×W×C , die an verschiedenen zeitlichen Instanzen aufgenommen wurden, und erzeugt eine binäre Änderungskarte M ∈ R^H×W×2, die veränderte und unveränderte Regionen genau abgrenzt.
2. Vorgeschlagenes Rahmenwerk
   1. Verarbeiten Sie das vorgeschlagene Framework in drei Phasen der Verarbeitungspipeline. In der ersten Phase führen Sie zeitliche Aufmerksamkeitsmodellierung an Eingabesequenzen durch, um Veränderungen im Zeitverlauf zu erfassen.
   2. Nutzen Sie interaktive Cross-Attention, um symmetrische zeitliche Abhängigkeiten zwischen bi-zeitlichen Merkmalen in der temporalen Aufmerksamkeitsmodellierungsphase zu erfassen.
   3. Hierarchische Darstellungen relevanter Merkmale aus einem zeitlich modellierten Bild mit einer sparsamen, feature-basierten Encoder-Architektur in der zweiten Stufe extrahieren, wobei die räumliche Auflösung allmählich abnimmt und die Feature-Dimension erhöht wird.
   4. Verwenden Sie einen skip-connected Decoder mit adaptivem Upsampling, um in der Rekonstruktionsphase hochauflösende Änderungskarten zu erstellen, wobei kleinere räumliche Details erhalten bleiben.
      HINWEIS: Abbildung 1 zeigt den Gesamtdatenfluss von den eingegebenen bi-temporalen Satellitenbildern zum gemeinsamen Encoder, den mittleren Cross-Attention-Verarbeitungsblöcken und dem Decoder, die zusammen zur Change Detection Map führen.
3. Sparse-Feature-Encoder
   1. Konstruiere einen leichtgewichtigen Encoder aus Ghost-Faltungsblöcken mit Verhältnis = 2, wobei Batch-Normalisierung und ReLU-Aktivierungsfunktion sequentiell angewendet werden, um die Rechenkomplexität zu reduzieren und gleichzeitig die Repräsentationsqualität zu erhalten.
   2. Stellen Sie den Encoder sequentiell aus den folgenden drei Blocktypen zusammen.
      Block₁: Ghost (in_channels → 32) → BN → ReLU → Ghost (32 → 64) → BN → ReLU → MaxPool(2×2)
      Block₂: Ghost (64 → 96) → BN → ReLU → Ghost (96 → 128) → BN → ReLU → MaxPool (2×2)
      Block₃: Geist (128 → 128) → BN → ReLU
   3. Verbinden Sie die Blöcke, um einen reibungslosen Funktionsfluss durch den Encoder zu gewährleisten und die räumliche Auflösung für nachfolgende Stufen zu erhalten.
      HINWEIS: Die zentrale Innovation dieses Ansatzes liegt im interaktiven Cross-Attention-Mechanismus, der eine symmetrische Merkmalsinteraktion zwischen bitemporalen Bildern ermöglicht. Für jedes Bildpaar werden tiefe Merkmale F_{1,F 2}∈R^B×C×H'×W' extrahiert, wobei H' = H/4, W'=W/4, C=128 die Merkmalsdimension darstellt. Diese räumlichen Merkmale werden in ein Sequenzformat umgeformt, das die räumliche Sequenzlänge darstellt, und D=C stellt die Merkmalsdimension dar.
4. Zeitliche Aufmerksamkeitsmodellierung
   1. Implementieren Sie die Cross-Attention-Operation unter Verwendung der standardisierten skalierten Dot-Produkt-Aufmerksamkeitsformulierung, wie in Abbildung 2 dargestellt.
      
      wobei Q, K und V jeweils Abfrage-, Schlüssel- und Wertmatrizen darstellen und d_k die Dimension der Schlüsselvektoren bezeichnet.
      HINWEIS: Multi-Head-Attention mit h = 8 Heads, um verschiedene Arten zeitlicher Beziehungen gleichzeitig zu erfassen, wird unabhängig auf jeder Skala angewendet. Jeder Aufmerksamkeitskopf verarbeitet einen anderen Unterraum der Merkmalsrepräsentationen, sodass das Modell sich auf verschiedene Aspekte zeitlicher Veränderungen konzentrieren kann.
   2. Berechnen Sie den Mehrkopf-Aufmerksamkeitsausgang als:
      MultiHead (Q,K,V) = Concat (Kopf₁,...,Kopf_h ) W^O
      wobei jede erlernte Projektionsmatrizen sind.
5. Symmetrische interaktive Aufmerksamkeit
   1. Die interaktive Aufmerksamkeitsstrategie erfasst symmetrische Veränderungsinformationen durch Vorwärts- und Rückwärtsoperationen (siehe Abbildung 3). Vorwärtsaufmerksamkeit ermöglicht es, dass Merkmale aus dem ersten temporalen Bild auf Merkmale des zweiten temporalen Bildes aufmerksam werden, berechnet als:
      
      wobei die ersten temporalen Merkmale als Abfragen dienen, während die zweiten temporalen Merkmale Schlüssel und Werte bereitstellen.
   2. Umgekehrt ermöglicht rückwärtsgerichtete Aufmerksamkeit es Merkmalen des zweiten zeitlichen Bildes, auf Merkmale des ersten zeitlichen Bildes zu achten, das wie folgt formuliert ist:
      
      Die betreuten Merkmale aus beiden Richtungen werden durch eine lineare Transformation verkettet und projiziert, um die endgültige betreute Darstellung zu erzeugen:
      
      HINWEIS: Dieser interaktive Mechanismus stellt sicher, dass zeitliche Beziehungen symmetrisch erfasst werden, wodurch das Netzwerk invariant gegenüber der Reihenfolge der Eingabebilder bleibt, was für Anwendungen zur Veränderungserkennung entscheidend ist, bei denen die temporale Sequenz die Erkennungsergebnisse nicht verzerren sollte.
6. Rekonstruktion von Decoder und Change Map
   1. Kombinieren Sie die betreuten Features mit den Ausgängen des Encoders über Skip-Verbindungen, um räumliche Details zu erhalten.
   2. Wenden Sie bilineare Interpolation mit identischen Parametern über alle Decoderstufen hinweg an, um eine adaptive Größenanpassung zu gewährleisten und so eine perfekte Ausrichtung über Skip-Verbindungen zu gewährleisten.
   3. In der ersten Stufe reduzieren Sie die Kanäle von 256 auf 96 Pixel mittels Ghost-Faltungen bei H/4×W/4 und upsamplen Sie auf H/2×W/2 und fusionieren Sie mit entsprechenden Encoderfunktionen.
   4. In der zweiten Phase werden Funktionen mit Ghost-Faltungen verarbeitet, um Kanäle von 160 auf 64 Pixel zu reduzieren und auf volle Auflösung H×W hochzusampeln und mit Encoder-Level-Überspringfunktionen zu integrieren.
   5. Schließlich wenden Sie Ghost-Faltungen an, um die Kanäle auf 32 zu reduzieren, und verwenden Sie eine letzte 1 × 1-Faltung, um die zweikanalige binäre Änderungskarte zu erzeugen.
   6. Fassen Sie die vollständige Verarbeitungspipeline durch das folgende algorithmische Framework zusammen, das alle architektonischen Komponenten in ein kohärentes Veränderungserkennungssystem integriert.
      HINWEIS: Notation: E^k_i bezeichnet die Encodermerkmale aus dem Bild i ∈ {1,2} auf Ebene k; F_i ist das letzte codierte Merkmal; ist seine abgeflachte Version; ist das aufmerksamkeitsverstärkte Feature; A ist die Aufmerksamkeitsmatrix; D_j sind Decoder-Ausgänge; φ_k, ψ_j sind Encoder-/Decoder-Blöcke; [·;·] bezeichnet kanalweise Verkettung; W_out ist der Output-Layer-Kernel.
      Siehe Supplementary File Algorithm 1 für "Interaktive Multiscale Attention Fusion Based Change Detection

Abbildung 1: Vorgeschlagene Methodik Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 2: Cross Attention Architektur Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Abbildung 3: Interaktive Cross Attention-Architektur Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

6. Ausbildungsverfahren

1. Verlustfunktion
   HINWEIS: Der Trainingsprozess verwendet eine fokale Tversky-Verlustfunktion, um das Klassenungleichgewicht zu adressieren, das häufig in Veränderungserkennungsdatensätzen vorkommt.
   1. Formuliere die Verlustfunktion wie folgt: Sei p_i ∈ [0,1] die vorhergesagte Wahrscheinlichkeit für Pixel i und g_i ∊ {0,1} die entsprechende Grundwahrheit. Der Tversky-Index (TI) ist definiert als:
      
      wobei α und β die Strafe für Falsch-Positive bzw. Falsch-Negative kontrollieren, und ε ein Glättungsterm ist.
   2. Dann drücke den fokalen Tversky-Verlust aus als:
      
      wobei γ den Fokus auf schwer klassifizierbare Pixel moduliert.
2. Hyperparameter-Konfiguration
   1. Wenden Sie eine 5-fache, kreuzvalidierungsbasierte systematische Gittersuche auf dem Zugset an, um optimale Werte auszuwählen.
   2. Setzen Sie die Verlustgewichtungskoeffizienten für die Veränderungserkennungsaufgabe auf α = 0,3, β = 0,7, γ = 1,0 und ε = 1,0. Diese Werte betonen die Minimierung von verpassten Erkennungen gegenüber Fehlalarmen, was bei unausgewogenen Datensätzen wichtig ist, in denen Änderungen relativ selten sind.
      HINWEIS: Asymmetrische Gewichtung mit β > α konzentriert sich auf den Rückruf, was bedeutet, dass falsch negative Werte stärker gewichtet werden als falsch Positive, was mit dem Design vereinbar ist, insbesondere bei Anwendungen zur Katastrophenüberwachung.
3. Optimierer und Lernstrategie
   1. Verwenden Sie den AdamW-Optimierer mit einer Gewichtsabnahme von 1×10⁻⁴, um die Regularisierung zu verbessern und Überanpassungen zu verhindern.
   2. Initialisieren Sie die Lernrate bei 1×10⁻³ und wenden Sie einen Kosinus-Glühplan an, um eine reibungslose und stabile Konvergenz während des Trainings zu gewährleisten.
   3. Verwenden Sie eine Batchgröße von 8, um die Kompatibilität mit einer 4-GB-GPU-Speicherumgebung zu gewährleisten.
4. Trainingsplan
   1. Trainieren Sie das Modell separat auf OSCD, bestehend aus 14 vordefinierten Paaren zum Training und 10 Paaren zum Testen, dann auf dem SZTAKI Airchange-Datensatz mit Szada/1 und Tiszabob/3 als Standard-Testset-Benchmarks.
   2. Teile die Trainingspaare in fünf Teile, verwende eine Falte als Validierungsset in jeder Iteration und trainiere maximal 100 Epochen weiter.
   3. Überwachen Sie den Validierungsverlust am Ende jeder Faltung und wenden Sie frühzeitige Stoppkriterien von 10 Epochen an, sobald sich die Konvergenz stabilisiert hat, um Überanpassungen zu verhindern und unnötige Berechnungen zu reduzieren.
   4. Wählen Sie die Hyperparameter basierend auf der besten durchschnittlichen Validierungsleistung über alle Folds hinweg.
   5. Führen Sie Änderungserkennung am Testsatz durch und quantifizieren Sie die Leistung bei einem einzelnen Durchlauf mithilfe annotierter Bildpaare aus jedem Datensatz.
5. Speicheroptimierung
   1. Aktivieren Sie das Gradienten-Checkpointing, um den GPU-Speicherverbrauch um etwa 40 % zu senken, erreicht durch die Neuberechnung von Zwischenaktivierungen während des Rücklaufs.
   2. Ermöglicht gemischt präzises Training, um FP16-Operationen in numerisch stabiler Situation zu nutzen, wodurch die Geschwindigkeit verbessert und die Speicherbelastung reduziert wird.
   3. Nutze adaptive Batch-Größenskalierung, um den Speicherverbrauch dynamisch für maximale GPU-Effizienz anzupassen.

7. Bewertung

1. Stellen Sie sicher, dass keine Patches aus Teststädten in Schulungen oder Validierungen enthalten sind, um Datenlecks zu verhindern.
2. Organisiere Bildpatches und entsprechende Ground-Truth-Maps für eine batchweise Bewertung.
3. Laden Sie die trainierten Modellgewichte aus der am besten performenden Epoche, die durch Validierungsverlust bestimmt wird.
4. Wählen Sie einen Schwellenwert von 0,5, um Wahrscheinlichkeitsabbildungen in binäre Veränderungsabbildungen umzuwandeln.
5. Berechnung pixelweiser Bewertungsmetriken zur Messung der Veränderungserkennungsleistung¹⁰
   Präzision (P): Bruchteil der vorhergesagten Veränderungspixel, die wahre Veränderungspixel sind.
   Rückruf (R): Bruchteil der wahren Änderungspixel, der korrekt erkannt wurde.
   F1-Wert: Harmonischer Mittelwert von Präzision und Rückruf.
6. Erzeugen Sie Bildpatches in Echtzeit, während Sie Modelle mit den Maßen 128 x 128 Pixel und einem Schritt von 64 Pixeln trainieren und evaluieren.
   HINWEIS: Eine solche dynamische Generierung garantiert sowohl Speichereffektivität als auch Konsistenz der Grenzen.
7. Überprüfen Sie die Korrektheit der Vorverarbeitung und Patchplatzierung, indem Sie eine repräsentative Stichprobe der erstellten, verständlichen oder mittleren Feature-Bilder betrachten.
   HINWEIS: Codierte Merkmalsrepräsentationen, die vom CNN-basierten Encoder generiert werden, werden im Speicher in Form von Tensoren gespeichert, die später in den Stufen verwendet werden und als Kontrollpunkte bei der Verifikation von Merkmalen dienen. Erzeugte Änderungskarten werden als reguläre Bilddateien (e.g. PNG oder TIFF) gespeichert, um visuell angesehen zu werden, um die identifizierten Änderungen zu bewerten.
8. Erfassen Sie die Konvergenzindikatoren (Verlustkurven, Genauigkeitsmetriken) im Modelltraining und prüfen, ob die Punkte des Modells in festgelegten Intervallen gespeichert werden, damit der gesamte Trainingsprozess wiederholt, verfeinert oder wiederhergestellt werden kann.
   HINWEIS: Die explizite Darstellung des Ausgabeformats, der Verifikationsschritte und der Kontrollpunktdetails trägt zur Transparenz bei, ermöglicht die Überprüfung Schritt für Schritt und ermöglicht es, das Protokoll von anderen Forschern zu reproduzieren und zu validieren. Dieses Protokoll bietet einen tiefgehenden, detaillierten Arbeitsablauf, wie ein Datensatz vorbereitet wird und wie man mit der Vorverarbeitungsphase, dem Netzwerkaufbau, dem Training und der Bewertung fortfährt. Indem man die Schritte befolgt, kann man die vorgeschlagene Methode unter den angegebenen Bedingungen auf wiederholbare Weise umsetzen. Die Ergebnisse eines solchen Verfahrens sind im folgenden Ergebnisabschnitt dargestellt.

Results

Die vorgeschlagene Veränderungserkennungsmethode wurde anhand etablierter Baseline-Ansätze mit zwei öffentlich verfügbaren Benchmark-Datensätzen bewertet, um ihre Leistung über unterschiedliche spektrale Auflösungen und Umweltbedingungen hinweg zu bewerten. Die experimentellen Ergebnisse zeigen deutliche Verbesserungen im Ausgleich der Erkennungsgenauigkeit mit der Fehlalarmkontrolle und zeigen insbesondere die Fähigkeit der Methode, hohe Rückrufraten aufrechtzuerhalten und gleichzeitig ...

Discussion

Diese Studie präsentiert ein interaktives, multiskaliertes, fusionsbasiertes Veränderungserkennungsnetzwerk zur Erkennung von Veränderungen in bitemporalen Satellitenbildern. Die Integration eines bidirektionalen Aufmerksamkeitsmechanismus ermöglicht im Gegensatz zu unidirektionalen Methoden eine vollständige zeitübergreifende Merkmal-zu-Merkmal-Interaktion mit komplementären Vorwärts- und Rückwärts-Aufmerksamkeitssignalen. Progressive zeitliche Veränderungen des vorwärtsgerichteten Aufm...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA-Toolkit	NVIDIA Corporation	Version 11.3	GPU-Beschleunigung für Deep-Learning-Berechnungen
cuDNN	NVIDIA Corporation	Version 8.2	Optimierte GPU-Deep-Learning-Bibliothek
Intel  Prozessor	Intel Corporation	Core i7 10870H	Rechenplattform zum Training und zur Bewertung des vorgeschlagenen Deep-Learning-Modells verwendet
NumPy	Open Source	Version 1.21.0	Numerische Array-Verarbeitung
NVIDIA GeForce	NVIDIA Corporation	GTX 1650 Ti (4 GB VRAM)	Grafikverarbeitungseinheit, die für beschleunigtes Modelltraining verwendet wird
Onera Satellite Change Detection (OSCD) Datensatz	ONERA	Öffentlich verfügbarer optischer RGB- und Multispektralbilddatensatz, der für Training und Auswertung verwendet wird.	https://rcdaudt.github.io/oscd/
Python	Python Software Foundation	Version 3.8	Programmiersprache zur Algorithmusimplementierung verwendet
PyTorch	Meta AI (Open Source)	Version 1.12.1	Open-Source-Deep-Learning-Framework, das zur Entwicklung und Ausbildung des vorgeschlagenen Modells verwendet wird
Scikit-learn	Open Source	Version 1.0.2	Leistungsbewertungskennzahlen
SZTAKI AirChange Benchmark Dataset	SZTAKI	Öffentlich zugänglicher optischer RGB-Luftbilddatensatz, der für Training und Auswertung verwendet wird.	http://web.eee.sztaki.hu/remotesensing/airchange_benchmark.html
Torchvision	Meta AI (Open Source)	Version 0.13.1	Datensatz-Laden und Bildtransformationen
Windows-Betriebssystem	Microsoft	11	Betriebssystem